WO2011108551A1 - 診断情報配信装置および病理診断システム - Google Patents

診断情報配信装置および病理診断システム Download PDF

Info

Publication number
WO2011108551A1
WO2011108551A1 PCT/JP2011/054657 JP2011054657W WO2011108551A1 WO 2011108551 A1 WO2011108551 A1 WO 2011108551A1 JP 2011054657 W JP2011054657 W JP 2011054657W WO 2011108551 A1 WO2011108551 A1 WO 2011108551A1
Authority
WO
WIPO (PCT)
Prior art keywords
diagnosis
pathologist
information
image
sample
Prior art date
Application number
PCT/JP2011/054657
Other languages
English (en)
French (fr)
Inventor
山本 洋子
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP11750661A priority Critical patent/EP2544141A1/en
Publication of WO2011108551A1 publication Critical patent/WO2011108551A1/ja
Priority to US13/601,010 priority patent/US20120327211A1/en

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis

Definitions

  • the present invention relates to a diagnostic information distribution apparatus and a pathological diagnostic system for distributing diagnostic information for diagnosing a sample.
  • tissue specimens obtained by organ excision or needle biopsy are sliced into several microns in thickness to prepare specimens, which are widely observed using a microscope to obtain various findings. ing.
  • transmission observation using an optical microscope is one of the most popular observation methods, since the equipment is relatively inexpensive and easy to handle, and historically it has been performed since ancient times.
  • a specimen collected from a living body hardly absorbs and scatters light, and is nearly colorless and transparent. For this reason, it is common to dye with a dye at the time of preparation of a specimen.
  • H & E staining hematoxylin-eosin staining
  • a pathologist comprehensively determines the shape and distribution of the tissue to be observed.
  • a method in which a pathological specimen is subjected to a special staining different from H & E staining to change the color of a tissue to be observed to visually emphasize it is used, for example, when observing a tissue that is difficult to confirm by H & E staining, or when the form of the tissue to be observed collapses due to the progression of cancer and visual recognition is difficult.
  • this special staining has a problem that it takes 2-3 days for the staining process, and the diagnosis can not be performed quickly.
  • pathologist information such as the specialized field of a pathologist capable of consulting, career, etc. is displayed on the screen, and the person in charge is based on this pathologist information
  • image information is transmitted to a pathologist selected by a pathologist (see Patent Document 1).
  • the pathologist in charge selects a pathologist appropriate for requesting a diagnosis based on the displayed pathologist information, and thus selects the pathologist who has selected the pathologist.
  • diagnosis techniques are various and varied depending on the pathologist.
  • a pathologist images and displays the pathological sample on a screen, and performs observation and diagnosis on the screen.
  • the imaging method is not limited to one type, and the type of image used for diagnosis may differ depending on the pathologist.
  • a pathologist can not diagnose with a familiar observation technique with an image of a type different from that usually used for diagnosis, and can not perform diagnosis promptly.
  • the present invention has been made in view of the above-described conventional problems, and an object of the present invention is to provide a diagnostic information distribution apparatus and a pathological diagnostic system capable of realizing rapid diagnosis by a pathologist.
  • a diagnostic information distribution apparatus for solving the above problems and achieving the object is configured to be communicably connectable to a plurality of pathological diagnosis apparatuses operated by different pathologists, and the pathological diagnosis apparatus
  • An image acquisition means for acquiring a sample image obtained by imaging a sample to be diagnosed, a diagnosis area extraction means for extracting a diagnosis-required area from the sample image, and Pathologist selection means for selecting a request destination pathologist requesting a diagnosis from among pathologists who operate the plurality of pathologic diagnosis apparatuses, and the request destination set in advance for at least image data of the diagnosis required area
  • Provided information creating means for creating provided information by performing image processing according to the observation technique of a pathologist, and delivering diagnostic information including the provided information to the pathological diagnosis apparatus of the requested pathologist Characterized in that it comprises a multi-destination delivery unit.
  • a pathological diagnosis system is a pathological diagnosis system in which a diagnostic information delivery device and a plurality of pathological diagnostic devices operated by different pathologists are connected via a network
  • the information distribution apparatus includes an image acquisition unit that acquires a sample image obtained by imaging a sample to be diagnosed, a diagnosis area extraction unit that extracts a diagnosis-required area from the sample image, and a pathologist who operates the plurality of pathological diagnosis apparatuses Pathologist selection means for selecting a request destination pathologist requesting a diagnosis from among the above, and image processing according to the observation procedure of the request destination pathologist set in advance with respect to image data of at least the diagnosis required area.
  • Provision information creation means for applying information to create provision information; and provision information distribution means for delivering diagnosis information including at least the provision information to the pathological diagnosis device of the requested pathologist.
  • the pathological diagnosis apparatus comprising: a display processing means for displaying processing the provided information to the display unit.
  • FIG. 1 is a block diagram showing an example of the entire configuration of a pathological diagnosis system.
  • FIG. 2 is a schematic view for explaining a configuration example of a virtual slide microscope.
  • FIG. 3 is a block diagram showing an example of a functional configuration of the information distributor.
  • FIG. 4 is a diagram showing data flow in the pathological diagnosis system.
  • FIG. 5 is a flowchart showing the processing procedure performed by the virtual slide microscope.
  • FIG. 6 is a flowchart showing the procedure of the virtual slide image generation process.
  • FIG. 7 is a view showing an example of a slide glass sample.
  • FIG. 8 is a view showing an example of a sample area image.
  • FIG. 9 is a view for explaining an example of the data configuration of the focus map.
  • FIG. 1 is a block diagram showing an example of the entire configuration of a pathological diagnosis system.
  • FIG. 2 is a schematic view for explaining a configuration example of a virtual slide microscope.
  • FIG. 3 is a block diagram showing an example of
  • FIG. 10 is a flowchart showing processing procedures performed by the information distributor, the pathological diagnosis apparatus, and the information integrator.
  • FIG. 11 is a flowchart showing the procedure of the diagnosis area information generation process.
  • FIG. 12 is a diagram showing an example of the diagnosis region requiring diagnosis area extraction screen.
  • FIG. 13 is a diagram showing an example of an HE dye weight distribution chart.
  • FIG. 14 is a diagram showing a spectrum (absorbance value) of cell nuclei.
  • FIG. 15 is a diagram showing an example of the diagnosis-required area.
  • FIG. 16 is a diagram for explaining the identification principle of the blood vessel region.
  • FIG. 17 is a schematic view showing another example of the diagnosis-required area.
  • FIG. 18 is an explanatory view for explaining the calculation principle of the degree of irregularity of the nuclear boundary.
  • FIG. 19 is an explanatory view for explaining the calculation principle of the fiber density.
  • FIG. 20 is an explanatory view for explaining the calculation principle of the degree of shape irregularity.
  • FIG. 21 is a diagram showing an example of the cancer probability degree estimation table.
  • FIG. 22 is a flowchart showing the procedure of the pathologist selection process.
  • FIG. 23 is a view showing an example of the data configuration of the pathologist DB.
  • FIG. 24-1 is a diagram of an example of a diagnostic organ / tissue data set.
  • FIG. 24-2 is a diagram of another example of a diagnostic organ / tissue data set.
  • FIG. 25 is a diagram showing an example of sample attribute information and diagnosis required area information.
  • FIG. 26 is a diagram showing an example of a diagnosis availability response request displayed on the screen of the pathological diagnosis device.
  • FIG. 27 is a diagram showing an example of an accessible notification displayed on the screen of the pathological diagnosis device.
  • FIG. 28 is a diagram showing an example of notification that the capacity displayed on the screen of the pathological diagnosis device has been reached.
  • FIG. 29 is a view showing an example of the H dye amount image.
  • FIG. 30 is a view showing an example of the E dye amount image.
  • FIG. 31 is a view showing an example of a digital stain image.
  • FIG. 32 is a diagram showing an example of a diagnosis screen.
  • FIG. 33 is a diagram showing an example of a report creation screen.
  • FIG. 1 is a block diagram showing an example of the entire configuration of a pathological diagnosis system 1 according to the present embodiment.
  • the pathological diagnosis system 1 includes a virtual slide microscope 2 as an observation unit, a stained sample DB 4, an information distributor 5 which is a diagnostic information distribution device, a pathologist DB 6, and a pathological diagnostic device 7 ( 7-1, 7-2, 7-3, ...) and an information integration unit 8.
  • the information distributor 5, the pathologist DB 6, the pathological diagnosis device 7, and the information integrator 8 are connected via the network N.
  • the information delivery unit 5, the pathological diagnosis device 7, and the information integration unit 8 are a CPU, a main storage device such as a main memory, an external storage device such as a hard disk and various storage media, a communication device, an output device such as a display device or a printing device It can be realized by a known hardware configuration provided with an input device, an interface device for connecting each part, or an external input, etc.
  • a general purpose computer such as a work station or a personal computer can be used.
  • the network N various communication networks such as a telephone line network, the Internet, a LAN, a dedicated line, an intranet and the like can be adopted appropriately and used.
  • the virtual slide microscope 2 is a microscope apparatus to which a virtual microscope system is applied, and images a sample to be observed to generate a virtual slide image.
  • the range (field range) that can be observed at one time is mainly determined by the magnification of the objective lens.
  • magnification of the objective lens is higher, a high definition image can be obtained, but the field of view becomes narrower.
  • the sample image is imaged and imaged part by part using a high magnification objective lens
  • a virtual microscope system that generates high-resolution and wide-field images by joining together part-by-part images.
  • the virtual slide image is an image of high definition and wide field of view generated by this virtual microscope system. According to this virtual microscope system, observation can be performed even in an environment where no sample actually exists.
  • the generated virtual slide image is made publicly viewable via a network, the specimen can be observed regardless of time or place.
  • this virtual microscope system has begun to be used in consultations such as a second opinion performed between pathologists located at remote places as described above.
  • the virtual slide microscope 2 uses a biological tissue sample (hereinafter referred to as a "stained sample”) such as a pathological sample that has been stained by H & E as an observation target. Then, the virtual slide microscope 2 performs multiband imaging of the stained sample to be observed, and generates a multiband virtual slide image (spectral spectrum image) having multispectral information.
  • a biological tissue sample hereinafter referred to as a "stained sample”
  • a pathological sample that has been stained by H & E
  • the virtual slide microscope 2 performs multiband imaging of the stained sample to be observed, and generates a multiband virtual slide image (spectral spectrum image) having multispectral information.
  • the stained sample DB 4 is a database (DB) in which data on the stained sample for which the virtual slide image has been generated by the virtual slide microscope 2 is accumulated.
  • the stained specimen DB 4 includes, for example, specimen attribute information on the stained specimen, a specimen image of the stained specimen including the virtual slide image (hereinafter referred to as “stained”, in association with the stained specimen ID which is identification information for specifying the stained specimen.
  • Image data of a sample image a specimen image of the stained specimen including the virtual slide image
  • diagnosis required area information e.g., provided information, and diagnosis result integrated information are registered and stored.
  • the sample attribute information, the image data of the stained sample image, the diagnosis-required region information, the provided information, and the diagnostic result integrated information are collectively referred to as “stained sample information” as appropriate.
  • the information delivery unit 5 extracts the diagnosis required area from the virtual slide image, refers to the pathologist information registered in the pathologist DB 6, and searches for a pathologist who is most suitable for obtaining an opinion on the diagnosis required area. Then, the virtual slide image is processed in accordance with the observation procedure of a pathologist (hereinafter referred to as "requested pathologist") finally determined as a request destination for diagnosis, and the provided information is created, and the corresponding pathological diagnosis device 7 Deliver to.
  • a pathologist hereinafter referred to as "requested pathologist”
  • the pathologist DB 6 is a database in which data concerning a pathologist is accumulated.
  • this pathologist DB 6 as a pathologist memory unit, for example, in association with a pathologist ID for identifying a pathologist, for example, affiliation, contact information, career, specialized field, cases diagnosed in the past (past cases), Observation procedures, schedules, etc. are registered as appropriate.
  • the pathological diagnosis device 7 is a terminal device used by a pathologist registered in the pathologist DB 6 for diagnosis, and is installed, for example, in a medical facility where the pathologist works.
  • the pathological diagnosis device 7 is for a pathologist to make a diagnosis while browsing provided information etc., and returns a diagnosis result, a finding etc., and displays the provided information etc. distributed from the information distributor 5.
  • the diagnostic report information corresponding to the operation input is created and transmitted to the information integration unit 8.
  • the information integration unit 8 acquires staining specimen information of the staining specimen corresponding to the diagnosis report information transmitted from the pathological diagnosis device 7 from the staining specimen DB 4 and integrates these to create definitive diagnosis result information .
  • FIG. 2 is a schematic view for explaining a configuration example of the virtual slide microscope 2.
  • the optical axis direction of the objective lens 27 shown in FIG. 2 is defined as the Z direction
  • a plane perpendicular to the Z direction is defined as the XY plane.
  • the virtual slide microscope 2 has a motorized stage 21 on which the stained sample S to be observed is placed, and a substantially C shape viewed from the side, and supports the motorized stage 21 and a revolver 26.
  • the light source 28 disposed behind the bottom of the microscope body 24 (rightward in FIG. 2), and the lens barrel 29 mounted on the top of the microscope body 24. Equipped with, a binocular unit 31 for visually observing a sample image of the stained sample S and a TV camera 32 for capturing a sample image of the stained sample S are attached to the lens barrel 29.
  • the motorized stage 21 is configured to be movable in the XYZ directions. Specifically, the motorized stage 21 is movable in the XY plane by the motor 221 and an XY drive control unit 223 that controls the drive of the motor 221. Under control of the microscope controller 33, the XY drive control unit 223 detects a predetermined origin position on the XY plane of the motorized stage 21 by an origin sensor at an XY position (not shown), and uses this origin position as a base point to drive the motor 221 Move the observation point on the stained sample S. Then, the XY drive control unit 223 appropriately outputs the X position and the Y position of the motorized stage 21 at the time of observation to the microscope controller 33.
  • the motorized stage 21 is movable in the Z direction by a motor 231 and a Z drive control unit 233 that controls the drive of the motor 231.
  • the Z drive control unit 233 detects a predetermined origin position in the Z direction of the motorized stage 21 by an origin sensor (not shown) at the Z position, and uses this origin position as a base point to drive the motor 231 Controls the focusing specimen S to any Z position within a predetermined height range. Then, the Z drive control unit 233 appropriately outputs the Z position of the motorized stage 21 at the time of observation to the microscope controller 33.
  • the revolver 26 is rotatably held relative to the microscope main body 24, and the objective lens 27 is disposed above the stained sample S.
  • the objective lens 27 is exchangeably mounted on the revolver 26 together with other objective lenses having different magnifications (observation magnifications), and is inserted into the light path of the observation light according to the rotation of the revolver 26.
  • the objective lens 27 used for observation is selectively switched.
  • the revolver 26 is an objective lens 27 having a relatively low magnification, such as 2 ⁇ or 4 ⁇ (hereinafter referred to as “low magnification objective lens” as appropriate), 10 ⁇ , or the like.
  • At least one objective lens (hereinafter appropriately referred to as a “high-magnification objective lens”) having a high magnification with respect to the magnification of the low-magnification objective lens such as 20 ⁇ and 40 ⁇ is held at least one by one.
  • the low and high magnifications are merely examples, and at least one of the magnifications may be higher than the other.
  • the microscope main body 24 incorporates an illumination optical system for transmitting and illuminating the stained sample S at the bottom.
  • the illumination optical system includes a collector lens 251 for condensing illumination light emitted from the light source 28, an illumination system filter unit 252, a field stop 253, an aperture stop 254, and an optical path of illumination light along the optical axis of the objective lens 27.
  • the deflecting mirror 255, the condenser optical element unit 256, the top lens unit 257, etc. are arranged at appropriate positions along the optical path of the illumination light.
  • the illumination light emitted from the light source 28 is irradiated onto the stained sample S by the illumination optical system, and enters the objective lens 27 as observation light.
  • the microscope main body 24 has the filter unit 30 installed therein at the upper part thereof.
  • the filter unit 30 is for limiting the wavelength band of light imaged as a sample image to a predetermined range, and is used when the TV camera 32 performs multiband imaging of a sample image.
  • the observation light having passed through the objective lens 27 is incident on the lens barrel 29 via the filter unit 30.
  • the filter unit 30 includes, for example, a tunable filter, a filter controller that adjusts the wavelength of light passing through the tunable filter, and the like.
  • the tunable filter is a filter that can electrically adjust the wavelength of transmitted light, and can select, for example, a wavelength band of any width (hereinafter referred to as “selected wavelength width”) of 1 nm or more. Use the one. Specifically, commercially available ones such as a liquid crystal tunable filter “VariSpec (varispec)” manufactured by Cambridge Research and Instrumentation, Inc. can be used as appropriate.
  • image data of the specimen image is obtained as a multiband image.
  • the pixel value of each pixel constituting the obtained image data corresponds to the light intensity in the wavelength band arbitrarily selected by the tunable filter, and the pixel value of the wavelength band selected for each point of the stained sample S is can get.
  • each point of the stained sample S refers to each point on the stained sample S corresponding to each pixel of the projected imaging element, and in the following, in the image data from which each point on the stained sample S is obtained It corresponds to each pixel position.
  • the selection wavelength width of the tunable filter in multiband imaging may be set in advance, and any value can be set.
  • the filter unit 30 may be configured by applying the imaging method disclosed in Japanese Patent Laid-Open No. 7-120324. That is, a configuration may be adopted in which a predetermined number (for example, 16) of band pass filters are rotated by the filter wheel to be switched, and a configuration in which the staining specimen S is subjected to multiband imaging by a surface sequential method.
  • the lens barrel 29 is internally provided with a beam splitter 291 that switches the optical path of observation light that has passed through the filter unit 30 and guides it to the binocular unit 31 or the TV camera 32.
  • a specimen image of the stained specimen S is introduced into the binocular unit 31 by the beam splitter 291 and visually observed by the observer via the eyepiece lens 311.
  • the image is captured by the TV camera 32.
  • the TV camera 32 includes an imaging device such as a CCD or CMOS for imaging a specimen image (more specifically, the visual field range of the objective lens 27), picks up the specimen image, and controls the image data of the specimen image.
  • the virtual slide microscope 2 includes a microscope controller 33 and a TV camera controller 34.
  • the microscope controller 33 centrally controls the operation of each part of the virtual slide microscope 2.
  • the microscope controller 33 rotates the revolver 26 to switch the objective lens 27 disposed on the optical path of the observation light, controls the light control of the light source 28 according to the magnification of the switched objective lens 27, etc.
  • Adjustment of each part of the virtual slide microscope 2 accompanied with observation of the stained sample S such as switching of the lens or movement instruction of the motorized stage 21 to the XY drive control unit 223 or Z drive control unit 233, Notify 35
  • the TV camera controller 34 drives the TV camera 32 by performing automatic gain control ON / OFF switching, gain setting, automatic exposure control ON / OFF switching, exposure time setting, etc. Control the imaging operation of the TV camera 32.
  • the virtual slide microscope 2 includes a control unit 35 stored in an appropriate place in the apparatus, and controls the operation of each part constituting the virtual slide microscope 2 to control the virtual slide microscope 2 in a centralized manner.
  • the control unit 35 is configured by a microcomputer or the like, and is connected to the operation unit 351, the display unit 353, the storage unit 355, and the like.
  • the operation unit 351 is realized by various operation members such as a button switch, a slide switch, a dial, a touch panel, a keyboard, a mouse, and the like.
  • the display unit 353 is realized by an LCD, an EL display, or the like.
  • the storage unit 355 is realized by various IC memories such as ROM and RAM such as flash memory capable of updating and storing, hard disk connected with built-in or data communication terminal, information storage medium such as CD-ROM and reading device thereof etc. A program necessary for the operation of the slide microscope 2 and data used during the execution of this program are stored.
  • the control unit 35 stores the input signal input from the operation unit 351, the state of each part of the virtual slide microscope 2 input from the microscope controller 33, the image data input from the TV camera 32, and the storage unit 355.
  • the operation instruction of each part of the virtual slide microscope 2 is given to the microscope controller 33 and the TV camera controller 34 based on the program, data, etc., and the operation of the entire virtual slide microscope 2 is totally controlled.
  • the virtual slide microscope 2 also has an AF (automatic focus) function, and the control unit 35 evaluates the contrast of the image at each Z position based on the image data input from the TV camera 32, An AF process is performed to detect the in-focus position (in-focus position).
  • the control unit 35 acquires a low resolution image and a high resolution image of a sample image to generate a virtual slide image.
  • the virtual slide image is an image generated by joining together one or more images captured by the virtual slide microscope 2.
  • the stained specimen S is imaged part by part using a high-magnification objective lens
  • This low resolution image is acquired as an RGB image, for example, using a low magnification objective lens for observation of the stained sample S.
  • the control unit 35 instructs the operation of each part of the virtual slide microscope 2 to acquire a high resolution image of the sample image.
  • This high resolution image is acquired as a multiband image using a high magnification objective lens for observation of the stained sample
  • FIG. 3 is a block diagram showing an example of a functional configuration of the information distributor 5.
  • the information distributor 5 includes an input unit 51, a display unit 52, a communication unit 53, an image processing unit 54, a storage unit 55, and a control unit 56 that controls each unit of the apparatus. .
  • the input unit 51 is realized by, for example, a keyboard, a mouse, a touch panel, various switches, and the like, and outputs an input signal corresponding to an operation input to the control unit 56.
  • the display unit 52 is realized by a flat panel display such as an LCD or an EL display, or a display device such as a CRT display, and displays various screens in accordance with display signals input from the control unit 56.
  • the communication unit 53 performs data communication with the outside via the network N shown in FIG.
  • the communication unit 53 is realized by a modem, a TA, a jack of a communication cable, a control circuit, and the like.
  • the image processing unit 54 is realized by hardware such as a CPU.
  • the image processing unit 54 includes a diagnostic region extraction processing unit 541 as diagnostic region extraction unit, diagnostic region information creation unit 542 as feature amount calculation unit and statistical amount calculation unit, and cancer probability degree estimation unit 543. And a provision information creation unit 544 as provision information creation means.
  • the diagnosis-required region extraction processing unit 541 extracts a diagnosis-required region which is a region requiring a second opinion from the stained specimen image of the stained specimen to be diagnosed.
  • the diagnosis-required region information creation unit 542 calculates a predetermined feature amount of the diagnosis-required region extracted by the diagnosis-required region extraction processing unit 541, and calculates a predetermined statistic based on the calculated feature amount.
  • the cancer possibility degree estimation unit 543 estimates the cancer possibility degree of the diagnosis requiring region based on the statistic calculated by the diagnosis requiring region information generation unit 542.
  • the provided information creation unit 544 is searched by the later-described pathologist search unit 561 of the control unit 56, and based on the observation procedure of the request destination pathologist determined to request the diagnosis by the diagnosis request availability determination unit 562 described later. Create provided information according to the requested pathologist.
  • the provided information generation unit 544 includes an image processing unit 545 as an identification image generation unit and a pigment amount image generation unit.
  • the image processing processing unit 545 processes the virtual slide image of the stained sample to be diagnosed according to the observation procedure of the requested pathologist.
  • the storage unit 55 is realized by various IC memories such as ROM and RAM such as flash memory capable of updating and storing, hard disk connected with built-in or data communication terminal, information storage medium such as CD-ROM and the reader thereof.
  • IC memories such as ROM and RAM
  • flash memory capable of updating and storing
  • information storage medium such as CD-ROM and the reader thereof.
  • a program for operating the information delivery unit 5 to realize various functions of the information delivery unit 5, data used during execution of the program, etc. are temporarily or permanently Is stored in
  • the control unit 56 is realized by hardware such as a CPU.
  • the control unit 56 is an information distributor 5 based on an input signal input from the input unit 51, a program or data stored in the storage unit 55, or various information obtained from the stained specimen DB 4 or the pathologist DB 6 and the like. Command to each part constituting the data transfer, etc. to control the overall operation of the information distributor 5 as a whole.
  • control unit 56 includes a pathologist search unit 561, a diagnosis request availability determination unit 562, and a provided information distribution processing unit 563 as a provided information distribution unit.
  • the pathologist search unit 561 and the diagnosis request availability determination unit 562 function as a pathologist selection unit.
  • the pathologist search unit 561 is registered in the pathologist DB 6 based on, for example, the sample attribute information acquired from the stained sample DB 4 and the cancer possibility degree of the diagnosis region required by the cancer possibility degree estimation unit 543.
  • the pathologist who requests the diagnosis is referred to with reference to the pathologist information which is present, and candidates for the pathologist requested (hereinafter, referred to as “requested candidate pathologist”) are selected.
  • the diagnosis request availability determination unit 562 notifies the diagnosis availability response request of the request destination candidate pathologist who has been searched and selected by the pathologist search unit 561 and responds to the diagnosis availability response request, and the pathological diagnosis is performed. Based on the acceptance / rejection information notified from the device 7, the requested pathologist is determined.
  • the provided information distribution processing unit 563 distributes the provided information created by the provided information creating unit 544 to the pathological diagnosis apparatus 7 of the request destination pathologist determined by the diagnosis request availability determination unit 562.
  • FIG. 4 is a diagram showing a data flow in the pathological diagnosis system 1.
  • sample attribute information of a stained sample to be observed is acquired by the virtual slide microscope 2, and a virtual slide image of the stained sample is generated.
  • the acquired specimen attribute information and the image data (D1) of the stained specimen image including the generated virtual slide image are transmitted to the stained specimen DB 4 and registered as staining specimen information (a1) ).
  • the sample attribute information includes organ type, tissue type of interest, staining method, patient information, urgency (not shown in FIG. 4, see FIG. 25) and the like.
  • sample attribute information and stained sample image (D3) which are stained sample information of a stained sample to be diagnosed, are obtained from the stained sample information registered in the stained sample DB 4 as described above.
  • diagnosis region information necessary for diagnosis is created.
  • the diagnosis required area information is information on the diagnosis required area extracted in the stained sample image, and is created for each extracted diagnosis required area.
  • the diagnosis-required region information includes position information, a gravity center position, a feature amount, a statistic, a cancer probability, and the like.
  • the feature amount is, for example, a pigment amount, a color information correction coefficient, component information on cell nuclei, fibers, blood vessels, and the like.
  • the statistic is, for example, a nuclear statistic, a fiber statistic, a blood vessel statistic and the like.
  • the degree of cancer probability includes a grade as appropriate.
  • pathologist information includes the history and specialty of the relevant pathologist, past cases about organs and tissues, observation techniques, schedules, etc.
  • the provided information is a stained sample image based on the observation technique of this pathologist information Created by processing the image data of For example, the provided information is an RGB image, a pigment amount image, a digital stain image, a pseudo differential interference image, or the like.
  • the provided information is individually created based on the observation technique of the pathologist information that corresponds to each of the request destination pathologists.
  • the specimen attribute information, the stained specimen image, the diagnosis required area information, and the provided information (D7) of the stained specimen to be diagnosed acquired or created in the information distributor 5 are the pathological diagnosis device 7 of the request destination pathologist as the diagnostic information. Distributed to (a7). When there are two or more requested pathologists, data D7 (provided information according to the provided pathologists (provided information according to the requested pathologist (pathologist of the delivery destination pathologic diagnosis apparatus 7)) Will be delivered.
  • diagnosis-required region information and the provided information (D9) created in the information distributor 5 are transmitted to the stained sample DB 4 and additionally registered as stained sample information of the stained sample to be diagnosed (a9).
  • data D7 which is the distributed diagnostic information is displayed, for example, on the screen and presented to the requested pathologist.
  • the requested pathologist makes a diagnosis while looking at the presented data D7, and inputs a diagnosis result.
  • diagnostic report information is created based on the diagnostic result input by the requested pathologist in this way, and this diagnostic report information (D11) is transmitted to the information integration device 8 (see FIG. a11). Diagnostic report information includes findings and diagnostic results.
  • the diagnostic content information (D13) diagnosed by the request destination pathologist is transmitted to the pathologist DB 6, and the pathologist information (for example, past cases) of the request destination pathologist is updated (a13).
  • the information integrator 8 acquires, from the stained sample DB 4, sample attribute information which is stained sample information of a stained sample to be diagnosed, a stained sample image, diagnosis required area information and provided information (D 15) (a 15). It is integrated with the diagnostic report information (D11) transmitted from the pathological diagnostic device 7 to create definite diagnostic result information. The confirmed diagnostic result information (D17) created is transmitted to the stained sample DB 4 and additionally registered as stained sample information of the stained sample to be diagnosed (a17).
  • FIG. 5 is a flowchart showing the processing procedure performed by the virtual slide microscope 2.
  • the control unit 35 first acquires specimen attribute information of the stained specimen S according to the user operation (step b 1). For example, the control unit 35 displays a sample attribute input screen on the display unit 353 and performs a process of notifying a sample attribute registration request.
  • the item of sample attribute includes the type of organ from which the sample was collected (type of organ), type of tissue to be noted (type of target tissue), type of staining applied to the stained sample S (staining method), name of the patient And patient information such as gender, age, and past medical history.
  • the control unit 35 acquires, as sample attribute information, the attribute value for each sample attribute input by the user.
  • control unit 35 also receives an input of the degree of urgency for the diagnosis of the stained sample S and acquires it as sample attribute information.
  • the input is accepted in three stages of "urgent”, "hurry” and "normal”, and the value of urgency is “1” when “urgent” is input and the value of urgency when “urgent” is input. Is set to “2”, and when “normal” is input, the value of urgency is set to “3”.
  • FIG. 6 is a flowchart showing the procedure of the virtual slide image generation process.
  • the control unit 35 outputs, to the microscope controller 33, an instruction to switch the objective lens 27 used for observation of the stained sample S to the low magnification objective lens (step c1).
  • the microscope controller 33 rotates the revolver 26 as needed, and places the low magnification objective lens on the optical path of the observation light.
  • control unit 35 instructs the microscope controller 33 and the TV camera controller 34 to operate the respective units of the virtual slide microscope 2 to acquire a low resolution image (RGB image) of the specimen image (step c3).
  • FIG. 7 is a view showing an example of the slide glass sample 200 placed on the motorized stage 21.
  • the stained sample S on the motorized stage 21 shown in FIG. 2 is mounted on the motorized stage 21 as the slide glass sample 200 in which the stained sample S is mounted on the slide glass 210. Be done.
  • the stained sample S is placed on the sample search range 211 which is a predetermined predetermined area on the slide glass 210 (for example, an area of 25 mm long ⁇ 50 mm wide on the left side of the slide glass 210 in FIG. 7). Be placed.
  • a seal 212 describing information on the stained sample S placed in the sample search range 211 is attached to a predetermined area (for example, the area on the right side of the sample search range 211).
  • a bar code in which a stained sample ID assigned to the stained sample S is coded according to a predetermined standard is printed, and read by a not-shown bar code reader constituting the virtual slide microscope 2.
  • the virtual slide microscope 2 captures an image of the sample search range 211 of the slide glass 210 shown in FIG. Specifically, the size of the field of view defined according to the magnification of the low magnification objective lens switched in step c1 (in other words, the imaging range of the TV camera 32 when the low magnification objective lens is used for observation of the stained sample S)
  • the sample search range 211 is divided based on the above, and the sample image of the sample search range 211 is sequentially imaged by the TV camera 32 for each section while moving the motorized stage 21 in the XY plane according to the divided section size.
  • the image data captured here is output to the control unit 35 as a low resolution image of a sample image.
  • control unit 35 combines the low resolution images for each section acquired in step c3 and sets one image showing the sample search range 211 in FIG. 7 as the slide specimen whole image. Generate (step c5).
  • control unit 35 outputs an instruction to switch the objective lens 27 used for observation of the stained sample S to the high magnification objective lens to the microscope controller 33 (step c7).
  • the microscope controller 33 rotates the revolver 26, and places the high magnification objective lens on the optical path of the observation light.
  • the control unit 35 automatically extracts the sample area 213 in which the stained sample S is actually placed in the sample search range 211 of FIG. 7 based on the slide sample entire image generated in step c5. It decides (step c9).
  • the automatic extraction of the sample area can be performed by appropriately employing a known method. For example, the control unit 35 binarizes each pixel of the entire slide specimen image to determine the presence or absence of the specimen for each pixel, and sets a rectangular region surrounding a pixel range determined to be a pixel showing the stained specimen S as a specimen region. decide.
  • the control unit 35 may receive a sample region selection operation by the user via the operation unit 351, and may determine the sample region according to the operation input.
  • control unit 35 cuts out an image (sample area image) of the sample area determined in step c9 from the slide sample entire image, selects a position at which the in-focus position is to be measured from this sample area image, and selects the focus position. Are extracted (step c11).
  • FIG. 8 is a view showing an example of a sample area image 215 cut out from the slide sample whole image, and FIG. 8 shows an image of the sample area 213 of FIG. 7.
  • the control unit 35 divides the sample area image 215 into a grid shape to form a plurality of small sections.
  • the section size of the small section is determined by the magnification of the high magnification objective lens switched in step c7 (in other words, the imaging range of the TV camera 32 when the high magnification objective lens is used to observe the stained sample S It corresponds to the size of).
  • the control unit 35 selects a subdivision to be a focus position from among the plurality of formed subdivisions. This is because the processing time increases if it is attempted to measure the in-focus position for all the small sections.
  • the control unit 35 for example, randomly selects a predetermined number of small sections from among the respective small sections.
  • the small section to be the focus position may be selected according to a predetermined rule, for example, by selecting a predetermined number of small sections. Further, when the number of small sections is small, all the small sections may be selected as the focus position.
  • control unit 35 calculates center coordinates of the selected small section in the coordinate system (x, y) of the sample area image 215, and converts the calculated center coordinates into the coordinate system (X, Y) of the motorized stage 21. To get the focus position. Note that this coordinate conversion is performed based on the magnification of the objective lens 27 used for observation of the stained sample S, or the number of pixels and the pixel size of the image sensor constituting the TV camera 32, as described in, for example, JP-A-9-281405. This can be realized by applying the known technology described in.
  • the control unit 35 instructs the microscope controller 33 and the TV camera controller 34 to operate each part of the virtual slide microscope 2 to measure the in-focus position of the focus position (step c13).
  • the control unit 35 outputs the extracted focus positions to the microscope controller 33.
  • the virtual slide microscope 2 moves the motorized stage 21 in the XY plane to sequentially move each focus position to the optical axis position of the objective lens 27.
  • the TV camera 32 captures image data of the focus position. The captured image data is output to the control unit 35.
  • the control unit 35 measures the in-focus position (Z position) of the stained sample S at each focus position by evaluating the contrast of the image data at each of the Z positions.
  • this component is used when creating component information on fibers in step e3 of FIG. 11 to be described later, or when generating a pseudodifferential interference image in step f13 of FIG.
  • at least two focal positions other than the in-focus position for example, slightly out of focus are measured.
  • the front focus position and the back focus position are measured.
  • the one focus position measured here is used as the focus position F in step e3 of FIG.
  • the two measured focal positions are used as focal positions F ⁇ and F ⁇ in step f13 of FIG.
  • the focal positions F, F ⁇ and F ⁇ are not limited to the front focal position and the rear focal position, and may be appropriate positions. Further, the number of focal positions other than the in-focus position to be measured is not limited to two, and an appropriate number of focal positions may be measured.
  • the control unit 35 After measuring the in-focus position at each focus position as described above, the control unit 35 subsequently creates a focus map based on the measurement result of the in-focus position at each focus position (step c15). Specifically, the control unit 35 interpolates the in-focus position of the small block not extracted as the focus position in step c11 at the in-focus position of the adjacent focus position, thereby setting the in-focus position for all small blocks. Set and create a focus map. The data of the created focus map is stored in the storage unit 355. Further, at this time, the control unit 35 also performs interpolation calculation on the front focal position and back focal position of the near focus position for the front focal position and back focal position of the small partition not extracted as the focus position. Set the front focus position and back focus position for. The front focal position and the rear focal position in each small section are stored in the storage unit 355 together with the data of the focus map.
  • FIG. 9 is a view for explaining an example of the data configuration of the focus map.
  • the focus map is a data table in which the array number is associated with the motorized stage position.
  • the sequence numbers indicate the respective subsections of the sample area image 215 shown in FIG.
  • the array number indicated by x is a serial number sequentially given to each column along the x direction with the left end as the initial order
  • the array number indicated by y is along the y direction with the uppermost row as the first order Serial numbers assigned sequentially to each line.
  • the array element number shown by z is a value set when producing
  • the motorized stage position is each position of X, Y, Z of the motorized stage 21 set as the in-focus position for the small section of the sample area image indicated by the corresponding array number.
  • the X position and Y position when converted to the coordinate system (X, Y) of 21 correspond to X 11 and Y 11 respectively.
  • the small section focus position set for the (Z position) corresponds to Z 11.
  • the control unit 35 instructs the operation of each part of the virtual slide microscope 2 to the microscope controller 33 or the TV camera controller 34 while referring to the focus map as specimen image generation means, as shown in FIG.
  • the sample image is multiband imaged for each small section of the image to obtain a high resolution image (Step c17).
  • the control unit 35 outputs, to the microscope controller 33, an instruction to set the selected wavelength width of the tunable filter constituting the filter unit 30 to the width at the time of multiband imaging.
  • the virtual slide microscope 2 sets the selected wavelength width of the tunable filter to the width at the time of multiband imaging, and moves the motorized stage 21 while the sample image of each small section of the sample area image Are sequentially captured by the TV camera 32 at each in-focus position.
  • the image data captured here is output to the control unit 35 as a high resolution image of a sample image.
  • high-resolution images of the front focal position and the rear focal position are also acquired based on the front focal position and the rear focal position of each small section.
  • the control unit 35 combines the high resolution images of the small sections of the sample area image acquired in step c17, and generates one image showing the entire area of the sample area 213 of FIG. 7 as a virtual slide image. (Step c19).
  • a wide-field, high-definition multiband image can be obtained that reflects the entire area of the stained sample S.
  • the control unit 35 combines the high resolution images of the small areas in the front focal position, generates a virtual slide image of the front focal position, and generates the high resolution images of the small areas in the rear focal position. Combine and generate a virtual slide image of the back focus position.
  • the control unit 35 synthesizes an RGB image (stained specimen RGB image) based on the multispectral information of the virtual slide image (step c21). Specifically, prior to the synthesis of the stained specimen RGB image, the control unit 35 captures a background without a specimen in a state where the illumination light is irradiated, for example, and acquires a multiband image of the background (illumination light). Then, with the multiband image of the background as I 0 and the multiband image of the stained sample to be diagnosed as I, the spectral transmittance t (x, ⁇ ) of each pixel position is calculated according to the following equation (1).
  • the multiband image I of the stained sample to be diagnosed corresponds to a virtual slide image.
  • the control unit 35 also calculates the spectral transmittance t (x, ⁇ ) of each pixel position for each virtual slide image of the front focal position and the back focal position.
  • x is a position vector representing a pixel of the multiband image
  • is a wavelength.
  • I (x, ⁇ ) represents the pixel value of the pixel position (x) at the wavelength ⁇ of the multiband image I
  • I 0 (x, ⁇ ) represents the pixel position (x) at the wavelength ⁇ of the multiband image I 0 Represents the pixel value of
  • the control unit 35 generates the stained specimen RGB image by converting the spectral transmittance of each pixel position thus obtained into RGB values.
  • the RGB value G RGB (x) is expressed by the following equation (2).
  • G RGB (x) HT (x) (2)
  • H of Formula (2) is a matrix defined by following Formula (3).
  • the matrix H is also referred to as a system matrix, where F represents the spectral transmittance of the tunable filter, S represents the spectral sensitivity of the camera, and E represents the spectral emission of the illumination.
  • F FSE
  • control unit 35 After synthesizing the stained sample RGB image, the control unit 35 completes the virtual slide image generation processing, and returns to step b3 in FIG. 5 to shift to step b5.
  • step b5 in FIG. 5 the control unit 35 sets the virtual slide image generated in step c19 in FIG. 6 and the stained specimen RGB image synthesized in step c21 as image data of a stained specimen image.
  • the data and the sample attribute information acquired in step b1 of FIG. 5 are transmitted to the stained sample DB 4 to notify the writing request. More specifically, the control unit 35 transmits the stained sample ID read from the seal 212 of FIG. 7 together with the sample attribute information and the image data of the stained sample image.
  • the specimen attribute information and the image data of the stained specimen image are correlated with the stained specimen ID in the stained specimen DB 4 and registered and stored in the stained specimen DB 4 as stained specimen information on the stained specimen S.
  • data on the other stained sample S such as data of spectral transmittance of each pixel position calculated in the process of combining the stained sample RGB image is transmitted to the stained sample DB 4 and included in the stained sample information and stored. It is also good.
  • FIG. 10 is a flowchart showing the processing procedure performed by the information distributor 5, the pathological diagnosis device 7, and the information integrator 8.
  • the control unit 56 acquires stained sample information of a stained sample to be diagnosed from the stained sample DB 4 as an image acquiring unit (step d1).
  • the stained sample to be diagnosed is selected, for example, in advance by accepting the selection operation of the stained sample ID by the user.
  • the control unit 56 acquires stained sample information from the stained sample DB 4 based on the stained sample ID selected by the user.
  • the stained specimen information acquired at this time includes at least specimen attribute information and image data of a stained specimen image (virtual slide image and stained specimen RGB image).
  • FIG. 11 is a flowchart showing the procedure of the diagnosis area information generation process.
  • the diagnosis area extraction processing unit 541 first determines the diagnosis area by the user (for example, a pathologist who requested diagnosis of a stained sample to be diagnosed). A selection operation is accepted to extract a diagnosis-required area (step e1). For example, the diagnosis-required region extraction processing unit 541 displays the diagnosis-required region extraction screen on the display unit 52, and performs processing for notifying the user of a selection input request of the diagnosis-required region. Then, the diagnosis necessary area extraction processing unit 541 extracts the diagnosis necessary area according to the user's operation input.
  • the present invention is not limited to this.
  • another apparatus connected to the information distributor 5 via the network N such as the pathological diagnosis apparatus 7 performs a process of extracting the diagnosis-required area, and transmits the extracted position information to the information distributor 5. It may be Then, the information distribution unit 5 may perform the processing after step e3 using the position information of the diagnosis necessary area transmitted from these other devices.
  • the diagnostic area requiring diagnostic may be specified according to the diagnostic area requiring diagnostic information. That is, it is possible to use it in the process after step e3 using the diagnosis necessary area extracted when diagnosis is performed on the stained sample to be diagnosed in the past.
  • FIG. 12 is a diagram showing an example of the diagnosis region requiring diagnosis area extraction screen.
  • the diagnosis-required region extraction screen includes a stained sample image display unit W11.
  • the stained specimen image display unit W11 displays, for example, a stained specimen RGB image acquired in step c21 of FIG.
  • a selection mode menu M11, a memo button B11, a redo button B13, and an OK button B15 are arranged.
  • radio button RB11 capable of alternatively selecting "square”, “auto square”, “ellipse”, “auto ellipse”, “auto picker” or “manual” as the selection mode of the diagnosis required area is arranged.
  • “Square” is a selection mode for selecting a rectangular range on the stained specimen image display unit W11, and is a rectangle selected by the user dragging the mouse on the stained specimen image display unit W11 with the mouse configuring the input unit 51. The range is extracted as a diagnostic area.
  • “Ellipse” is a selection mode for selecting an elliptical (circular) range on the stained sample image display unit W11, and the elliptical (circular) selected by the user dragging on the stained sample image display unit W11 The range of) is extracted as a diagnostic area.
  • "Auto square” is a selection mode for selecting a rectangular range of a predetermined block size, and a rectangular range of a predetermined block size starting from a position clicked by the user is extracted as a diagnosis-required area.
  • the block size is a block size input in an input box IB11 described later.
  • “Auto ellipse” is a selection mode for selecting, for example, an elliptical (circular) range inscribed in a predetermined block size.
  • “Auto picker” is a selection mode that automatically extracts a diagnosis area that needs diagnosis based on the pixel value of the position clicked by the user. For example, from the stained sample RGB image, pixels with similar luminance values to the clicked position are automatically detected. The region of the pixel extracted and extracted is set as the diagnosis required region.
  • “Manual” is a selection mode for manually selecting a diagnosis region required in accordance with the user operation. A closed region selected by dragging on the stained sample image display unit W11 is required starting from the position clicked by the user as a starting point. It is extracted as a diagnostic area.
  • an input box IB11 for inputting a block size is disposed, and a desired value can be set.
  • This block size is the size of the area designated on the stained sample image display unit W11. As shown in FIG. 12, for example, when “3” is input to the input box IB11, one area is 3 ⁇ The size is 3 pixels.
  • an operation procedure in the case of selecting a region by selecting “square” as the selection mode will be described as an example.
  • the user clicks a desired position on the stained specimen image display unit W11 with the mouse configuring the input unit 51, and drags the area on the stained specimen image display unit W11 to be a diagnostic region, specifically, For example, an area where cancer is suspected or an area different from the surrounding area is selected.
  • a marker for example, a marker MK11
  • the user clicks a marker (for example, the marker MK11) indicating the region to make a selection state, and clicks the redo button B13.
  • the marker MK11 is deleted, and the selection operation of the area by the marker MK11 is cancelled.
  • the user can click a marker (for example, marker MK11) indicating a desired area to make a selection state, and click the memo button B11 to enter a comment on the area indicated by the marker MK11.
  • the user wants to add findings, questions, questions, etc. to the selected area, the user can enter the contents, and smooth communication with the requested pathologist can be achieved.
  • new areas can be selected by clicking again on the position of another area on the stained sample image display unit W11 (for example, markers MK13 and MK15) .
  • the OK button B15 is clicked.
  • the diagnosis-needed area extraction processing unit 541 extracts the selected area as a diagnosis-required area as the process of step e1 of FIG.
  • the pixel position surrounded by the marker MK11, the pixel position surrounded by the marker MK13, and the pixel position surrounded by the marker MK15 on the stained sample image display unit W11 are individual diagnosis areas Extract as At this time, the diagnosis-required region extraction processing unit 541 calculates the barycentric position for each of the extracted diagnosis-required regions.
  • a diagnostic area ID specific to each diagnostic area is allocated in accordance with the arrangement order of raster format, and the diagnostic area ID area corresponding to position information in which the pixel position of the diagnostic area is set and the barycentric position is allocated are stored in the storage unit 55 as information related to
  • the diagnosis-needed area information creation unit 542 calculates the feature amount for each diagnosis-required area extracted in step e1 (step e3).
  • the feature amount to be calculated for example, a pigment amount, a color information correction coefficient, component element information and the like can be mentioned.
  • the calculation procedure of each of these feature quantities will be sequentially described. Note that it is not necessary to calculate all of these as feature amounts, and any one or more may be calculated.
  • the feature quantities mentioned here are merely examples, and another value may be calculated based on multispectral information of the virtual slide image, the RGB value of the stained sample RGB image, or the like, and may be used as the feature quantity.
  • the calculated value of the feature amount is stored in the storage unit 55 as information on the diagnosis required area to which the corresponding diagnosis required area ID is assigned.
  • the dye amount is the dye amount of the dye staining the stained sample, and is estimated based on multispectral information possessed by the virtual slide image.
  • the dye amount, the component information about cell nuclei to be described later, and the number of nuclei among the nuclear statistics are exceptionally calculated for all pixel positions constituting the virtual slide image.
  • two kinds of dyes to be estimated are hematoxylin (dye H) and eosin (dye E).
  • a technique for quantitatively evaluating the staining condition is disclosed.
  • the dye amount is estimated by applying known techniques disclosed in these documents.
  • each point on the stained sample corresponds to each pixel position of the obtained image data. Therefore, by performing processing for each pixel of the virtual slide image, it is possible to estimate the dye amount of the dye H and the dye E staining each point on the stained sample.
  • the spectral transmittance t (x, ⁇ ) of each pixel position is calculated according to the above-mentioned equation (1).
  • the spectral transmittance of each pixel position is stored in the stained sample DB 4 and acquired as stained sample information in step d1 of FIG. 10, this may be used.
  • k H ( ⁇ ) and k E ( ⁇ ) are coefficients specific to the substance depending on the wavelength ⁇
  • k H ( ⁇ ) is a coefficient corresponding to the dye H
  • k E ( ⁇ ) Is a coefficient corresponding to dye E.
  • the respective values of k H ( ⁇ ) and k E ( ⁇ ) are spectral characteristic values of the dye H and the dye E staining the stained sample.
  • d H (x) and d E (x) correspond to the pigment amounts of the dye H and the dye E at each sample point of the stained sample corresponding to each pixel position (x) of the multiband image.
  • d H (x) is determined as a relative value to the dye amount when the dye amount of the dye H in the stained sample stained with the dye H alone is “1”.
  • d E (x) is determined as a value relative to the amount of dye E when the amount of dye E in a stained specimen stained with dye E alone is “1”.
  • the pigment amount is also called concentration.
  • equation (4) holds independently for each wavelength ⁇ .
  • equation (4) is a linear form of d H (x), d E (x), and a method for solving this is generally known as multiple regression analysis. For example, if equation (4) is simultaneously established for two or more different wavelengths, these can be solved.
  • the color information correction coefficient is a coefficient for adjusting the dye amount of the dye H and the dye E estimated as described above, and can be calculated by applying a known method.
  • the color information correction coefficient may be determined based on the pigment amount distribution included in a predetermined tissue by applying the method disclosed in the above-mentioned "Color Correction of Pathological Images Based on Dye Amount Quantification”.
  • the color is determined based on the ratio of the dye selectivity to the coefficient showing the poor selectivity of the staining.
  • the information correction coefficient may be determined.
  • the component information sets the region of a predetermined component, such as a cell nucleus, an elastic fiber, or a blood vessel, in the diagnosis-required region, and is created using identification pixel conditions for each component.
  • a predetermined component such as a cell nucleus, an elastic fiber, or a blood vessel
  • component information may be created on components other than these.
  • component information may not be generated for all cell nuclei, elastic fibers and blood vessels. In this case, for which of the cell nucleus, the elastic fiber, and the blood vessel, the component information is to be created, for example, by receiving the user operation via the input unit 51 and creating the component information for the component designated by the user. Good.
  • component information on cell nuclei is created for the entire area of the stained sample image.
  • the dye H selectively stains the cell nucleus, so it is possible to determine from the color information whether it is a pixel of the cell nucleus or not. Therefore, in the first creation method, for example, a threshold value Th B / R for the B value / R value is set in advance as the identification pixel condition of the cell nucleus. Then, first, based on the RGB values of the pixel position of the diagnosis region in the stained sample RGB image, the values of the B value / R value are calculated.
  • the calculated value is subjected to threshold processing using the threshold Th B / R to determine whether each pixel is a pixel of a cell nucleus. Then, a pixel determined to be a cell nucleus is set to be component element information on the cell nucleus.
  • FIG. 13 is a view showing an example of the HE pigment amount distribution chart, in which the abscissa represents the pigment amount of the dye H and the ordinate represents the pigment amount of the dye E, cell nuclei, cytoplasm, red blood cells, elastic fibers and the like in the HE pigment amount space.
  • the distribution of fibers such as collagen fibers and glass is shown.
  • a slide glass 210 in addition to cell nuclei, cytoplasm, red blood cells, and fibers, a slide glass 210 (see FIG.
  • the discrimination boundary can be set by using a classifier such as a support vector machine (SVM). For example, using the dye content R of the dye H and the dye E of each pixel in the diagnosis required region as the feature amount, the discrimination boundary is classified to classify the pixel of the cell nucleus and the pixel other than the cell nucleus. Then, component element information is created using the learned discrimination boundary as a discrimination pixel condition.
  • the dye content R of the dye H and the dye E is an estimated value d ⁇ H (x) of the dye amount of the dye H calculated according to the equation (6) as described above, and an estimated value d ⁇ E (dye) of the dye amount of the dye E Based on x), it calculates according to following Formula (7).
  • the discrimination boundary can be determined so as to maximize the distance to the pattern closest to the boundary among dye content data (patterns) belonging to cell nuclei, cytoplasm, red blood cells, fibers and glass. For this reason, the probability that unknown data is identified is also statistically high. Therefore, by applying this creation method, it is possible to identify pixels of cell nuclei and pixels other than cell nuclei with high accuracy.
  • a threshold Th R with respect to the dye content ratio R is set in advance as a discrimination pixel condition of a cell nucleus.
  • the dye content ratio R is calculated in accordance with the above-mentioned equation (7) for each of the pixels constituting the diagnosis-required region. Then, the calculated value is subjected to threshold processing using a threshold value Th R, and component element information is created by determining whether each pixel is a cell nucleus pixel.
  • a typical spectrum of cell nuclei is set in advance, for example, by acquiring the spectrum of the pixels of cell nuclei in the H & E-stained stained sample. Then, using the similarity of the shape of the spectrum as the identification pixel condition, component element information is created.
  • FIG. 14 is a diagram showing the spectrum of cell nuclei (absorbance value) with the abscissa representing the wavelength (number of wavelengths) and the ordinate representing the absorbance value. In this case, based on the multispectral information of each pixel constituting the diagnosis required region in the virtual slide image, the pixel having a degree of similarity with the shape of the spectrum of FIG. It is determined that the pixel
  • a change rate spectral image of the diagnostic region is generated. .
  • the front focal position or the back focal position measured in step c13 of FIG. 6 is used as the focal position F.
  • the spectral transmittance calculated according to the equation (1) described above in step c21 of FIG. The spectral transmittance of each pixel in the diagnostic area is acquired.
  • a change rate between arbitrary wavelengths ⁇ 1 and ⁇ 2 (rate of change between wavelengths; absolute value of difference in spectral transmittance between predetermined wavelengths) is calculated for each pixel.
  • the wavelength for calculating the rate of change may be selected as appropriate.
  • the pixel value of the pixel at which the calculated inter-wavelength change rate is maximum is “255”
  • the pixel value of the pixel at which the inter-wavelength change rate is zero is “0 (zero)”.
  • Corresponding pixel values are assigned to each pixel to create a change rate spectral image.
  • the pixel of the fiber is extracted by performing selective combination of known image processing such as smoothing, binarization, edge extraction, and morphology (expansion / contraction) on the created change rate spectral image. Then, the extracted pixels are set as component information on fibers.
  • a differential spectral image may be generated instead of the change rate spectral image of the diagnosis region required.
  • the front focal position and the back focal position other than the in-focus position measured in step c13 of FIG. 6 are used as the focal positions F ⁇ and F ⁇ .
  • the spectral transmittance of each pixel in the diagnosis-required area is acquired.
  • a difference in spectral transmittance at a predetermined wavelength ⁇ is calculated between common pixels, and a pixel value corresponding to the amount of difference is assigned to each pixel to generate a difference spectral image.
  • known differential image processing may be appropriately combined selectively with the created differential spectral image, and fiber pixels may be extracted as fiber component information.
  • FIG. 15 is an example of the diagnosis-required area, and shows an area in which a blood vessel is shown at the center.
  • the blood vessels and holes shown in FIG. 15 are identified.
  • the blood vessel lumen in the stained sample and the region (void) in which tissue around the blood vessel is not present appear white as shown in FIG. 15 and appear as a region having high-brightness pixels. Therefore, a high brightness area is extracted from the diagnosis area which is required to be identified and specified as a blood vessel area or a pore area.
  • the high brightness area in the diagnosis area is a blood vessel area or a void area in which no tissue exists. Therefore, based on the RGB values of each pixel of the diagnosis area, the image of the diagnosis area is converted into a gray scale image. Then, the luminance value of each pixel is subjected to threshold processing using a preset threshold value, and a pixel equal to or greater than the threshold value is selected as a high luminance pixel. Thereafter, among the selected high brightness pixels, a connected pixel set is extracted as one high brightness area.
  • a high brightness area having elastic fibers around is specified as a blood vessel area.
  • the outline, center of gravity position, peripheral length, etc. of the extracted high-intensity area are calculated, and the high-intensity area is elliptically approximated to set an ellipse, and a K-times ellipse which is K times this ellipse is set. .
  • FIG. 1 the outline, center of gravity position, peripheral length, etc.
  • the 16 is a diagram for explaining the identification principle of the blood vessel region, and the barycentric position G3 determined for the extracted high luminance region L3 and an ellipse E3 and a K-fold ellipse Ek3 obtained by elliptic approximation of the high luminance region L3. Is shown.
  • the K-fold ellipse is an ellipse having the same center of gravity as the center of gravity and having an area K times that of the ellipse. The value of K can be set appropriately.
  • the high brightness area L3 shown in FIG. 16 corresponds to the area of the blood vessel that appears white at the center in the diagnosis-required area shown in FIG.
  • the positional relationship between the high brightness area and the elastic fiber is determined. Then, when an elastic fiber exists around the contour position of the high brightness area, the high brightness area is specified as a blood vessel area. Specifically, it is determined whether or not a predetermined amount or more of elastic fiber exists in hatched area E31 in FIG. 16 which is divided by the outline of high brightness area L3 and K-fold ellipse Ek3. . For example, the number of elastic fiber pixels in the region E31 is counted, and when the counted number of elastic fiber pixels is equal to or greater than a predetermined threshold value, it is determined that a predetermined amount or more exists. And the pixel of high-intensity area
  • the diagnosis required region information creation unit 542 calculates the statistic for each diagnosis required region based on the calculated feature amount.
  • Examples of statistics to be calculated include statistics on cell nuclei (nuclear statistics), statistics on fibers (fiber statistics), statistics on blood vessels (blood vessel statistics), and the like.
  • the calculation procedure of each of these statistics is demonstrated one by one.
  • it is not necessary to calculate all these as a statistic and it is good also as calculating any one or more.
  • the statistic mentioned here is an example, and another value may be calculated based on the feature amount of the diagnosis required region, and may be used as the statistic.
  • the calculated value of the statistic is stored in the storage unit 55 as information on the diagnosis required area to which the corresponding diagnosis required area ID is assigned.
  • nuclear statistics will be described. At the site of cancer, it is known that cell nuclei are concentrated locally. In addition, cell nuclei change in shape as cancer progresses, such as being distorted as compared with normal cases. Therefore, as the nuclear statistic, for example, the number of cell nuclei (nucleus number) in the diagnostic region to be diagnosed, the distance between cell nuclei (internuclear distance), nuclear atypism and the like are calculated.
  • nucleus pixel a closed region constituted by pixels of the cell nucleus (hereinafter, referred to as "nucleus pixel”) is specified as an individual cell nucleus region.
  • nucleus pixel a closed region constituted by pixels of the cell nucleus
  • the nucleus pixels are divided into connected components, and the divided pixel sets are specified as one cell nucleus region.
  • the connectivity may be determined by using a known method as appropriate. For example, connectivity is determined in the vicinity of eight. Then, by providing a unique label (nuclear label) NL for each connected component, each pixel set for each connected component is specified as a cell nucleus region.
  • a known method may be appropriately adopted as a labeling method. For example, there is a method of labeling each pixel in the order of raster scan (the order of scanning from left to right from the top line of the diagnosis required area downward, from left to right), etc. .. Are assigned in integer numbers (ascending order).
  • nuclear number the number of nuclear regions in the identified stained sample image is counted. In addition, the number of nuclei is counted for each area requiring diagnosis.
  • the barycentric position of each cell nucleus area E41, E42, E43 is calculated.
  • the internuclear distance d 1,2 between the cell nucleus area E41 and the cell nucleus area E42 is represented by the following formula (8).
  • the internuclear distance between the cell nucleus area E41 and the cell nucleus area E43 and the internuclear distance between the cell nucleus area E42 and the cell nucleus area E43 are also calculated.
  • level of nuclear heterogeneity is determined for each identified cell nucleus region.
  • level determination is performed using, for example, the size S of the cell nucleus, the degree of irregularity S of the nuclear boundary, and the degree C of circular distortion as an index indicating how different the shape is from the normal cell nucleus.
  • the size S of the cell nucleus is obtained by counting the number of pixels constituting the corresponding cell nucleus region.
  • the degree of irregularity ⁇ of the nuclear boundary is obtained by calculating the variance of straight lines connecting pixel positions forming the contour of the cell nucleus region.
  • the smaller the variance, the smoother the contour shape, and the degree of irregularity ⁇ of the core boundary is determined by the magnitude of the variance.
  • FIG. 18 is an explanatory view for explaining the calculation principle of the degree of irregularity ⁇ of the nuclear boundary, and shows the cell nucleus region E45 in each of (a) to (c).
  • outline pixels P45 of the cell nucleus area E45 indicated by hatching are extracted.
  • inclinations between adjacent contour pixels P45 are sequentially calculated.
  • FIG. 18B one outline pixel P451 is selected from the extracted outline pixels P45, and first, the selected outline pixel P451 and this outline pixel P451 in, for example, FIG. Attention is focused on the outline pixel P452 adjacent in the clockwise direction indicated by the dashed-dotted arrow in FIG.
  • the inclination of a straight line L451 connecting the contour pixels P451 and P452 is calculated.
  • the outline pixel P451 is a pixel A
  • the outline pixel P452 is a pixel B
  • the coordinates of the pixel A are (x A , y A )
  • the coordinates of the pixel B are (x B , y B )
  • the pixel A and the pixels are expressed by the following equation (9).
  • the contour pixel P452 is set as the pixel A, and the contour pixel P453 adjacent to the contour pixel P452 in the clockwise direction is set as the pixel B, and the inclination between the pixels A and B is calculated. Then, the same process is repeated, and as shown in FIG. 18C, the inclination between all contour pixels P45 is calculated. Then, the variance of the obtained slope is calculated and obtained as the degree of irregularity ⁇ of the nuclear boundary.
  • the circularity is calculated to obtain a circular distortion degree C.
  • the degree of circularity is, for example, a value that is maximized when the shape of the cell nucleus region is a perfect circle, and is obtained as a smaller value as the contour shape becomes more complex.
  • the size and perimeter of the cell nucleus region Calculate the number of
  • the level of nuclear heterogeneity is determined by thresholding the size S of the cell nucleus region calculated as described above, the degree of irregularity ⁇ of the nuclear boundary, and the degree of distortion C of a circle. Specifically, a threshold value to be applied to the size S is set in advance as Th S and the following equation (10) is determined. Further, a threshold value to be applied to the degree of irregularity ⁇ of the nuclear boundary is set in advance as Th ⁇ , and the following equation (11) is determined. Then, a threshold value to be applied to the circular distortion degree C is set in advance as Th C , and the following equation (12) is determined. Then, among the values of the magnitude S, the irregularity degree ⁇ of the nuclear boundary, and the circular distortion degree C, the number corresponding to each of the corresponding equations (10) to (12) is determined as the nuclear heterogeneity degree level.
  • the fiber statistics include, for example, fiber density and the like.
  • closed regions configured by pixels of fibers are specified as individual fiber regions. Specifically, the pixels of the fiber are divided into connected components, and the divided pixel sets are specified as one fiber region.
  • the determination of connectivity is performed in the same manner as the identification of the cell nucleus region described above.
  • the fiber region is specified by the same method as in the case of dividing the above-mentioned nuclear pixel into each connected component. That is, each pixel is labeled in the order of raster scan. For this reason, even if separate fiber regions cross or contact in a part of the region, they can be distinguished because different labels can be given.
  • the density of fibers is calculated based on the positional relationship between the pixels forming the skeleton line of the fiber region subjected to the thinning process and the pixels forming the skeleton line of another fiber region. Specifically, the average distance to the other skeleton line is calculated for all the pixels constituting one skeleton line, and is obtained as the fiber density.
  • FIG. 19 is an explanatory view for explaining the calculation principle of the fiber density, and shows skeletal lines L51 and L53 of two fiber regions. First, with respect to the pixel P5 constituting one of the skeleton lines (skeleton line 1) L51, the distances between all the pixels P53 constituting the skeleton line (skeleton line 2) L53 are calculated.
  • a normal tissue image is prepared for each organ in advance, and the shape feature of the normal tissue The amount may be defined and stored in the storage unit 55. Then, according to the organ type of the stained sample to be diagnosed which is set as the sample attribute information, the normal tissue image and the shape feature of the corresponding organ are read out, and the degree of shape irregularity is calculated by calculating the similarity with these. You may do it.
  • the blood vessel statistics include, for example, the degree of irregular shape.
  • a contour calculated for the high brightness region specified as the blood vessel region and an ellipse obtained by ellipse approximation of the high brightness region are used.
  • FIG. 20 is an explanatory view for explaining the calculation principle of the degree of shape irregularity, in which the high brightness area (see FIG. 16) specified as the blood vessel area L3 and the blood vessel area L3 which is the high brightness area are elliptically approximated.
  • the obtained ellipse E3 is shown.
  • the area of the hatched area E33 in FIG. 20 divided by the outline of the blood vessel area L3 and the ellipse E3 is calculated.
  • the ratio PS of the area area of the area E33 to the area of the ellipse E3 is calculated and obtained as the shape irregularity degree.
  • the ratio PS is expressed by the following equation (13).
  • the shape irregularity degree which is the ratio PS indicates that the shape of the blood vessel is broken as the value is smaller.
  • each of the cancer probability estimating unit 543 calculates each statistic based on the statistics for each diagnosis required area calculated in step e5.
  • the degree of possibility (cancerous degree) of the site appearing in the area requiring diagnosis being cancer is estimated (step e7).
  • the cancer possibility degree estimation unit 543 compares the statistical value of the area requiring diagnosis with the general index (diagnosis index) judged by the pathologist at the time of diagnosis and the rare case in the past. Estimate if it is likely to be cancer.
  • the diagnostic index is set in advance and stored in the storage unit 55. Specifically, this diagnostic index is the type of cancer that is likely to occur, the degeneration state of cell nuclei, fibers, blood vessels, etc.
  • the above-mentioned statistic or a threshold for the value calculated from this statistic Set as
  • values of statistics calculated for stained samples that have been diagnosed as rare cases in the past are set.
  • the degree of cancer probability is, for example, "level 1: the possibility of cancer is very low”
  • level 4: certainly in cancer There are five levels: "Level 5: Suspected rare case”.
  • the diagnostic index is referred to to estimate which of “Level 1” to “Level 4” the cancer probability is.
  • cervical squamous cell carcinoma diagnosis is performed by observing the degree of nuclear density, degree of blood vessel infiltration, and the like. Therefore, for example, threshold values for determining the degree of nuclear density and the degree of infiltration into blood vessels are set as diagnostic indices, and first, nuclear density is determined according to the following procedure based on the number of nuclei and internuclear distance which are nuclear statistics. Determine the degree of the degree.
  • the degree of nuclear density is determined by determining whether two conditions of the number of nuclei and the distance between nuclei are satisfied.
  • the radius r ⁇ of the average area S ⁇ is expressed by the following formula (17). ⁇ is the pi.
  • k is a predetermined coefficient.
  • d ⁇ ⁇ indicates that a symbol ⁇ representing an average value is attached above d.
  • the density level in the case of satisfying both the condition regarding the number of nuclei (the above equation (15)) and the condition regarding the internuclear distance (the above equation (18)) is “3”,
  • the density level is 1 and the density level when none of the above is satisfied is obtained as “1”.
  • the density level obtained here indicates that the higher the value, the higher the density.
  • the degree of infiltration into the blood vessel is determined based on the degree of irregularity in shape, which is a blood vessel statistic.
  • the shape irregularity degree indicates that the shape of the blood vessel is broken as the value is smaller. Therefore, here, for example, the value of the degree of shape irregularity is subjected to threshold processing to determine the degree of infiltration into the blood vessel.
  • a threshold Th PS for the shape irregularity degree that is, the ratio PS described above
  • the following equation (19) is determined. Then, when the following expression (19) is satisfied, it is determined that the degree of infiltration into the blood vessel is large, that is, the shape of the blood vessel is broken.
  • the cancer probability is estimated.
  • a cancer possibility degree estimation table in which the cancer possibility degree is set in advance for each combination is prepared and stored in the storage unit 55, and the cancer possibility degree is obtained by referring to the cancer possibility degree estimation table.
  • FIG. 21 is a diagram showing an example of the cancer probability degree estimation table. In the example of FIG. 21, when the density level is “1” and the value of shape irregularity (ratio PS) is extremely smaller than the threshold Th PS , the cancer probability is estimated as “level 4”. . On the other hand, if the density level is “3” and the value of shape irregularity is equal to or greater than the threshold Th PS , then the cancer probability is estimated as “level 1”.
  • the method of estimating the degree of cancer probability is not limited to the method described above.
  • a normal tissue image and a shape feature amount are set for each organ and stored in the storage unit 55.
  • the degree of possibility of cancer may be estimated by calculating the degree of similarity with the normal tissue image or the shape feature.
  • data used to estimate the degree of cancer probability such as a diagnostic index, a normal tissue image as described above, and a shape feature may be stored as learning data in, for example, the storage unit 55.
  • the cancer probability estimation unit 543 determines that the estimated cancer probability is “level 4: certainly with cancer. It is determined whether there is a diagnostic area requiring diagnosis which is “present”, and if there is a diagnostic area requiring “level 4” (step e9: Yes), the grade is determined for the diagnostic area requiring diagnosis (step e11). If there is no diagnostic area requiring “level 4” (step e9: No), the process moves to step e13.
  • the procedure for determining the grade in step e11 will be described.
  • the deviation ⁇ PS with respect to the condition of the above-mentioned equation (19) is calculated in accordance with the following equation (20), for each diagnosis-required region estimated to be “level 4”.
  • i represents a hierarchy number.
  • each diagnosis necessary area is distributed to any hierarchy.
  • the hierarchy assigned here corresponds to the grade of the diagnosis required area.
  • the grade determined for the area requiring diagnosis where the estimated degree of cancer potential and the degree of cancer probability are “level 4” is stored in the storage unit 55 as information on the area requiring diagnosis where the corresponding diagnosis area ID is assigned. deep.
  • the control unit 56 stores position information for each diagnosis required area stored in the storage unit 55 as information on diagnosis needed areas, Each value of the gravity center position, the feature value, the statistical value, the cancer probability, and the grade determined for the diagnosis required region where the cancer possibility is “level 4” is used as the diagnosis required region information and stained together with the staining specimen ID Send to sample DB 4 to notify write request.
  • the transmitted diagnostic area information necessary for diagnosis is additionally registered in the stained sample DB 4 and the stained sample information on the stained sample to be diagnosed is updated.
  • the process for creating diagnostic region information necessary is completed, and the process returns to step d3 of FIG. 10 to shift to the pathologist selection process of step d5.
  • FIG. 22 is a flowchart showing the procedure of the pathologist selection process.
  • step f1 in the pathologist selection process, first, based on the sample attribute information acquired in step d1 of FIG. 10 and the observation information etc. created in the diagnosis area information creation process shown in FIG. From among pathologists registered in the doctor DB 6, a pathologist who requests a diagnosis is searched (step f1).
  • FIG. 23 is a view showing an example of the data configuration of the pathologist DB 6. As shown in FIG. 23, in the pathologist DB 6, in association with the pathologist ID, the name of the corresponding pathologist, the affiliation to which the medical facility etc.
  • the network ID of the pathological diagnosis device 7 Email address, career, field of expertise, observation technique (observation technique information), diagnostic organs / tissues and grade / number of rare cases that are past cases (diagnosis result information), and schedule (schedule information) are stored.
  • Ru The data of each item constituting the pathologist information is associated and managed using, for example, a relation database or the like.
  • the item which comprises pathologist information is not limited to what was illustrated, It can set suitably.
  • the data configuration of the pathologist DB 6 is not limited to this, as long as it is possible to obtain pathologist information according to the value by specifying the value of each item.
  • observation techniques are stored as data sets and updated each time the relevant pathologist diagnoses the stained sample, as described in detail later. .
  • the observation procedures (data sets A-01 to A-05,...) Store the observation procedures of the corresponding pathologist.
  • a data set of image types at the time of diagnosis is stored as an observation technique.
  • image types at the time of diagnosis include stained sample RGB images, dye amount images, digital stain images, pseudo differential interference images, and the like.
  • image types at the time of diagnosis include stained sample RGB images, dye amount images, digital stain images, pseudo differential interference images, and the like.
  • image types at the time of diagnosis include stained sample RGB images, dye amount images, digital stain images, pseudo differential interference images, and the like.
  • the type of image used for diagnosis differs depending on the pathologist. That is, some pathologists prefer to observe and diagnose dye amount images, and some pathologists prefer to observe and diagnose digital stain images.
  • the image type at the time of diagnosis the type of image used by the corresponding pathologist for diagnosis is set.
  • the data set of the observation technique is appropriately updated, for example, in accordance with a notification from the pathological diagnosis device 7 of the relevant pathologist.
  • FIG. 24A is a diagram of an example of a data set B-1 of a diagnostic organ / tissue of pathologist information whose pathologist ID is “1” shown in FIG. 23.
  • FIG. 24B is a diagram of FIG. It is a figure which shows the other example of dataset B-2 of the diagnostic organ / tissue of pathologist information whose pathologist ID to show is "2".
  • the case record of the tissue of the organ in association with the combination of the type of organ and the type of tissue Times and the ratio are set.
  • the ratio of the case performance (times) to the sum (total number of cases) of the case performance of all combinations of organs and tissues is set.
  • "30” is set as record L61 of the squamous epithelium of the cervix as the case result (round) of squamous epithelium of the cervix
  • the case track record of squamous epithelium of the cervix relative to the total number of cases (round) “0.38” is set as the ratio of
  • a pathologist who corresponds to the pathologist information in FIG. 24A diagnoses a stained sample in which a cervix is set as an organ type and a squamous epithelium is set as a target tissue type.
  • the case record (times) is added and updated in the record L61 of the squamous epithelium of the cervix, and the ratio is calculated and updated based on the updated case records (times).
  • the grade / rare number of cases (data set C-01 to C-05,%) Memorizes the number of grades and the number of rare cases of organs / tissues diagnosed by the corresponding pathologist in the past.
  • the grade is a value determined when the cancer probability is "level 4" as described above, and stores the case performance (times) and the ratio for each grade. That is, when the corresponding pathologist diagnoses a stained sample having a cancer possibility level of “level 4”, the case performance of the grade is added, and the ratio is updated.
  • the number of rare cases stores the case results (times) of rare cases. Specifically, when the corresponding pathologist diagnoses a stained sample having a cancer possibility level of “level 5”, the case performance is added.
  • the schedule (data set D-01 to D-05,%) Stores a schedule for a predetermined period (for example, one month) of the corresponding pathologist.
  • the data set of this schedule is updated with the latest information at an appropriate timing.
  • FIG. 25 is a diagram showing an example of sample attribute information of a stained sample to be diagnosed and diagnosis required area information of a diagnosis required area to be focused on.
  • the organ type is cervix
  • the target tissue type is squamous epithelium
  • the staining method is H & E staining.
  • “1 (emergency)” is set as the emergency degree.
  • the sample attribute information of the stained sample to be diagnosed and the diagnostic area information of the diagnostic area requiring attention for example, the organ type, the tissue type of interest, and the cancer probability (grade is set Search the pathologist based on the grade).
  • the combination of items used for the search is not limited to this, and a pathologist may be searched using another item or a combination of other items as appropriate.
  • the stained sample to be diagnosed Select a pathologist with a high ratio set for organ types and tissue types of interest.
  • the organ type set in the diagnosis required area information is the cervix and the tissue type of interest is the squamous epithelium (see FIG. 25)
  • the data set B of the pathologist information shown in FIG. 24-1 As for 1 the record L61 is referred to.
  • the record L62 is referred to for the data set B-2 of the pathologist information shown in FIG. 24-2.
  • the organ type of the stained sample to be diagnosed and the type of tissue of interest are set among the pathologist information.
  • Select the top N pathologists with the highest ratio. In the following, it is assumed that N 5 (upper 5 people) when the cancer probability is other than “level 4”. When the cancer probability is “level 4”, N is set to a value of 5 or more, for example, 10 (upper 10 people). The large value of N when the cancer probability is "level 4" is to further narrow down the pathologist based on the grade as described below.
  • N is not specifically limited, Two or more values can be set suitably.
  • the value of the ratio selects the top N pathologists, it is also possible to set a threshold in advance and select a pathologist whose value of the ratio is larger than this threshold .
  • the pathologist is selected based on the value of the ratio set in the data set of diagnostic organ / tissue, but the pathologist is selected based on the value of the diagnosis results (times) You may do so.
  • the degree of cancer probability is “level 4”
  • the following processing is performed. That is, referring to the data set of the grade / number of rare cases of the selected pathologist information (data set C-01 to C-05,... In FIG. 23), the diagnosis set for the grade of the diagnosis area information required Select the top M pathologists who have high achievements or rates.
  • the maximum value of M is set as 5 and a maximum of 5 pathologists are selected.
  • the value of M is not specifically limited, Two or more values can be set suitably.
  • the pathologist search unit 561 sets the data set of the pathologist information schedule narrowed as described above (data set D-01 to D-05,... In FIG. 23).
  • a request destination candidate pathologist (step f3).
  • a predetermined number of pathologist information for example, three persons in the present embodiment
  • a predetermined diagnosis period for example, three days
  • Urgency value is below a preset threshold (for example, if it is 2 or less, it is “1 (emergency)” or “2 (hurry)”), and if the diagnosis is urgent, the cancer probability is “level Branch the process depending on whether or not it is 4 ". That is, when the cancer probability is other than “level 4”, a pathologist who is lower than the top N is newly selected.
  • the top six pathologists are sequentially selected, and it is determined whether or not the vacant time exists by referring to the data set of the schedule. Then, a pathologist who has vacant time is set as a request destination candidate pathologist.
  • the probability of cancer is "level 4", a pathologist who was lower than the top M is newly selected, and the schedule for cancer is other than "level 4".
  • a pathologist who has vacant time is set as a candidate candidate pathologist.
  • the urgency value is larger than the preset threshold (for example, "3 (normal)", and it is not urgently required, the diagnosis period is extended to a maximum of one month for each predetermined period (for example, 2 days). While determining the availability of the schedule, the candidate candidate pathologist is selected, and when the predetermined number of candidate candidate pathologists are selected, the process of step f3 is completed.
  • the above is the search method of the pathologist focusing on one diagnosis area, but when a plurality of diagnosis areas are extracted, the degree of cancer possibility set in each diagnosis area is referred to, Identify the highest level of them. Then, the above-described processing is performed using the specified level, and a request destination candidate pathologist is selected.
  • the selection method of a request destination candidate pathologist is not limited to the above-mentioned method.
  • candidate pathologists to be requested may be selected based on the history. For example, with regard to “degree of cancer probability: level 1”, it is also possible to ask a pathologist whose history of diagnosis is younger than his / her history.
  • the diagnosis request availability determination unit 562 notifies a diagnosis availability response request to the pathological diagnosis apparatus 7 of the request destination candidate pathologist selected in step f3 (step f5).
  • the diagnosis request propriety determination unit 562 requests the pathologic diagnosis apparatus 7 to respond to the diagnosis propriety according to the pathologist ID, name, affiliation, network ID and mail address set in the pathologist information of the request destination candidate pathologist. To notify. When a plurality of request destination candidate pathologists are selected, a diagnosis availability response request is notified to the pathology diagnostic apparatus 7 of each request destination candidate pathologist.
  • the pathological diagnosis apparatus 7 having received the diagnosis availability response request displays the received diagnosis availability response request on the screen to prompt selection of diagnosis availability. Then, the standby state is established until the selection of the availability is operated (Step g1: No). If the operation selection is performed (step g1: Yes), the information distribution device 5 transmits the acceptance / rejection information in which the selected content ("acceptable” or "not acceptable (not)") is set (step g3) ).
  • FIG. 26 is a view showing an example of a diagnosis availability response request displayed on the pathological diagnosis device 7 on a screen.
  • the diagnosis availability response request is transmitted, for example, by e-mail, and displayed on the screen as a message prompting selection of the acceptance button B61 or the non-acceptance button N63, and is presented to the pathologist.
  • the pathologist confirms the contents of the request and the response time limit, and clicks the acceptance button B61 when accepting the diagnosis, and clicks the acceptance impossible button B63 when not accepting the diagnosis, and responds to the diagnosis availability response request .
  • the consignability information for which "acceptability” is set is transmitted to the information distributor 5 if the acceptance button B61 is clicked, and the acceptance information for which "impossible to accept” is set is clicked if the acceptance button B63 is clicked. It will be transmitted to the information distributor 5.
  • the diagnosis request availability determination unit 562 determines the number of pathologists who have answered that the acceptance is possible based on the acceptance / non-acceptance information. That is, when "acceptable" is set in the received acceptance / rejection information, the pathologist is determined as a request destination pathologist, and the determined number of request destination pathologists is added. Then, the diagnosis request propriety determination unit 562 proceeds to step f7 while the number of pathologists who have answered that the acceptance is acceptable (the number of confirmed request pathologists) reaches the upper limit number of people (for example, 3) (step f9: No) Return to accept acceptance information.
  • the request destination pathologists are determined in order of arrival from the five request destination candidate pathologists. If the number of requested candidate pathologists selected in step f3 is less than the upper limit number of people (three), all pathologists who have answered that the acceptance is acceptable may be determined as the requested pathologist. Although the upper limit number of people is three here, it may be one or more and may be set appropriately.
  • FIG. 27 is a diagram showing an example of an accessible notification displayed on the screen of the pathological diagnosis device 7. This notification is, as shown in FIG. 27, mailed similarly to the diagnosis availability response request and presented to the pathologist.
  • diagnosis request availability determination unit 562 determines that the upper limit number of people has been reached in step f9 of FIG. 22 (step f9: Yes).
  • diagnosis request pathologist is determined (step f11).
  • FIG. 28 is a diagram showing an example of notification that the capacity displayed on the screen of the pathological diagnosis device 7 has been reached. This notification is, as shown in FIG. 28, mailed similarly to the diagnosis availability response request and presented to the pathologist.
  • step f13 of FIG. 22 the image processing unit 545 of the provided information creation unit 544 refers to the data set of the observation procedure of the request destination pathologist determined in step f11, and processes the virtual slide image according to the observation procedure ( Process to create the provided information.
  • the process of step f13 is performed for each requested pathologist to create provided information suitable for each requested pathologist.
  • the image data of the diagnostic area requiring diagnosis in the stained sample RGB image is cut out based on the position information, and the cut out image data is Process and process to create provided information.
  • an RGB image (normalized RGB image) may be generated in which the pigment amount is normalized using the color information correction coefficient calculated as the feature amount of the observation area.
  • the dye amounts of the dye H and the dye E of each pixel constituting the observation required area are adjusted in accordance with the color information correction coefficient.
  • the formulas for calculating the dye amounts d H * and d E * after adjustment are expressed by the following equations (22) and (23).
  • the dye amounts d H * and d E * thus adjusted are substituted into the above equation (4), and the obtained values are converted into spectral transmittance according to the following equation (24).
  • the spectral transmittance of each pixel position can be obtained from the adjusted dye amounts d H * and d E * .
  • the RGB value G RGB (x) of each pixel is calculated according to the equations (2) and (3) described above, and the dye amount after adjustment
  • the normalized RGB image is synthesized based on d H * and d E * .
  • the processing described above is performed for each observation region to create a normalized RGB image of each observation region as provision information.
  • the dye amount using the color information correction coefficients ⁇ H and ⁇ E in this manner, it is possible to correct an image having the same color as a stained sample stained at a desired density. Therefore, it is also possible to set a value preferred by a pathologist as the value of the color information correction coefficients ⁇ H and ⁇ E.
  • a color information correction factor ⁇ depending on whether you prefer to observe a stained sample stained at a standard concentration, prefer to observe a heavily stained sample, or prefer to observe a lightly stained sample.
  • the value of alpha E may be configured to set as an observation technique pathologist a.
  • the pigment amount of each pixel constituting the observation region is adjusted in the same manner as the above-mentioned procedure,
  • the provided information may be created by combining the RGB image of the observation area required based on the adjusted pigment amount.
  • the pigment amount image is set as the image type at the time of diagnosis, the pigment amount image of the diagnosis necessary region is generated.
  • the dye amount of the dye H at each pixel position of the diagnosis region is read out based on the position information, and the H dye amount image represented by the light and shade.
  • the dye amount of the dye E at each pixel position of the diagnosis region is read out, and an E dye amount image represented by the light and shade is generated.
  • FIG. 29 is a view showing an example of the H pigment amount image of the diagnosis-required region.
  • FIG. 30 is a view showing an example of the E dye amount image of the diagnosis-required region.
  • a digital stain image of a region requiring diagnosis is generated.
  • the digital stain image is an image in which desired components such as cell nuclei, fibers and blood vessels are highlighted as if they were specifically stained. Specifically, first, based on the position information, the image data of the diagnosis-required area in the stained sample RGB image is cut out. Subsequently, with reference to the component information created as the feature amount of the diagnosis region, cell nuclei, fibers and blood vessel pixels are extracted from the image data of the diagnosis region based on the identification pixel conditions of each component.
  • FIG. 31 is a view showing an example of a digital stain image in which elastic fibers are highlighted.
  • a pseudodifferential interference image of a region requiring diagnosis is generated.
  • the pseudo differential interference image is generated by combining virtual slide images having different focus positions. Specifically, for example, the front focal position and the back focal position other than the in-focus position measured in step c13 of FIG. 6 are used as the focal positions F ⁇ and F ⁇ . Then, referring to the spectral transmittance calculated for each pixel position of the virtual slide image at the front focal position and the rear focal position, the pixel whose spectral transmittance at the predetermined wavelength ⁇ is equal to or more than the above threshold is “1” A logical product is calculated between common pixels, with “0” being a pixel less than. Then, the pixel value of the pixel satisfying the logical product is set to “255”, and the pixel value of the pixel not satisfying the logical product is set to “0” to generate a pseudodifferential interference image.
  • the entire area of the stained sample image may be processed to create the provided information.
  • the provided information creating unit 544 transmits the created provided information to the stained sample DB 4 together with the stained sample ID, and notifies a writing request (step f15).
  • the transmitted provided information is additionally registered in the stained sample DB 4, and the stained sample information on the stained sample to be diagnosed is updated.
  • the pathologist selection process is finished, and the process returns to step d5 in FIG. 10 to move to step d7.
  • step d7 the provided information distribution processing unit 563 generates the image data of the sample attribute information and the stained sample image acquired in step d1, the diagnosis region information required in the diagnosis required region information creation process in step d3, FIG.
  • the stained sample information such as the provided information created in step f13 is used as diagnostic information and is distributed to the pathological diagnosis apparatus 7 of the requested pathologist confirmed in step f11 of FIG.
  • the process of step d7 may not be performed immediately after the pathologist selection process of step d5.
  • the pathological diagnosis device 7 of the requested pathologist accesses the information distribution unit 5, and the information distribution unit 5 is accessed. It may be performed at an appropriate timing such as when a diagnosis start request is notified.
  • the pathological diagnosis device 7 displays on the screen the specimen attribute information which is the received diagnostic information, the image data of the stained specimen image, the diagnosis necessary area information, the provided information, etc. (step h1).
  • the pathologist of the pathology diagnostic apparatus 7 observes and diagnoses while viewing diagnostic information such as provided information displayed on the screen, and operates the input device to input a diagnostic result. Then, the pathological diagnostic device 7 creates diagnostic report information according to the operation input (step h3).
  • the pathological diagnostic device 7 displays a diagnostic screen on which sample attribute information, image data of a stained sample image, diagnostic region requiring diagnosis information, provision information, and the like are arranged.
  • FIG. 32 is a diagram showing an example of a diagnosis screen. As shown in FIG. 32, the diagnosis screen includes a whole image display unit W81, diagnosis necessary area display units W831, W832, and W833, and an attached information display unit W85. Further, on this diagnosis screen, a diagnosis completion button B81 is arranged.
  • a stained specimen RGB image generated based on a virtual slide image obtained by combining specimen area section images which are high resolution images is displayed.
  • the stained sample RGB image displayed on the entire image display unit W81 can be partially enlarged / reduced by selecting an enlargement menu or a reduction menu (not shown).
  • the requested pathologist of the pathology diagnostic apparatus 7 actually diagnoses the stained sample to be diagnosed using the high-magnification objective lens with the virtual slide microscope 2 in the entire image display unit W81 in the same manner as the diagnosis target
  • the whole area of the stained sample or the stained sample to be diagnosed can be observed with high resolution in each part.
  • the provided information is obtained by image processing and processing the image data for each diagnosis-required area as described above.
  • the image type at the time of diagnosis is set to "stained specimen RGB image" as the observation technique of the request destination pathologist of the pathological diagnosis device 7
  • the image data of the diagnosis region necessary for cutting out from the stained specimen RGB image Are distributed as provision information
  • the provision information for each of the diagnosis-required areas is displayed on the diagnosis-needed area display portions W831, W832, and W833.
  • the image data for each diagnosis-required area displayed on the diagnosis-required area display sections W831, W832 and W833, respectively, is configured to be appropriately enlarged and displayed on the entire image display section W81 in accordance with the user operation.
  • the attached information display unit W85 displays a list of the contents of the sample attribute information and the diagnosis required area information received together with the provided information.
  • the requested pathologist can refer to the contents of the sample attribute information and the diagnosis required area information in the attached information display unit W85.
  • some pathologists place importance on shape information of cell nuclei, fibers, blood vessels, etc., while other pathologists place importance on other feature quantities or statistics. Therefore, the requested pathologist can perform diagnosis while appropriately referring to the necessary values from among the feature amounts and statistical amounts of the area requiring diagnosis, and therefore, rapid diagnosis can be realized.
  • FIG. 33 is a diagram showing an example of a report creation screen. As shown in FIG. 33, on the report creation screen, necessary items of sample attribute information such as patient information or pathologist information of the requested pathologist who made the diagnosis, and an image of the diagnosis region which is double-clicked Data (provided information) etc. are displayed. Further, the report preparation screen includes a finding entry field W91 and a diagnosis result input unit W93.
  • an input box IB91 for inputting a disease name and an input box IB93 for inputting a grade are disposed, and confirmation for selecting whether diagnosis or unconfirmed is selected.
  • a button B91 and an unconfirmed button B93 are arranged. The requested pathologist clicks the confirmation button B91, for example, when he / she can be sure of the disease name and grade. On the other hand, if in doubt, the user clicks on the unconfirmed button B93.
  • the requested pathologist writes in the finding entry field W91 the finding about the area requiring diagnosis.
  • the response is appropriately made.
  • the finding entry field W91 the requested pathologist inputs the disease name and grade in the input boxes IB91 and IB93 in the diagnosis result input unit W93, and clicks the confirm button B91 or the unconfirmed button B93 to complete the diagnosis of the relevant diagnosis area. .
  • the screen returns to the diagnosis screen of FIG.
  • the requested pathologist performs the same operation to fill in the findings and input the diagnosis result for each area requiring diagnosis.
  • the diagnosis completion button B81 is clicked to complete the diagnosis.
  • the contents of the findings and the diagnosis result for each diagnosis required area when the diagnosis completion button B 81 is clicked is created as diagnosis report information.
  • the diagnosis completion button B 81 it is possible to change the written findings and the inputted diagnostic results. That is, when the diagnosis area display area W 831 is clicked, the report creation screen for the corresponding diagnosis area is displayed again, and the already entered findings and the inputted diagnosis result may be changed, added, or deleted. It is possible.
  • the pathological diagnostic device 7 transmits the diagnostic report information together with the staining sample ID to the information integration unit 8 (step h5).
  • the pathological diagnosis device 7 transmits the sample attribute information and the diagnostic report information as diagnostic content information to the pathologist DB 6 together with the pathologist ID of the pathologist of the pathological diagnostic device 7 to notify the writing request (step h7).
  • the pathologist DB 6 updates the data set of the diagnostic organ / tissue of the corresponding pathologist information according to the organ type of the sample attribute information and the target tissue type.
  • the cancer probability is "level 4" and the grade is determined, or if the cancer probability is "level 5" and the rare case, the data set of the grade / number of rare cases Update
  • the information integrator 8 acquires staining specimen information of the staining specimen to be diagnosed from the staining specimen DB 4 based on the staining specimen ID received together with the diagnostic report information (step i1). Then, the information integration unit 8 integrates the diagnosis report information received from the pathological diagnosis device 7 and the stained sample information acquired in step i1 to create definite diagnosis result information (step i3).
  • the information integration unit 8 receives diagnostic report information from the pathological diagnosis device 7 of each requested pathologist. In this case, the information integration unit 8 integrates the received diagnostic report information from the pathological diagnosis device 7 of each of the received request pathologists, and creates definite diagnosis result information.
  • the information integration unit 8 transmits the created confirmed diagnosis result information together with the stained sample ID to the stained sample DB 4 and notifies a writing request (step i5).
  • the transmitted confirmed diagnostic result information is additionally registered in the stained sample DB 4, and the stained sample information on the stained sample to be diagnosed is updated.
  • the requestee pathologist who requests the diagnosis is selected from the pathologists who operate the plurality of pathologic diagnosis apparatuses, and at least extracted from the sample image
  • the provided information can be created by performing image processing corresponding to the observation procedure of the request destination pathologist, which has been set in advance, on the image data of the required diagnosis region. Then, diagnostic information including the provided information created can be distributed to the pathological diagnosis apparatus of the requested pathologist. Therefore, the requested pathologist of the pathological diagnostic apparatus that has received the diagnostic information can perform the diagnosis by the familiar observation technique, and therefore, a rapid diagnosis by the pathologist can be realized.
  • the pathological diagnosis system 1 of the present embodiment it is possible to extract a diagnosis-required area in a stained sample image for which an opinion is to be sought from another pathologist. Then, a feature amount and a statistic can be calculated for this diagnosis-required region, and the grade of cancer can be estimated by estimating the degree of cancer possibility.
  • sample region information of a stained sample to be diagnosed for example, diagnosis region information such as cancer possibility degree estimated based on statistical amounts of the diagnosis region,
  • diagnosis region information such as cancer possibility degree estimated based on statistical amounts of the diagnosis region
  • the pathologist can be searched based on the pathologist's schedule etc., and the requested pathologist can be determined.
  • the in-charge pathologist When presenting such information as described above for each pathologist, the in-charge pathologist has to select a desired pathologist from a large amount of information, and the operation is complicated, and it takes time for selection. I will.
  • the user pathologist who made the request source
  • the provided data can be created by processing the image data of at least the diagnosis necessary area in accordance with the observation technique of the determined request destination pathologist. Then, diagnostic information including the provided information can be distributed to the pathological diagnosis apparatus of the requested pathologist. Therefore, after processing the image data of the diagnosis required area into an image of a type that the requested pathologist diagnoses and gets used to, the image can be distributed to the pathological diagnosis device 7 of the requested pathologist.
  • the requested pathologist can diagnose similar cases which are his / her special field (special field) and has a history of diagnosis in a normal diagnosis environment, so Can diagnose. According to this, since the consultation such as the second opinion can be performed quickly, the time to the diagnosis determination can be shortened, and the treatment can be started promptly.
  • the feature amount, the statistical amount, the cancer possibility degree, etc. are calculated / estimated at least in the diagnosis area where the requester's pathologist wants to obtain an opinion, and included in the diagnosis information It can be distributed to a pathologist's pathology diagnostic device. Therefore, the requested pathologist can work efficiently while referring to these pieces of information appropriately, and quick diagnosis can be realized.
  • a stained sample RGB image a pigment amount image, a digital stain image, or a pseudodifferential interference image based on the image type at diagnosis set as the observation technique of the requested pathologist.
  • provision information is not limited to this.
  • various information processing such as edge enhancement processing may be performed on the stained sample RGB image to process and process the provided information.
  • the type of image processing to be performed on the stained sample RGB image may be set as an observation technique of a pathologist.
  • the diagnosis-required area information creation unit 542 creates the diagnosis-required area information created by the diagnosis-required area information creation unit 542 and distributes the diagnosis-required information to the pathology diagnostic apparatus 7 of the requesting pathologist.
  • the types of feature amounts and statistics required for diagnosis may be set as observation techniques for each pathologist. Then, only the values of the feature amount and the statistic set as required by the request destination pathologist may be included in the diagnostic information and distributed to the pathological diagnostic device 7.
  • the pathologist is searched based on the sample attribute information of the stained sample to be diagnosed and the diagnosis area information of the diagnosis area to be focused on.
  • priority is set for types of images that can be provided as provided information
  • a pathologist is searched based on the type of image at the time of diagnosis set as an observation procedure in the pathologist DB 6 You may do so.
  • the digital stain image is set as the image type at diagnosis in the data set of the observation technique
  • Pathologist information may first be retrieved from the pathologist DB 6 and narrowed down.
  • a process of selecting candidate client pathologists in the same manner as in the above-described embodiment for the narrowed down pathologist information (specimen attribute information of the stained sample to be diagnosed and diagnosis of the area requiring diagnosis
  • a process of selecting a request destination candidate pathologist based on diagnosis result information or the like may be performed using area information. For example, if it is known in advance that reliable diagnosis results can be expected by diagnosis using high added value observation techniques such as digital stain images, a pathologist who uses digital stain images as an image type at the time of diagnosis It becomes possible to have a more appropriate pathologist diagnose the stained sample to be diagnosed by searching and selecting.
  • the types of images that can be provided as provided information RGB image / pigment amount image / digital stain image / pseudo differential interference image etc. in the example of FIG. 4
  • observation technique of pathologist information choose the most suitable one in combination with the image type at the time of diagnosis. For example, it is assumed that the digital stain image is set as the top priority and the pseudo differential interference image is set as the second highest priority.
  • pathologist information in which a digital stain image is set as an image type at the time of diagnosis in the observation technique data set is selected from the pathologist DB 6 and narrowed down, and then specimen attribute information and diagnosis area information required Use it to select a candidate candidate pathologist.
  • pathologist information for which a pseudo differential interference image is set as an image type at the time of diagnosis is selected from the pathologist DB 6 and narrowed down, and sample attribute information and diagnosis area information are required. Select candidate candidate pathologist using. If the request destination candidate pathologist is not selected, finally, the pathologist information in which other than the digital stain image and the pseudo differential interference image (RGB image or pigment amount image) is set as the image type at the time of diagnosis from the pathologist DB 6 After selecting and narrowing down, candidate candidate pathologists are selected using the sample attribute information and the diagnosis required area information.
  • the requesting facility that requests remote diagnosis / consultation notifies that effect to the receiving facility, and reserves execution of the remote diagnosis by telephone or the like (Step 1).
  • the consignee facility prepares for the implementation of the remote diagnosis at the reservation date and time, and prepares a sufficient system (Step 2).
  • the attending physician at the requesting facility asks the pathologist in charge of the commissioning facility performing the remote diagnosis (consulting physician in charge) the gist of the clinical information of the remote diagnosis case requested, the type and number of specimens to be remotely diagnosed. Tell the purpose etc. (Step 3). Thereafter, when a sample to be remotely diagnosed is actually submitted, the attending physician at the requesting facility notifies the contracting facility by telephone etc. that the preparation of the sample is to be started (step 4).
  • the trustee doctor activates the remote diagnosis system (step 5).
  • the laboratory technician in charge of the requesting facility prepares the sample, captures the image (for example, multiband image), and sends transmission information including the image of the captured sample to the contracting doctor of the trustee facility Do (Step 6).
  • the receiving side doctor in charge of the receiving side facility that has received the transmission information of step 6 displays the image of the sample on the screen, observes it, and makes a diagnosis.
  • the system administrator is requested to add information to the request facility at the requesting facility (Step 7).
  • the contractor-side doctor of the contractor-side facility directly communicates the diagnosis process and the result in step 7 to the attending doctor of the request-side facility by telephone or the like (step 8).
  • the diagnosis result is presented as character information, Be sure to communicate the results to the attending physician at the requesting facility.
  • the laboratory technician at the requesting facility promptly delivers the prepared sample to the trustee doctor at the trustee facility who was in charge of the remote diagnosis by a method such as express delivery (step 9).
  • the doctor in charge of the receiving facility directly observes the received sample using a microscope, and performs diagnosis again to determine whether the remote diagnosis in step 7 is correct (step 10). If it is determined in the process 10 that there is an error in the diagnosis, that effect is notified to the attending physician of the requesting facility without delay (step 11).
  • the diagnostic process and results of the remote diagnosis obtained as described above are stored and recorded in an appropriate electronic medium together with all of the transmission information such as the image of the sample, and can be reproduced immediately if necessary (process 12).
  • the telepathology person in charge of the requesting facility and the doctor in charge of the contracting facility regularly meet directly in front of each other, share information on various internal and external telepathology problems, and have a better management method. Examine how to use it (Step 13).
  • estimation of spectral transmittance is performed for each pixel to generate spectral transmittance image data.
  • This spectral transmittance image data is device-independent (device-independent) color information.
  • the spectral transmittance image data thus obtained is interpreted as a signal (data) that can be treated as a PCS.
  • a spectral transmittance estimation matrix is used.
  • the spectral transmittance estimation matrix itself or information necessary for obtaining the spectral transmittance estimation matrix is included in an input profile which is data relating the image input device to the PCS.
  • the image data in the PCS space can be stored or transmitted without being aware of the characteristics of the device at the output destination.
  • the data capacity becomes large.
  • each of the pixels constituting the image data has data for the number of dimensions in the wavelength direction, it is necessary to store or transmit image data of an amount obtained by multiplying the number of pixels by the number of dimensions. Therefore, in order to suppress an increase in data capacity relating to storage or transmission, both the imaging signal and the input profile described above are stored or transmitted as data, and the image data of the PCS space is read by the device that read or received that data. It is desirable to generate.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

 病理医による迅速な診断を実現する。本発明のある実施の形態において、情報配信器5は、診断対象の染色標本を撮像した染色標本画像から要診断領域を抽出する要診断領域抽出処理部541と、複数の病理診断装置7を操作する病理医の中から診断を依頼する依頼先病理医を確定する診断依頼可否判定部562と、少なくとも要診断領域の画像データに対し、予め設定されている依頼先病理医の観察手技に応じた画像処理を施して提供情報を作成する提供情報作成部544と、依頼先病理医の病理診断装置7に提供情報を少なくとも含む診断情報を配信する提供情報配信処理部563とを備える。

Description

診断情報配信装置および病理診断システム
 本発明は、標本を診断するための診断情報を配信する診断情報配信装置および病理診断システムに関する。
 例えば病理診断では、臓器摘出や針生検によって得た組織検体を厚さ数ミクロン程度に薄切して標本を作成し、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。ここで、生体から採取した検体は光をほとんど吸収および散乱せず、無色透明に近い。このため、標本の作成に際し、色素による染色を施すのが一般的である。
 染色手法としては種々のものが提案されており、その総数は100種類以上にも達する。特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンとの2つを用いるヘマトキシリン-エオジン染色(以下、「H&E染色」と呼ぶ。)が標準的に用いられている。
 H&E染色された病理標本に対する診断では、病理医は、観察したい組織の形状や分布を総合的に判断する。場合によっては、病理標本にH&E染色とは異なる特殊染色を施し、観察したい組織の色を変えて視覚的に強調する手法が臨床的に用いられている。この特殊染色は、例えば、H&E染色では確認が難しい組織を観察する場合や、癌の進行によって観察したい組織の形態が崩れて視認が難しい場合等に用いられる。しかしながら、この特殊染色は、その染色工程に2日~3日を要し、診断を迅速に行えないという問題がある。加えて、特殊染色の実施によって技師による作業工程が増加するという問題もあった。このため、近年では、病理標本を撮像し、得られた画像データを画像処理することによって、実際に特殊染色を施すことなく病理標本内の組織を特定しようとする試みがなされている。
 一方で、医療の現場では、従来から、例えば診断が困難な症例や希少症例等について、他の病理医と意見交換するといったことが行われている。また、近年では、主治医以外の医師に意見を求める所謂セカンド・オピニオンに対する認知度が高まっている。このようなセカンド・オピニオン等のコンサルテーションでは、その症例に応じて意見を求めるのに適した病理医を選ぶ必要がある。加えて、意見を求める病理医に対して診断に必要な情報を提供する必要がある。
 ここで、遠隔地に在る病理医間で行うコンサルテーションに関する技術として、例えば、コンサルティング可能な病理医の専門分野、経歴等の病理医情報を画面に表示し、この病理医情報をもとに担当病理医が選定した病理医に画像情報を送信するようにしたものが知られている(特許文献1を参照)。この特許文献1の技術によれば、担当病理医は、表示された病理医情報をもとに診断を依頼するのに適切な病理医を選定することで、選定した病理医との間での意見交換を行うことができる。
特開平11-195077号公報
 しかしながら、診断の仕方(以下、「観察手技」と呼ぶ。)は多種多様であり、病理医によって異なる場合があった。例えば、上記したような病理標本に対する診断では、一般に病理医は、病理標本を画像化して画面表示し、画面上で観察・診断を行っている。ここで、画像化の手法は1種類ではなく、診断に用いる画像の種類は病理医によって異なる場合があった。病理医は、普段診断に用いているのとは異なる種類の画像では慣れ親しんだ観察手技での診断ができず、診断を迅速に行えないという問題があった。
 本発明は、上記した従来の問題点に鑑みて為されたものであり、病理医による迅速な診断を実現することができる診断情報配信装置および病理診断システムを提供することを目的とする。
 上記した課題を解決し、目的を達成するための、本発明のある態様にかかる診断情報配信装置は、異なる病理医が操作する複数の病理診断装置と通信接続可能に構成され、前記病理診断装置に対して診断情報を配信する診断情報配信装置であって、診断対象の標本を撮像した標本画像を取得する画像取得手段と、前記標本画像から要診断領域を抽出する要診断領域抽出手段と、前記複数の病理診断装置を操作する病理医の中から診断を依頼する依頼先病理医を選択する病理医選択手段と、少なくとも前記要診断領域の画像データに対し、予め設定されている前記依頼先病理医の観察手技に応じた画像処理を施して提供情報を作成する提供情報作成手段と、前記依頼先病理医の前記病理診断装置に前記提供情報を含む診断情報を配信する提供情報配信手段と、を備えることを特徴とする。
 また、本発明の別の態様にかかる病理診断システムは、診断情報配信装置と、異なる病理医が操作する複数の病理診断装置とがネットワークを介して接続された病理診断システムであって、前記診断情報配信装置は、診断対象の標本を撮像した標本画像を取得する画像取得手段と、前記標本画像から要診断領域を抽出する要診断領域抽出手段と、前記複数の病理診断装置を操作する病理医の中から診断を依頼する依頼先病理医を選択する病理医選択手段と、少なくとも前記要診断領域の画像データに対し、予め設定されている前記依頼先病理医の観察手技に応じた画像処理を施して提供情報を作成する提供情報作成手段と、前記依頼先病理医の前記病理診断装置に前記提供情報を少なくとも含む診断情報を配信する提供情報配信手段と、を備え、前記病理診断装置は、前記提供情報を表示部に表示処理する表示処理手段を備えることを特徴とする。
 本発明によれば、病理医による迅速な診断が実現することができるという効果を奏する。
図1は、病理診断システムの全体構成の一例を示すブロック図である。 図2は、バーチャルスライド顕微鏡の構成例を説明する模式図である。 図3は、情報配信器の機能構成の一例を示すブロック図である。 図4は、病理診断システムにおけるデータフローを示す図である。 図5は、バーチャルスライド顕微鏡が行う処理手順を示すフローチャートである。 図6は、バーチャルスライド画像生成処理の処理手順を示すフローチャートである。 図7は、スライドガラス標本の一例を示す図である。 図8は、標本領域画像の一例を示す図である。 図9は、フォーカスマップのデータ構成例を説明する図である。 図10は、情報配信器、病理診断装置および情報統合器が行う処理手順を示すフローチャートである。 図11は、要診断領域情報作成処理の処理手順を示すフローチャートである。 図12は、要診断領域抽出画面の一例を示す図である。 図13は、HE色素量分布図の一例を示す図である。 図14は、細胞核のスペクトル(吸光度値)を示す図である。 図15は、要診断領域の一例を示す図である。 図16は、血管領域の特定原理を説明する図である。 図17は、要診断領域の他の例を示す模式図である。 図18は、核境界の不整度合いの算出原理を説明する説明図である。 図19は、線維密集度の算出原理を説明する説明図である。 図20は、形状不正度の算出原理を説明する説明図である。 図21は、癌可能性度推定テーブルの一例を示す図である。 図22は、病理医選出処理の処理手順を示すフローチャートである。 図23は、病理医DBのデータ構成例を示す図である。 図24-1は、診断臓器/組織のデータセットの一例を示す図である。 図24-2は、診断臓器/組織のデータセットの他の例を示す図である。 図25は、標本属性情報および要診断領域情報の一例を示す図である。 図26は、病理診断装置に画面表示される診断可否返答依頼の一例を示す図である。 図27は、病理診断装置に画面表示されるアクセス可能な旨の通知の一例を示す図である。 図28は、病理診断装置に画面表示される定員に達した旨の通知の一例を示す図である。 図29は、H色素量画像の一例を示す図である。 図30は、E色素量画像の一例を示す図である。 図31は、デジタルステイン画像の一例を示す図である。 図32は、診断画面の一例を示す図である。 図33は、報告書作成画面の一例を示す図である。
 以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態)
 図1は、本実施の形態の病理診断システム1の全体構成の一例を示すブロック図である。図1に示すように、病理診断システム1は、観察部としてのバーチャルスライド顕微鏡2と、染色標本DB4と、診断情報配信装置である情報配信器5と、病理医DB6と、病理診断装置7(7-1,7-2,7-3,・・・)と、情報統合器8とを含む。そして、この病理診断システム1では、情報配信器5と、病理医DB6と、病理診断装置7と、情報統合器8とがネットワークNを介して接続されている。
 情報配信器5、病理診断装置7および情報統合器8は、CPU、メインメモリ等の主記憶装置、ハードディスクや各種記憶媒体等の外部記憶装置、通信装置、表示装置や印刷装置等の出力装置、入力装置、各部を接続し、あるいは外部入力を接続するインターフェース装置等を備えた公知のハードウェア構成で実現でき、例えばワークステーションやパソコン等の汎用コンピュータを利用することができる。また、ネットワークNは、例えば電話回線網やインターネット、LAN、専用回線、イントラネット等の各種通信網を適宜採用して用いることができる。
 バーチャルスライド顕微鏡2は、バーチャル顕微鏡システムを適用した顕微鏡装置であり、観察対象の標本を撮像してバーチャルスライド画像を生成する。顕微鏡装置を用いて標本を観察する場合、1度に観察可能な範囲(視野範囲)は、主に対物レンズの倍率によって決定される。ここで、対物レンズの倍率が高いほど、高精細な画像が得られる反面、視野範囲が狭くなる。この種の問題を解決するため、従来から、標本を載置する電動ステージを動かす等して視野範囲を移動させながら、倍率の高い対物レンズを用いて標本像を部分毎に撮像し、撮像した部分毎の画像を繋ぎ合わせることによって高精細でかつ広視野の画像を生成する、バーチャル顕微鏡システムと呼ばれるシステムがある。バーチャルスライド画像は、このバーチャル顕微鏡システムで生成される高精細かつ広視野の画像のことである。このバーチャル顕微鏡システムによれば、実際に標本が存在しない環境であっても観察が行える。また、生成したバーチャルスライド画像をネットワークを介して閲覧可能に公開しておけば、時間や場所を問わずに標本の観察が行える。近年では、このバーチャル顕微鏡システムは、上記したような遠隔地に在る病理医間で行うセカンド・オピニオン等のコンサルテーションで用いられ始めている。
 より詳細には、本実施の形態のバーチャルスライド顕微鏡2は、H&E染色された病理標本等の生体組織標本(以下、「染色標本」と呼ぶ。)を観察対象とする。そして、バーチャルスライド顕微鏡2は、この観察対象の染色標本をマルチバンド撮像し、マルチスペクトル情報を有するマルチバンドのバーチャルスライド画像(分光スペクトル画像)を生成する。
 染色標本DB4は、バーチャルスライド顕微鏡2によってバーチャルスライド画像が生成された染色標本に関するデータを蓄積したデータベース(DB)である。この染色標本DB4には、例えば染色標本を特定するための識別情報である染色標本IDと対応付けて、その染色標本に関する標本属性情報、バーチャルスライド画像を含む染色標本の標本画像(以下、「染色標本画像」と呼ぶ。)の画像データ、要診断領域情報、提供情報および診断結果統合情報が登録・保存される。以下、これら標本属性情報、染色標本画像の画像データ、要診断領域情報、提供情報および診断結果統合情報を包括して適宜「染色標本情報」と呼ぶ。
 情報配信器5は、バーチャルスライド画像から要診断領域を抽出し、病理医DB6に登録されている病理医情報を参照し、要診断領域について意見を求めるのに最適な病理医を検索する。そして、最終的に診断の依頼先として確定した病理医(以下、「依頼先病理医」と呼ぶ。)の観察手技に従ってバーチャルスライド画像を加工し、提供情報を作成して該当する病理診断装置7に配信する。
 病理医DB6は、病理医に関するデータを蓄積したデータベースである。この病理医DB6には、病理医記憶部として、例えば病理医を識別するための病理医IDと対応付けて、例えば所属や連絡先、経歴、専門分野、過去に診断した症例(過去症例)、観察手技、スケジュール等が適宜登録される。
 病理診断装置7は、病理医DB6に登録されている病理医が診断に用いる端末装置であり、例えば、その病理医の勤務する医療施設に設置される。この病理診断装置7は、病理医が提供情報等を閲覧しながら診断を行い、診断結果や所見等を返信するためのものであり、情報配信器5から配信された提供情報等を表示し、操作入力に応じた診断報告書情報を作成して情報統合器8に送信する。
 情報統合器8は、病理診断装置7から送信された診断報告書情報をもとに該当する染色標本の染色標本情報を染色標本DB4から取得し、これらを統合して確定診断結果情報を作成する。
 ここで、バーチャルスライド顕微鏡2および情報配信器5の構成について順次説明する。図2は、バーチャルスライド顕微鏡2の構成例を説明する模式図である。以下、図2に示す対物レンズ27の光軸方向をZ方向とし、Z方向と垂直な平面をXY平面として定義する。
 図2に示すように、バーチャルスライド顕微鏡2は、観察対象の染色標本Sが載置される電動ステージ21と、側面から見て略C字形状を有し、電動ステージ21を支持するとともにレボルバ26を介して対物レンズ27を保持する顕微鏡本体24と、顕微鏡本体24の底部後方(図2の右方)に配設された光源28と、顕微鏡本体24の上部に載置された鏡筒29とを備える。また、鏡筒29には、染色標本Sの標本像を目視観察するための双眼部31と、染色標本Sの標本像を撮像するためのTVカメラ32が取り付けられている。
 電動ステージ21は、XYZ方向に移動自在に構成されている。具体的には、電動ステージ21は、モータ221およびこのモータ221の駆動を制御するXY駆動制御部223によってXY平面内で移動自在である。XY駆動制御部223は、顕微鏡コントローラ33の制御のもと、図示しないXY位置の原点センサによって電動ステージ21のXY平面における所定の原点位置を検知し、この原点位置を基点としてモータ221の駆動量を制御することによって、染色標本S上の観察箇所を移動させる。そして、XY駆動制御部223は、観察時の電動ステージ21のX位置およびY位置を適宜顕微鏡コントローラ33に出力する。また、電動ステージ21は、モータ231およびこのモータ231の駆動を制御するZ駆動制御部233によってZ方向に移動自在である。Z駆動制御部233は、顕微鏡コントローラ33の制御のもと、図示しないZ位置の原点センサによって電動ステージ21のZ方向における所定の原点位置を検知し、この原点位置を基点としてモータ231の駆動量を制御することによって、所定の高さ範囲内の任意のZ位置に染色標本Sを焦準移動させる。そして、Z駆動制御部233は、観察時の電動ステージ21のZ位置を適宜顕微鏡コントローラ33に出力する。
 レボルバ26は、顕微鏡本体24に対して回転自在に保持され、対物レンズ27を染色標本Sの上方に配置する。対物レンズ27は、レボルバ26に対して倍率(観察倍率)の異なる他の対物レンズとともに交換自在に装着されており、レボルバ26の回転に応じて観察光の光路上に挿入されて染色標本Sの観察に用いる対物レンズ27が択一的に切り換えられる。なお、本実施の形態では、レボルバ26は、対物レンズ27として、例えば2倍,4倍といった比較的倍率の低い対物レンズ(以下、適宜「低倍対物レンズ」と呼ぶ。)と、10倍,20倍,40倍といった低倍対物レンズの倍率に対して高倍率である対物レンズ(以下、適宜「高倍対物レンズ」と呼ぶ。)とを少なくとも1つずつ保持している。ただし、低倍および高倍とした倍率は一例であり、少なくとも一方の倍率が他方の倍率に対して高ければよい。
 顕微鏡本体24は、底部において染色標本Sを透過照明するための照明光学系を内設している。この照明光学系は、光源28から射出された照明光を集光するコレクタレンズ251、照明系フィルタユニット252、視野絞り253、開口絞り254、照明光の光路を対物レンズ27の光軸に沿って偏向させる折曲げミラー255、コンデンサ光学素子ユニット256、トップレンズユニット257等が、照明光の光路に沿って適所に配置されて構成される。光源28から射出された照明光は、照明光学系によって染色標本Sに照射され、観察光として対物レンズ27に入射する。
 また、顕微鏡本体24は、その上部においてフィルタユニット30を内設している。フィルタユニット30は、標本像として結像する光の波長帯域を所定範囲に制限するためのものであり、TVカメラ32によって標本像をマルチバンド撮像する際に用いられる。対物レンズ27を経た観察光は、このフィルタユニット30を経由して鏡筒29に入射する。
 フィルタユニット30は、例えば、チューナブルフィルタや、チューナブルフィルタを透過する光の波長を調整するフィルタ制御器等で構成される。チューナブルフィルタは、透過光の波長を電気的に調整可能なフィルタであって、例えば1〔nm〕以上の任意の幅(以下、「選択波長幅」と呼ぶ。)の波長帯域を選択可能なものを用いる。具体的には、ケンブリッジリサーチアンドインストルメンテーション社製の液晶チューナブルフィルタ「VariSpec(バリスペック)」等、市販のものを適宜用いることができる。このフィルタユニット30を介して染色標本Sの標本像をTVカメラ32の撮像素子上に投影することで、標本像の画像データがマルチバンド画像として得られる。ここで、得られる画像データを構成する各画素の画素値は、チューナブルフィルタによって任意に選択した波長帯域における光の強度に相当し、染色標本Sの各点について選択した波長帯域の画素値が得られる。なお、染色標本Sの各点とは、投影された撮像素子の各画素に対応する染色標本S上の各点のことであり、以下では、染色標本S上の各点が得られる画像データの各画素位置に対応しているものとする。マルチバンド撮像する際のチューナブルフィルタの選択波長幅は予め設定しておけばよく、任意の値を設定できる。
 なお、フィルタユニット30の構成としてチューナブルフィルタを用いた構成を例示したが、これに限定されるものではなく、染色標本Sの各点における光の強度情報が取得できればよい。例えば、特開平7-120324号公報に開示されている撮像方式を適用してフィルタユニット30を構成してもよい。すなわち、所定枚数(例えば16枚)のバンドパスフィルタをフィルタホイールで回転させて切り替える構成とし、面順次方式で染色標本Sをマルチバンド撮像する構成としてもよい。
 鏡筒29は、フィルタユニット30を経た観察光の光路を切り換えて双眼部31またはTVカメラ32へと導くビームスプリッタ291を内設している。染色標本Sの標本像は、このビームスプリッタ291によって双眼部31内に導入され、接眼レンズ311を介して検鏡者に目視観察される。あるいはTVカメラ32によって撮像される。TVカメラ32は、標本像(詳細には対物レンズ27の視野範囲)を結像するCCDやCMOS等の撮像素子を備えて構成され、標本像を撮像し、標本像の画像データを制御部35に出力する。
 そして、バーチャルスライド顕微鏡2は、顕微鏡コントローラ33とTVカメラコントローラ34とを備える。顕微鏡コントローラ33は、制御部35の制御のもと、バーチャルスライド顕微鏡2を構成する各部の動作を統括的に制御する。例えば、顕微鏡コントローラ33は、レボルバ26を回転させて観察光の光路上に配置する対物レンズ27を切り換える処理や、切り換えた対物レンズ27の倍率等に応じた光源28の調光制御や各種光学素子の切り換え、あるいはXY駆動制御部223やZ駆動制御部233に対する電動ステージ21の移動指示等、染色標本Sの観察に伴うバーチャルスライド顕微鏡2の各部の調整を行うとともに、各部の状態を適宜制御部35に通知する。TVカメラコントローラ34は、制御部35の制御のもと、自動ゲイン制御のON/OFF切換、ゲインの設定、自動露出制御のON/OFF切換、露光時間の設定等を行ってTVカメラ32を駆動し、TVカメラ32の撮像動作を制御する。
 また、バーチャルスライド顕微鏡2は、装置内の適所に収められた制御部35を備え、バーチャルスライド顕微鏡2を構成する各部の動作を制御してバーチャルスライド顕微鏡2を統括的に制御する。制御部35は、マイクロコンピュータ等で構成され、操作部351や表示部353、記憶部355等と接続されている。操作部351は、ボタンスイッチやスライドスイッチ、ダイヤル等の各種操作部材、タッチパネル、キーボード、マウス等で実現される。表示部353は、LCDやELディスプレイ等で実現される。記憶部355は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD-ROM等の情報記憶媒体およびその読取装置等で実現され、バーチャルスライド顕微鏡2の動作に必要なプログラムや、このプログラムの実行中に使用されるデータ等が記憶される。
 そして、制御部35は、操作部351から入力される入力信号や、顕微鏡コントローラ33から入力されるバーチャルスライド顕微鏡2各部の状態、TVカメラ32から入力される画像データ、記憶部355に記憶されるプログラムやデータ等をもとに顕微鏡コントローラ33やTVカメラコントローラ34に対するバーチャルスライド顕微鏡2各部の動作指示を行い、バーチャルスライド顕微鏡2全体の動作を統括的に制御する。また、バーチャルスライド顕微鏡2は、AF(自動焦点)の機能を有しており、制御部35は、TVカメラ32から入力される画像データをもとに各Z位置における画像のコントラストを評価し、合焦している焦点位置(合焦位置)を検出するAFの処理を行う。
 この制御部35は、標本像の低解像画像および高解像画像を取得してバーチャルスライド画像を生成する。バーチャルスライド画像は、バーチャルスライド顕微鏡2によって撮像した1枚または2枚以上の画像を繋ぎ合せて生成した画像のことであるが、以下では、高倍対物レンズを用いて染色標本Sを部分毎に撮像した複数の高解像画像を繋ぎ合せて生成した画像であって、染色標本Sの全域を映した広視野で且つ高精細のマルチバンド画像のことをバーチャルスライド画像と呼ぶ。すなわち、制御部35は、バーチャルスライド顕微鏡2各部の動作指示を行って、標本像の低解像画像を取得する。この低解像画像は、染色標本Sの観察に低倍対物レンズを用い、例えばRGB画像として取得される。また、制御部35は、バーチャルスライド顕微鏡2各部の動作指示を行って、標本像の高解像画像を取得する。この高解像画像は、染色標本Sの観察に高倍対物レンズを用い、マルチバンド画像として取得される。
 次に、情報配信器5の構成について説明する。図3は、情報配信器5の機能構成の一例を示すブロック図である。図3に示すように、情報配信器5は、入力部51と、表示部52と、通信部53と、画像処理部54と、記憶部55と、装置各部を制御する制御部56とを備える。
 入力部51は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現され、操作入力に応じた入力信号を制御部56に出力する。表示部52は、LCDやELディスプレイ等のフラットパネルディスプレイ、あるいはCRTディスプレイ等の表示装置によって実現され、制御部56から入力される表示信号に従って各種画面を表示する。通信部53は、図1に示したネットワークNを介して外部とのデータ通信を行う。この通信部53は、モデムやTA、通信ケーブルのジャックや制御回路等によって実現される。
 画像処理部54は、CPU等のハードウェアによって実現される。この画像処理部54は、要診断領域抽出手段としての要診断領域抽出処理部541と、特徴量算出手段および統計量算出手段としての要診断領域情報作成部542と、癌可能性度推定部543と、提供情報作成手段としての提供情報作成部544とを含む。要診断領域抽出処理部541は、診断対象の染色標本の染色標本画像からセカンド・オピニオンが必要な領域である要診断領域を抽出する。要診断領域情報作成部542は、要診断領域抽出処理部541によって抽出された要診断領域の所定の特徴量を算出するとともに、算出した特徴量をもとに所定の統計量を算出する。癌可能性度推定部543は、要診断領域情報作成部542によって算出された統計量をもとに要診断領域の癌可能性度を推定する。提供情報作成部544は、制御部56の後述する病理医検索部561によって検索され、後述する診断依頼可否判定部562によって診断を依頼するとして確定された依頼先病理医の観察手技をもとに依頼先病理医に応じた提供情報を作成する。この提供情報作成部544は、識別画像生成手段および色素量画像生成手段としての画像加工処理部545を備える。この画像加工処理部545は、依頼先病理医の観察手技に従って診断対象の染色標本のバーチャルスライド画像を加工する。
 記憶部55は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD-ROM等の情報記憶媒体およびその読取装置等によって実現される。この記憶部55には、情報配信器5を動作させ、この情報配信器5が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が一時的または永続的に記憶される。
 制御部56は、CPU等のハードウェアによって実現される。この制御部56は、入力部51から入力される入力信号、記憶部55に格納されるプログラムやデータ、あるいは染色標本DB4や病理医DB6から取得される各種情報等をもとに情報配信器5を構成する各部への指示やデータの転送等を行い、情報配信器5全体の動作を統括的に制御する。
 また、制御部56は、病理医検索部561と、診断依頼可否判定部562と、提供情報配信手段としての提供情報配信処理部563とを含む。ここで、病理医検索部561および診断依頼可否判定部562は、病理医選択手段として機能する。病理医検索部561は、例えば染色標本DB4から取得した標本属性情報や癌可能性度推定部543によって推定された要診断領域の癌可能性度等をもとに、病理医DB6に登録されている病理医情報を参照して診断を依頼する病理医を検索して依頼先病理医の候補(以下、「依頼先候補病理医」と呼ぶ。)を選出する。診断依頼可否判定部562は、病理医検索部561によって検索され、選出された依頼先候補病理医の病理診断装置7に診断可否返答依頼を通知し、この診断可否返答依頼に応答して病理診断装置7から通知された受託可否情報をもとに、依頼先病理医を確定する。提供情報配信処理部563は、提供情報作成部544によって作成された提供情報を、診断依頼可否判定部562によって確定された依頼先病理医の病理診断装置7に配信する。
 次に、病理診断システム1を構成する各装置間でのデータの流れについて説明する。図4は、病理診断システム1におけるデータフローを示す図である。病理診断システム1では、バーチャルスライド顕微鏡2において観察対象の染色標本の標本属性情報が取得され、染色標本のバーチャルスライド画像が生成される。そして、図4に示すように、取得された標本属性情報および生成されたバーチャルスライド画像を含む染色標本画像の画像データ(D1)は染色標本DB4に送信され、染色標本情報として登録される(a1)。標本属性情報は、臓器種類、注目組織種類、染色方法、患者情報、緊急度(図4では不図示,図25を参照)等を含む。
 一方、情報配信器5では、以上のようにして染色標本DB4に登録される染色標本情報の中から診断対象の染色標本の染色標本情報である標本属性情報および染色標本画像(D3)が取得され(a3)、この標本属性情報および染色標本画像をもとに要診断領域情報が作成される。ここで、要診断領域情報は、染色標本画像中で抽出された要診断領域に関する情報であり、抽出された要診断領域毎に作成される。この要診断領域情報は、位置情報や重心位置、特徴量、統計量、癌可能性度等を含む。特徴量は、例えば色素量、色情報補正係数、細胞核や線維、血管等についての構成要素情報等である。統計量は、例えば核統計量、線維統計量、血管統計量等である。癌可能性度は、適宜グレードを含む。
 その後、情報配信器5において病理医DB6に登録されている病理医が検索される。そして、情報配信器5において診断を依頼する依頼先病理医の病理医情報(D5)が取得され(a5)、この病理医情報をもとに提供情報が作成される。病理医情報は、該当する病理医の経歴や専門分野、臓器や組織等についての過去症例、観察手技、スケジュール等を含み、提供情報は、この病理医情報の観察手技をもとに染色標本画像の画像データを加工することで作成される。例えば、提供情報は、RGB画像、色素量画像、デジタルステイン画像あるいは擬似微分干渉画像等である。依頼先病理医が複数いる場合には、提供情報は、依頼先病理医毎に該当する病理医情報の観察手技をもとに個別に作成される。
 情報配信器5において取得され、あるいは作成された診断対象の染色標本の標本属性情報、染色標本画像、要診断領域情報および提供情報(D7)は、診断情報として依頼先病理医の病理診断装置7に配信される(a7)。依頼先病理医が2人以上の場合には、それぞれの病理診断装置7にデータD7(提供情報については、依頼先病理医(配信先の病理診断装置7の病理医)に応じた提供情報)が配信される。
 また、情報配信器5において作成された要診断領域情報および提供情報(D9)は、染色標本DB4に送信され、診断対象の染色標本の染色標本情報として追加登録される(a9)。
 病理診断装置7では、配信された診断情報であるデータD7が、例えば画面表示され、依頼先病理医に提示される。依頼先病理医は、これら提示されるデータD7を見ながら診断を行い、診断結果を入力する。病理診断装置7では、このようにして依頼先病理医によって入力された診断結果をもとに診断報告書情報が作成され、この診断報告書情報(D11)が情報統合器8に送信される(a11)。診断報告書情報は、所見や診断結果を含む。また、このとき依頼先病理医によって診断された診断内容情報(D13)が病理医DB6に送信され、この依頼先病理医の病理医情報(例えば過去症例等)が更新される(a13)。
 情報統合器8では、染色標本DB4から診断対象の染色標本の染色標本情報である標本属性情報、染色標本画像、要診断領域情報および提供情報(D15)が取得され(a15)、このデータD15が病理診断装置7から送信された診断報告書情報(D11)と統合されて確定診断結果情報が作成される。作成された確定診断結果情報(D17)は染色標本DB4に送信され、診断対象の染色標本の染色標本情報として追加登録される(a17)。
 次に、病理診断システム1における処理の流れについて説明する。先ず、染色標本のバーチャルスライド画像を生成して染色標本DB4に登録・保存するまでの処理の流れについて説明する。図5は、バーチャルスライド顕微鏡2が行う処理手順を示すフローチャートである。
 バーチャルスライド顕微鏡2では、図5に示すように、制御部35が先ず、ユーザ操作に従って染色標本Sの標本属性情報を取得する(ステップb1)。例えば、制御部35は、標本属性入力画面を表示部353に表示して標本属性の登録依頼を通知する処理を行う。標本属性の項目としては、検体を採取した臓器の種類(臓器種類)、注目すべき組織の種類(注目組織種類)、染色標本Sに施されている染色の種類(染色方法)、患者の名前や性別、年齢、過去の病歴といった患者情報等が挙げられる。そして、制御部35は、この登録依頼の通知に応答してユーザが操作入力した標本属性毎の属性値を標本属性情報として取得する。また、このとき、制御部35は、併せて染色標本Sの診断に対する緊急度の入力を受け付け、標本属性情報として取得する。例えば、「緊急」「急ぎ」「通常」の3段階で入力を受け付け、「緊急」が入力された場合に緊急度の値を「1」、「急ぎ」が入力された場合に緊急度の値を「2」、「通常」が入力された場合に緊急度の値を「3」として設定する。
 続いて、制御部35は、バーチャルスライド画像生成処理を行う(ステップb3)。図6は、バーチャルスライド画像生成処理の処理手順を示すフローチャートである。
 図6に示すように、先ず制御部35は、染色標本Sの観察に用いる対物レンズ27を低倍対物レンズに切り換える指示を、顕微鏡コントローラ33に出力する(ステップc1)。これに応答して顕微鏡コントローラ33は、必要に応じてレボルバ26を回転させ、低倍対物レンズを観察光の光路上に配置する。
 続いて、制御部35は、顕微鏡コントローラ33やTVカメラコントローラ34に対するバーチャルスライド顕微鏡2各部の動作指示を行って、標本像の低解像画像(RGB画像)を取得する(ステップc3)。
 図7は、電動ステージ21上に載置されるスライドガラス標本200の一例を示す図である。図2に示した電動ステージ21上の染色標本Sは、実際には、図7に示すように、スライドガラス210上に染色標本Sを載置したスライドガラス標本200として電動ステージ21上に載置される。染色標本Sは、スライドガラス210上の予め定められた所定の領域(例えば、スライドガラス210の図7に向かって左側の例えば縦:25mm×横:50mmの領域)である標本サーチ範囲211に載置される。そして、このスライドガラス210には、標本サーチ範囲211に載置した染色標本Sに関する情報を記載したシール212が予め定められた所定の領域(例えば標本サーチ範囲211の右側の領域)に貼付される。このシール212には、例えば、染色標本Sに割り当てられた染色標本IDを所定の規格に従ってコード化したバーコードが印字され、バーチャルスライド顕微鏡2を構成する図示しないバーコードリーダによって読み取られる。
 図6のステップc3の制御部35による動作指示に応答して、バーチャルスライド顕微鏡2は、図7に示すスライドガラス210の標本サーチ範囲211の画像を撮像する。具体的には、ステップc1で切り換えた低倍対物レンズの倍率に応じて定まる視野範囲(換言すると、染色標本Sの観察に低倍対物レンズを用いたときのTVカメラ32の撮像範囲)のサイズをもとに標本サーチ範囲211を分割し、分割した区画サイズに従って電動ステージ21をXY平面内で移動させながら、標本サーチ範囲211の標本像を区画毎にTVカメラ32で順次撮像する。ここで撮像された画像データは、標本像の低解像画像として制御部35に出力される。
 そして、制御部35は、図6に示すように、ステップc3で取得した区画毎の低解像画像を結合し、図7の標本サーチ範囲211を映した1枚の画像をスライド標本全体画像として生成する(ステップc5)。
 続いて、制御部35は、染色標本Sの観察に用いる対物レンズ27を高倍対物レンズに切り換える指示を、顕微鏡コントローラ33に出力する(ステップc7)。これに応答して顕微鏡コントローラ33は、レボルバ26を回転させ、高倍対物レンズを観察光の光路上に配置する。
 続いて、制御部35は、ステップc5で生成したスライド標本全体画像をもとに、図7の標本サーチ範囲211内の実際に染色標本Sが載置されている標本領域213を自動抽出して決定する(ステップc9)。この標本領域の自動抽出は、公知の手法を適宜採用して行うことができる。例えば、制御部35は、スライド標本全体画像の各画素を2値化して標本の有無を画素毎に判定し、染色標本Sを映した画素と判定された画素範囲を囲う矩形領域を標本領域として決定する。なお、制御部35は、操作部351を介してユーザによる標本領域の選択操作を受け付け、操作入力に従って標本領域を決定することとしてもよい。
 続いて、制御部35は、スライド標本全体画像からステップc9で決定した標本領域の画像(標本領域画像)を切り出し、この標本領域画像の中から合焦位置を実測する位置を選出してフォーカス位置を抽出する(ステップc11)。
 図8は、スライド標本全体画像から切り出した標本領域画像215の一例を示す図であり、図8では、図7の標本領域213の画像を示している。先ず制御部35は、図8に示すように、標本領域画像215を格子状に分割し、複数の小区画を形成する。ここで、小区画の区画サイズは、ステップc7で切り換えた高倍対物レンズの倍率に応じて定まる視野範囲(換言すると、染色標本Sの観察に高倍対物レンズを用いたときのTVカメラ32の撮像範囲)のサイズに相当する。
 続いて、制御部35は、形成した複数の小区画の中から、フォーカス位置とする小区画を選出する。これは、全ての小区画について合焦位置を実測しようとすると処理時間が増大してしまうためである。制御部35は、例えば各小区画の中から所定数の小区画をランダムに選出する。あるいは、フォーカス位置とする小区画を例えば所定数の小区画を隔てて選出する等、所定の規則に従って選出してもよい。また、小区画の数が少ない場合には、全ての小区画をフォーカス位置として選出するようにしてもよい。そして、制御部35は、標本領域画像215の座標系(x,y)における選出した小区画の中心座標を算出するとともに、算出した中心座標を電動ステージ21の座標系(X,Y)に変換してフォーカス位置を得る。なお、この座標変換は、染色標本Sの観察に用いる対物レンズ27の倍率、あるいはTVカメラ32を構成する撮像素子の画素数や画素サイズ等に基づいて行われ、例えば特開平9-281405号公報に記載の公知技術を適用して実現できる。
 続いて、制御部35は、図6に示すように、顕微鏡コントローラ33やTVカメラコントローラ34に対するバーチャルスライド顕微鏡2各部の動作指示を行って、フォーカス位置の合焦位置を測定する(ステップc13)。このとき、制御部35は、抽出した各フォーカス位置を顕微鏡コントローラ33に出力する。これに応答して、バーチャルスライド顕微鏡2は、電動ステージ21をXY平面内で移動させて各フォーカス位置を順次対物レンズ27の光軸位置に移動させる。そして、各フォーカス位置で電動ステージ21をZ方向に移動させながらTVカメラ32によってフォーカス位置の画像データを取り込む。取り込まれた画像データは制御部35に出力される。制御部35は、これら各Z位置における画像データのコントラストを評価することによって、各フォーカス位置における染色標本Sの合焦位置(Z位置)を測定する。なお、本実施の形態では、後述する図11のステップe3で線維についての構成要素情報を作成する際や、図22のステップf13で擬似微分干渉画像を生成する際に用いるため、このステップc13において、合焦位置以外の例えば少しピントがずれた少なくとも2点の焦点位置がさらに測定される。例えば、前焦点の位置および後焦点の位置が測定される。そして、ここで測定した一方の焦点位置は図11のステップe3で焦点位置Fとして用いられる。また、測定した2つの焦点位置は図22のステップf13で焦点位置Fα,Fβとして用いられる。なお、これら焦点位置F,Fα,Fβは前焦点位置および後焦点位置に限定されるものではなく、適宜の位置としてよい。また、測定する合焦位置以外の焦点位置の数は2点に限定されるものではなく、適宜の数の焦点位置を測定することとしてよい。
 制御部35は、以上のようにして各フォーカス位置における合焦位置を測定した後、続いて、各フォーカス位置の合焦位置の測定結果をもとにフォーカスマップを作成する(ステップc15)。具体的には、制御部35は、ステップc11でフォーカス位置として抽出されなかった小区画の合焦位置を、近傍するフォーカス位置の合焦位置で補間演算することによって全ての小区画について合焦位置を設定し、フォーカスマップを作成する。作成したフォーカスマップのデータは、記憶部355に記憶される。また、このとき制御部35は、フォーカス位置として抽出されなかった小区画の前焦点位置および後焦点位置についても、近傍のフォーカス位置の前焦点位置および後焦点位置で補間演算し、全ての小区画について前焦点位置および後焦点位置を設定する。なお、各小区画における前焦点位置および後焦点位置は、フォーカスマップのデータとともに記憶部355に記憶される。
 図9は、フォーカスマップのデータ構成例を説明する図である。図9に示すように、フォーカスマップは、配列番号と電動ステージ位置とを対応付けたデータテーブルである。配列番号は、図8に示した標本領域画像215の各小区画を示している。具体的には、xで示す配列番号は、左端を初順としてx方向に沿って各列に順番に付した通し番号であり、yで示す配列番号は、最上段を初順としてy方向に沿って各行に順番に付した通し番号である。なお、zで示す配列番号は、バーチャルスライド画像を3次元画像として生成する場合に設定される値である。電動ステージ位置は、対応する配列番号が示す標本領域画像の小区画について合焦位置と設定された電動ステージ21のX,Y,Zの各位置である。例えば、(x,y,z)=(1,1,-)の配列番号は、図8の小区画216を示しており、座標系(x,y)における小区画216の中心座標を電動ステージ21の座標系(X,Y)に変換したときのX位置及びY位置が、X11およびY11にそれぞれ相当する。また、この小区画について設定した合焦位置(Z位置)がZ11に相当する。
 続いて、制御部35は、標本画像生成手段として、図6に示すように、フォーカスマップを参照しながら顕微鏡コントローラ33やTVカメラコントローラ34に対するバーチャルスライド顕微鏡2各部の動作指示を行って、標本領域画像の小区画毎に標本像をマルチバンド撮像し、高解像画像を取得する(ステップc17)。このとき、制御部35は、フィルタユニット30を構成するチューナブルフィルタの選択波長幅をマルチバンド撮像時の幅に設定する指示を顕微鏡コントローラ33に出力する。これに応答して、バーチャルスライド顕微鏡2は、チューナブルフィルタの選択波長幅をマルチバンド撮像時の幅に設定した上で、電動ステージ21を移動させながら、標本領域画像の小区画毎の標本像をそれぞれの合焦位置においてTVカメラ32で順次撮像していく。ここで撮像された画像データは、標本像の高解像画像として制御部35に出力される。また、このとき、各小区画の前焦点位置および後焦点位置をもとに、前焦点位置および後焦点位置の高解像画像についてもそれぞれ取得される。
 そして、制御部35は、ステップc17で取得した標本領域画像の小区画毎の高解像画像を結合し、図7の標本領域213の全域を映した1枚の画像をバーチャルスライド画像として生成する(ステップc19)。以上説明したバーチャルスライド画像生成処理の結果、染色標本Sの全域を映した広視野で且つ高精細なマルチバンド画像が得られる。また、このとき制御部35は、前焦点位置の小区画毎の高解像画像を結合し、前焦点位置のバーチャルスライド画像を生成するとともに、後焦点位置の小区画毎の高解像画像を結合し、後焦点位置のバーチャルスライド画像を生成する。
 その後、制御部35は、図6に示すように、バーチャルスライド画像が有するマルチスペクトル情報をもとにRGB画像(染色標本RGB画像)を合成する(ステップc21)。具体的には、制御部35は、染色標本RGB画像の合成に先立ち、例えば照明光を照射した状態で標本なしの背景を撮像して背景(照明光)のマルチバンド画像を取得しておく。そして、背景のマルチバンド画像をI0とし、診断対象の染色標本のマルチバンド画像をIとして、次式(1)に従って各画素位置の分光透過率t(x,λ)を算出する。ここで、診断対象の染色標本のマルチバンド画像Iが、バーチャルスライド画像に相当する。また、このとき制御部35は、前焦点位置および後焦点位置の各バーチャルスライド画像についても、各画素位置の分光透過率t(x,λ)を算出する。xはマルチバンド画像の画素を表す位置ベクトルであり、λは波長である。また、I(x,λ)はマルチバンド画像Iの波長λにおける画素位置(x)の画素値を表し、I0(x,λ)はマルチバンド画像I0の波長λにおける画素位置(x)の画素値を表す。
Figure JPOXMLDOC01-appb-M000001
 そして、制御部35は、このようにして求めた各画素位置の分光透過率をRGB値に変換することで、染色標本RGB画像を生成する。バーチャルスライド画像上の任意の画素位置(x)における分光透過率をT(x)とすると、RGB値GRGB(x)は、次式(2)で表される。
 GRGB(x)=HT(x) ・・・(2)
 式(2)のHは、次式(3)で定義される行列である。この行列Hはシステム行列とも呼ばれており、Fはチューナブルフィルタの分光透過率、Sはカメラの分光感度特性、Eは照明の分光放射特性をそれぞれ表す。
 H=FSE ・・・(3)
 制御部35は、染色標本RGB画像を合成した後、バーチャルスライド画像生成処理を終え、図5のステップb3にリターンしてステップb5に移る。
 そして、図5のステップb5では、制御部35は、図6のステップc19で生成したバーチャルスライド画像およびステップc21で合成した染色標本RGB画像を染色標本画像の画像データとし、この染色標本画像の画像データと、図5のステップb1で取得した標本属性情報とを染色標本DB4に送信して書込要求を通知する。より詳細には、制御部35は、これら標本属性情報および染色標本画像の画像データとともに、図7のシール212から読み取った染色標本IDを送信する。これに応答し、染色標本DB4において標本属性情報と染色標本画像の画像データとが染色標本IDと対応付けられ、染色標本Sに関する染色標本情報として染色標本DB4に登録・保存される。このとき、例えば染色標本RGB画像の合成過程で算出した各画素位置の分光透過率のデータ等のその他の染色標本Sに関するデータを染色標本DB4に送信し、染色標本情報に含めて保存する構成としてもよい。
 次に、以上のようにして染色標本DB4に染色標本情報が登録された染色標本を診断する処理の流れについて説明する。図10は、情報配信器5、病理診断装置7および情報統合器8が行う処理手順を示すフローチャートである。
 図10に示すように、先ず、情報配信器5において、制御部56が、画像取得手段として、診断対象とする染色標本の染色標本情報を染色標本DB4から取得する(ステップd1)。ここで、診断対象の染色標本は、例えば事前にユーザによる染色標本IDの選択操作を受け付けることで選択する。そして、ステップd1で、制御部56は、ユーザが選択した染色標本IDをもとに、染色標本DB4から染色標本情報を取得する。このとき取得される染色標本情報は、少なくとも標本属性情報と染色標本画像(バーチャルスライド画像および染色標本RGB画像)の画像データとを含む。選択された染色標本IDの染色標本について既に1度以上診断が行われている場合には、その際に作成された細胞核特定情報や要診断領域情報、提供情報、診断結果統合情報が染色標本情報としてさらに取得される。続いて、要診断領域情報作成処理に移る(ステップd3)。図11は、要診断領域情報作成処理の処理手順を示すフローチャートである。
 図11に示すように、要診断領域情報作成処理では先ず、要診断領域抽出処理部541が、ユーザ(例えば診断対象の染色標本についての診断を依頼する依頼元の病理医)による要診断領域の選択操作を受け付けて要診断領域を抽出する(ステップe1)。例えば、要診断領域抽出処理部541は、要診断領域抽出画面を表示部52に表示し、要診断領域の選択入力依頼をユーザに通知する処理を行う。そして、要診断領域抽出処理部541は、ユーザの操作入力に従って要診断領域を抽出する。
 なお、ここでは、要診断領域の選択操作を受け付けて染色標本画像内の要診断領域を抽出する処理を情報配信器5で行うこととして説明するが、これに限定されるものではない。例えば、要診断領域を抽出する処理を、病理診断装置7等のネットワークNを介して情報配信器5と接続された別の装置で行い、抽出された位置情報を情報配信器5に送信する構成としてもよい。そして、情報配信器5は、これら別の装置から送信された要診断領域の位置情報を用いてステップe3以降の処理を行うこととしてよい。また、図10のステップd1で取得された染色標本情報に要診断領域情報が含まれる場合には、この要診断領域情報に従って要診断領域を特定することとしてもよい。すなわち、診断対象の染色標本について過去に診断が行われた際に抽出された要診断領域を用いてステップe3以降の処理で用いることとしてもよい。
 図12は、要診断領域抽出画面の一例を示す図である。図12に示すように、要診断領域抽出画面は、染色標本画像表示部W11を備える。この染色標本画像表示部W11には、例えば図6のステップc21で取得された染色標本RGB画像が表示される。また、要診断領域抽出画面には、選択モードメニューM11と、メモボタンB11と、やり直しボタンB13と、OKボタンB15とが配置されている。
 選択モードメニューM11には、要診断領域の選択モードとして「square」「auto square」「ellipse」「auto ellipse」「auto picker」または「manual」を択一的に選択可能なラジオボタンRB11が配置されている。「square」は、染色標本画像表示部W11上の矩形範囲を選択する選択モードであり、ユーザが入力部51を構成するマウスによって染色標本画像表示部W11上をドラッグ操作することで選択された矩形範囲が要診断領域として抽出される。「ellipse」は、染色標本画像表示部W11上の楕円形(円形)の範囲を選択する選択モードであり、ユーザが染色標本画像表示部W11上をドラッグ操作することで選択された楕円形(円形)の範囲が要診断領域として抽出される。「auto square」は、所定のブロックサイズの矩形範囲を選択する選択モードであり、ユーザがクリックした位置を始点とした所定のブロックサイズの矩形範囲が要診断領域として抽出される。ブロックサイズは、後述する入力ボックスIB11で入力したブロックサイズである。「auto ellipse」は、所定のブロックサイズに例えば内接する楕円形(円形)の範囲を選択する選択モードである。「auto picker」は、ユーザがクリックした位置の画素値をもとに要診断領域を自動抽出する選択モードであり、例えば染色標本RGB画像から、クリックした位置と輝度値が類似する画素が自動的に抽出され、抽出された画素の領域が要診断領域とされる。「manual」は、ユーザ操作に従って要診断領域を手動で選択する選択モードであり、ユーザがクリックした位置を始点とし、染色標本画像表示部W11上をドラッグ操作することで選択された閉領域が要診断領域として抽出される。
 また、選択モードメニューM11には、ブロックサイズを入力する入力ボックスIB11が配置されており、所望の値を設定することができる。このブロックサイズは、染色標本画像表示部W11上で指定する領域のサイズであり、図12中に示すように、例えば入力ボックスIB11に「3」を入力した場合には、1つの領域は3×3画素のサイズとされる。
 例えば、選択モードとして「square」を選んで領域を選択する場合の操作手順を例に挙げる。ユーザは先ず、入力部51を構成するマウスによって染色標本画像表示部W11上の所望の位置をクリックし、染色標本画像表示部W11上をドラッグ操作することで要診断領域とする領域、具体的には例えば、癌が疑われる領域、あるいは周囲と様態が異なる領域を選択する。このとき、染色標本画像表示部W11上には、選択した領域を示すマーカ(例えばマーカMK11)が表示される。
 領域の選択操作を取り消したい場合に、ユーザは、その領域を示すマーカ(例えばマーカMK11)をクリックして選択状態とし、やり直しボタンB13をクリックする。この結果マーカMK11は削除され、このマーカMK11による領域の選択操作が取り消される。また、ユーザは、所望の領域を示すマーカ(例えばマーカMK11)をクリックして選択状態とし、メモボタンB11をクリックすると、マーカMK11が示す領域についてコメントを記入することができる。例えば、ユーザは、選択した領域に対して所見や疑問点、質問等を付記したい場合には、その内容を記入することができ、依頼先病理医との円滑な意思疎通が図れる。要診断領域としたい領域が複数ある場合には、染色標本画像表示部W11上の別の領域の位置を再度クリック等することで、新たな領域を選択することができる(例えばマーカMK13,MK15)。領域の選択操作を確定する場合には、OKボタンB15をクリックする。
 そして、以上のようにして操作を確定すると、要診断領域抽出処理部541は、図11のステップe1の処理として、選択された領域を要診断領域として抽出する。例えば、図12の例であれば、染色標本画像表示部W11上のマーカMK11で囲まれた画素位置、マーカMK13で囲まれた画素位置およびマーカMK15で囲まれた画素位置を個別の要診断領域として抽出する。このとき、要診断領域抽出処理部541は、抽出した要診断領域毎に重心位置を算出する。そして、ラスタ形式の配列順に従って各要診断領域に固有の要診断領域IDを割り当て、要診断領域の画素位置を設定した位置情報と重心位置とを該当する要診断領域IDを割り当てた要診断領域に関する情報として記憶部55に記憶しておく。
 続いて、要診断領域情報作成部542が、ステップe1で抽出した要診断領域毎にその特徴量を算出する(ステップe3)。算出する特徴量としては、例えば、色素量、色情報補正係数、構成要素情報等が挙げられる。以下、これら各特徴量の算出手順について順次説明する。なお、特徴量としてこれら全てを算出する必要はなく、いずれか1つ以上を算出することとしてもよい。また、ここで挙げた特徴量は一例であって、バーチャルスライド画像が有するマルチスペクトル情報や染色標本RGB画像のRGB値等をもとに別の値を算出し、特徴量としてもよい。算出した特徴量の値は、該当する要診断領域IDを割り当てた要診断領域に関する情報として記憶部55に記憶しておく。
 色素量は、染色標本を染色している色素の色素量であり、バーチャルスライド画像が有するマルチスペクトル情報をもとに推定する。なお、この色素量、後述する細胞核についての構成要素情報および核統計量のうちの核数は、例外的にバーチャルスライド画像を構成する全ての画素位置について算出される。本実施の形態では、H&E染色された染色標本を観察・診断対象としているため、推定の対象とする色素は、ヘマトキシリン(色素H)およびエオジン(色素E)の2種類である。
 ここで、従来から、染色標本のマルチバンド画像をもとに染色標本上の点を染色している染色色素の色素量を定量推定する手法が知られている。例えば、“Color Correction of Pathological Images Based on Dye Amount Quantification”(OPTICAL REVIEW Vol.12,No.4(2005),p.293-300)には、色素量を推定し、推定した色素量をもとに染色標本画像の色情報を補正する手法が開示されている。また、“Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions”(Proceedings of SPIE - Image Processing Vol.4684,p.1516-1523)には、推定した色素量をもとに標本の染色状態を定量評価する手法が開示されている。ここでは、これらの文献に開示されている公知の技術を適用して色素量を推定する。なお、本実施の形態では、上記したように、染色標本上の各点が、得られる画像データの各画素位置に対応している。したがって、バーチャルスライド画像の画素毎に処理を行うことで、染色標本上の各点を染色している色素Hおよび色素Eの色素量を推定することができる。
 以下、推定の手順を簡単に説明する。先ず、上記した式(1)に従って各画素位置の分光透過率t(x,λ)を算出する。各画素位置の分光透過率が染色標本DB4に保存されており、図10のステップd1において染色標本情報として取得されている場合には、これを用いることとしてよい。
 この分光透過率t(x,λ)に関しては、ランベルト・ベール(Lambert-Beer)の法則が成り立つ。例えば、染色標本が色素Hおよび色素Eの2種類の染色色素で染色されている場合、ランベルト・ベールの法則により、各波長λにおいて次式(4)が成り立つ。
Figure JPOXMLDOC01-appb-M000002
 式(4)において、kH(λ)およびkE(λ)は、波長λに依存して決まる物質固有の係数であり、kH(λ)は色素Hに対応する係数、kE(λ)は色素Eに対応する係数である。例えば、kH(λ),kE(λ)の各値は、染色標本を染色している色素Hおよび色素Eの分光特性値である。また、dH(x),dE(x)は、マルチバンド画像の各画素位置(x)に対応する染色標本の各標本点における色素Hおよび色素Eの色素量に相当する。より詳細には、dH(x)は、色素Hのみで染色された染色標本における色素Hの色素量を「1」としたときのこの色素量に対する相対的な値として求められる。同様に、dE(x)は、色素Eのみで染色された染色標本における色素Eの色素量を「1」としたときのこの色素量に対する相対的な値として求められる。なお、色素量は、濃度とも呼ばれる。
 ここで、上記式(4)は、波長λ毎に独立して成り立つ。また、式(4)はdH(x),dE(x)の線形式であり、これを解く手法は一般には重回帰分析として知られている。例えば、2つ以上の異なる波長について式(4)を連立させれば、これらを解くことができる。
 例えば、M個(M≧2)の波長λ1,λ2,・・・,λMについて式を連立させると、次式(5)のように表記できる。[]tは転置行列、[]-tは逆行列を表す。
Figure JPOXMLDOC01-appb-M000003
 そして、最小二乗推定を用いて上記式(5)を解くと次式(6)が得られ、色素Hの色素量の推定値d^H(x)および色素Eの色素量の推定値d^E(x)がそれぞれ求まる。なお、d^は、dの上に推定値を表す記号「^(ハット)」が付いていることを示す。
Figure JPOXMLDOC01-appb-M000004
 そして、この式(6)によって、染色標本上の任意の標本点における色素Hおよび色素Eの色素量の推定値が得られる。
 色情報補正係数は、前述のように推定される色素Hおよび色素Eの色素量を調整するための係数であり、公知の手法を適用して算出することができる。例えば、上記“Color Correction of Pathological Images Based on Dye Amount Quantification”に開示されている手法を適用し、所定組織に含まれる色素量分布をもとに色情報補正係数を決定することとしてもよい。あるいは、上記“Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions”に開示されている手法を用い、染色の選択性の悪さを示す係数と色素量との比率をもとに色情報補正係数を決定することとしてもよい。
 構成要素情報は、要診断領域内の例えば細胞核や弾性線維、血管等の所定の構成要素の領域を設定したものであり、構成要素毎の識別画素条件を用いて作成する。以下、細胞核、弾性線維等の線維および血管についての構成要素情報の作成方法について説明するが、これら以外の構成要素について構成要素情報を作成することとしてもよい。また、細胞核、弾性線維および血管の全てについて構成要素情報を作成しなくてもよい。この場合、細胞核、弾性線維および血管のいずれについて構成要素情報を作成するかは、例えば入力部51を介してユーザ操作を受け付け、ユーザが指定した構成要素について構成要素情報を作成するようにしてもよい。
 先ず、細胞核についての構成要素情報の作成方法について説明する。細胞核については、上記したように、染色標本画像の全域を対象として構成要素情報を作成する。色素Hは、細胞核を選択的に染色するため、色情報から細胞核の画素か否かを判別することが可能である。そこで、1つめの作成方法では、例えば、細胞核の識別画素条件として、予めB値/R値に対する閾値ThB/Rを設定しておく。そして先ず、染色標本RGB画像における要診断領域の画素位置のRGB値をもとに、そのB値/R値の値を算出する。続いて、算出した値を閾値ThB/Rを用いて閾値処理し、各画素が細胞核の画素か否かを判定する。そして、細胞核と判定した画素を設定して細胞核についての構成要素情報とする。
 2つめの作成方法では、上記したように算出(推定)した色素Hの色素量および色素Eの色素量によって定まる色素量空間内での判別境界を細胞核の識別画素条件として用い、構成要素情報を作成する。図13は、HE色素量分布図の一例を示す図であり、横軸を色素Hの色素量、縦軸を色素Eの色素量としたHE色素量空間における細胞核、細胞質、赤血球、弾性線維や膠原線維等の線維およびガラスの分布を示している。ここで、バーチャルスライド画像には、細胞核や細胞質、赤血球、線維の他に、染色標本が載置されるスライドガラス210(図7を参照)が映る。ガラスは、このスライドガラス210が映る画素の写像点に相当する。バーチャルスライド画像の各画素位置を、その色素Hおよび色素Eの色素量に従ってHE色素量空間にプロットすると、図13中に破線で示す判別境界L2によって、細胞核の画素と、細胞核以外の画素とを判別することができる。本作成方法では、この判別境界を細胞核の識別画素条件として用いる。
 判別境界は、サポートベクターマシン(SVM)等の判別器を用いることで設定できる。例えば、要診断領域内の各画素の色素Hおよび色素Eの色素含有率Rを特徴量として用い、細胞核の画素と細胞核以外の画素とを分類する判別境界を学習する。そして、学習した判別境界を識別画素条件として用いて構成要素情報を作成する。色素Hおよび色素Eの色素含有率Rは、上記したように式(6)に従って算出した色素Hの色素量の推定値d^H(x)および色素Eの色素量の推定値d^E(x)をもとに、次式(7)に従って算出する。
Figure JPOXMLDOC01-appb-M000005
 SVMを用いることにより、細胞核、細胞質、赤血球、線維およびガラスに属する色素含有率データ(パターン)のうち、境界に最も近いパターンとの距離を最大にするように判別境界を決定することができる。このため、未知データが識別される確率が統計的にも高い。従って、この作成方法を適用することにより、細胞核の画素と細胞核以外の画素とを高精度に識別することが可能である。
 3つめの作成方法では、予め色素含有比率Rに対する閾値ThRを、細胞核の識別画素条件として設定しておく。この場合には、先ず、要診断領域を構成する画素毎に上記した式(7)に従って色素含有比率Rを算出する。そして、算出した値を、閾値ThRを用いて閾値処理し、各画素が細胞核の画素か否かを判定することによって構成要素情報を作成する。
 4つ目の作成方法では、H&E染色された染色標本内における細胞核の画素のスペクトルを取得する等して、細胞核の代表的なスペクトルを事前に設定しておく。そして、スペクトルの形状の類似度を識別画素条件として用い、構成要素情報を作成する。図14は、横軸を波長(波長数)とし、縦軸を吸光度値として細胞核のスペクトル(吸光度値)を表した図である。この場合には、バーチャルスライド画像において要診断領域を構成する各画素のマルチスペクトル情報をもとに、図14のスペクトルの形状との類似度が予め設定される類似度閾値よりも大きい画素を細胞核の画素と判定する。
 以上、細胞核についての構成要素情報の4つの作成方法について説明したが、いずれか1つの作成方法を採用することとしてもよいし、例示した画素識別条件を複数組み合わせて用い、各画素識別条件を満たす画素を抽出して構成要素情報を作成することとしてもよい。
 次に、線維の1つである弾性線維についての構成要素情報の作成方法について説明する。例えば先ず、バーチャルスライド画像において要診断領域を構成する各画素のマルチスペクトル情報をもとに、SVM等を用いた学習判別処理により、弾性線維に該当する画素を抽出する。そして、抽出した画素を設定して弾性線維についての構成要素情報とする。なお、弾性線維は、ある特定のバンドにおいて分光透過率が1.0以上となる現象が起こることがあるため、この現象に基づいて弾性線維の画素を抽出してもよい。
 また、線維についての構成要素情報を作成する場合には、先ず、バーチャルスライド画像において要診断領域を構成する各画素位置のマルチスペクトル情報をもとに、要診断領域の変化率分光画像を生成する。具体的には、図6のステップc13で測定した前焦点位置または後焦点位置を焦点位置Fとして用いる。そして、この焦点位置Fとした前焦点位置または後焦点位置におけるバーチャルスライド画像の各画素位置について、図6のステップc21で上記した式(1)に従って算出した分光透過率を参照することにより、要診断領域内の各画素の分光透過率を取得する。続いて、任意の波長λ1,λ2間の変化率(波長間変化率;所定の波長間の分光透過率の差分の絶対値)を、画素毎に算出する。変化率を算出する波長は適宜選択してよい。そして、算出した波長間変化率が最大となる画素の画素値を例えば「255」、波長間変化率がゼロである画素の画素値を「0(ゼロ)」として波長間変化率の大きさに応じた画素値を各画素に割り当て、変化率分光画像を作成する。その後、作成した変化率分光画像に対し、平滑化や2値化、エッジ抽出、モフォロジー(膨張・収縮)といった公知の画像処理を適宜選択的に組み合わせて行うことにより、線維の画素を抽出する。そして、抽出した画素を設定して線維についての構成要素情報とする。
 なお、要診断領域の変化率分光画像にかえて、差分分光画像を生成するようにしてもよい。この場合には、例えば、図6のステップc13で測定した合焦位置以外の前焦点位置および後焦点位置を焦点位置Fα,Fβとして用いる。そして、前焦点位置および後焦点位置におけるバーチャルスライド画像の各画素位置について算出されている分光透過率を参照し、要診断領域内の各画素の分光透過率を取得する。そして、共通の画素間で所定波長λにおける分光透過率の差分を算出し、差分量に応じた画素値を各画素に割り当てて差分分光画像を生成する。その後、作成した差分分光画像に対して公知の画像処理を適宜選択的に組み合わせて行い、線維の画素を抽出して線維の構成要素情報としてもよい。
 次に、血管についての構成要素情報の作成方法について説明する。図15は、要診断領域の一例であり、中央に血管が映る領域を示している。血管についての構成要素情報を作成する場合には先ず、図15に示す血管や空孔を特定する。ここで、染色標本内の血管内腔や、血管周囲の組織が存在していない領域(空孔)は、図15に示すように白く映り、高輝度画素を持つ領域として現れる。そこで、要診断領域から高輝度領域を抽出し、血管領域または空孔領域として特定する。
 具体的には先ず、上記した弾性線維についての構成要素情報の作成方法と同様の要領で、要診断領域内の弾性線維の画素を抽出する。続いて、要診断領域から高輝度領域を抽出する。上記したように、要診断領域内の高輝度領域は、血管領域であるか、または組織が存在していない空孔領域であると考えられる。このため、要診断領域の各画素のRGB値をもとに、要診断領域の画像をグレースケール画像に変換する。そして、各画素の輝度値を予め設定される閾値を用いて閾値処理し、閾値以上である画素を高輝度画素として選出する。その後、選出した高輝度画素のうち、連結している画素集合を1つの高輝度領域として抽出する。
 以上のように高輝度領域を抽出した後、抽出した高輝度領域のうち、周囲に弾性線維がある高輝度領域を血管領域として特定する。具体的には先ず、抽出した高輝度領域の輪郭や重心位置、周囲長等を算出し、高輝度領域を楕円近似して楕円を設定するとともに、この楕円をK倍したK倍楕円を設定する。図16は、血管領域の特定原理を説明する図であり、抽出した高輝度領域L3について求めた重心位置G3と、この高輝度領域L3を楕円近似して設定した楕円E3およびK倍楕円Ek3とを示している。K倍楕円とは、楕円と重心位置が同一であって、楕円のK倍の面積を有するものをいう。Kの値は適宜設定できる。なお、図16に示す高輝度領域L3は、図15に示す要診断領域において中央に白く映る血管の領域に相当している。
 その後、高輝度領域と弾性線維との位置関係を判定する。そして、高輝度領域の輪郭位置に近い周囲に弾性線維が存在する場合に、その高輝度領域を血管領域として特定する。具体的には、高輝度領域L3の輪郭線とK倍楕円Ek3とで区画された図16中のハッチングを付した領域E31内に、弾性線維が所定量以上存在しているか否かを判定する。例えば、領域E31内の弾性線維の画素数を計数し、計数された弾性線維の画素数が予め設定される所定の閾値以上の場合に、所定量以上存在していると判定する。そして、弾性線維が所定量以上存在していると判定された高輝度領域L3の画素を設定して血管についての構成要素情報とする。
 以上のように要診断領域毎に特徴量を算出した後、要診断領域情報作成部542は、図11に示すように、算出した特徴量をもとに要診断領域毎の統計量を算出する(ステップe5)。算出する統計量としては、例えば、細胞核についての統計量(核統計量)、線維についての統計量(線維統計量)、血管についての統計量(血管統計量)等が挙げられる。以下、これら各統計量の算出手順について順次説明する。なお、統計量としてこれら全てを算出する必要はなく、いずれか1つ以上を算出することとしてもよい。また、ここで挙げた統計量は一例であって、要診断領域の特徴量をもとに別の値を算出し、統計量としてもよい。算出した統計量の値は、該当する要診断領域IDを割り当てた要診断領域に関する情報として記憶部55に記憶しておく。
 先ず、核統計量について説明する。癌の部位では、細胞核が局所的に集中して存在することが知られている。また、細胞核は、癌が進行すると、正常な場合と比べて歪みが生じる等その形状に変化が生じる。このため、核統計量として、例えば要診断領域内の細胞核の数(核数)、細胞核間の距離(核間距離)、核異型性等を算出する。
 先ず、特徴量として算出した細胞核についての構成要素情報をもとに、細胞核の画素(以下、「核画素」と呼ぶ。)で構成される閉領域を個別の細胞核領域として特定する。なお、上記したように、核数については染色標本画像の全域を対象として計数する。このため、染色標本画像の全域を対象として細胞核領域を特定する。
 具体的には、核画素を連結成分毎に区切り、区切った画素集合をそれぞれ1つの細胞核領域として特定する。連結性の判断は、適宜公知の手法を用いて行えばよく、例えば8近傍で連結性を判断する。そして、連結成分毎に固有のラベル(核ラベル)NLを付与することによって、連結成分毎の画素集合のそれぞれを細胞核領域として特定する。ラベル付けの方法は公知の手法を適宜採用してよい。例えば、ラスタスキャンの順序(要診断領域の最上段のラインから下に向かって1ラインずつ、左から右に走査する順序)で各画素にラベル付けを行う手法等が挙げられ、連結成分毎に核ラベルNL=1,2,3,・・・が整数(昇順)で付与される。
 ラベル付けを終えた後、特定した染色標本画像内の細胞核領域の数(核数)を計数する。また、要診断領域毎に核数を計数する。
 その後は、要診断領域毎に処理を行う。具体的には先ず、細胞核領域間の距離を核間距離として算出する。図17は、要診断領域の一例を示す模式図であり、核ラベルNL=1,2,3がそれぞれ付与された3つの細胞核領域E41,E42,E43を示している。核間距離を算出する際には、先ず、各細胞核領域E41,E42,E43の重心位置を算出する。ここで、核ラベルNL=1の細胞核領域E41の重心位置をg1(x1,y1)とし、核ラベルNL=2の細胞核領域E42の重心位置をg2(x2,y2)とすると、細胞核領域E41と細胞核領域E42との核間距離d1,2は、次式(8)で表される。同様に、細胞核領域E41と細胞核領域E43との核間距離や細胞核領域E42と細胞核領域E43との核間距離も算出する。
Figure JPOXMLDOC01-appb-M000006
 また、特定した細胞核領域毎に、核異型性度のレベル判定を行う。ここでは、正常な細胞核と比べて形状がどの程度異なるのかを示す指標として、例えば細胞核の大きさS、核境界の不整度合いσおよび円形の歪み度合いCを用い、レベル判定を行う。
 先ず、細胞核の大きさSは、該当する細胞核領域を構成する画素数を計数することで得る。
 核境界の不整度合いσは、細胞核領域の輪郭を形成する画素位置間を結ぶ直線の分散を算出することで得る。ここで、分散が小さいほど輪郭形状が滑らかであることを示しており、核境界の不整度合いσは、分散の大小で決定される。
 図18は、核境界の不整度合いσの算出原理を説明する説明図であり、(a)~(c)の各図において細胞核領域E45を示している。先ず、図18(a)に示すように、ハッチングを付して示した細胞核領域E45の輪郭画素P45を抽出する。続いて、隣接する輪郭画素P45間の傾きを順次算出していく。例えば、図18(b)に示すように、抽出した輪郭画素P45の中から1つの輪郭画素P451を選択し、先ず、選択した輪郭画素P451と、この輪郭画素P451の例えば図18(b)中に一点鎖線の矢印で示す時計回り方向に隣接する輪郭画素P452とに注目する。そして、これら輪郭画素P451,P452間を結ぶ直線L451の傾きを算出する。ここで、輪郭画素P451を画素A、輪郭画素P452を画素Bとし、画素Aの座標を(xA,yA)、画素Bの座標を(xB,yB)とすると、画素Aと画素Bとを結ぶ直線L451の傾きaA,Bは、次式(9)で表される。
Figure JPOXMLDOC01-appb-M000007
 その後は、輪郭画素P452を画素Aとし、輪郭画素P452の時計回り方向に隣接する輪郭画素P453を画素Bとして注目を移し、画素A,B間の傾きを算出する。そして、同様の処理を繰り返し行い、図18(c)に示すように、全ての輪郭画素P45間の傾きを算出する。そして、得られた傾きの分散を算出し、核境界の不整度合いσとして得る。
 また、特定した細胞核領域毎に、その円形度を算出して円形の歪み度合いCを得る。ここで、円形度は、例えば、その細胞核領域の形状が真円のときに最大となり、輪郭形状が複雑になるほど小さな値として得られる値であり、例えば、細胞核領域の大きさや周囲長(輪郭画素の数)を用いて算出する。
 そして、以上のようにして算出した細胞核領域の大きさS、核境界の不整度合いσ、円形の歪み度合いCを閾値処理することによって核異型性度のレベル判定を行う。具体的には、大きさSに適用する閾値をThSとして予め設定しておき、次式(10)を判定する。また、核境界の不整度合いσに適用する閾値をThσとして予め設定しておき、次式(11)を判定する。そして、円形の歪み度合いCに適用する閾値をThCとして予め設定しておき、次式(12)を判定する。そして、大きさS、核境界の不整度合いσ、円形の歪み度合いCの各値のうち、対応する各式(10)~(12)に該当した数を核異型性度のレベルとして判定する。
Figure JPOXMLDOC01-appb-M000008
 次に、線維統計量について説明する。線維統計量としては、例えば線維密集度等が挙げられる。先ず、特徴量として算出した線維(弾性線維)についての構成要素情報をもとに、線維の画素で構成される閉領域を個別の線維領域として特定する。具体的には、線維の画素を連結成分毎に区切り、区切った画素集合をそれぞれ1つの線維領域として特定する。連結性の判断は、上記した細胞核領域の特定と同様に行う。なお、線維領域の場合、複数の線維領域が交差する可能性も考えられるが、ここでは、上記した核画素を連結成分毎に区切る場合と同様の手法で線維領域を特定する。すなわち、ラスタスキャンの順序で各画素にラベルを付与する。このため、別個の線維領域がその一部の領域で交差あるいは接触していたとしても、異なるラベルを付与できるので、区別することが可能である。
 続いて、細線化処理を施すことによって、ノイズ等による線維領域の位置的な曖昧さを除去する。この細線化処理によって線維領域の骨格線が取得され、以降の処理において、線維領域を線状の領域として扱うことが可能となる。
 続いて、細線化処理された線維領域の骨格線を構成する画素について、別の線維領域の骨格線を構成する画素との位置関係をもとに線維密集度を算出する。具体的には、一方の骨格線を構成する全ての画素について他方の骨格線との平均距離を算出し、線維密集度として得る。図19は、線維密集度の算出原理を説明する説明図であり、2つの線維領域の骨格線L51,L53を示している。先ず、一方の骨格線(骨格線1)L51を構成する画素P5について、骨格線(骨格線2)L53を構成する全ての画素P53との間の距離を算出する。そして、算出した距離のうちの最小値を画素P5と骨格線(骨格線2)L53との距離dAとする。その後、同様にして骨格線(骨格線1)L51を構成する全ての画素について骨格線(骨格線2)L53との距離を算出し、その平均値を平均距離AD1,2、すなわち線維密集度として算出する。
 なお、線維を含むその他の所定組織の形状不正度を算出する場合(例えば、前立腺の腺構造(腺房)等)には、予め臓器毎に正常組織画像を用意するとともに、正常組織の形状特徴量を定義して記憶部55に記憶しておくこととしてもよい。そして、標本属性情報として設定されている診断対象の染色標本の臓器種類に応じて該当する臓器の正常組織画像および形状特徴量を読み出し、これらとの類似度を算出することによって形状不正度を算出することとしてもよい。
 次に、血管統計量について説明する。血管統計量としては、例えば形状不正度等が挙げられる。この形状不正度の算出には、血管領域を特定する際、血管領域として特定した高輝度領域について算出した輪郭およびこの高輝度領域を楕円近似して得た楕円とを用いる。
 図20は、形状不正度の算出原理を説明する説明図であり、血管領域L3として特定された高輝度領域(図16を参照)と、この高輝度領域である血管領域L3を楕円近似して得た楕円E3とを示している。先ず、血管領域L3の輪郭線と楕円E3とで区画された図20中のハッチングを付した領域E33の領域面積を算出する。そして、楕円E3の面積に対する領域E33の領域面積の比率PSを算出し、形状不正度として得る。ここで、血管領域L3の輪郭線と楕円E3とによって囲まれた領域E33の領域面積をRS,楕円E3の面積をESとすると、比率PSは、次式(13)で表される。この比率PSである形状不正度は、値が小さいほど血管の形状が崩れていることを示している。
Figure JPOXMLDOC01-appb-M000009
 以上のように要診断領域毎に統計量を算出した後、図11に示すように、癌可能性度推定部543が、ステップe5で算出した要診断領域毎の統計量をもとに、各要診断領域に映る部位が癌である可能性の度合い(癌可能性度)を推定する(ステップe7)。例えば、癌可能性度推定部543は、要診断領域の統計量を、診断の際に病理医が判断する一般的な指標(診断指標)および過去の希少症例と比較することによって、要診断領域が癌である可能性が高いか否かを推定する。診断指標は、予め設定して記憶部55に記憶しておくものとする。具体的には、この診断指標は、発生し易い癌の種類やその癌における細胞核や線維、血管等の変性状態等であり、例えば、上記した統計量あるいはこの統計量から算出される値に対する閾値として設定される。また、過去の希少症例については、例えば過去に希少症例と診断された染色標本について算出された統計量の値を設定しておく。そして、癌可能性度は、例えば「レベル1:癌の可能性は非常に低い」「レベル2:変性のみである」「レベル3:癌の可能性が高い」「レベル4:確実に癌である」「レベル5:希少症例の疑いあり」の5段階で推定される。
 推定手順としては例えば、要診断領域の統計量を過去の希少症例と比較することによって希少症例か否かを判定し、希少症例と判定した場合には、癌可能性度を「レベル5」として推定する。その後、希少症例でないと判定したものについて、診断指標を参照して癌可能性度が「レベル1」~「レベル4」のいずれであるかを推定する。
 ここで、標本属性情報において臓器種類として「子宮頸部」が設定され、組織として「扁平上皮」が設定されている場合の「レベル1」~「レベル4」の癌可能性度(子宮頸部扁平上皮癌の癌可能性度)の推定方法について説明する。子宮頸部扁平上皮癌では、核密集度や血管への浸潤度等を観察することで診断が行われている。そこで、例えば、核密集度および血管への浸潤度を判定する閾値を診断指標として設定しておき、先ず、核統計量である核数および核間距離をもとに、次の手順で核密集度の高低を判定する。
 例えば、核数に関する条件と、核間距離に関する条件の2つの条件を満たすか否かを判定することによって核密集度の高低を判定する。
 先ず、1つ目の核数に関する条件について説明する。バーチャルスライド画像内に含まれる細胞核領域の数をNumA、ID=αの要診断領域内の細胞核領域の数(核数)をNumαとすると、染色標本内の細胞核の総数に対する要診断領域内の画数の比率RNは、次式(14)で表される。
Figure JPOXMLDOC01-appb-M000010
 核数に関する条件は、算出した比率RNが次式(15)を満たすか否かである。
Figure JPOXMLDOC01-appb-M000011
 次に、2つ目の核間距離に関する条件について説明する。ID=αの要診断領域内の細胞核領域の面積をSi(i=1,2,・・・,Numα)とすると、平均面積Sα ̄は、次式(16)で表される。なお、Sα ̄は、Sαの上に平均値を表す記号「 ̄」が付いていることを示す。
Figure JPOXMLDOC01-appb-M000012
 ここで、細胞核領域が円形状であると仮定すると、平均面積Sα ̄の半径rαは、次式(17)によって表される。πは、円周率である。
Figure JPOXMLDOC01-appb-M000013
 そして、核間距離に関する条件は、この半径rαを用い、次式(18)を満たすか否かによって判定する。d ̄は、ID=αの要診断領域について算出されている核間距離の平均値であり、kは所定の係数である。なお、d ̄は、dの上に平均値を表す記号「 ̄」が付いていることを示す。
Figure JPOXMLDOC01-appb-M000014
 そして、核数に関する条件(上記した式(15))および核間距離に関する条件(上記した式(18))の両方を満たす場合の密集度レベルを「3」とし、いずれか一方を満たす場合の密集度レベルを1とし、いずれも満たさない場合の密集度レベルを「1」として得る。ここで得られる密集度レベルは、値が大きいほど密集度が高いことを示している。
 次に、血管統計量である形状不正度をもとに、血管への浸潤度を判定する。上記したように、形状不正度は、値が小さいほど血管の形状が崩れていることを示している。このため、ここでは、例えば形状不正度の値を閾値処理することによって血管への浸潤度の大小を判定する。例えば、予め形状不正度(すなわち上記した比率PS)に対する閾値ThPSを設定しておき、次式(19)を判定する。そして、次式(19)を満たす場合に、血管への浸潤度が大きい、すなわち、血管の形状が崩れていると判定する。
Figure JPOXMLDOC01-appb-M000015
 そして、以上のようにして得た密集度レベルの値と、閾値ThPSに対する形状不正度の値の大小との組み合わせをもとに、癌可能性度を推定する。例えば、予めこれらの組み合わせ毎に癌可能性度を設定した癌可能性度推定テーブルを用意して記憶部55に記憶しておき、この癌可能性度推定テーブルを参照することで癌可能性度を推定する。図21は、癌可能性度推定テーブルの一例を示す図である。図21の例では、密集度レベルが「1」であり、形状不正度(比率PS)の値が閾値ThPSに対して非常に小さい場合は、癌可能性度を「レベル4」として推定する。一方、密集度レベルが「3」であり、形状不正度の値が閾値ThPS以上の場合には、癌可能性度を「レベル1」として推定する。
 なお、癌可能性度の推定方法は、上記した方法に限定されるものではない。例えば、正常組織画像および形状特徴量を臓器毎に設定して記憶部55に記憶しておく。そして、この正常組織画像や形状特徴量との類似度を算出することによって癌可能性度を推定することとしてもよい。また、診断指標や前述のような正常組織画像および形状特徴量といった癌可能性度の推定に用いるデータは、学習用データとして例えば記憶部55に記憶する構成としてもよい。
 以上のようにして要診断領域毎に癌可能性度を推定した後、図11に示すように、癌可能性度推定部543は、推定した癌可能性度が「レベル4:確実に癌である」である要診断領域の有無を判定し、「レベル4」の要診断領域があれば(ステップe9:Yes)、その要診断領域についてグレードを決定する(ステップe11)。「レベル4」の要診断領域がない場合には(ステップe9:No)、ステップe13に移行する。
 ここで、ステップe11のグレードの決定手順について説明する。先ず、「レベル4」と推定した要診断領域毎に、上記した式(19)の条件に対する偏差δPSを次式(20)に従って算出する。
Figure JPOXMLDOC01-appb-M000016
 その後、算出した偏差δPSの値を所定階層に振り分け、この偏差δPSの値が振り分けられた階層に従ってグレードを決定する。例えば先ず、要診断領域毎の偏差δPSの値をもとに、所定数nの各階層step(i=1,2,・・・,n)の偏差量を決定する。ここで、iは階層番号を表す。そして、決定した各階層stepの偏差量をもとに、要診断領域のそれぞれをいずれかの階層に振り分ける。本実施の形態では、例えばn=5とする。各階層stepにおける偏差量value(i)(i=1,2,・・・,n)は、各要診断領域の偏差δPSの値のうちの最大値をδPS_maxとすると、次式(21)で表される。
Figure JPOXMLDOC01-appb-M000017
 そして、決定した各階層stepの偏差量value(i)をもとに、要診断領域のそれぞれをいずれかの階層に振り分ける。ここで振り分けられた階層が、その要診断領域のグレードに相当する。推定した癌可能性度および癌可能性度が「レベル4」である要診断領域について決定されたグレードは、該当する要診断領域IDを割り当てた要診断領域に関する情報として記憶部55に記憶しておく。
 そして、図11に示すように、続くステップe13では、制御部56が、ステップe1~ステップe11の処理の結果、要診断領域に関する情報として記憶部55に記憶された要診断領域毎の位置情報、重心位置、特徴量、統計量、癌可能性度、および癌可能性度が「レベル4」である要診断領域について決定されたグレードの各値を、要診断領域情報とし、染色標本IDとともに染色標本DB4に送信して書込要求を通知する。これに応答し、送信された要診断領域情報が染色標本DB4に追加登録され、診断対象の染色標本に関する染色標本情報が更新される。その後、要診断領域情報作成処理を終え、図10のステップd3にリターンしてステップd5の病理医選出処理に移る。図22は、病理医選出処理の処理手順を示すフローチャートである。
 図22に示すように、病理医選出処理では先ず、図10のステップd1で取得された標本属性情報や図11の要診断領域情報作成処理で作成された要観察情報等をもとに、病理医DB6に登録されている病理医の中から診断を依頼する病理医を検索する(ステップf1)。
 ここで、病理医DB6について説明する。この病理医DB6には、病理医の所属や連絡先、経歴、専門分野の他、その病理医が過去に診断した臓器の種類(診断臓器)やグレード毎の症例実績、希少症例の症例実績といった過去症例や観察手技等がリスト化され、病理医情報として登録される。図23は、病理医DB6のデータ構成例を示す図である。図23に示すように、病理医DB6には、病理医IDと対応付けて、該当する病理医の氏名と、勤務先の医療施設等が設定される所属と、病理診断装置7のネットワークIDと、メールアドレスと、経歴,専門分野と、観察手技(観察手技情報)と、過去症例(診断実績情報)である診断臓器/組織およびグレード/希少症例数と、スケジュール(スケジュール情報)とが記憶される。これら病理医情報を構成する各項目のデータは、例えば関係データベース等を用いて関連付けられ、管理される。なお、病理医情報を構成する項目は例示したものに限定されるものではなく、適宜設定できる。また、病理医DB6のデータ構成はこれに限定されるものではなく、各項目の値を指定することによってその値に応じた病理医情報を取得可能な構成であればよい。
 ここで、観察手技、診断臓器/組織、グレード/希少症例数およびスケジュールは、データセットとして記憶され、詳細を後述するように、該当する病理医が染色標本の診断を行なう度に更新されていく。
 観察手技(データセットA-01~A-05,・・・)は、該当する病理医の観察手技を記憶する。本実施の形態では、例えば、観察手技として、診断時の画像種類のデータセットを記憶する。診断時の画像種類としては、例えば、染色標本RGB画像、色素量画像、デジタルステイン画像、擬似微分干渉画像等が挙げられる。バーチャルスライド画像を加工することで、例示したような種類の異なる画像を合成することができるが、診断に用いる画像の種類は、病理医によって異なる。すなわち、色素量画像の観察・診断を好む病理医もいれば、デジタルステイン画像の観察・診断を好む病理医もいる。診断時の画像種類には、該当する病理医が診断に用いる画像の種類が設定される。この観察手技のデータセットは、例えば該当する病理医の病理診断装置7からの通知等に応じて適宜更新される。
 診断臓器/組織(データセットB-01~B-05,・・・)は、該当する病理医が過去に診断した臓器および組織を記憶する。図24-1は、図23に示す病理医IDが「1」である病理医情報の診断臓器/組織のデータセットB-1の一例を示す図であり、図24-2は、図23に示す病理医IDが「2」である病理医情報の診断臓器/組織のデータセットB-2の他の例を示す図である。各図24-1,図24-2に示すように、診断臓器/組織のデータセットには、臓器の種類と組織の種類との組み合わせと対応付けて、その臓器のその組織についての症例実績(回)と、比率とが設定さる。症例回数には、過去にその臓器のその組織について診断した回数が設定される。比率には、臓器および組織の全ての組み合わせの症例実績の合計(全実績数)に対する症例実績(回)の比率が設定される。例えば、子宮頸部の扁平上皮のレコードL61には、子宮頸部の扁平上皮の症例実績(回)として「30」が設定され、全実績数に対する子宮頸部の扁平上皮の症例実績(回)の比率として「0.38」が設定されている。
 ここで、図24-1の病理医情報に該当する病理医が、臓器種類として子宮頸部が設定され、注目組織種類として扁平上皮が設定された染色標本を診断したとする。この場合には、子宮頸部の扁平上皮のレコードL61において症例実績(回)が加算されて更新されるとともに、更新後の症例実績(回)をもとに比率が算出されて更新される。診断した子宮頸部および扁平上皮の組み合わせの項目(レコード)が存在しない場合には、臓器種類と注目組織種類との組み合わせ(ここでは子宮頸部と扁平上皮との組み合わせ)のレコードが新たに追加され、その症例実績(回)と比率とが設定される。このように、診断臓器/組織のデータセット(データセットB-01~B-05,・・・)は、該当する病理医が染色標本を診断する度に該当するレコードが更新され、あるいは新たなレコードが追加されていく。
 グレード/希少症例数(データセットC-01~C-05,・・・)は、該当する病理医が過去に診断した診断臓器/組織のグレード数および希少症例数を記憶する。グレードは、上記したように癌可能性度が「レベル4」の場合に決定される値であり、グレード毎に症例実績(回)と比率とを記憶する。すなわち、該当する病理医が、癌可能性度が「レベル4」である染色標本を診断すると、そのグレードの症例実績が加算され、比率が更新される。希少症例数は、希少症例の症例実績(回)を記憶する。具体的には、該当する病理医が癌可能性度が「レベル5」である染色標本を診断すると、症例実績が加算されていく。
 スケジュール(データセットD-01~D-05,・・・)は、該当する病理医の所定期間(例えば1ヶ月等)分のスケジュールを記憶する。このスケジュールのデータセットは、適宜のタイミングで最新の情報に更新される。
 図22のステップf1では、病理医検索部561は、以上のように構成される病理医DB6から要診断領域を診断するのに適した病理医を検索する。以下、1つ(例えば要診断領域ID=IDβ)の要診断領域に着目し、病理医の検索方法を説明する。図25は、診断対象の染色標本の標本属性情報および着目する要診断領域の要診断領域情報の一例を示す図である。図25に例示する診断対象の染色標本においては、臓器種類が子宮頸部であり、注目組織種類が扁平上皮であり、染色方法がH&E染色である。また、着目している要診断領域ID=1βの要診断領域について推定されている癌可能性度が「レベル4」であり、グレードが「II」である。また、緊急度として「1(緊急)」が設定されている。
 本実施の形態では、これら診断対象の染色標本の標本属性情報および着目する要診断領域の要診断領域情報のうち、例えば、臓器種類、注目組織種類、癌可能性度(グレードが設定されている場合はグレードを含む)をもとに病理医を検索する。なお、検索に用いる項目の組み合わせはこれに限定されるものではなく、別の項目あるいは別の項目の組み合わせを適宜用いて病理医を検索することとしてよい。
 先ず、病理医DB6に登録されている全ての病理医情報の診断臓器/組織のデータセット(図23のデータセットB-01~B-05,・・・)を参照し、診断対象の染色標本の臓器種類および注目組織種類について設定されている比率が高い病理医を選出する。例えば、要診断領域情報に設定されている臓器種類が子宮頸部であり、注目組織種類が扁平上皮(図25を参照)の場合、図24-1に示した病理医情報のデータセットB-1については、レコードL61が参照される。一方、図24-2に示した病理医情報のデータセットB-2については、レコードL62が参照される。これらレコードL61,L62では、レコードL61の比率の方が値が大きいため、データセットB-1の病理医(病理医ID=1)が選出されることとなる。ただし、実際には、病理医DB6には多くの病理医情報が登録されているため、ここでは、各病理医情報の中から診断対象の染色標本の臓器種類および注目組織種類について設定されている比率が高い上位N番目までの病理医を選出する。以下では、癌可能性度が「レベル4」以外の場合にN=5(上位5人)とする。癌可能性度が「レベル4」の場合は、Nを5以上の値、例えば10(上位10人)とする。癌可能性度が「レベル4」の場合のNの値が大きいのは、以下説明するようにグレードをもとに病理医をさらに絞り込むためである。なお、Nの値は特に限定されるものではなく、2以上の値を適宜設定できる。また、ここでは、比率の値が上位N人の病理医を選出することとしたが、予め閾値を設定しておき、この閾値よりも比率の値が大きい病理医を選出するようにしてもよい。また、ここでは、診断臓器/組織のデータセットに設定されている比率の値をもとに病理医を選出することとしたが、診断実績(回)の値をもとに病理医を選出するようにしてもよい。
 続いて、癌可能性度が「レベル4」の場合に、次の処理を行う。すなわち、選出した病理医情報のグレード/希少症例数のデータセット(図23のデータセットC-01~C-05,・・・)を参照し、要診断領域情報のグレードについて設定されている診断実績(回)または比率が高い上位M番目までの病理医を選出する。例えば、Mの最大値を5として設定しておき、最大5人の病理医を選出する。なお、Mの値は特に限定されるものではなく、2以上の値を適宜設定できる。
 その後、病理医検索部561は、図22に示すように、以上のようにして絞り込まれた病理医情報のスケジュールのデータセット(図23のデータセットD-01~D-05,・・・)を参照し、依頼先候補病理医を選出する(ステップf3)。例えば、絞り込まれた病理医情報の中から、検索日以降の所定の診断期間(例えば3日)のスケジュールに空き時間が存在する病理医情報を所定数(例えば本実施の形態では3人とし、該当する病理医が3人いなければ少なくとも1人)選んで依頼先候補病理医とする。なお、ここでは最大3人を選出することとしたが、何人選出するかは適宜設定でき、1人以上であればよい。
 該当する病理医が存在しない場合には、標本属性情報に設定されている緊急度(図25を参照)を判定する。緊急度の値が予め設定される閾値以下(例えば2以下とすれば、「1(緊急)」または「2(急ぎ)」)であり、診断を急ぐ場合には、癌可能性度が「レベル4」か否かによって処理を分岐する。すなわち、癌可能性度が「レベル4」以外の場合には、上位N番目よりも下位であった病理医を新たに選出する。本例では、上位6番目以降の病理医を順次選出し、スケジュールのデータセットを参照して空き時間が存在するか否かを判定する。そして、空き時間が存在した病理医を依頼先候補病理医とする。癌可能性度が「レベル4」の場合には、上位M番目よりも下位であった病理医を新たに選出し、癌可能性度が「レベル4」以外の場合と同様にして、スケジュールに空き時間が存在した病理医を依頼先候補病理医とする。一方、緊急度の値が予め設定される閾値より大きく(例えば「3(通常)」、急を要していない場合には、所定期間(例えば2日)ずつ最大1ヶ月まで診断期間を延長しながらスケジュールの空き状況を判別し、依頼先候補病理医を選出する。所定数の依頼先候補病理医を選出した時点でステップf3の処理を終える。
 以上が1つの要診断領域に着目した病理医の検索方法であるが、複数の要診断領域が抽出されている場合には、各要診断領域に設定されている癌可能性度を参照し、そのうちの最も高いレベルを特定する。そして、特定したレベルを用いて上記した処理を行い、依頼先候補病理医を選出する。
 なお、依頼先候補病理医の選出手法は、上記した手法に限定されるものではない。例えば、癌可能性度がある特定のレベルの場合には、経歴をもとに依頼先候補病理医を選出するようにしてもよい。例えば、「癌可能性度:レベル1」については、経歴から診断経験年数の浅い病理医に依頼することも可能である。
 続いて、診断依頼可否判定部562が、ステップf3で選出した依頼先候補病理医の病理診断装置7に診断可否返答依頼を通知する(ステップf5)。具体的には、診断依頼可否判定部562は、依頼先候補病理医の病理医情報に設定されている病理医ID、氏名、所属、ネットワークIDおよびメールアドレスに従って病理診断装置7に診断可否返答依頼を通知する。複数の依頼先候補病理医が選出されている場合には、各依頼先候補病理医の病理診断装置7に対してそれぞれ診断可否返答依頼を通知する。
 これに応答し、診断可否返答依頼を受信した病理診断装置7では、受信した診断可否返答依頼を画面表示し、診断可否の選択を促す。そして、可否選択が操作入力されるまでの間(ステップg1:No)、待機状態となる。可否選択が操作入力された場合には(ステップg1:Yes)、選択内容(「受託可」または「受託不可(否)」)を設定した受託可否情報を情報配信器5に送信する(ステップg3)。
 図26は、病理診断装置7に画面表示される診断可否返答依頼の一例を示す図である。図26に示すように、診断可否返答依頼は例えばメール送信され、受託可ボタンB61または受託不可(否)ボタンB63の選択を促すメッセージとして画面表示されて病理医に提示される。病理医は、依頼内容や返答期限を確認し、診断を受託する場合には受託可ボタンB61をクリックし、診断を受託しない場合には受託不可ボタンB63をクリックして診断可否返答依頼に返答する。ここで受託可ボタンB61をクリックすれば「受託可」が設定された受託可否情報が情報配信器5に送信され、受託不可ボタンB63をクリックすれば「受託不可」が設定された受託可否情報が情報配信器5に送信されることとなる。
 一方、情報配信器5では、受託可否情報を受信すると(ステップf7:Yes)、診断依頼可否判定部562が、受託可否情報をもとに受託可と返答した病理医数を判定する。すなわち、受信した受託可否情報に「受託可」が設定されている場合には、その病理医を依頼先病理医として確定し、確定した依頼先病理医数を加算する。そして、診断依頼可否判定部562は、受託可と返答した病理医数(確定した依頼先病理医数)が上限人数(例えば3人)に達するまでの間(ステップf9:No)、ステップf7に戻って受託可否情報を受け付ける。このようにすることで、5人の依頼先候補病理医から先着順に依頼先病理医を確定していく。なお、ステップf3で選出した依頼先候補病理医が上限人数(3人)に満たない場合には、受託可と返答した病理医が全て依頼先病理医として確定すればよい。なお、ここでは上限人数を3人としたが、1人以上であればよく、適宜設定してよい。
 より詳細には、受信した受託可否情報に受託可が設定されており、この受託可否情報を送信した病理診断装置7の病理医を依頼先病理医として確定した場合には、診断依頼可否判定部562は、その病理診断装置7のネットワークIDにアクセス権を割り当て、診断対象の染色標本の染色標本情報にアクセス可能な状態を設定する。その後、この病理診断装置7にアクセス可能な旨の通知を行う。図27は、病理診断装置7に画面表示されるアクセス可能な旨の通知の一例を示す図である。この通知は、図27に示すように、診断可否返答依頼と同様にメール送信され、病理医に提示される。
 そして、診断依頼可否判定部562は、図22のステップf9において上限人数に達したと判定した場合には(ステップf9:Yes)、依頼先病理医を確定する(ステップf11)。
 より詳細には、このとき、診断可否返答依頼を送信した依頼先候補病理医のうち、受託可否情報が未受信である依頼先候補病理医の病理診断装置7に定員に達した旨の通知を行う。図28は、病理診断装置7に画面表示される定員に達した旨の通知の一例を示す図である。この通知は、図28に示すように、診断可否返答依頼と同様にメール送信され、病理医に提示される。
 続く図22のステップf13では、提供情報作成部544の画像加工処理部545が、ステップf11で確定した依頼先病理医の観察手技のデータセットを参照し、観察手技に従ってバーチャルスライド画像を画像処理(加工)して提供情報を作成する。このステップf13の処理は、依頼先病理医毎に行い、各依頼先病理医に適した提供情報を作成する。
 具体的には、診断時の画像種類として染色標本RGB画像が設定されている場合には、位置情報をもとに染色標本RGB画像における要診断領域の画像データを切り出し、切り出した画像データを画像処理して加工し、提供情報を作成する。
 ここで、要観察領域の特徴量として算出されている色情報補正係数を用いて色素量を正規化したRGB画像(正規化RGB画像)を生成するようにしてもよい。具体的には先ず、要観察領域を構成する各画素の色素Hおよび色素Eの色素量を色情報補正係数に従って調整する。具体的には、色情報補正係数をαH,αEとし、色素量dH,dEにこの色情報補正係数αH,αEを乗じることで色素量を調整する。調整後の色素量dH *,dE *の算出式は、次式(22),(23)で表される。
Figure JPOXMLDOC01-appb-M000018
 そして、このようにして調整した色素量dH *,dE *を上記した式(4)に代入し、得られた値を次式(24)に従って分光透過率に変換する。これにより、調整後の色素量dH *,dE *から各画素位置の分光透過率が得られる。以上の要領で要観察領域内の各画素について分光透過率を算出した後、上記した式(2),(3)に従って各画素のRGB値GRGB(x)を算出し、調整後の色素量dH *,dE *をもとに正規化RGB画像を合成する。そして、以上説明した処理を要観察領域毎に行って、各要観察領域の正規化RGB画像を提供情報として作成する。
Figure JPOXMLDOC01-appb-M000019
 このように色情報補正係数αH,αEを用いて色素量を調整することによれば、所望の濃度で染色された染色標本と同等の色を有する画像に補正することができる。したがって、この色情報補正係数αH,αEの値として病理医の好む値を設定しておく構成も可能である。例えば、標準的な濃度で染色された染色標本の観察を好むのか、濃く染色された染色標本の観察を好むのか、あるいは薄く染色された染色標本の観察を好むのかに応じた色情報補正係数αH,αEの値を病理医の観察手技として設定しておく構成としてもよい。そして、依頼先病理医の観察手技として設定された色情報補正係数αH,αEの値をもとに前述の手順と同様にして要観察領域を構成する各画素の色素量を調整し、調整後の色素量をもとに要観察領域のRGB画像を合成することによって提供情報を作成する構成としてもよい。
 一方、診断時の画像種類として色素量画像が設定されている場合には、要診断領域の色素量画像を生成する。本実施の形態では、H&E染色された染色標本を診断対象としているため、位置情報をもとに要診断領域の各画素位置における色素Hの色素量を読み出し、その濃淡によって表したH色素量画像を生成する。同様に、要診断領域の各画素位置における色素Eの色素量を読み出し、その濃淡によって表したE色素量画像を生成する。図29は、要診断領域のH色素量画像の一例を示す図である。また、図30は、要診断領域のE色素量画像の一例を示す図である。
 また、診断時の画像種類としてデジタルステイン画像が設定されている場合には、要診断領域のデジタルステイン画像を生成する。ここで、デジタルステイン画像は、例えば細胞核や線維、血管といった所望の構成要素をあたかも特殊染色したかのように強調表示した画像のことである。具体的には、先ず、位置情報をもとに染色標本RGB画像における要診断領域の画像データを切り出す。続いて、要診断領域の特徴量として作成した構成要素情報を参照し、各構成要素の識別画素条件に基づいて、要診断領域の画像データから細胞核、線維および血管の画素を抽出する。そして、染色標本RGB画像における要診断領域内の細胞核、線維および血管の画素を所定の表示色で置き換えることによって、要診断領域内の構成要素を他と識別可能に強調表示したデジタルステイン画像を生成する。このとき、細胞核、線維および血管の画素を全て置き換える必要はなく、所定の構成要素の画素の表示色を置き換える構成としてよい。いずれの構成要素を強調表示するのかは、例えば入力部51を介してユーザ操作を受け付けるようにしてもよい。また、複数の構成要素を強調表示する場合には、それぞれの画素を別個の表示色で置き換えるようにしてもよい。図31は、弾性繊維を強調表示したデジタルステイン画像の一例を示す図である。
 また、診断時の画像種類として擬似微分干渉画像が設定されている場合には、要診断領域の擬似微分干渉画像を生成する。この擬似微分干渉画像は、焦点位置の異なるバーチャルスライド画像を合成して生成する。具体的には、例えば、図6のステップc13で測定した合焦位置以外の前焦点位置および後焦点位置を焦点位置Fα,Fβとして用いる。そして、前焦点位置および後焦点位置のバーチャルスライド画像の各画素位置について算出されている分光透過率を参照し、所定波長λにおける分光透過率が前述の閾値以上である画素を「1」、閾値に満たない画素を「0」として、共通の画素間で論理積を求める。そして、論理積を満たす画素の画素値を「255」とし、満たさない画素の画素値を「0」として擬似微分干渉画像を生成する。
 なお、ここでは、要診断領域の画像データを切り出し、切り出した画像データを画像処理して加工し、提供情報を作成することとした。これに対し、染色標本画像の全域を加工して提供情報を作成することとしてもよい。
 以上のようにして提供情報を作成した後、提供情報作成部544は、作成した提供情報を染色標本IDとともに染色標本DB4に送信し、書込要求を通知する(ステップf15)。これに応答し、送信された提供情報が染色標本DB4に追加登録され、診断対象の染色標本に関する染色標本情報が更新される。その後、病理医選出処理を終え、図10のステップd5にリターンしてステップd7に移る。
 そして、ステップd7では、提供情報配信処理部563が、ステップd1で取得した標本属性情報および染色標本画像の画像データ、ステップd3の要診断領域情報作成処理で作成した要診断領域情報、図22のステップf13で作成された提供情報といった染色標本情報を診断情報とし、図22のステップf11で確定された依頼先病理医の病理診断装置7に配信する。なお、ステップd7の処理は、ステップd5の病理医選出処理の直後に行わなくてもよく、例えば依頼先病理医の病理診断装置7が情報配信器5にアクセスし、情報配信器5に対して診断開始要求を通知した際等の適宜のタイミングで行うこととしてよい。
 これに応答し、病理診断装置7では、受信した診断情報である標本属性情報や染色標本画像の画像データ、要診断領域情報、提供情報等を画面表示する(ステップh1)。この病理診断装置7の病理医は、画面表示された提供情報等の診断情報を見ながら観察・診断を行い、入力装置を操作して診断結果を入力する。そして、病理診断装置7は、操作入力に従って診断報告書情報を作成する(ステップh3)。
 例えば、病理診断装置7は、受信した診断情報をもとに、標本属性情報や染色標本画像の画像データ、要診断領域情報、提供情報等を配置した診断画面を表示する。図32は、診断画面の一例を示す図である。図32に示すように、診断画面は、全体画像表示部W81と、要診断領域表示部W831,W832,W833と、付属情報表示部W85とを備える。また、この診断画面には、診断完了ボタンB81が配置されている。
 全体画像表示部W81には、高解像画像である標本領域区画画像を結合して得たバーチャルスライド画像をもとに生成した染色標本RGB画像が表示される。この全体画像表示部W81に表示される染色標本RGB画像は、不図示の拡大メニューまたは縮小メニューを選択することで、部分的に拡大/縮小できるようになっている。病理診断装置7の依頼先病理医は、この全体画像表示部W81において、実際にバーチャルスライド顕微鏡2で高倍対物レンズを用いて診断対象の染色標本を観察するのと同様の要領で、診断対象の染色標本の全域あるいは診断対象の染色標本を部分毎に高解像度で観察することができる。
 要診断領域表示部W831,W832,W833には、要診断領域毎の提供情報が表示される。本実施の形態では、提供情報は、上記したように要診断領域毎にその画像データを画像処理して加工したものである。例えば、病理診断装置7の依頼先病理医の観察手技として診断時の画像種類が「染色標本RGB画像」に設定されている場合には、染色標本RGB画像から切り出された要診断領域の画像データが提供情報として配信され、これら要診断領域毎の提供情報が要診断領域表示部W831,W832,W833に表示される。なお、これら要診断領域表示部W831,W832,W833にそれぞれ表示される要診断領域毎の画像データは、ユーザ操作に従って適宜全体画像表示部W81に拡大表示される構成となっている。
 また、例えば上記した図12の要診断領域抽出画面においてユーザ(依頼元の病理医)が要診断領域についてコメントを記入している場合には、例えば要診断領域表示部W833に示すように、「コメント有り」が表示される。この「コメント有り」の表示をクリックすると、その具体的な内容が表示されるようになっている。依頼先病理医は、コメントの内容(依頼元の病理医の所見や疑問点、質問等)を確認しつつ診断を行うことができる。
 付属情報表示部W85には、提供情報とともに受信した標本属性情報や要診断領域情報の内容が一覧表示される。依頼先病理医は、この付属情報表示部W85において標本属性情報や要診断領域情報の内容等を参照することができる。ここで、例えば細胞核や線維、血管等の形状情報を重要視する病理医もいれば、別の特徴量あるいは統計量を重要視する病理医もいる。したがって、依頼先病理医は、要診断領域の特徴量や統計量等の中から必要な値を適宜参照しながら診断を行うことができるので、迅速な診断が実現できる。
 この診断画面において、例えば要診断領域表示部W831をダブルクリックすると、報告書作成画面が表示され、該当する要診断領域に対する所見や診断結果の記入を受け付ける。図33は、報告書作成画面の一例を示す図である。図33に示すように、報告書作成画面は、患者情報等の標本属性情報、あるいは診断を行った依頼先病理医の病理医情報等のうちの必要な項目、ダブルクリックした要診断領域の画像データ(提供情報)等が表示される。また、報告書作成画面は、所見記入欄W91と、診断結果入力部W93とを備える。
 ここで、診断結果入力部W93には、例えば、病名を入力する入力ボックスIB91やグレードを入力する入力ボックスIB93が配置されるとともに、診断を確定するのか未確定とするのかを選択するための確定ボタンB91および未確定ボタンB93が配置されている。依頼先病理医は、例えば、病名やグレード等について確信が持てる場合には確定ボタンB91をクリックする。一方、確信が持てないのであれば、未確定ボタンB93をクリックする。
 この報告書作成画面において、依頼先病理医は、要診断領域についての所見を所見記入欄W91に記入する。また、該当する要診断領域に対して依頼元の病理医のコメントが記入されていた場合であって、その内容が依頼先病理医に対する疑問・質問事項であった場合には、その回答を適宜所見記入欄W91に記入する。また、依頼先病理医は、診断結果入力部W93において、入力ボックスIB91,IB93に病名やグレードを入力し、確定ボタンB91または未確定ボタンB93をクリックして該当する要診断領域についての診断を終える。
 確定ボタンB91または未確定ボタンB93をクリックすると、図32の診断画面に戻るようになっている。依頼先病理医は、同様の操作を行って要診断領域毎に所見の記入や診断結果の入力を行う。そして、全ての要診断領域についての診断を終えると、診断完了ボタンB81をクリックして診断を完了する。この診断完了ボタンB81がクリックされた際の要診断領域毎の所見および診断結果の内容が、診断報告書情報として作成される。なお、この診断完了ボタンB81をクリックするまでの間は、記入済みの所見や入力済みの診断結果について変更が可能である。すなわち、要診断領域表示部W831をクリックすれば、該当する要診断領域についての報告書作成画面が再度表示され、既に記入済みの所見や入力済みの診断結果を変更、追記、あるいは削除することが可能である。
 そして、以上のようにして診断報告書情報を作成した後、図10に示すように、病理診断装置7は、診断報告書情報を染色標本IDとともに情報統合器8に送信する(ステップh5)。
 また、病理診断装置7は、標本属性情報と診断報告書情報とを診断内容情報とし、病理診断装置7の病理医の病理医IDとともに病理医DB6に送信して書込要求を通知する(ステップh7)。これに応答し、病理医DB6では、標本属性情報の臓器種類や注目組織種類に従い、該当する病理医情報の診断臓器/組織のデータセットを更新する。また、癌可能性度が「レベル4」であり、グレードが決定されている場合、あるいは癌可能性度が「レベル5」であり、希少症例の場合には、グレード/希少症例数のデータセットを更新する。
 一方、情報統合器8では、診断報告書情報とともに受信した染色標本IDをもとに、診断対象の染色標本の染色標本情報を染色標本DB4から取得する(ステップi1)。そして、情報統合器8は、病理診断装置7から受信した診断報告書情報と、ステップi1で取得した染色標本情報とを統合して確定診断結果情報を作成する(ステップi3)。ここで、図22のステップf11で複数の依頼先病理医が確定され、図10のステップd7において複数の依頼先病理医の病理診断装置7に対して診断情報が配信された場合には、情報統合器8は、各依頼先病理医の病理診断装置7からの診断報告書情報を受信する。この場合には、情報統合器8は、これら受信した各依頼先病理医の病理診断装置7からの診断報告書情報を統合し、確定診断結果情報を作成する。
 そして、情報統合器8は、作成した確定診断結果情報を染色標本IDとともに染色標本DB4に送信し、書込要求を通知する(ステップi5)。これに応答し、送信された確定診断結果情報が染色標本DB4に追加登録され、診断対象の染色標本に関する染色標本情報が更新される。
 以上説明したように、本実施の形態の診断情報配信装置によれば、複数の病理診断装置を操作する病理医の中から診断を依頼する依頼先病理医を選択するとともに、少なくとも標本画像から抽出した要診断領域の画像データに対し、予め設定されている依頼先病理医の観察手技に応じた画像処理を施して提供情報を作成することができる。そして、依頼先病理医の病理診断装置に作成した提供情報を含む診断情報を配信することができる。したがって、診断情報を受信した病理診断装置の依頼先病理医は、慣れ親しんだ観察手技で診断を行うことができるので、病理医による迅速な診断が実現できる。
 また、本実施の形態の病理診断システム1によれば、他の病理医に意見を求めたい染色標本画像内の要診断領域を抽出することができる。そして、この要診断領域について特徴量および統計量を算出し、癌可能性度を推定してグレードを決定することができる。
 さらに、本実施の形態の病理診断システム1によれば、診断対象の染色標本の標本属性情報や、例えば要診断領域の統計量をもとに推定した癌可能性度等の要診断領域情報、病理医のスケジュール等をもとに病理医を検索し、依頼先病理医を確定することができる。
 ここで、ユーザ(担当病理医)が意見を求める病理医を選定する際には、その時点でコンサルティング可能な病理医の専門分野や経歴を画面表示させて、そこから選定することが考えられる。しかしながら、専門分野や経歴だけでは、意見を求めたい症例についての診断実績や知見の有無を判断するのは困難である。実際に意見を求める病理医を選ぶ際には、その病理医がどのような症例に対する診断実績があるのか、あるいは診断対象の病理学的悪性度と同等の症例を診断したことがあるのか、希少症例に関する知見を持っているか等を考慮する必要がある。さらには診断を行うための時間的な余裕があるか等を考慮して依頼先の病理医を選ぶ必要がある。上記したような情報を病理医毎に提示する場合、担当病理医は、膨大な情報の中から所望の病理医を選び出さなければならず、操作が煩雑であり、選定に時間を要してしまう。これに対し、本実施の形態によれば、ユーザ(依頼元の病理医)は、要診断領域を抽出するだけで、診断に対する意見を求めるのに最適な病理医を依頼先病理医として自動的に選択することができる。したがって、依頼先病理医を検索するために煩雑な操作が必要ない。
 また、本実施の形態の病理診断システム1によれば、確定した依頼先病理医の観察手技に従って少なくとも要診断領域の画像データを画像処理して加工し、提供情報を作成することができる。そして、この提供情報を含む診断情報を依頼先病理医の病理診断装置に配信することができる。したがって、要診断領域の画像データを依頼先病理医が診断し慣れた種類の画像に画像処理して加工した上で、依頼先病理医の病理診断装置7に配信することができる。
 したがって、本実施の形態の病理診断システム1によれば、依頼先病理医は、自身の専門分野(得意分野)であって診断実績のある類似症例を通常の診断環境で診断できるため、効率良く診断が行える。これによれば、セカンド・オピニオン等のコンサルテーションを迅速に行うことができるので、診断確定までの時間の短縮が図れ、迅速に治療を開始できるようになる。
 また、本実施の形態によれば、少なくとも依頼元の病理医が意見を求めたい要診断領域について、特徴量や統計量、癌可能性度等を算出・推定し、診断情報に含めて依頼先病理医の病理診断装置に配信することができる。したがって、依頼先病理医は、これらの情報を適宜参照しながら効率よく作業することができ、迅速な診断が実現できる。
 なお、上記した実施の形態では、依頼先病理医の観察手技として設定されている診断時の画像種類をもとに染色標本RGB画像、色素量画像、デジタルステイン画像または擬似微分干渉画像を提供情報として作成する場合について説明したが、提供情報はこれに限定されるものではない。例えば、染色標本RGB画像に対して例えばエッジ強調処理といった各種画像処理を施して加工し、提供情報を作成するようにしてもよい。この場合には、病理医の観察手技として、染色標本RGB画像に対して施す画像処理の種類を設定しておけばよい。
 また、上記した実施の形態では、要診断領域情報作成部542が作成した要診断領域情報を診断情報に含めて依頼先病理医の病理診断装置7に配信する構成とした。これに対し、病理医毎に診断時に必要とする特徴量や統計量の種類を観察手技として設定するようにしてもよい。そして、依頼先病理医が必要とするとして設定している特徴量や統計量の値のみを診断情報に含めて病理診断装置7に配信するようにしてもよい。
 また、上記した実施の形態では、図22のステップf1において、診断対象の染色標本の標本属性情報および着目する要診断領域の要診断領域情報をもとに病理医を検索することとした。これに対し、例えば提供情報として提供可能な画像の種類に対して優先順位を設定しておき、病理医DB6において観察手技として設定されている診断時の画像種類をもとに病理医を検索するようにしてもよい。例えば、提供情報として提供可能な画像の種類の優先順位としてデジタルステイン画像を優先する設定がされている場合には、観察手技のデータセットにおいて診断時の画像種類としてデジタルステイン画像が設定されている病理医情報を病理医DB6から先ず検索し、絞り込むようにしてもよい。そしてその後、絞り込んだ病理医情報を対象に、上記した実施の形態と同様の要領で依頼先候補病理医を選出する処理(診断対象の染色標本の標本属性情報および着目する要診断領域の要診断領域情報を用い、診断実績情報等をもとに依頼先候補病理医を選出する処理)を行うようにしてもよい。例えば、デジタルステイン画像のような高付加価値な観察手技を利用した診断によって確かな診断結果が期待できることが予め分かっているのであれば、デジタルステイン画像を診断時の画像種類として用いている病理医を検索・選出することで、診断対象の染色標本をより適切な病理医に診断してもらうことが可能となる。
 具体的には、提供情報として提供可能な画像の種類(図4の例では、RGB画像/色素量画像/デジタルステイン画像/擬似微分干渉画像等)と、病理医情報の観察手技に設定されている診断時の画像種類との組み合わせで最適なものを選ぶ。例えば、デジタルステイン画像が最優先として設定され、疑似微分干渉画像が2番目に優先順位が高いとして設定されていたとする。この場合には、観察手技のデータセットにおいて診断時の画像種類としてデジタルステイン画像が設定されている病理医情報を病理医DB6から選出して絞り込んだ上で、標本属性情報や要診断領域情報を用いて依頼先候補病理医を選出する。依頼先候補病理医が選出されなければ、診断時の画像種類として擬似微分干渉画像が設定されている病理医情報を病理医DB6から選出して絞り込んだ上で、標本属性情報や要診断領域情報を用いて依頼先候補病理医を選出する。依頼先候補病理医が選出されなければ、最後に、診断時の画像種類としてデジタルステイン画像および擬似微分干渉画像以外(RGB画像または色素量画像)が設定されている病理医情報を病理医DB6から選出して絞り込んだ上で、標本属性情報や要診断領域情報を用いて依頼先候補病理医を選出する。
 また、遠隔地にある病理医間でコンサルテーションを行う遠隔診断システムにおける情報の授受に関しては、以下説明する方法がガイドラインに示されて推奨されている。上記した実施の形態の病理診断システム1においても、この方法に沿って情報を授受するのがよい。以下、この方法について簡単に説明する。
 遠隔診断・コンサルテーションを依頼する依頼側施設では、遠隔診断の必要が生じた場合に、その旨を受託側施設に伝え、遠隔診断の実施を電話等で予約する(工程1)。受託側施設では、その予約日時において、遠隔診断の実施に対して準備をし、十分な体制を整える(工程2)。
 また、依頼側施設の主治医は、遠隔診断を行う受託側施設の担当の病理医(受託側担当医)に、依頼する遠隔診断の症例の臨床情報の要点、遠隔診断対象の検体の種別、個数、目的等を伝える(工程3)。その後、実際に遠隔診断対象の検体が提出された時点で、依頼側施設の主治医は、標本の作製を開始することを受託側施設に電話等で伝える(工程4)。
 工程4での標本作成の開始の連絡を受けた受託側施設では、受託側担当医が、遠隔診断システムを起動する(工程5)。一方、依頼側施設の担当の検査技師は、標本を作製してその画像(例えばマルチバンド画像)を取り込み、取り込んだ標本の画像を含む送信情報を受託側施設の受託側担当医に宛てて送信する(工程6)。
 工程6の送信情報を受信した受託側施設の受託側担当医は、標本の画像を画面表示して観察し、診断を行う。また、必要に応じて依頼側施設の主治医に情報の追加を求める(工程7)。そして、受託側施設の受託側担当医は、工程7での診断過程および結果を電話等で直接依頼側施設の主治医に伝える(工程8)。また、この電話等の際には、依頼側施設および受託側施設で同期・共有するコンピュータ画面上に決め手となった診断画像情報を提示するとともに、診断結果を文字情報として提示し、診断過程および結果を依頼側施設の主治医に確実に伝える。
 依頼側施設の検査技師は、遠隔診断が終了した後、作製した標本を速達等の方法で遠隔診断を担当した受託側施設の受託側担当医に速やかに届ける(工程9)。受託側施設の受託側担当医は、工程9で届いた標本を受け取り次第、顕微鏡を用いて届いた標本を直接観察し、再度診断を行って工程7での遠隔診断の正誤を判定する(工程10)。工程10において診断に誤りがあったと判定した場合には、その旨を依頼側施設の主治医に遅滞なく伝える(工程11)。
 以上のようにして得られた遠隔診断の診断過程および結果は、標本の画像等の送信情報の全てとともに適切な電子媒体に保存記録し、必要な場合には直ちに再生できるようにしておく(工程12)。また、依頼側施設のテレパソロジー関係者と受託側施設の受託側担当医とは、定期的に直接対面の会合を持ち、内外のテレパソロジーに関する諸問題の情報を共有し、よりよい運営方法と活用法を検討する(工程13)。
 なお、工程6においてマルチバンド画像を遠隔の受託側施設に送信する場合に用いる画像フォーマットの例として、「ナチュラルビジョン(次世代映像表示・伝送システム)の研究開発プロジェクト[動画]の研究開発最終報告書」(平成18年3月31日,独立行政法人情報通信研究機構(拠点研究推進部門))には、スペクトル画像システムの例が開示されている。簡単に説明すると、この報告書では、ICCプロファイルで規定されているCIE1931XYZのみならず、分光透過率までも利用できるとしている。PCSとして何を用いるかによって、プロファイルとして必要となるデータが異なってくる。例えば、PCSを分光透過率での色空間とした場合について考える。この場合、画像入力装置からの画像データには、スペクトルベースでの色再現処理がなされて表示装置等へ出力するための色変換処理が行われる。
 この色変換処理では、画素毎に分光透過率の推定が行われて分光透過率画像データが生成される。この分光透過率画像データは、デバイスインデペンデントの(機器依存性の無い)カラー情報となる。こうして得られた分光透過率画像データは、PCSとして扱うことの可能な信号(データ)と解釈される。ここで、分光透過率の推定を行う場合、一般的には、分光透過率推定行列を用いる。この分光透過率推定行列自体、または分光透過率推定行列を求めるのに必要な情報が、画像入力装置とPCSとを関係付けるデータであるところの入力プロファイルに含まれている。
 そして、PCS空間の画像データであれば、出力先の機器の特性を意識することなく、画像データを保存したり、伝送したりすることが行えるようになる。しかし、保存または伝送を考えたとき、画像データを構成する各画素が分光透過率データを保持していると、データ容量が大きくなる。例えば、画像データを構成する各画素のひとつ一つが波長方向の次元数分のデータを有すると、画素数に前記次元数を乗じた量の画像データを保存または伝送する必要がある。したがって、保存または伝送に係るデータ容量の増加を抑制する上では、撮影信号および上記した入力プロファイルの双方をデータとして保存または伝送し、そのデータを読み出したあるいは受信した機器においてPCS空間の画像データを生成するのが望ましい。
 1   病理診断システム
 2   バーチャルスライド顕微鏡
 21   電動ステージ
 221,231   モータ
 223   XY駆動制御部
 233   Z駆動制御部
 24   顕微鏡本体
 251   コレクタレンズ
 252   照明系フィルタユニット
 253   視野絞り
 254   開口絞り
 255   折曲げミラー
 256   コンデンサ光学素子ユニット
 257   トップレンズユニット
 26   レボルバ
 27   対物レンズ
 28   光源
 29   鏡筒
 291   ビームスプリッタ
 30   フィルタユニット
 31   双眼部
 32   TVカメラ
 33   顕微鏡コントローラ
 34   TVカメラコントローラ
 35   制御部
 4   染色標本DB
 5   情報配信器
 51   入力部
 52   表示部
 53   通信部
 54   画像処理部
 541   要診断領域抽出処理部
 542   要診断領域情報作成部
 543   癌可能性度推定部
 544   提供情報作成部
 545   画像加工処理部
 55   記憶部
 56   制御部
 561   病理医検索部
 562   診断依頼可否判定部
 563   提供情報配信処理部
 6   病理医DB
 7(7-1,7-2,7-3,・・・)   病理診断装置
 8   情報統合器

Claims (14)

  1.  異なる病理医が操作する複数の病理診断装置と通信接続可能に構成され、前記病理診断装置に対して診断情報を配信する診断情報配信装置であって、
     診断対象の標本を撮像した標本画像を取得する画像取得手段と、
     前記標本画像から要診断領域を抽出する要診断領域抽出手段と、
     前記複数の病理診断装置を操作する病理医の中から診断を依頼する依頼先病理医を選択する病理医選択手段と、
     少なくとも前記要診断領域の画像データに対し、予め設定されている前記依頼先病理医の観察手技に応じた画像処理を施して提供情報を作成する提供情報作成手段と、
     前記依頼先病理医の前記病理診断装置に前記提供情報を含む診断情報を配信する提供情報配信手段と、
     を備えることを特徴とする診断情報配信装置。
  2.  少なくとも前記要診断領域を構成する各画素の画素値をもとに前記要診断領域の特徴量を算出する特徴量算出手段を備え、
     前記提供情報作成手段は、前記特徴量を用いて前記提供情報を作成することを特徴とする請求項1に記載の診断情報配信装置。
  3.  前記特徴量算出手段は、前記要診断領域から前記標本を構成する所定の構成要素の画素を抽出することによって前記特徴量を算出し、
     前記提供情報作成手段は、前記要診断領域内の前記所定の構成要素の領域を識別表示した画像を生成する識別画像生成手段を有することを特徴とする請求項2に記載の診断情報配信装置。
  4.  前記標本は、所定の染色色素で染色された染色標本であり、
     前記画像取得手段は、前記標本画像として分光スペクトル画像を取得し、
     前記特徴量算出手段は、前記分光スペクトル画像の画素値をもとに、前記要診断領域を構成する画素毎に、対応する前記標本上の標本点における前記染色色素の色素量を推定することによって前記特徴量を算出し、
     前記提供情報作成手段は、前記要診断領域内の各画素について推定された色素量をもとに、各画素位置における色素量を表した画像を生成する色素量画像生成手段を有することを特徴とする請求項2に記載の診断情報配信装置。
  5.  前記病理医選択手段は、前記病理診断装置の病理医それぞれの少なくとも診断実績情報をもとに、前記依頼先病理医を選択することを特徴とする請求項1に記載の診断情報配信装置。
  6.  前記特徴量算出手段によって算出された前記特徴量をもとに前記要診断領域の統計量を算出する統計量算出手段を備え、
     前記病理医選択手段は、前記統計量を加味して前記依頼先病理医を選択することを特徴とする請求項5に記載の診断情報配信装置。
  7.  前記統計量をもとに、前記要診断領域に映る部位が癌である可能性の度合いを示す癌可能性度を推定する癌可能性度推定手段を備え、
     前記病理医選択手段は、前記癌可能性度をもとに前記依頼先病理医を選択することを特徴とする請求項6に記載の診断情報配信装置。
  8.  前記病理医選択手段は、前記病理診断装置の病理医それぞれの観察手技を加味して前記依頼先病理医を選択することを特徴とする請求項5に記載の診断情報配信装置。
  9.  前記病理医選択手段は、前記病理診断装置の病理医それぞれのスケジュール情報を加味して前記依頼先病理医を選択することを特徴とする請求項5に記載の診断情報配信装置。
  10.  前記提供情報配信手段は、前記要診断領域の特徴量を前記診断情報に含めて前記依頼先病理医の前記病理診断装置に配信することを特徴とする請求項2に記載の診断情報配信装置。
  11.  前記提供情報配信手段は、前記要診断領域の統計量を前記診断情報に含めて前記依頼先病理医の前記病理診断装置に配信することを特徴とする請求項6に記載の診断情報配信装置。
  12.  診断情報配信装置と、異なる病理医が操作する複数の病理診断装置とがネットワークを介して接続された病理診断システムであって、
     前記診断情報配信装置は、
     診断対象の標本を撮像した標本画像を取得する画像取得手段と、
     前記標本画像から要診断領域を抽出する要診断領域抽出手段と、
     前記複数の病理診断装置を操作する病理医の中から診断を依頼する依頼先病理医を選択する病理医選択手段と、
     少なくとも前記要診断領域の画像データに対し、予め設定されている前記依頼先病理医の観察手技に応じた画像処理を施して提供情報を作成する提供情報作成手段と、
     前記依頼先病理医の前記病理診断装置に前記提供情報を少なくとも含む診断情報を配信する提供情報配信手段と、
     を備え、
     前記病理診断装置は、
     前記提供情報を表示部に表示処理する表示処理手段を備えることを特徴とする病理診断システム。
  13.  前記ネットワークを介して少なくとも前記診断情報配信装置と接続された病理医記憶部を備え、
     前記病理医記憶部には、該当する病理医の観察手技情報、診断実績情報、およびスケジュール情報の少なくともいずれか1つを含む病理医情報が記憶されることを特徴とする請求項12に記載の病理診断システム。
  14.  前記診断情報配信装置は、顕微鏡を用いて標本を観察する観察部と接続されており、
     前記観察部は、
     前記標本と対物レンズとを前記対物レンズの光軸と直交する面内で相対的に移動させながら、前記標本を部分毎に撮像して複数の標本画像を取得し、
     前記複数の標本画像を繋ぎ合せて1枚の標本画像を生成する標本画像生成手段を備えることを特徴とする請求項12に記載の病理診断システム。
PCT/JP2011/054657 2010-03-03 2011-03-01 診断情報配信装置および病理診断システム WO2011108551A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP11750661A EP2544141A1 (en) 2010-03-03 2011-03-01 Diagnostic information distribution device and pathology diagnosis system
US13/601,010 US20120327211A1 (en) 2010-03-03 2012-08-31 Diagnostic information distribution device and pathology diagnosis system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010047182A JP2011181015A (ja) 2010-03-03 2010-03-03 診断情報配信装置および病理診断システム
JP2010-047182 2010-03-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/601,010 Continuation US20120327211A1 (en) 2010-03-03 2012-08-31 Diagnostic information distribution device and pathology diagnosis system

Publications (1)

Publication Number Publication Date
WO2011108551A1 true WO2011108551A1 (ja) 2011-09-09

Family

ID=44542201

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/054657 WO2011108551A1 (ja) 2010-03-03 2011-03-01 診断情報配信装置および病理診断システム

Country Status (4)

Country Link
US (1) US20120327211A1 (ja)
EP (1) EP2544141A1 (ja)
JP (1) JP2011181015A (ja)
WO (1) WO2011108551A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014083743A1 (ja) * 2012-11-27 2014-06-05 パナソニック株式会社 画像計測装置および画像計測方法
WO2014097600A1 (ja) * 2012-12-18 2014-06-26 日本電気株式会社 診断支援システム、診断支援方法、及び記録媒体
JP2014526700A (ja) * 2011-09-15 2014-10-06 オリンパス株式会社 医療診断支援のための画像評価装置、医療診断支援システムおよびその操作制御方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5701040B2 (ja) * 2010-12-14 2015-04-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP5768877B2 (ja) * 2011-05-18 2015-08-26 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム
JP5832281B2 (ja) * 2011-12-27 2015-12-16 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP2013152453A (ja) * 2011-12-27 2013-08-08 Canon Inc 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
JPWO2013132998A1 (ja) 2012-03-07 2015-07-30 オリンパス株式会社 画像処理装置、顕微鏡システム、及び画像処理方法
JP5958534B2 (ja) * 2012-05-24 2016-08-02 日本電気株式会社 病理診断結果判定システム、病理診断結果判定方法および病理診断結果判定装置
JP5576993B2 (ja) 2012-05-30 2014-08-20 パナソニック株式会社 画像計測装置、画像計測方法及び画像計測システム
JP2014066788A (ja) 2012-09-25 2014-04-17 Sony Corp 画面表示装置及び画面表示システム
US10754923B2 (en) 2012-09-27 2020-08-25 Leica Biosystems Imaging, Inc. Medical image based collaboration
JP2014127011A (ja) * 2012-12-26 2014-07-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6320802B2 (ja) * 2014-03-14 2018-05-09 キヤノンメディカルシステムズ株式会社 読影処理装置
CN106462767B (zh) * 2014-04-03 2021-01-19 皇家飞利浦有限公司 用于处理和分析图像的检查设备
JP2019219419A (ja) * 2014-07-08 2019-12-26 キヤノン株式会社 試料情報取得システム、及びそれを有するデータ表示システム、試料情報取得方法、プログラム、記憶媒体
US9824189B2 (en) * 2015-01-23 2017-11-21 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image processing method, image display system, and storage medium
CN107209111B (zh) * 2015-01-31 2020-08-28 文塔纳医疗系统公司 自动化整体载片分析的质量控制
JP6498069B2 (ja) * 2015-07-31 2019-04-10 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム
US20170039683A1 (en) * 2015-08-06 2017-02-09 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, image processing system, and non-transitory computer readable medium
WO2017066635A1 (en) * 2015-10-16 2017-04-20 Mikroscan Technologies, Inc. Systems, media, methods, and apparatus for enhanced digital microscopy
JPWO2018128091A1 (ja) * 2017-01-05 2019-11-07 コニカミノルタ株式会社 画像解析プログラム及び画像解析方法
WO2018131091A1 (ja) * 2017-01-11 2018-07-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2018231204A1 (en) 2017-06-13 2018-12-20 Google Llc Augmented reality microscope for pathology
CN111684534A (zh) * 2017-11-22 2020-09-18 皇家飞利浦有限公司 用于优化病理学工作流的设备、系统和方法
JP6746639B2 (ja) * 2018-08-02 2020-08-26 ソニー株式会社 画像処理装置および方法、並びに診断支援システム
JP7090171B2 (ja) * 2018-10-09 2022-06-23 オリンパス株式会社 画像処理装置の作動方法、画像処理装置、及び画像処理装置の作動プログラム
JP6703679B1 (ja) * 2019-02-01 2020-06-03 株式会社計数技研 計数装置、学習器製造装置、計数方法、学習器製造方法、及びプログラム
JP7473223B2 (ja) 2019-07-24 2024-04-23 学校法人 埼玉医科大学 推定器学習装置、推定器学習方法、及び、推定器学習プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07120324A (ja) 1993-10-22 1995-05-12 Olympus Optical Co Ltd 色分類装置
JPH09281405A (ja) 1996-04-17 1997-10-31 Olympus Optical Co Ltd 顕微鏡システム
JPH11195077A (ja) 1997-12-26 1999-07-21 Hamamatsu Photonics Kk 病理診断システム
JP2002073615A (ja) * 2000-08-29 2002-03-12 Olympus Optical Co Ltd 医療用画像ファイリングシステム
JP2002132958A (ja) * 2000-10-20 2002-05-10 Jb Kk インターネット病院システム
JP2005092706A (ja) * 2003-09-19 2005-04-07 Canon Inc 連携検査診断装置
JP2005165648A (ja) * 2003-12-02 2005-06-23 Canon Inc 連携診断装置
JP2005196533A (ja) * 2004-01-08 2005-07-21 Canon Inc 連携診断装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06319005A (ja) * 1993-01-13 1994-11-15 Canon Inf Syst Inc メッセージ配信方法及び装置
JP3639700B2 (ja) * 1997-09-08 2005-04-20 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記録媒体
CA2607609C (en) * 2005-05-13 2014-07-15 Tripath Imaging, Inc. Methods of chromogen separation-based image analysis

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07120324A (ja) 1993-10-22 1995-05-12 Olympus Optical Co Ltd 色分類装置
JPH09281405A (ja) 1996-04-17 1997-10-31 Olympus Optical Co Ltd 顕微鏡システム
JPH11195077A (ja) 1997-12-26 1999-07-21 Hamamatsu Photonics Kk 病理診断システム
JP2002073615A (ja) * 2000-08-29 2002-03-12 Olympus Optical Co Ltd 医療用画像ファイリングシステム
JP2002132958A (ja) * 2000-10-20 2002-05-10 Jb Kk インターネット病院システム
JP2005092706A (ja) * 2003-09-19 2005-04-07 Canon Inc 連携検査診断装置
JP2005165648A (ja) * 2003-12-02 2005-06-23 Canon Inc 連携診断装置
JP2005196533A (ja) * 2004-01-08 2005-07-21 Canon Inc 連携診断装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Color Correction of Pathological Images Based on Dye Amount Quantification", OPTICAL REVIEW, vol. 12, no. 4, 2005, pages 293 - 300
"Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions", PROCEEDINGS OF SPIE - IMAGE PROCESSING, vol. 4684, pages 1516 - 1523
"Next-generation Video Display and Transmission System", 31 March 2006, NATIONAL INSTITUTE OF INFORMATION AND COMMUNICATIONS TECHNIQUE, article "Final R&D report of R&D Project of Natural Vision"
NAGAAKI OYAMA: "Multi-spectral Gazo o Mochiita Shindan Shien Gijutsu no Kaihatsu", KAGAKU GIJUTSU SHINKO CHOSEIHI SEIKA HOKOKUSHO, June 2004 (2004-06-01), XP008170954, Retrieved from the Internet <URL:http://scfdb.tokyo.jst.go.jp/ pdf/20011790/2003/200117902003rr.pdf> [retrieved on 20110511] *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014526700A (ja) * 2011-09-15 2014-10-06 オリンパス株式会社 医療診断支援のための画像評価装置、医療診断支援システムおよびその操作制御方法
WO2014083743A1 (ja) * 2012-11-27 2014-06-05 パナソニック株式会社 画像計測装置および画像計測方法
WO2014097600A1 (ja) * 2012-12-18 2014-06-26 日本電気株式会社 診断支援システム、診断支援方法、及び記録媒体
JPWO2014097600A1 (ja) * 2012-12-18 2017-01-12 日本電気株式会社 診断支援システム、診断支援方法、及び診断支援プログラム

Also Published As

Publication number Publication date
EP2544141A1 (en) 2013-01-09
JP2011181015A (ja) 2011-09-15
US20120327211A1 (en) 2012-12-27

Similar Documents

Publication Publication Date Title
WO2011108551A1 (ja) 診断情報配信装置および病理診断システム
US11927738B2 (en) Computational microscopy based-system and method for automated imaging and analysis of pathology specimens
JP2021515240A (ja) 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡
KR20220015368A (ko) 조직학적 이미지 내의 종양 및 수술 후 종양 마진 평가에 대한 컴퓨터 지원 검토
US9947089B2 (en) Digital specimen manufacturing device, digital specimen manufacturing method, and digital specimen manufacturing server
US20090190812A1 (en) Pathological tissue image capturing system, pathological tissue image capturing method, and pathological tissue image capturing program
JP5996334B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
Csutak et al. Agreement between image grading of conventional (45) and ultra wide-angle (200) digital images in the macula in the Reykjavik eye study
JP5826561B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US20150279033A1 (en) Image data generating apparatus and image data generating method
US11977215B2 (en) Digital imaging system and method
JP4864709B2 (ja) 分散プロット分布を用いてスライドの染色品質を決定するシステム
US20130259334A1 (en) Image processing apparatus, image processing method, image processing program, and virtual microscope system
US20210233647A1 (en) Digital imaging system and method
JP4897488B2 (ja) 分散プロット分布を用いてスライドを分類するシステム
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
JP2015191362A (ja) 画像データ生成装置および画像データ生成方法
Ashman et al. A Camera-Assisted Pathology Microscope to Capture the Lost Data in Clinical Glass Slide Diagnosis
Archondakis et al. Implementation of Videos Captured by Static Telecytological Applications for Obtaining Expert Opinions
WO2018193635A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム
Wood A microscopy scanning system for clinical chromosome diagnostics
Eklund The Process of Digital Pathology and its Application in a Study
Têtu Abstracts of the 1st Congress of the International Academy of Digital Pathology August 3–5, 2011 Quebec city, Canada

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11750661

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011750661

Country of ref document: EP