WO2018193635A1 - 画像処理システム、画像処理方法、及び画像処理プログラム - Google Patents

画像処理システム、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2018193635A1
WO2018193635A1 PCT/JP2017/016108 JP2017016108W WO2018193635A1 WO 2018193635 A1 WO2018193635 A1 WO 2018193635A1 JP 2017016108 W JP2017016108 W JP 2017016108W WO 2018193635 A1 WO2018193635 A1 WO 2018193635A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pathological specimen
staining
standard color
dye
Prior art date
Application number
PCT/JP2017/016108
Other languages
English (en)
French (fr)
Inventor
金子　善興
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/016108 priority Critical patent/WO2018193635A1/ja
Publication of WO2018193635A1 publication Critical patent/WO2018193635A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Definitions

  • the present invention relates to an image processing system, an image processing method, and an image processing program for processing a pathological specimen image obtained by imaging a stained pathological specimen subjected to staining.
  • a pathological specimen of a patient to be inspected is prepared by extracting a specimen from the patient and performing a cutting, fixing, embedding, slicing, staining, and encapsulation process on the removed specimen. And conventionally, based on a pathological specimen image obtained by imaging the pathological specimen, there has been proposed a technique for diagnosing the presence or absence of a disease from the tissue shape or staining state (see, for example, Patent Document 1).
  • the staining density of the pathological specimen varies depending on the preference of the pathologist, the skill of the clinical laboratory technician, and the performance of the specimen preparation equipment. For this reason, the standard staining concentration used for diagnosis differs for each customer (hospital or specimen preparation company). And when producing a pathological specimen, it is necessary to dye
  • the present invention has been made in view of the above, and provides an image processing system, an image processing method, and an image processing program that allow a user to recognize a standard staining density according to a customer. With the goal.
  • an image processing system includes a pathological specimen image obtained by imaging a pathological specimen to be examined that has been stained, and a staining applied to the pathological specimen.
  • the image processing apparatus includes: a first operation accepting unit that accepts an input operation of a staining type; and a staining type that is the same as the staining type according to the input operation from a plurality of the pathological specimen images recorded in the database
  • the pathological specimen image associated with the staining information indicating the pathological sample image is extracted, and the date indicating the latest production or photographing date and time of the extracted pathological specimen image is extracted. Characterized in that it comprises a first image extraction unit that extracts a pathological specimen image information is associated as
  • the database includes the pathological specimen image obtained by imaging a pathological specimen to be examined that has been stained with two or more types of staining pigments, and the pathological specimen.
  • a plurality of the examination information in which the staining information indicating the type of staining performed, the date / time information indicating the preparation or photographing date / time of the pathological specimen, and the identification information of the subject to be inspected are recorded;
  • the one-image extracting unit extracts the standard color image for each subject to be examined from the plurality of pathological specimen images recorded in the database based on the identification information, and the image processing device
  • the amount of dye for each region in the standard color image of each of the dyes is estimated for each standard color image. It further comprises an elementary amount estimation unit and a pigment amount range extraction unit that extracts a maximum value and a minimum value for each of the staining pigments from the pigment amount estimated by the pigment amount estimation unit. .
  • the database images the pathological specimen to be examined that has been stained with two types of staining dyes, the first staining dye and the second staining dye.
  • the examination in which the pathological specimen image, the staining information indicating the staining type applied to the pathological specimen, the date / time information indicating the preparation or photographing date / time of the pathological specimen, and the identification information of the examination target are associated with each other A plurality of pieces of information are recorded, and the first image extraction unit extracts the standard color image for each subject to be examined from the plurality of pathological specimen images recorded in the database based on the identification information.
  • the image processing apparatus includes, for each of the standard color images, a region in the standard color image of the first dye that is extracted by the first image extraction unit.
  • a first dye amount and a second dye amount estimating unit that estimates the second dye amount of each region in the standard color image of the second staining dye, and a plurality of pieces extracted by the first image extracting unit.
  • an average value calculation unit that calculates an average value of the first dye amount and an average value of the second dye amount
  • the first image extraction unit A first standard color image in which the sum of the average value of the first dye amount and the average value of the second dye amount is maximized from the plurality of extracted standard color images, and the average value of the first dye amount
  • a second standard color image that minimizes the sum of the second dye amount and the average value of the second dye amounts.
  • the database images the pathological specimen to be examined that has been stained with two types of staining dyes, the first staining dye and the second staining dye.
  • the examination in which the pathological specimen image, the staining information indicating the staining type applied to the pathological specimen, the date / time information indicating the preparation or photographing date / time of the pathological specimen, and the identification information of the examination target are associated with each other A plurality of pieces of information are recorded, and the first image extraction unit extracts the standard color image for each subject to be examined from the plurality of pathological specimen images recorded in the database based on the identification information.
  • the image processing apparatus includes, for each of the standard color images, a region in the standard color image of the first dye that is extracted by the first image extraction unit.
  • a first dye amount and a second dye amount estimating unit that estimates the second dye amount of each region in the standard color image of the second staining dye, and a plurality of pieces extracted by the first image extracting unit.
  • an average value calculation unit that calculates an average value of the first dye amount and an average value of the second dye amount
  • the first image extraction unit A third standard color image in which the difference between the average value of the first dye amount and the average value of the second dye amount is maximized from the plurality of extracted standard color images, and the average value of the first dye amount
  • a second image extraction unit that extracts a fourth standard color image that minimizes a difference between the average value of the second dye amount and the second dye amount.
  • the database images the pathological specimen to be examined that has been stained with two types of staining dyes, the first staining dye and the second staining dye.
  • the examination in which the pathological specimen image, the staining information indicating the staining type applied to the pathological specimen, the date / time information indicating the preparation or photographing date / time of the pathological specimen, and the identification information of the examination target are associated with each other A plurality of pieces of information are recorded, and the first image extraction unit extracts the standard color image for each subject to be examined from the plurality of pathological specimen images recorded in the database based on the identification information.
  • the image processing apparatus includes, for each of the standard color images, a region in the standard color image of the first dye that is extracted by the first image extraction unit.
  • a first dye amount and a second dye amount estimating unit that estimates the second dye amount of each region in the standard color image of the second staining dye, and a plurality of pieces extracted by the first image extracting unit.
  • an average value calculating unit that calculates an average value of the first dye amount and an average value of the second dye amount, the first dye and the first dye
  • One of the average values of the plurality of second dye amounts calculated by the average value calculation unit is converted into one of the average values of the amounts, and the dye amount of the second staining dye in the sample image for conversion is converted Image generation unit that generates a converted standard color image converted to And further comprising a.
  • the database includes the pathological specimen image, the staining information, the date and time information, and identification information of an examination target corresponding to the pathological specimen image.
  • a plurality of the associated examination information is recorded, and at least one of the plurality of pathological specimen images recorded in the database is associated with additional information indicating the importance of the pathological specimen image, and the first image
  • the extraction unit extracts the standard color image for each subject to be inspected from the plurality of pathological specimen images recorded in the database based on the identification information, and the image processing apparatus includes the first image.
  • a third image extraction unit that extracts a standard color image associated with the supplementary information from the plurality of standard color images extracted by the extraction unit.
  • the supplementary information is information indicating a history of image analysis of the pathological specimen image using image analysis software.
  • the supplementary information is information indicating a history of the pathological specimen image transmitted to an external device.
  • an image acquisition unit that images a pathological specimen to be inspected that has been stained to acquire the pathological specimen image, the staining information, and the date and time information
  • the imaging apparatus further includes a second operation receiving unit that receives an input operation, and the database corresponds to the pathological specimen image acquired by the image acquisition unit and an input operation to the second operation receiving unit.
  • a plurality of the examination information in which the staining information and the date / time information are associated are recorded.
  • An image processing method is an image processing method executed by an image processing apparatus that processes a pathological specimen image recorded in a database, and the database images a pathological specimen to be examined that has been stained.
  • a plurality of pieces of examination information in which the pathological specimen image, staining information indicating the staining type applied to the pathological specimen, and date / time information indicating the date of preparation or photographing of the pathological specimen are associated with each other, and the image processing is performed.
  • the method extracts a pathological specimen image associated with the staining information indicating the same staining type as the staining type according to the input operation from the plurality of pathological specimen images recorded in the database, and the extracted pathological specimen
  • a pathological specimen image associated with the date and time information indicating the latest production or shooting date and time among images is extracted as a standard color image.
  • An image processing program causes an image processing apparatus to execute the above-described image processing method.
  • the image processing system, the image processing method, and the image processing program according to the present invention there is an effect that it is possible to make a user recognize a standard staining density according to a customer.
  • FIG. 1 is a block diagram showing an image processing system according to the first embodiment.
  • FIG. 2 is a diagram schematically illustrating the configuration of the imaging unit illustrated in FIG. 1.
  • FIG. 3 is a diagram showing an example of spectral sensitivity characteristics of the RGB camera shown in FIG.
  • FIG. 4 is a diagram illustrating an example of spectral characteristics of the first filter illustrated in FIG.
  • FIG. 5 is a diagram illustrating an example of spectral characteristics of the second filter illustrated in FIG. 2.
  • FIG. 6 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 7 is a block diagram showing an image processing apparatus according to the second embodiment.
  • FIG. 8 is a flowchart showing the operation of the image processing apparatus shown in FIG. FIG.
  • FIG. 9 is a block diagram showing an image processing apparatus according to the third embodiment.
  • FIG. 10 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 11 is a diagram for explaining step S15 shown in FIG.
  • FIG. 12 is a diagram for explaining step S19 shown in FIG.
  • FIG. 13 is a diagram for explaining step S23 shown in FIG.
  • FIG. 14 is a diagram for explaining step S27 shown in FIG.
  • FIG. 15 is a diagram illustrating the first to fourth standard color images.
  • FIG. 16 is a block diagram showing an image processing apparatus according to the fourth embodiment.
  • FIG. 17 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 18 is a block diagram showing an image processing apparatus according to the fifth embodiment.
  • FIG. 19 is a flowchart showing the operation of the image processing apparatus shown in FIG.
  • FIG. 20 is a block diagram showing an image processing system according to the sixth embodiment.
  • FIG. 21 is a diagram showing a
  • FIG. 1 is a block diagram showing an image processing system 1 according to the first embodiment.
  • the image processing system 1 is a system that images a pathological specimen to be examined that has been stained and processes a pathological specimen image obtained by the imaging.
  • the staining applied to the pathological specimen is immunostaining that specifically stains each molecule in the cell nucleus using Ki-67, ER, or PgR as an antibody, or HER2 in the cell membrane using HER2 or the like as an antibody.
  • the image processing system 1 includes an imaging device 2, a database 3, and an image processing device 4, as shown in FIG.
  • the imaging device 2, the database 3, and the image processing device 4 are connected so as to be communicable with each other via a network, although not specifically shown.
  • Examples of the network include the Internet, a LAN (Local Area Network), a VPN (Virtual Private Network), and the like regardless of wired or wireless.
  • the imaging device 2 is a device that acquires a pathological specimen image of the pathological specimen S (see FIG. 2).
  • the imaging device 2 is configured as a device that acquires a pathological specimen image of a multiband image.
  • the imaging device 2 includes an imaging unit 21, a device main body 22, a second operation reception unit 23, and a display unit 24.
  • FIG. 2 is a diagram schematically illustrating the configuration of the imaging unit 21.
  • the imaging unit 21 is a part that acquires a pathological specimen image, and includes a stage 211, an illumination unit 212, an imaging optical system 213, an RGB camera 214, and a filter unit 215, as shown in FIG.
  • the stage 211 is a portion on which the pathological specimen S is placed, and is configured to be able to change the observation location of the pathological specimen S by moving under the control of the apparatus main body 22.
  • the illumination unit 212 irradiates the pathological specimen S placed on the stage 211 with illumination light under the control of the apparatus main body 22.
  • the imaging optical system 213 forms an image on the RGB camera 214 with the transmitted light that is irradiated onto the pathological specimen S and transmitted through the pathological specimen S.
  • FIG. 3 is a diagram illustrating an example of spectral sensitivity characteristics of the RGB camera 214.
  • the RGB camera 214 includes an imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and images the transmitted light transmitted through the pathological specimen S under the control of the apparatus body 22.
  • the RGB camera 214 has, for example, spectral sensitivity characteristics of R (red), G (green), and B (blue) bands shown in FIG.
  • the imaging part 21 acquires the pathological specimen image (multiband image) of the pathological specimen S as shown below under control by the apparatus main body 22.
  • the imaging unit 21 positions the first filter 217 on the optical path from the illumination unit 212 to the RGB camera 214 and irradiates the pathological specimen S with illumination light from the illumination unit 212.
  • the RGB camera 214 transmits the pathological specimen S and images the transmitted light through the first filter 217 and the imaging optical system 213 (first imaging).
  • the imaging unit 21 positions the second filter 218 on the optical path from the illumination unit 212 to the RGB camera 214, and performs the second imaging in the same manner as the first imaging. Thereby, three different band images are acquired in the first and second imaging, and a total of six band pathological specimen images are acquired.
  • the number of filters provided in the filter unit 215 is not limited to two, and three or more filters may be provided to acquire more band images.
  • the imaging unit 21 may be configured such that the filter unit 215 is omitted and only the RGB image is acquired by the RGB camera 214.
  • a liquid crystal tunable filter or an acousto-optic tunable filter that can change spectral characteristics may be employed.
  • a pathological specimen image multiband image
  • a monochrome camera may be employed instead of the RGB camera 214.
  • the apparatus main body 22 is configured using, for example, a PC (personal computer) or the like, and comprehensively controls the operation of the imaging unit 21.
  • the apparatus main body 22 includes an image acquisition unit 221, a control unit 222, a storage unit 223, and a communication unit 224.
  • the image acquisition unit 221 includes an interface that captures a pathological specimen image (image data) output from the imaging unit 21.
  • the control unit 222 is configured using a CPU (Central Processing Unit) or the like.
  • the control unit 222 controls operations of the image acquisition unit 221 and the imaging unit 21 based on an input signal input from the second operation reception unit 23 and a program or data stored in the storage unit 223. Obtain a pathological specimen image.
  • the control unit 222 outputs a display signal to the display unit 24 and causes the display unit 24 to display various screens.
  • the storage unit 223 includes various IC memories such as ROM (Read Only Memory) and RAM (Random Access Memory) such as flash memory that can be updated and recorded, information such as a built-in or hard disk connected by a data communication terminal, or a CD-ROM.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • a storage device and an information writing / reading device for the information storage device are stored, and a program executed by the control unit 222 and a pathological specimen image acquired through the image acquisition unit 221 are stored.
  • the communication unit 224 is an interface that performs communication control with the database 3 and the image processing apparatus 4.
  • A Patient name or patient ID
  • B Age
  • C Gender
  • E Organ name
  • E Staining type (HE (hematoxylin-eosin) staining, immunostaining (antibody name), etc.)
  • F Height, weight
  • BMI Body Mass Index
  • G Date and time of preparation of pathological specimen S
  • H Date and time of imaging of pathological specimen S
  • I History
  • J Date and time of excision of specimen by surgery or endoscope or biopsy
  • K Specimen fixation time (what after specimen collection Time, fixed)
  • L Types of specimen fixation (formalin fixation, bouin fixation, etc.)
  • the information (A) is identification information of a patient who is a subject to be examined and corresponds to identification information according to the present invention.
  • Information (E) corresponds to staining information according to the present invention.
  • Information (G) and (H) correspond to date and time information according to the present invention.
  • the communication unit 224 controls the pathological specimen image stored in the storage unit 223 under the control of the control unit 222 and information input to the second operation accepting unit 23 as information related to the pathological specimen image (A ) To (L) are transmitted to the database 3.
  • the display unit 24 is realized by a display device such as an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, or a CRT (Cathode Ray Tube) display, and displays various screens based on display signals input from the control unit 222. To do.
  • a display device such as an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, or a CRT (Cathode Ray Tube) display, and displays various screens based on display signals input from the control unit 222. To do.
  • the database 3 is provided on, for example, a known server device in a hospital or a pathological specimen preparation company or in the cloud, and the examination information (pathological specimen images and information (A) to (L) transmitted from the imaging apparatus 2 are associated with each other. Recorded information).
  • the plurality of examination information recorded in the database 3 belongs to the same customer (hospital or pathological specimen preparation company).
  • the plurality of examination information includes information each including a pathological specimen image obtained by imaging a pathological specimen S of a subject to be examined (patient) examined in a specific hospital, or a specific pathological specimen
  • the information includes pathological specimen images obtained by imaging the pathological specimen S produced by the production company.
  • the first image extraction unit 412 performs staining according to an input operation to the first operation reception unit 42 from a plurality of pathological specimen images stored in the database 3 via the communication unit 411 under the control of the control unit 413.
  • a pathological specimen image associated with staining information (information (E)) indicating the same staining type as the type is extracted.
  • the first image extraction unit 412 uses, as a standard color image, a pathological specimen image associated with date / time information (information (G), (H)) indicating the latest production or photographing date / time among the extracted pathological specimen images. Extract.
  • the control unit 413 is configured using a CPU or the like, and is based on an input signal input from the first operation receiving unit 42 and a program or data stored in the storage unit 414.
  • the storage unit 414 includes various IC memories such as ROM and RAM such as flash memory that can be updated and recorded, an information storage device such as a built-in or connected data communication terminal, or a CD-ROM, and information on the information storage device.
  • a program (including an image processing program according to the present invention) executed by the control unit 413 and data extracted by the first image extraction unit 412 (such as a pathological specimen image) are stored.
  • the first operation receiving unit 42 includes, for example, various input devices such as a keyboard, a mouse, a touch panel, and various switches, and receives an input operation by a user. Then, the first operation receiving unit 42 outputs a signal corresponding to the input operation to the control unit 413. In the first embodiment, the first operation reception unit 42 extracts the standard color image (pathological specimen image) according to the customer (hospital or specimen preparation company) with the specific staining, An input operation of (staining type) is accepted.
  • the display unit 43 is realized by a display device such as an LCD, an EL display, or a CRT display, and displays various screens based on display signals input from the control unit 413.
  • a pathological specimen image associated with staining information (information (E)) indicating the same staining type as the staining type corresponding to the input operation in S1 is extracted (step S2).
  • the first image extraction unit 412 arranges the pathological specimen images extracted in step S2 in chronological order, and date / time information (information (G) indicating the latest production or imaging date / time of the extracted pathological specimen images. , (H)) is extracted as a standard color image (step S3).
  • the control unit 413 displays the standard color image (pathological specimen image) extracted in step S3 on the display unit 43 (step S4).
  • the preparation of the pathological specimen S is generally performed several times, for example, while confirming the pathological specimen image of the pathological specimen S displayed on the display unit 24 until the staining density becomes a standard staining density. Is done. That is, among the pathological specimen images recorded in the database 3, the pathological specimen image of the latest production or photographing date / time is considered to have a standard staining density.
  • the standard staining density according to the customer (hospital or specimen preparation company) is displayed to the user such as the creator of the pathological specimen S by displaying the standard staining image. There exists an effect that it can be made to recognize visually.
  • FIG. 7 is a block diagram showing an image processing apparatus 4A according to the second embodiment.
  • the spectral transmittance estimating unit 415, the dye amount estimating unit 416, and the dye amount are added to the image processing device 4 (device main body 41) as compared with the first embodiment described above.
  • An image processing apparatus 4A (apparatus main body 41A) to which the function of the range extraction unit 417 is added is adopted.
  • the spectral transmittance estimating unit 415 the pigment amount estimating unit 416
  • the function of the pigment amount range extraction unit 417 will be described.
  • G (x) is B corresponding to the pixel value g (x, b) at the point x. It is a matrix with 1 row.
  • T (x) is a D ⁇ 1 matrix corresponding to t (x, ⁇ )
  • F is a B ⁇ D matrix corresponding to f (b, ⁇ ).
  • S is a diagonal matrix of D rows and D columns, and the diagonal elements correspond to s ( ⁇ ).
  • E is a diagonal matrix of D rows and D columns, and the diagonal element corresponds to e ( ⁇ ).
  • N is a matrix of B rows and 1 column corresponding to n (b).
  • Expression (2) is replaced with the following Expression (4).
  • T ⁇ (x) The estimated value of spectral transmittance (hereinafter referred to as spectral transmittance data) T ⁇ (x) can be calculated by the following equation (5).
  • T ⁇ indicates that a symbol " ⁇ (hat)" indicating an estimated value is attached on T.
  • W is expressed by the following Expression (6), and is referred to as “Wiener estimation matrix” or “estimation operator used for Wiener estimation”.
  • R SS is a matrix of D rows and D columns and represents an autocorrelation matrix of spectral transmittance of the pathological specimen S.
  • R NN is a matrix of B rows and B columns, and represents an autocorrelation matrix of camera noise used for imaging.
  • the matrix X T represents a transposed matrix of the matrix X
  • the matrix X ⁇ 1 represents an inverse matrix of the matrix X.
  • the matrices F, S, and E constituting the system matrix H, that is, the spectral transmittance of the bandpass filter, the spectral sensitivity characteristic of the camera, and the spectral radiation characteristic of the illumination, the matrix column R SS and the matrix R NN are acquired in advance. Keep it.
  • the amount of pigment at a point on the pathological specimen S corresponding to the spectral transmittance data T ⁇ (x) (hereinafter referred to as a sample point).
  • a sample point the amount of pigment at a point on the pathological specimen S corresponding to the spectral transmittance data T ⁇ (x)
  • erythrocytes have their own unique color even in the unstained state, and after HE staining, the color of erythrocytes and the color of eosin changed during the staining process are superimposed. Observed. For this reason, the combination of both is called an R dye.
  • a Lambert bale represented by the following formula (7) is expressed between the intensity I 0 ( ⁇ ) of incident light and the intensity I ( ⁇ ) of emitted light for each wavelength ⁇ . It is known that the law holds.
  • Equation (7) k ( ⁇ ) is a value specific to the substance determined depending on the wavelength, and d is the thickness of the substance.
  • t the thickness of the substance.
  • the spectral absorbance a ( ⁇ ) is expressed by the following formula (9).
  • k H ( ⁇ ), k E ( ⁇ ), and k R ( ⁇ ) represent k ( ⁇ ) corresponding to H dye, E dye, and R dye, respectively, for example, a pathological sample 2 is a dye spectrum of each dye staining S (hereinafter referred to as a reference dye spectrum).
  • D H , d E , and d R represent virtual thicknesses of the H dye, the E dye, and the R dye at each sample point corresponding to each pixel position of the multiband image.
  • d H , d E , and d R represent the dye amounts of the H dye, the E dye, and the R dye, respectively.
  • k H ( ⁇ ), k E ( ⁇ ), and k R ( ⁇ ) are prepared in advance as pathological specimens S that are individually stained with H dye, E dye, and R dye, and their spectral transmission. By measuring the rate with a spectrometer, it can be easily determined from Lambert-Beer law.
  • the equation (9) is replaced by the following equation (12).
  • equation (13) Since there are three unknown variables d H , d E , and d R in equation (13), these can be solved if equation (13) is combined for at least three different wavelengths ⁇ .
  • the multiple regression analysis may be performed by simultaneous equations (13) for four or more different wavelengths ⁇ .
  • the matrix can be expressed as the following equation (14).
  • Equation (15) if D is the number of sample points in the wavelength direction, A ⁇ (x) is a D ⁇ 1 matrix corresponding to a ⁇ (x, ⁇ ), and K corresponds to k ( ⁇ ). D (x) is a 3 ⁇ 1 matrix corresponding to d H , d E , and d R at point x. A ⁇ indicates that the symbol " ⁇ " is attached to A. Then, the dye amounts d H , d E , and d R are calculated using the least square method according to the equation (15). The least square method is a method of determining d (x) so as to minimize the sum of squares of errors in a single regression equation, and can be calculated by the following equation (16).
  • Equation (16) d ⁇ (x) is the estimated pigment amount.
  • the restored spectral absorbance a ⁇ (x, ⁇ ) can be obtained by the following equation (17).
  • a ⁇ indicates that the symbol “ ⁇ (tilde)” is added on a.
  • the estimation error e ( ⁇ ) in the dye amount estimation is obtained from the estimated spectral absorbance a ⁇ (x, ⁇ ) and the restored spectral absorbance a ⁇ (x, ⁇ ) by the following equation (18).
  • e ( ⁇ ) is referred to as a residual spectrum.
  • the estimated spectral absorbance a ⁇ (x, ⁇ ) is also expressed by the following equation (19).
  • the dye amounts d H ⁇ and d E ⁇ stained by the staining method are corrected.
  • the pigment amount d R ⁇ which is the original color of red blood cells is not corrected. That is, the corrected dye amounts d H ⁇ * and d E ⁇ * are obtained by the following equations (20) and (21) using appropriate coefficients ⁇ H and ⁇ E.
  • the new spectral transmittance t * (x, ⁇ ) is Is obtained from the following equation (24).
  • the spectral absorbance a * (x, ⁇ ) means either the new restored spectral absorbance ⁇ ⁇ * (x, ⁇ ) or the new estimated spectral absorbance ⁇ ⁇ * (x, ⁇ ). .
  • Equation (24) a new pixel value g * (x, b) can be obtained from Equation (25) below.
  • the observation noise n (b) may be calculated as zero.
  • G * (x) is a B ⁇ 1 matrix corresponding to g * (x, b)
  • T * (x) is a D ⁇ 1 matrix corresponding to t * (x, b). It is a matrix. Therefore, the pixel value G * (x) of the pathological specimen S in which the pigment amount is virtually changed can be synthesized. With the above procedure, the pigment amount of the pathological specimen S can be virtually adjusted.
  • the Lambert-Beer law formulates the attenuation of light transmitted through a translucent object when it is assumed that there is no refraction or scattering, but in an actual pathological specimen S, refraction and scattering can occur. Therefore, when light attenuation by the pathological specimen S is modeled only by the Lambert-Beer law, an error accompanying this modeling occurs. However, it is extremely difficult to construct a model including refraction and scattering in the pathological specimen S, and it is not practically feasible. Therefore, by adding a residual spectrum, which is a modeling error including the effects of refraction and scattering, it is possible to prevent unnatural color fluctuations caused by the physical model.
  • the spectral transmittance estimation unit 415 calculates the spectral transmittance of each pixel from the standard color image (pathological specimen image) extracted by the first image extraction unit 412 by, for example, Wiener estimation (Equations (1) to (6)). presume.
  • the pigment amount estimation unit 416 calculates the pigment amount for each pixel of each staining using the spectral transmittance estimated by the spectral transmittance estimation unit 415 according to, for example, the Lambert-Beer law (Equations (7) to (16)). Estimate each.
  • the dye amount range extraction unit 417 extracts the maximum value and the minimum value of the dye amount of each staining estimated by the dye amount estimation unit 416.
  • FIG. 8 is a flowchart showing the operation of the image processing apparatus 4A.
  • the operation of the image processing apparatus 4A according to the second embodiment includes steps S5 to S10 with respect to the operation of the image processing apparatus 4 described in the first embodiment (FIG. 6).
  • step S2A is adopted instead of step S2. Therefore, steps S5 to S10 and S2A will be mainly described below.
  • Step S5 is executed when it is determined that there has been an input operation for the staining type (step S1: Yes).
  • the first image extraction unit 412 refers to all the identification information (information (A)) recorded in the database 3 via the communication unit 411 in step S5, and all the identification information (information One piece of identification information to be extracted is set from (A)).
  • the first image extraction unit 412 includes a step among the pathological sample images associated with the identification information (information (A)) set as the extraction target stored in the database 3 via the communication unit 411.
  • a pathological specimen image associated with staining information (information (E)) indicating the same staining type as the staining type corresponding to the input operation in S1 is extracted (step S2A). Thereafter, the image processing apparatus 4A proceeds to step S3.
  • Step S6 is executed after step S4. Specifically, in step S6, the spectral transmittance estimation unit 415 estimates the spectral transmittance of each pixel from the standard color image (pathological specimen image) extracted in step S3. After step S6, the dye amount estimation unit 416 estimates the dye amount for each pixel of each staining using the spectral transmittance estimated in step S6 (step S7). After step S7, the first image extraction unit 412 determines whether or not steps S2A and S3 have been performed on all identification information (information (A)) recorded in the database 3 (step S8). .
  • Step S8 If it is determined that all the identification information (information (A)) is not implemented (step S8: No), the first image extraction unit 412 changes the identification information (information (A)) to be extracted. (Step S9), the process proceeds to Step S2A. That is, in the second embodiment, the first image extraction unit 412 extracts standard color images for each identification information (information (A)), in other words, for each patient (standard color images of all patients are extracted). Extracted). Further, the spectral transmittance estimation unit 415 and the pigment amount estimation unit 416 estimate the spectral transmittance and the pigment amount for each pixel for each standard color image for the standard color images of all patients.
  • the pigment amount range extraction unit 417 includes the pigment amount of all pixels in the standard color images of all patients. Then, the maximum value and the minimum value of the dye amount of each staining are extracted (step S10). That is, the dye amount range extraction unit 417 extracts a range (maximum value to minimum value of the dye amount of each staining) that can be accepted as a standard staining concentration for each staining. For example, the image processing apparatus 4 ⁇ / b> A records the range in the database 3.
  • the maximum value and the minimum value of the dye amount of each staining are extracted from the dye amounts of all pixels in the standard color images of all patients. For this reason, the range which can be accepted as a standard staining density according to the customer can be appropriately recorded as a numerical value called a dye amount. Further, since the range is extracted from the standard color images of all patients, for example, one standard color image is extracted from all the pathological specimen images recorded in the database 3, and the single standard color image is extracted. Since the number of standard color images (the number of pixels from which the range is extracted) is increased compared to the configuration in which the range is extracted from the range, the range can be appropriately extracted.
  • FIG. 9 is a block diagram showing an image processing device 4B according to the third embodiment.
  • functions of the average value calculation unit 418 and the second image extraction unit 419 are added to the image processing device 4A (device main body 41A) as compared with the second embodiment described above.
  • the image processing device 4B (device main body 41B) in which the function of the pigment amount range extraction unit 417 is omitted is employed.
  • the pathological specimen S is stained with two types of staining pigments, ie, the first and second staining pigments (for example, HE staining).
  • the dye amounts of the first and second dyes estimated by the dye amount estimating unit 416 will be referred to as the first and second dye amounts, respectively.
  • the average value calculation unit 418 calculates the average value of the first dye amounts of all the pixels in the standard color image (hereinafter referred to as the first dye) for each standard color image for the standard color images (pathological specimen images) of all patients. Amount average value (described as x)) and an average value of the second dye amount of all pixels in the standard color image (hereinafter referred to as a second dye amount average value (y)) are calculated.
  • the second image extraction unit 419 extracts the following first to fourth standard color images from the standard color images (pathological specimen images) of all patients.
  • the first standard color image is a standard color image that maximizes the sum (x + y) of the first dye amount average value (x) and the second dye amount average value (y) among the standard color images of all patients. is there.
  • the second standard color image is a standard color image that minimizes the sum (x + y) of the first dye amount average value (x) and the second dye amount average value (y) among the standard color images of all patients. is there.
  • the third standard color image is a standard color having a maximum difference (xy) between the first dye amount average value (x) and the second dye amount average value (y) among the standard color images of all patients. It is an image.
  • the fourth standard color image is a standard color having a minimum difference (xy) between the first dye amount average value (x) and the second dye amount average value (y) among the standard color images of all patients. It is an image.
  • FIG. 10 is a flowchart showing the operation of the image processing apparatus 4B.
  • the operation of the image processing apparatus 4B according to the third embodiment omits step S10 from the operation of the image processing apparatus 4A described in the second embodiment (FIG. 8). Steps S11 to S27 are added, and Step S4B is adopted instead of Step S4. Therefore, in the following, steps S11 to S27 and S4B will be mainly described.
  • step S6 is executed after step S3.
  • Step S11 is executed after step S7. Specifically, in step S11, the average value calculation unit 418 determines all the standard color images in the standard color image based on the first and second dye amounts estimated in step S7 for the standard color image extracted in step S3. A first dye amount average value (x) of pixels and a second dye amount average value (y) of all pixels in the standard color image are respectively calculated. Thereafter, the image processing device 4B proceeds to step S8.
  • Step S12 is executed when it is determined that all identification information (information (A)) has been implemented (step S8: Yes). Specifically, in step S12, the second image extraction unit 419 calculates the first dye amount average value (x) and the second dye amount average value (y) calculated in step S11 from the standard color images of all patients. A standard color image having the maximum sum (x + y) is extracted. After step S12, the second image extraction unit 419 determines whether the number of images extracted in step S12 is one (step S13). When it is determined that the extracted image is one (step S13: Yes), the second image extraction unit 419 sets the one image as the first standard color image (step S14).
  • FIG. 11 is a diagram illustrating step S15.
  • the pathological specimen S is HE-stained, and the first dye amount is the E dye amount and the second dye amount is the H dye amount.
  • four standard color images F1 to F4 are extracted in step S12, and the first and second dye amount average values (x, X) of the four standard color images F1 to F4 are extracted.
  • y) is depicted on a two-dimensional plane (horizontal axis: first dye amount average value (x), vertical axis: second dye amount average value (y)). If it is determined that the extracted image is not one (step S13: No), the second image extraction unit 419 selects the first dye amount average value (x) among the plurality of standard color images extracted in step S12.
  • step S15 Is the first standard color image (standard color image F4 in the example of FIG. 11) (step S15).
  • the image having the maximum first dye amount average value (x) among the plurality of standard color images extracted in step S12 is set as the first standard color image.
  • An image in which the average dye amount value (x) is the minimum (in the example of FIG. 11, the standard color image F1), or an image in which the first dye amount average value (x) is the intermediate value (in the example of FIG. 11, the standard color The images F2 and F3) may be the first standard color image.
  • all of the plurality of standard color images extracted in step S12 may be used as the first standard color image.
  • the second image extraction unit 419 calculates the first dye amount average value (x) and the second dye amount average value (y) calculated in step S11 from the standard color images of all patients.
  • a standard color image with a minimum sum (x + y) is extracted (step S16).
  • the second image extraction unit 419 determines whether the number of images extracted in step S16 is one (step S17). When it is determined that the extracted image is one (step S17: Yes), the second image extraction unit 419 sets the one image as the second standard color image (step S18).
  • step S19 among the plurality of standard color images extracted in step S16, the image having the minimum first dye amount average value (x) is the second standard color image.
  • An image having the maximum average dye amount (x) (standard color image F8 in the example of FIG. 12) or an image having the first average average dye amount (x) (x) (standard color in the example of FIG. 12)
  • the images F6 and F7) may be the second standard color image.
  • all of the plurality of standard color images extracted in step S16 may be used as the second standard color image.
  • the second image extraction unit 419 calculates the first dye amount average value (x) and the second dye amount average value (y) calculated in step S11 from the standard color images of all patients.
  • a standard color image with a maximum difference (xy) is extracted (step S20).
  • the second image extraction unit 419 determines whether the number of images extracted in step S20 is one (step S21). When it is determined that the extracted image is one (step S21: Yes), the second image extraction unit 419 sets the one image as the third standard color image (step S22).
  • the image having the minimum second dye amount average value (y) is the third standard color image.
  • An image having the maximum average dye amount (y) (standard color image F9 in the example of FIG. 13) or an image having the second average average dye amount (y) (y) (standard color in the example of FIG. 13).
  • the images F10 and F11) may be the third standard color image.
  • all of the plurality of standard color images extracted in step S20 may be used as the third standard color image.
  • the second image extraction unit 419 calculates the first dye amount average value (x) and the second dye amount average value (y) calculated in step S11 from the standard color images of all patients.
  • a standard color image with a minimum difference (xy) is extracted (step S24).
  • the second image extraction unit 419 determines whether the number of images extracted in step S24 is one (step S25). When it is determined that the extracted image is one (step S25: Yes), the second image extraction unit 419 sets the one image as the fourth standard color image (step S26).
  • FIG. 14 is a diagram illustrating step S27.
  • FIG. 14 corresponds to FIG. In FIG. 14, four standard color images F13 to F16 are extracted in step S24, and the first and second dye amount average values (x, X) of the four standard color images F13 to F16 are extracted. y) is depicted on a two-dimensional plane. If it is determined that the extracted image is not one (step S25: No), the second image extraction unit 419 determines the second dye amount average value (y) among the plurality of standard color images extracted in step S24. ) Is the fourth standard color image (standard color image F13 in the example of FIG. 14) (step S27).
  • step S27 among the plurality of standard color images extracted in step S24, the image having the maximum second dye amount average value (y) is set as the fourth standard color image.
  • An image in which the average dye amount value (y) is the minimum (in the example of FIG. 14, the standard color image F16), or an image in which the second dye amount average value (y) is the intermediate value (in the example of FIG. 14, the standard color The images F14 and F15) may be the fourth standard color image.
  • all of the plurality of standard color images extracted in step S24 may be used as the fourth standard color image.
  • FIG. 15 is a diagram illustrating the first to fourth standard color images.
  • FIG. 15 corresponds to FIG.
  • the first and second dye amount average values (x, y) of the four first to fourth standard color images are drawn on a two-dimensional plane.
  • the pathological specimen having a high staining concentration of both the H dye and the E dye is obtained by steps S14 (or S15), S18 (or S19), S22 (or S23), and S26 (or S27) described above.
  • the fourth standard color image of the pathological specimen S having a low staining density of the E pigment but a high staining density of the H pigment are extracted.
  • control unit 413 displays the first to fourth standard color images extracted in steps S14 (or S15), S18 (or S19), S22 (or S23), and S26 (or S27). (Step S4B).
  • the following effects are obtained in addition to the same effects as those of the first embodiment.
  • the third and fourth standard color images having the maximum and minimum difference (xy) between the first and second dye amount average values are extracted and displayed. For this reason, it is possible to allow a user such as a creator of the pathological specimen S to visually recognize a range that can be accepted as a standard staining density according to a customer by displaying the first to fourth standard color images.
  • FIG. 16 is a block diagram showing an image processing device 4C according to the fourth embodiment.
  • the function of the image generation unit 420 is added to the image processing device 4B (device main body 41B), and the second image extraction unit is added to the third embodiment described above.
  • An image processing device 4C (device main body 41C) in which the function 419 is omitted is employed.
  • the pathological specimen S is subjected to staining (for example, HE staining) with two types of staining pigments, the first and second staining pigments.
  • staining for example, HE staining
  • the dye amounts of the first and second dyes estimated by the dye amount estimating unit 416 will be referred to as the first and second dye amounts, respectively.
  • the conversion specimen image described below is one image obtained by imaging a pathological specimen S that has been stained with two types of staining dyes (for example, HE staining) of the first and second staining dyes. It is a pathological specimen image.
  • the sample image for conversion is recorded in the database 3, for example, and is extracted from the database 3 under the control of the control unit 413 by the input operation to the first operation receiving unit 42 by the user, and is stored in the storage unit. 414 is stored.
  • the first and second dye amounts for each pixel of the first and second staining dyes are estimated under the control of the control unit 413.
  • the image generation unit 420 converts the first dye amount in the conversion sample image into one of the first dye amount average values in the standard color images (pathological sample images) of all patients calculated by the average value calculation unit 418.
  • the second dye amount in the sample image for conversion is converted into one of the second dye amount average values in the standard color images of all patients calculated by the average value calculation unit 418, for example, Equation (17) Through (26), a converted standard color image with RGB values as pixel values (G * (x)) is generated.
  • FIG. 17 is a flowchart showing the operation of the image processing apparatus 4C.
  • the operation of the image processing apparatus 4C according to the fourth embodiment includes steps S12 to S27 compared to the operation of the image processing apparatus 4B described in the third embodiment (FIG. 10). The difference is that steps S28 and S29 are added and step S4C is used instead of step S4B. For this reason, below, step S28, S29, S4C is mainly demonstrated.
  • Step S28 is executed when it is determined that all the pieces of identification information (information (A)) have been implemented (step S8: Yes). Specifically, in step S28, the image generation unit 420 determines the maximum value (hereinafter referred to as the first maximum average value) among the first dye amount average values calculated in step S11 for the standard color images of all patients. Description), a minimum value (hereinafter referred to as a first minimum average value), and an intermediate value (hereinafter referred to as a first intermediate average value). In addition, the image generation unit 420 sets the maximum value (hereinafter referred to as the second maximum average value) and the minimum value among the second dye amount average values calculated in step S11 for the standard color images of all patients. (Hereinafter referred to as the second minimum average value) and an intermediate value (hereinafter referred to as the second intermediate average value) are extracted.
  • the first maximum average value among the first dye amount average values calculated in step S11 for the standard color images of all patients. Description
  • a minimum value hereinafter referred to
  • the image generation unit 420 After step S28, the image generation unit 420 generates the following first to fifth converted standard color images (step S29).
  • the first converted standard color image is obtained by converting the first dye amount in the conversion sample image into the first maximum average value extracted in step S28, and extracting the second dye amount in the conversion sample image in step S28. It is the conversion standard color image converted into the maximum average value.
  • the second conversion standard color image is obtained by converting the first dye amount in the conversion sample image into the first minimum average value extracted in step S28, and extracting the second dye amount in the conversion sample image in step S28. It is the conversion standard color image converted into the minimum average value.
  • the third converted standard color image is obtained by converting the first dye amount in the conversion sample image into the first maximum average value extracted in step S28, and extracting the second dye amount in the conversion sample image in step S28. It is the conversion standard color image converted into the minimum average value.
  • the fourth conversion standard color image is obtained by converting the first dye amount in the conversion sample image into the first minimum average value extracted in step S28, and extracting the second dye amount in the conversion sample image in step S28. It is the conversion standard color image converted into the maximum average value.
  • the fifth conversion standard color image is obtained by converting the first dye amount in the conversion sample image into the first intermediate average value extracted in step S28, and extracting the second dye amount in the conversion sample image in step S28. It is a converted standard color image converted into an intermediate average value.
  • control unit 413 displays the first to fifth converted standard color images generated in step S29 on the display unit 43 (step S4C).
  • FIG. 18 is a block diagram showing an image processing device 4D according to the fifth embodiment.
  • an image processing device 4D (function of the third image extraction unit 421 is added to the image processing device 4 (device main body 41) compared to the first embodiment described above.
  • the apparatus main body 41D is employed.
  • At least one of the plurality of pathological specimen images (multiple examination information) recorded in the database 3 includes the following additional information (M) to (R) indicating the importance of the pathological specimen image. ) Is associated.
  • M Image analysis software usage history
  • N Image transmission history
  • O Storage location when images are stored on a server or PC (eg C: ⁇ Users ⁇ 10005167 ⁇ Desktop ⁇ Simple Proposal 2 ⁇ Sample Production consultation device)
  • P Link creation history
  • Q Image browsing frequency history
  • R Image marking history
  • the incidental information (M) is information indicating a history of pathological specimen images that have been subjected to image analysis using image analysis software. That is, the pathological specimen image associated with the supplementary information (M) is an image used for diagnosis, and is an image that surely has a standard staining density.
  • the incidental information (N) is information indicating a history of the pathological specimen image transmitted to the external device. That is, the pathological specimen image associated with the supplementary information (N) is, for example, an image transmitted in order to request an evaluation from a doctor or the like, and is an image that surely has a standard staining density.
  • the incidental information (Q) is information associated with the focused pathological specimen image with high image browsing frequency.
  • the pathological specimen image associated with the supplementary information (Q) is an image that surely has a standard staining density.
  • the incidental information (R) is information associated with the pathological specimen image when the pathological specimen image is marked. That is, the pathological specimen image associated with the supplementary information (R) is an image used for diagnosis, and is an image that surely has a standard staining density.
  • the incidental information (M) to (R) described above is sent to, for example, the imaging device 2 and the first and second operation reception units 23 and 42 of the image processing device 4 that can be connected to the database 3 via a network. Corresponding to the corresponding pathological specimen image according to the input operation.
  • a function of calculating the number and area of positive cells of the immunostained pathological specimen S and a function of determining the form of the HE-stained pathological specimen S for example, Calculate the circularity of cells such as mammary gland cells, calculate the size of the cell nucleus and compare it with the reference value, calculate the number of nuclei in the region and compare it with the reference value, or compare the staining density in the nucleus of the cell nucleus for each region Quantified in comparison with other cell nuclei, etc.
  • the third image extraction unit 421 extracts a standard color image associated with at least one of the auxiliary information (M) to (R) from the standard color images (pathological specimen images) of all patients.
  • FIG. 19 is a flowchart showing the operation of the image processing apparatus 4D.
  • the operation of the image processing apparatus 4D according to the fifth embodiment is different from the operation of the image processing apparatus 4A described in the second embodiment (FIG. 8) in steps S6, S7, S10 is omitted, steps S30 and S31 are added, and steps S4D1 and S4D2 are adopted instead of step S4. For this reason, below, step S30, S31, S4D1, and S4D2 are mainly demonstrated.
  • step S8 is executed after step S3.
  • Step S30 is executed when it is determined that all identification information (information (A)) has been implemented (step S8: Yes). Specifically, in step S30, the third image extraction unit 421 determines whether there is a standard color image associated with at least one of the supplementary information (M) to (R) among the standard color images of all patients. Judging. When it is determined that there is no standard color image associated with at least one of the auxiliary information (M) to (R) (step S30: No), the control unit 413 displays the standard color images of all patients. 43 is displayed (step S4D1). In step S4D1, when the number of standard color images of all patients is large, only the standard color images of some patients may be displayed.
  • step S30 If it is determined that there is a standard color image associated with at least one of the supplementary information (M) to (R) (step S30: Yes), the third image extraction unit 421 extracts the standard color images of all patients. A standard color image associated with at least one of the auxiliary information (M) to (R) is extracted (step S31). After step S31, the control unit 413 displays the standard color image extracted in step S31 on the display unit 43 (step S4D2). In step S4D2, when the number of standard color images extracted in step S31 is large, the number of standard color images may be reduced and only the standard color images corresponding to the reduced number may be displayed.
  • the image processing apparatus 4D extracts and displays a standard color image associated with at least one of the supplementary information (M) to (R) from the standard color images of all patients. For this reason, a standard color image (standard color image associated with at least one of the supplementary information (M) to (R)) having a standard staining density according to the customer is obtained by the creator of the pathological specimen S or the like. It is possible to make the user visually recognize.
  • FIG. 20 is a block diagram showing an image processing system 1E according to the sixth embodiment.
  • the image processing system 1 according to Embodiment 1 described above only one database (database 3) according to the present invention is provided.
  • a plurality of databases according to the present invention are provided in the image processing system 1E according to the second embodiment.
  • FIG. 20 illustrates a configuration in which only three of the first to third databases 3E1 to 3E3 are provided.
  • the image processing apparatus 4 designates a database, and only one database or two or more databases (for example, customers (hospitals or pathological specimen preparation companies) are different but the same). Standard color images are extracted from two or more databases each recording examination information belonging to a group of customers.
  • FIG. 21 is a diagram showing a modification of the first to sixth embodiments.
  • the microscope apparatus 5 shown in FIG. The microscope apparatus 5 includes a substantially C-shaped arm 51 provided with an epi-illumination unit 511 and a transmission illumination unit 512, a sample stage 52 mounted on the arm 51 and on which a pathological specimen S is placed, and a lens barrel 56.
  • An objective lens 53 provided on one end side so as to face the sample stage 52 via the trinocular tube unit 57, a stage position changing unit 54 for moving the sample stage 52, and an imaging unit 55 are provided.
  • the imaging unit 55 a configuration including the imaging optical system 213, the filter unit 215, and the RGB camera 214 described in the first to sixth embodiments can be exemplified.
  • the transmitted illumination unit 512 includes a transmitted illumination light source 512a and a transmitted illumination optical system 512b, and irradiates the pathological specimen S with transmitted illumination light.
  • the transmission illumination optical system 512b includes various optical members (filter unit, shutter, field stop, aperture stop, etc.) that collect the illumination light emitted from the transmission illumination light source 512a and guide it in the direction of the observation optical path L.
  • the objective lens 53 is attached to a revolver 59 that can hold a plurality of objective lenses (for example, objective lenses 531 and 532) having different magnifications. By rotating the revolver 59 and changing the objective lenses 531 and 532 facing the sample stage 52, the imaging magnification can be changed.
  • the stage position changing unit 54 includes a driving unit 541 such as a stepping motor, for example, and changes the imaging field of view by moving the position of the sample stage 52 within the XY plane. Further, the stage position changing unit 54 focuses the objective lens 53 on the pathological specimen S by moving the specimen stage 52 along the Z axis.
  • Embodiments 2 to 5 described above standard color images of all patients are extracted. However, the present invention is not limited to this, and standard color images for each patient may be extracted with a smaller number of patients than all patients. I do not care.
  • the extracted standard color image and the generated first to fifth converted standard color images are displayed, but are recorded in the database 3 (3E1 to 3E3) without being displayed.
  • the pathological specimen image may be associated with supplementary information indicating that it is a standard color image, or the first to fifth converted standard color images may be recorded in the database 3 (3E1 to 3E3).
  • the spectral transmittance estimation unit 415 and the dye amount estimation unit 416 estimate the spectral transmittance and the pigment amount for each pixel in the standard color image, but the present invention is not limited thereto.
  • the spectral transmittance and the dye amount for each region (a region including a plurality of pixels) in the standard color image may be estimated.
  • the dye amount estimation unit 416 estimates the dye amount using the spectral transmittance.
  • the present invention is not limited to this, and the dye amount estimation unit 416 directly obtains the pixel value of each pixel in the standard color image by a lookup table or regression analysis.
  • the dye amount for each dyeing pixel may be estimated using the dye amount estimation matrix.
  • a configuration in which the configurations described in Embodiments 1 to 6 described above are appropriately combined may be employed.
  • a configuration for extracting a standard color image associated with the supplementary information described in the fifth embodiment may be adopted for the configuration described in the second embodiment.
  • a configuration for extracting a standard color image associated with the supplementary information described in the fifth embodiment may be adopted for the configuration described in the second embodiment.
  • a configuration for extracting a standard color image associated with the supplementary information described in the fifth embodiment may be adopted for the configuration described in the second embodiment.
  • a configuration may be adopted in which a plurality of databases 3 are provided as in the sixth embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)
  • Molecular Biology (AREA)
  • Hematology (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

画像処理システム１は、染色が施された被検査対象の病理標本を撮像した病理標本画像と、当該病理標本に施された染色種別を示す染色情報と、当該病理標本の作製または撮影日時を示す日時情報とが関連付けられた検査情報を複数、記録するデータベース３と、データベース３に記録された病理標本画像を処理する画像処理装置４とを備える。画像処理装置４は、染色種別の入力操作を受け付ける第１操作受付部４２と、データベース３に記録された複数の病理標本画像から入力操作に応じた染色種別と同一の染色種別を示す染色情報が関連付けられた病理標本画像を抽出するとともに、当該抽出した病理標本画像のうち最も遅い作製または撮影日時を示す日時情報が関連付けられた病理標本画像を標準色画像として抽出する第１画像抽出部４１２とを備える。

Description

画像処理システム、画像処理方法、及び画像処理プログラム
　本発明は、染色が施された被検査対象の病理標本を撮像した病理標本画像を処理する画像処理システム、画像処理方法、及び画像処理プログラムに関する。
　被検査対象である患者の病理標本は、当該患者から検体を摘出し、当該摘出した検体に対して、切り出し、固定、包埋、薄切、染色、封入の工程を行うことにより作製される。
　そして、従来、当該病理標本を撮像した病理標本画像に基づいて、組織形状あるいは染色状態から病気の有無またはその程度を診断する技術が提案されている（例えば、特許文献１参照）。
特開２０１５－３８４６７号公報
　ところで、病理標本の染色濃度は、病理医の好み、臨床検査技師のスキル、標本作製設備の性能でバラつきが生じる。このため、診断に用いる標準的な染色濃度は、顧客（病院または標本作製会社）毎に異なるものとなる。そして、病理標本を作製する際には、顧客に応じた標準的な染色濃度となるように染色する必要がある。
　そこで、顧客に応じた標準的な染色濃度をユーザに認識させることが可能となる技術が要望されている。
　本発明は、上記に鑑みてなされたものであって、顧客に応じた標準的な染色濃度をユーザに認識させることが可能となる画像処理システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理システムは、染色が施された被検査対象の病理標本を撮像した病理標本画像と、当該病理標本に施された染色種別を示す染色情報と、当該病理標本の作製または撮影日時を示す日時情報とが関連付けられた検査情報を複数、記録するデータベースと、前記データベースに記録された前記病理標本画像を処理する画像処理装置とを備え、前記画像処理装置は、染色種別の入力操作を受け付ける第１操作受付部と、前記データベースに記録された複数の前記病理標本画像から前記入力操作に応じた染色種別と同一の染色種別を示す前記染色情報が関連付けられた病理標本画像を抽出するとともに、当該抽出した病理標本画像のうち最も遅い作製または撮影日時を示す前記日時情報が関連付けられた病理標本画像を標準色画像として抽出する第１画像抽出部とを備えることを特徴とする。
　また、本発明に係る画像処理システムでは、上記発明において、前記データベースは、２種類以上の染色色素による染色が施された被検査対象の病理標本を撮像した前記病理標本画像と、当該病理標本に施された染色種別を示す前記染色情報と、当該病理標本の作製または撮影日時を示す前記日時情報と、当該被検査対象の識別情報とが関連付けられた前記検査情報を複数、記録し、前記第１画像抽出部は、前記識別情報に基づいて、前記データベースに記録された複数の前記病理標本画像から、前記被検査対象毎に前記標準色画像をそれぞれ抽出し、前記画像処理装置は、前記第１画像抽出部にて抽出された複数の前記標準色画像について、当該標準色画像毎に、各前記染色色素の当該標準色画像内の領域毎の色素量をそれぞれ推定する色素量推定部と、前記色素量推定部にて推定された色素量から、前記染色色素毎に、最大値と最小値とをそれぞれ抽出する色素量範囲抽出部とをさらに備えることを特徴とする。
　また、本発明に係る画像処理システムでは、上記発明において、前記データベースは、第１染色色素及び第２染色色素の２種類の染色色素による染色が施された被検査対象の病理標本を撮像した前記病理標本画像と、当該病理標本に施された染色種別を示す前記染色情報と、当該病理標本の作製または撮影日時を示す前記日時情報と、当該被検査対象の識別情報とが関連付けられた前記検査情報を複数、記録し、前記第１画像抽出部は、前記識別情報に基づいて、前記データベースに記録された複数の前記病理標本画像から、前記被検査対象毎に前記標準色画像をそれぞれ抽出し、前記画像処理装置は、前記第１画像抽出部にて抽出された複数の前記標準色画像について、当該標準色画像毎に、前記第１染色色素の当該標準色画像内の領域毎の第１色素量と、前記第２染色色素の当該標準色画像内の領域毎の第２色素量とをそれぞれ推定する色素量推定部と、前記第１画像抽出部にて抽出された複数の前記標準色画像について、当該標準色画像毎に、前記第１色素量の平均値と、前記第２色素量の平均値とをそれぞれ算出する平均値算出部と、前記第１画像抽出部にて抽出された複数の前記標準色画像から、前記第１色素量の平均値と前記第２色素量の平均値との和が最大となる第１標準色画像と、前記第１色素量の平均値と前記第２色素量の平均値との和が最小となる第２標準色画像とをそれぞれ抽出する第２画像抽出部とをさらに備えることを特徴とする。
　また、本発明に係る画像処理システムでは、上記発明において、前記データベースは、第１染色色素及び第２染色色素の２種類の染色色素による染色が施された被検査対象の病理標本を撮像した前記病理標本画像と、当該病理標本に施された染色種別を示す前記染色情報と、当該病理標本の作製または撮影日時を示す前記日時情報と、当該被検査対象の識別情報とが関連付けられた前記検査情報を複数、記録し、前記第１画像抽出部は、前記識別情報に基づいて、前記データベースに記録された複数の前記病理標本画像から、前記被検査対象毎に前記標準色画像をそれぞれ抽出し、前記画像処理装置は、前記第１画像抽出部にて抽出された複数の前記標準色画像について、当該標準色画像毎に、前記第１染色色素の当該標準色画像内の領域毎の第１色素量と、前記第２染色色素の当該標準色画像内の領域毎の第２色素量とをそれぞれ推定する色素量推定部と、前記第１画像抽出部にて抽出された複数の前記標準色画像について、当該標準色画像毎に、前記第１色素量の平均値と、前記第２色素量の平均値とをそれぞれ算出する平均値算出部と、前記第１画像抽出部にて抽出された複数の前記標準色画像から、前記第１色素量の平均値と前記第２色素量の平均値との差が最大となる第３標準色画像と、前記第１色素量の平均値と前記第２色素量の平均値との差が最小となる第４標準色画像とをそれぞれ抽出する第２画像抽出部とをさらに備えることを特徴とする。
　また、本発明に係る画像処理システムでは、上記発明において、前記データベースは、第１染色色素及び第２染色色素の２種類の染色色素による染色が施された被検査対象の病理標本を撮像した前記病理標本画像と、当該病理標本に施された染色種別を示す前記染色情報と、当該病理標本の作製または撮影日時を示す前記日時情報と、当該被検査対象の識別情報とが関連付けられた前記検査情報を複数、記録し、前記第１画像抽出部は、前記識別情報に基づいて、前記データベースに記録された複数の前記病理標本画像から、前記被検査対象毎に前記標準色画像をそれぞれ抽出し、前記画像処理装置は、前記第１画像抽出部にて抽出された複数の前記標準色画像について、当該標準色画像毎に、前記第１染色色素の当該標準色画像内の領域毎の第１色素量と、前記第２染色色素の当該標準色画像内の領域毎の第２色素量とをそれぞれ推定する色素量推定部と、前記第１画像抽出部にて抽出された複数の前記標準色画像について、当該標準色画像毎に、前記第１色素量の平均値と、前記第２色素量の平均値とをそれぞれ算出する平均値算出部と、前記第１染色色素及び前記第２染色色素の２種類の染色色素による染色が施された病理標本を撮像した変換用標本画像における前記第１染色色素の色素量を前記平均値算出部にて算出された複数の前記第１色素量の平均値のいずれかに変換するとともに、当該変換用標本画像における前記第２染色色素の色素量を前記平均値算出部にて算出された複数の前記第２色素量の平均値のいずれかに変換した変換標準色画像を生成する画像生成部とをさらに備えることを特徴とする。
　また、本発明に係る画像処理システムでは、上記発明において、前記データベースは、前記病理標本画像と、前記染色情報と、前記日時情報と、当該病理標本画像に対応する被検査対象の識別情報とが関連付けられた前記検査情報を複数、記録し、前記データベースに記録された複数の前記病理標本画像の少なくとも一つには、当該病理標本画像の重要度を示す付帯情報が関連付けられ、前記第１画像抽出部は、前記識別情報に基づいて、前記データベースに記録された複数の前記病理標本画像から、前記被検査対象毎に前記標準色画像をそれぞれ抽出し、前記画像処理装置は、前記第１画像抽出部にて抽出された複数の前記標準色画像から、前記付帯情報が関連付けられた標準色画像を抽出する第３画像抽出部をさらに備えることを特徴とする。
　また、本発明に係る画像処理システムでは、上記発明において、前記付帯情報は、前記病理標本画像が画像解析ソフトを用いて画像解析された履歴を示す情報であることを特徴とする。
　また、本発明に係る画像処理システムでは、上記発明において、前記付帯情報は、前記病理標本画像が外部装置に送信された履歴を示す情報であることを特徴とする。
　また、本発明に係る画像処理システムでは、上記発明において、染色が施された被検査対象の病理標本を撮像して前記病理標本画像を取得する画像取得部と、前記染色情報及び前記日時情報の入力操作を受け付ける第２操作受付部とを有する撮像装置をさらに備え、前記データベースは、前記画像取得部にて取得された前記病理標本画像と、前記第２操作受付部への入力操作に応じた前記染色情報及び前記日時情報とが関連付けられた前記検査情報を複数、記録することを特徴とする。
　本発明に係る画像処理方法は、データベースに記録された病理標本画像を処理する画像処理装置が実行する画像処理方法であって、前記データベースは、染色が施された被検査対象の病理標本を撮像した前記病理標本画像と、当該病理標本に施された染色種別を示す染色情報と、当該病理標本の作製または撮影日時を示す日時情報とが関連付けられた検査情報を複数、記録し、当該画像処理方法は、前記データベースに記録された複数の前記病理標本画像から入力操作に応じた染色種別と同一の染色種別を示す前記染色情報が関連付けられた病理標本画像を抽出するとともに、当該抽出した病理標本画像のうち最も遅い作製または撮影日時を示す前記日時情報が関連付けられた病理標本画像を標準色画像として抽出することを特徴とする。
　本発明に係る画像処理プログラムは、上述した画像処理方法を画像処理装置に実行させることを特徴とする。
　本発明に係る画像処理システム、画像処理方法、及び画像処理プログラムによれば、顧客に応じた標準的な染色濃度をユーザに認識させることが可能となる、という効果を奏する。
図１は、本実施の形態１に係る画像処理システムを示すブロック図である。 図２は、図１に示した撮像部の構成を模式的に示す図である。 図３は、図２に示したＲＧＢカメラの分光感度特性の一例を示す図である。 図４は、図２に示した第１フィルタの分光特性の一例を示す図である。 図５は、図２に示した第２フィルタの分光特性の一例を示す図である。 図６は、図１に示した画像処理装置の動作を示すフローチャートである。 図７は、本実施の形態２に係る画像処理装置を示すブロック図である。 図８は、図７に示した画像処理装置の動作を示すフローチャートである。 図９は、本実施の形態３に係る画像処理装置を示すブロック図である。 図１０は、図９に示した画像処理装置の動作を示すフローチャートである。 図１１は、図１０に示したステップＳ１５を説明する図である。 図１２は、図１０に示したステップＳ１９を説明する図である。 図１３は、図１０に示したステップＳ２３を説明する図である。 図１４は、図１０に示したステップＳ２７を説明する図である。 図１５は、第１～第４標準色画像を説明する図である。 図１６は、本実施の形態４に係る画像処理装置を示すブロック図である。 図１７は、図１６に示した画像処理装置の動作を示すフローチャートである。 図１８は、本実施の形態５に係る画像処理装置を示すブロック図である。 図１９は、図１８に示した画像処理装置の動作を示すフローチャートである。 図２０は、本実施の形態６に係る画像処理システムを示すブロック図である。 図２１は、本実施の形態１～６の変形例を示す図である。
　以下、図面を参照して、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
（実施の形態１）
　〔画像処理システムの概略構成〕
　図１は、本実施の形態１に係る画像処理システム１を示すブロック図である。
　画像処理システム１は、染色が施された被検査対象の病理標本を撮像し、当該撮像による病理標本画像を処理するシステムである。
　ここで、病理標本に施された染色は、抗体としてＫｉ－６７、ＥＲ、あるいはＰｇＲ等を用いる細胞核内のそれぞれの分子を特異的に染色する免疫染色、抗体としてＨＥＲ２等を用いる細胞膜内のＨＥＲ２分子を特異的に染色する免疫染色、抗体としてセロトニン等を用いる細胞質のセロトニン分子を特異的に染色する免疫染色、色素としてヘマトキシリン（Ｈ）を用いる細胞核対比染色、色素としてエオジン（Ｅ）を用いる細胞質対比染色等を例示することができる。
　そして、画像処理システム１は、図１に示すように、撮像装置２と、データベース３と、画像処理装置４とを備える。
　これら撮像装置２、データベース３、及び画像処理装置４は、具体的な図示は省略したが、ネットワークを介して相互に通信可能に接続されている。当該ネットワークとしては、有線または無線を問わず、インターネット、ＬＡＮ（Local Area Network）、またはＶＰＮ（Virtual Private Network）等を例示することができる。
　〔撮像装置の構成〕
　撮像装置２は、病理標本Ｓ（図２参照）の病理標本画像を取得する装置である。本実施の形態１では、撮像装置２は、マルチバンド画像の病理標本画像を取得する装置として構成されている。この撮像装置２は、図１に示すように、撮像部２１と、装置本体２２と、第２操作受付部２３と、表示部２４とを備える。
　図２は、撮像部２１の構成を模式的に示す図である。
　撮像部２１は、病理標本画像を取得する部分であり、図２に示すように、ステージ２１１と、照明部２１２と、結像光学系２１３と、ＲＧＢカメラ２１４と、フィルタ部２１５とを備える。
　ステージ２１１は、病理標本Ｓが載置される部分であり、装置本体２２による制御の下、移動することで病理標本Ｓの観察箇所を変更可能に構成されている。
　照明部２１２は、装置本体２２による制御の下、ステージ２１１上に載置された病理標本Ｓに照明光を照射する。
　結像光学系２１３は、病理標本Ｓに照射され、当該病理標本Ｓを透過した透過光をＲＧＢカメラ２１４に結像する。
　図３は、ＲＧＢカメラ２１４の分光感度特性の一例を示す図である。
　ＲＧＢカメラ２１４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備え、装置本体２２による制御の下、病理標本Ｓを透過した透過光を撮像する。このＲＧＢカメラ２１４は、例えば、図３に示すＲ（赤），Ｇ（緑），Ｂ（青）の各バンドの分光感度特性を有する。
　図４は、第１フィルタ２１７の分光特性の一例を示す図である。図５は、第２フィルタ２１８の分光特性の一例を示す図である。
　フィルタ部２１５は、結像光学系２１３からＲＧＢカメラ２１４に至る光路上に配設され、ＲＧＢカメラ２１４に結像する光の波長帯域を所定範囲に制限する。このフィルタ部２１５は、図２に示すように、装置本体２２による制御の下、回転可能とするフィルタホイール２１６と、当該フィルタホイール２１６に設けられ、Ｒ，Ｇ，Ｂの各バンドの透過波長帯域を２分するように、それぞれ異なる分光特性（例えば、図４，図５の分光特性）を有する第１，第２フィルタ２１７，２１８とを備える。
　そして、撮像部２１は、装置本体２２による制御の下、以下に示すように、病理標本Ｓの病理標本画像（マルチバンド画像）を取得する。
　先ず、撮像部２１は、照明部２１２からＲＧＢカメラ２１４に至る光路上に第１フィルタ２１７を位置付けるとともに、照明部２１２から病理標本Ｓに照明光を照射する。そして、ＲＧＢカメラ２１４は、病理標本Ｓを透過し、第１フィルタ２１７及び結像光学系２１３を介した透過光を撮像する（第１の撮像）。
　次に、撮像部２１は、照明部２１２からＲＧＢカメラ２１４に至る光路上に第２フィルタ２１８を位置付け、第１の撮像と同様にして第２の撮像を行う。
　これにより、第１，第２の撮像でそれぞれ異なる３バンドの画像を取得し、合計で６バンドの病理標本画像を取得する。
　なお、フィルタ部２１５に設けるフィルタの数は、２枚に限らず、３枚以上のフィルタを設けて、さらに多くのバンドの画像を取得しても構わない。また、撮像部２１は、フィルタ部２１５を省略して、ＲＧＢカメラ２１４によりＲＧＢ画像のみを取得するように構成しても構わない。さらに、フィルタ部２１５の代わりに、分光特性を変えることができる液晶チューナブルフィルタや音響光学チューナブルフィルタを採用しても構わない。また、分光特性の異なる複数の光を切り替えて病理標本Ｓに照射することで、病理標本画像（マルチバンド画像）を取得しても構わない。さらに、ＲＧＢカメラ２１４の代わりに、モノクロカメラを採用しても構わない。
　装置本体２２は、例えば、ＰＣ（パーソナルコンピュータ）等を用いて構成され、撮像部２１の動作を統括的に制御する。この装置本体２２は、図１に示すように、画像取得部２２１と、制御部２２２と、記憶部２２３と、通信部２２４とを備える。
　画像取得部２２１は、撮像部２１から出力された病理標本画像（画像データ）を取り込むインターフェースによって構成される。
　制御部２２２は、ＣＰＵ（Central Processing Unit）等を用いて構成されている。この制御部２２２は、第２操作受付部２３から入力される入力信号、及び記憶部２２３に格納されているプログラムやデータ等に基づいて、画像取得部２２１や撮像部２１の動作を制御して病理標本画像を取得する。また、制御部２２２は、表示部２４に表示信号を出力し、当該表示部２４に各種画面を表示させる。
　記憶部２２３は、更新記録可能なフラッシュメモリ等のＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、若しくはＣＤ－ＲＯＭ等の情報記憶装置及び当該情報記憶装置に対する情報の書込読取装置等によって構成され、制御部２２２が実行するプログラムや画像取得部２２１を介して取得した病理標本画像等を記憶する。
　通信部２２４は、データベース３や画像処理装置４との間で通信制御を行うインターフェースである。
　第２操作受付部２３は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成され、ユーザによる入力操作を受け付ける。そして、第２操作受付部２３は、当該入力操作に応じた信号を制御部２２２に出力する。本実施の形態１では、第２操作受付部２３は、例えば、以下の情報（Ａ）～（Ｌ）の入力操作を受け付ける。
　（Ａ）患者名または患者ＩＤ
　（Ｂ）年齢
　（Ｃ）性別
　（Ｄ）臓器名
　（Ｅ）染色種別（ＨＥ（ヘマトキシリン－エオジン）染色、免疫染色（抗体名）等）
　（Ｆ）身長、体重、ＢＭＩ（ボディ・マス・インデックス）
　（Ｇ）病理標本Ｓの作製日時
　（Ｈ）病理標本Ｓの撮影日時
　（Ｉ）病歴
　（Ｊ）検体の手術または内視鏡、生検による切除日時
　（Ｋ）検体固定時間（検体採取後、何時間、固定したか）
　（Ｌ）検体の固定の種類（ホルマリン固定、ブアン固定等）
　ここで、情報（Ａ）は、被検査対象である患者の識別情報であり、本発明に係る識別情報に相当する。情報（Ｅ）は、本発明に係る染色情報に相当する。情報（Ｇ），（Ｈ）は、本発明に係る日時情報に相当する。
　そして、通信部２２４は、制御部２２２による制御の下、記憶部２２３に記憶された病理標本画像と、当該病理標本画像に関連する情報として第２操作受付部２３に入力操作された情報（Ａ）～（Ｌ）とを関連付けた検査情報をデータベース３に送信する。
　表示部２４は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現され、制御部２２２から入力される表示信号を基に各種画面を表示する。
　〔データベースの構成〕
　データベース３は、例えば病院や病理標本作製会社内の既知のサーバ装置、あるいはクラウド上に設けられ、撮像装置２から送信された検査情報（病理標本画像と情報（Ａ）～（Ｌ）とが関連付けられた情報）を複数、記録する。
　ここで、データベース３に記録された複数の検査情報は、同一の顧客（病院または病理標本作製会社）に属するものである。具体的に、当該複数の検査情報は、特定の一の病院で検査を行った被検査対象（患者）の病理標本Ｓを撮像した病理標本画像をそれぞれ含む情報、または、特定の一の病理標本作製会社で作製された病理標本Ｓを撮像した病理標本画像をそれぞれ含む情報である。
　〔画像処理装置の構成〕
　画像処理装置４は、データベース３に記録された検査情報に含まれる病理標本画像を処理する。この画像処理装置４は、図１に示すように、装置本体４１と、第１操作受付部４２と、表示部４３とを備える。
　装置本体４１は、例えば、ＰＣ（パーソナルコンピュータ）等を用いて構成されている。この装置本体４１は、図１に示すように、通信部４１１と、第１画像抽出部４１２と、制御部４１３と、記憶部４１４とを備える。
　通信部４１１は、データベース３や画像処理装置４との間で通信制御を行うインターフェースである。
　第１画像抽出部４１２は、制御部４１３による制御の下、通信部４１１を介して、データベース３に記憶された複数の病理標本画像から、第１操作受付部４２への入力操作に応じた染色種別と同一の染色種別を示す染色情報（情報（Ｅ））が関連付けられた病理標本画像を抽出する。また、第１画像抽出部４１２は、当該抽出した病理標本画像のうち最も遅い作製または撮影日時を示す日時情報（情報（Ｇ），（Ｈ））が関連付けられた病理標本画像を標準色画像として抽出する。
　制御部４１３は、ＣＰＵ等を用いて構成され、第１操作受付部４２から入力される入力信号、及び記憶部４１４に格納されているプログラムやデータ等に基づいて、画像処理装置４全体の動作を制御する。
　記憶部４１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭ等の各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、若しくはＣＤ－ＲＯＭ等の情報記憶装置及び当該情報記憶装置に対する情報の書込読取装置等によって構成され、制御部４１３が実行するプログラム（本発明に係る画像処理プログラムを含む）や第１画像抽出部４１２にて抽出されたデータ（病理標本画像等）を記憶する。
　第１操作受付部４２は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成され、ユーザによる入力操作を受け付ける。そして、第１操作受付部４２は、当該入力操作に応じた信号を制御部４１３に出力する。本実施の形態１では、第１操作受付部４２は、特定の染色での顧客（病院または標本作製会社）に応じた標準色画像（病理標本画像）を抽出するために当該特定の染色の種別（染色種別）の入力操作を受け付ける。
　表示部４３は、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって実現され、制御部４１３から入力される表示信号を基に各種画面を表示する。
　〔画像処理装置の動作〕
　次に、上述した画像処理装置４の動作（画像処理方法）について説明する。
　図６は、画像処理装置４の動作を示すフローチャートである。
　先ず、制御部４１３は、ユーザにより第１操作受付部４２に対して、特定の染色での顧客（病院または標本作製会社）に応じた標準色画像（病理標本画像）を抽出するために当該特定の染色の種別（染色種別）の入力操作があったか否かを常時、監視する（ステップＳ１）。
　染色種別の入力操作があったと判断された場合（ステップＳ１：Ｙｅｓ）には、第１画像抽出部４１２は、通信部４１１を介して、データベース３に記憶された複数の病理標本画像から、ステップＳ１での入力操作に応じた染色種別と同一の染色種別を示す染色情報（情報（Ｅ））が関連付けられた病理標本画像を抽出する（ステップＳ２）。
　ステップＳ２の後、第１画像抽出部４１２は、ステップＳ２で抽出した病理標本画像を時系列順に並べ、当該抽出した病理標本画像のうち最も遅い作製または撮影日時を示す日時情報（情報（Ｇ），（Ｈ））が関連付けられた病理標本画像を標準色画像として抽出する（ステップＳ３）。
　ステップＳ３の後、制御部４１３は、ステップＳ３で抽出された標準色画像（病理標本画像）を表示部４３に表示させる（ステップＳ４）。
　以上説明した本実施の形態１によれば、以下の効果を奏する。
　ところで、病理標本Ｓの作製は、一般的に、例えば、表示部２４に表示された当該病理標本Ｓの病理標本画像を確認しながら、染色濃度が標準的な染色濃度となるまで何回も実施される。すなわち、データベース３に記録された病理標本画像のうち、最も遅い作製または撮影日時の病理標本画像は、標準的な染色濃度を有しているものと考えられる。
　そこで、本実施の形態１に係る画像処理装置４では、上記の点に着目し、データベース３に記録された全ての病理標本画像から第１操作受付部４２への入力操作に応じた染色種別と同一の染色種別を示す染色情報（情報（Ｅ））が関連付けられた病理標本画像を抽出する。そして、画像処理装置４は、当該抽出した病理標本画像のうち最も遅い作製または撮影日時を示す日時情報（情報（Ｇ），（Ｈ））が関連付けられた病理標本画像を標準色画像として抽出及び表示する。
　したがって、本実施の形態１に係る画像処理装置４によれば、顧客（病院または標本作製会社）に応じた標準的な染色濃度を標準染色画像の表示により病理標本Ｓの作製者等のユーザに目視にて認識させることができる、という効果を奏する。
（実施の形態２）
　次に、本実施の形態２について説明する。
　以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
　図７は、本実施の形態２に係る画像処理装置４Ａを示すブロック図である。
　本実施の形態２では、図７に示すように、上述した実施の形態１に対して、画像処理装置４（装置本体４１）に分光透過率推定部４１５、色素量推定部４１６、及び色素量範囲抽出部４１７の機能を追加した画像処理装置４Ａ（装置本体４１Ａ）を採用している。
　以下、病理標本Ｓの病理標本画像（マルチバンド画像）から当該病理標本Ｓ上の点における色素量を仮想的に調整する方法について説明した後、分光透過率推定部４１５、色素量推定部４１６、及び色素量範囲抽出部４１７の機能について説明する。
　〔病理標本上の点における色素量を仮想的に調整する方法〕
　以下では、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式で病理標本画像（マルチバンド画像）を撮像した場合を想定する。この場合には、病理標本Ｓ上の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来、観察対象となる病理標本Ｓ内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、病理標本Ｓ内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する病理標本Ｓ上の点を意味している。
　ここで、撮像されたマルチバンド画像の任意の点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する病理標本Ｓ上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく以下の式（１）の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、λは波長、ｆ（ｂ，λ）はｂ番目のバンドパスフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。実際の計算では、式（１）を波長方向に離散化した以下の式（２）が用いられる。
Figure JPOXMLDOC01-appb-M000002
　式（２）において、波長方向のサンプル点数をＤ、バンド数をＢ（ここではＢ＝１６）とすれば、Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）はｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆはｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。
　ここで、表記を簡単にするため、以下の式（３）で定義される行列Ｈを導入する。この行列Ｈは、システム行列とも呼ばれる。
Figure JPOXMLDOC01-appb-M000003
　よって、式（２）は、以下の式（４）に置き換えられる。
Figure JPOXMLDOC01-appb-M000004
　次に、ウィナー推定を用いて、撮像したマルチバンド画像から病理標本Ｓ上の各点における分光透過率を推定する。分光透過率の推定値（以下、分光透過率データと記載）Ｔ^（ｘ）は、以下の式（５）で計算することができる。なお、Ｔ^は、Ｔの上に推定値を示す記号「^（ハット）」が付いていることを示す。
Figure JPOXMLDOC01-appb-M000005
　式（５）において、Ｗは、以下の式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。
Figure JPOXMLDOC01-appb-M000006
　式（６）において、ＲSSは、Ｄ行Ｄ列の行列であり、病理標本Ｓの分光透過率の自己相関行列を表す。また、ＲNNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。なお、任意の行列Ｘに対し、行列ＸTは行列Ｘの転置行列を表し、行列Ｘ-1は行列Ｘの逆行列を表す。システム行列Ｈを構成する行列Ｆ、Ｓ、Ｅ、すなわち、バンドパスフィルタの分光透過率、カメラの分光感度特性、及び照明の分光放射特性と、行列列ＲSSと、行列ＲNNとは予め取得しておく。
　以上のように分光透過率データＴ^（ｘ）を推定した後、当該分光透過率データＴ^（ｘ）を基に対応する病理標本Ｓ上の点（以下、標本点と記載）における色素量を推定する。ここでは、推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンまたは染色されていない赤血球本来の色素の３種類であり、それぞれＨ色素、Ｅ色素、Ｒ色素と略記する。なお、厳密には、染色を施さない状態であっても赤血球はそれ自身特有の色を有しており、ＨＥ染色後は、赤血球自身の色と染色過程において変化したエオジンの色とが重畳して観察される。このため、正確には両者を併せたものをＲ色素と呼称する。
　一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ０（λ）と射出光の強度Ｉ（λ）との間に、以下の式（７）で表されるランベルト・ベールの法則が成り立つことが知られている。
Figure JPOXMLDOC01-appb-M000007
　式（７）において、ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。ここで、式（７）の左辺は分光透過率ｔ（λ）を意味しているため、式（７）は、以下の式（８）に置き換えられる。
Figure JPOXMLDOC01-appb-M000008
　また、分光吸光度ａ（λ）は、以下の式（９）で表される。
Figure JPOXMLDOC01-appb-M000009
　よって、式（８）は、以下の式（１０）に置き換えられる。
Figure JPOXMLDOC01-appb-M000010
　ＨＥ染色された病理標本ＳがＨ色素、Ｅ色素、及びＲ色素の３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて、以下の式（１１）が成立する。
Figure JPOXMLDOC01-appb-M000011
　式（１１）において、ｋH（λ）、ｋE（λ）、及びｋR（λ）は、それぞれＨ色素、Ｅ色素、及びＲ色素に対応するｋ（λ）を表し、例えば、病理標本Ｓを染色している各色素の色素スペクトル（以下、基準色素スペクトルと記載）である。また、ｄH、ｄE、及びｄRは、マルチバンド画像の各画素位置に対応する各標本点におけるＨ色素、Ｅ色素、及びＲ色素の仮想的な厚さを表す。本来、色素は、病理標本Ｓ中に分散して存在するため、厚さという概念は正確ではないが、病理標本Ｓが単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄH、ｄE、及びｄRは、それぞれＨ色素、Ｅ色素、及びＲ色素の色素量を表していると言える。なお、ｋH（λ）、ｋE（λ）、及びｋR（λ）は、Ｈ色素、Ｅ色素、及びＲ色素を用いてそれぞれ個別に染色した病理標本Ｓを予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
　ここで、位置ｘにおける分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とすると、式（９）は、以下の式（１２）に置き換えられる。
Figure JPOXMLDOC01-appb-M000012
　そして、式（５）を用いて推定された分光透過率データＴ^（ｘ）の波長λにおける推定分光透過率をｔ^（ｘ，λ）、推定分光吸光度をａ^（ｘ，λ）とすると、式（１２）は、以下の式（１３）に置き換えられる。なお、ｔ^は、ｔの上に記号「^」が付いていることを示し、ａ^は、ａの上に記号「^」が付いていることを示す。
Figure JPOXMLDOC01-appb-M000013
　式（１３）において未知変数はｄH、ｄE、及びｄRの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ1，λ2，λ3について式（１３）を連立させた場合、以下の式（１４）のように行列表記することができる。
Figure JPOXMLDOC01-appb-M000014
　ここで、式（１４）を以下の式（１５）に置き換える。
Figure JPOXMLDOC01-appb-M000015
　式（１５）において、波長方向のサンプル点数をＤとすれば、Ａ^（ｘ）はａ^（ｘ，λ）に対応するＤ行１列の行列であり、Ｋはｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は点ｘにおけるｄH、ｄE、及びｄRに対応する３行１列の行列である。なお、Ａ^は、Ａの上に記号「^」が付いていることを示す。
　そして、式（１５）に従い、最小二乗法を用いて色素量ｄH，ｄE，ｄRを算出する。最小二乗法とは単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、以下の式（１６）で算出することができる。
Figure JPOXMLDOC01-appb-M000016
　式（１６）において、ｄ^（ｘ）は、推定された色素量である。推定された色素量ｄH^，ｄE^，ｄR^を式（１２）に代入すれば、復元した復元分光吸光度ａ~（ｘ，λ）は、以下の式（１７）で求められる。なお、ａ~は、ａの上に記号「~（チルダ）」が付いていることを示す。
Figure JPOXMLDOC01-appb-M000017
　よって、色素量推定における推定誤差ｅ（λ）は、推定分光吸光度ａ^（ｘ，λ）と復元分光吸光度ａ~（ｘ，λ）から以下の式（１８）で求められる。
Figure JPOXMLDOC01-appb-M000018
　以下、ｅ（λ）を残差スペクトルと記載する。式（１７），（１８）を用いて、推定分光吸光度ａ^（ｘ，λ）は、以下の式（１９）でも表される。
Figure JPOXMLDOC01-appb-M000019
　色素量ｄH^，ｄE^，ｄR^が求まれば、これを修正することで、病理標本Ｓにおける色素量の変化をシミュレートすることができる。ここで、染色法によって染色された色素量ｄH^，ｄE^を修正する。赤血球本来の色である色素量ｄR^は修正しない。すなわち、補正色素量ｄH^*，ｄE^*は、適当な係数αH，αEを用いて以下の式（２０），（２１）で求められる。
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-M000021
　補正色素量ｄH^*，ｄE^*を式（１７）に代入すれば、新たな復元分光吸光度α~*（ｘ，λ）は、以下の式（２２）から求められる。
Figure JPOXMLDOC01-appb-M000022
　また、残差スペクトルｅ（λ）を含める場合、新たな推定分光吸光度α^*（ｘ，λ）は、以下の式（２３）から求められる。
Figure JPOXMLDOC01-appb-M000023
　新たな復元分光吸光度α~*（ｘ，λ）または新たな推定分光吸光度α^*（ｘ，λ）を式（１０）に代入すれば、新たな分光透過率ｔ＊（ｘ，λ）は、以下の式（２４）から求められる。
Figure JPOXMLDOC01-appb-M000024
　式（２４）において、分光吸光度ａ＊（ｘ，λ）は、新たな復元分光吸光度α~*（ｘ，λ）または新たな推定分光吸光度α^*（ｘ，λ）のいずれかを意味する。
　式（２４）を式（１）に代入すると、新たな画素値ｇ＊（ｘ，ｂ）は、以下の式（２５）から求めることができる。この場合、観測ノイズｎ（ｂ）をゼロとして計算してよい。
Figure JPOXMLDOC01-appb-M000025
　ここで、式（２５）を以下の式（２６）に置き換える。
Figure JPOXMLDOC01-appb-M000026
　式（２６）において、Ｇ＊（ｘ）はｇ＊（ｘ，ｂ）に対応するＢ行１列の行列、Ｔ＊（ｘ）はｔ＊（ｘ，ｂ）に対応するＤ行１列の行列である。よって、色素量を仮想的に変化させた病理標本Ｓの画素値Ｇ＊（ｘ）を合成することができる。以上の手順により、病理標本Ｓの色素量を仮想的に調整することができる。
　ランベルト・ベールの法則は、屈折や散乱が無いと仮定した場合に半透明物体を透過する光の減衰を定式化したものであるが、実際の病理標本Ｓでは屈折も散乱も起こり得る。そのため、病理標本Ｓによる光の減衰をランベルト・ベールの法則のみでモデル化した場合、このモデル化に伴った誤差が生じる。しかしながら、病理標本Ｓ内での屈折や散乱を含めたモデルの構築は、極めて困難であり、実用上は実行不可能である。そこで、屈折や散乱の影響を含めたモデル化の誤差である残差スペクトルを加えることで、物理モデルによる不自然な色変動を引き起こさないようにすることができる。
　〔分光透過率推定部、色素量推定部、及び色素量範囲抽出部の機能〕
　分光透過率推定部４１５は、例えばウィナー推定（式（１）～（６））により、第１画像抽出部４１２にて抽出された標準色画像（病理標本画像）から各画素の分光透過率を推定する。
　色素量推定部４１６は、例えばランベルト・ベールの法則（式（７）～（１６））により、分光透過率推定部４１５で推定された分光透過率を用いて各染色の画素毎の色素量をそれぞれ推定する。
　色素量範囲抽出部４１７は、色素量推定部４１６にて推定された各染色の色素量の最大値と最小値とをそれぞれ抽出する。
　〔画像処理装置の動作〕
　次に、上述した画像処理装置４Ａの動作（画像処理方法）について説明する。
　図８は、画像処理装置４Ａの動作を示すフローチャートである。
　本実施の形態２に係る画像処理装置４Ａの動作は、図８に示すように、上述した実施の形態１で説明した画像処理装置４の動作（図６）に対して、ステップＳ５～Ｓ１０を追加するとともに、ステップＳ２の代わりにステップＳ２Ａを採用した点が異なる。このため、以下では、ステップＳ５～Ｓ１０，Ｓ２Ａを主に説明する。
　ステップＳ５は、染色種別の入力操作があったと判断された場合（ステップＳ１：Ｙｅｓ）に実行される。
　具体的に、第１画像抽出部４１２は、ステップＳ５において、通信部４１１を介して、データベース３に記録された全ての識別情報（情報（Ａ））を参照し、当該全ての識別情報（情報（Ａ））から抽出対象とする一の識別情報を設定する。
　ステップＳ５の後、第１画像抽出部４１２は、通信部４１１を介して、データベース３に記憶された抽出対象に設定した識別情報（情報（Ａ））が関連付けられた病理標本画像のうち、ステップＳ１での入力操作に応じた染色種別と同一の染色種別を示す染色情報（情報（Ｅ））が関連付けられた病理標本画像を抽出する（ステップＳ２Ａ）。この後、画像処理装置４Ａは、ステップＳ３に移行する。
　ステップＳ６は、ステップＳ４の後に実行される。
　具体的に、分光透過率推定部４１５は、ステップＳ６において、ステップＳ３で抽出された標準色画像（病理標本画像）から各画素の分光透過率を推定する。
　ステップＳ６の後、色素量推定部４１６は、ステップＳ６で推定された分光透過率を用いて各染色の画素毎の色素量をそれぞれ推定する（ステップＳ７）。
　ステップＳ７の後、第１画像抽出部４１２は、データベース３に記録された全ての識別情報（情報（Ａ））に対して、ステップＳ２Ａ，Ｓ３を実施したか否かを判断する（ステップＳ８）。
　全ての識別情報（情報（Ａ））で実施していないと判断した場合（ステップＳ８：Ｎｏ）には、第１画像抽出部４１２は、抽出対象とする識別情報（情報（Ａ））を変更し（ステップＳ９）、ステップＳ２Ａに移行する。
　すなわち、本実施の形態２では、第１画像抽出部４１２は、識別情報（情報（Ａ））毎、言い換えれば、患者毎に標準色画像を抽出している（全ての患者の標準色画像を抽出している）。また、分光透過率推定部４１５及び色素量推定部４１６は、全ての患者の標準色画像について、当該標準色画像毎に、画素毎の分光透過率及び色素量をそれぞれ推定している。
　全ての識別情報（情報（Ａ））で実施したと判断された場合（ステップＳ８：Ｙｅｓ）には、色素量範囲抽出部４１７は、全ての患者の標準色画像における全画素の色素量の中から、各染色の色素量の最大値と最小値とをそれぞれ抽出する（ステップＳ１０）。すなわち、色素量範囲抽出部４１７は、染色毎に、標準的な染色濃度として許容することができる範囲（各染色の色素量の最大値～最小値）を抽出している。そして、例えば、画像処理装置４Ａは、当該範囲をデータベース３に記録する。
　以上説明した本実施の形態２によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
　本実施の形態２に係る画像処理装置４Ａでは、全ての患者の標準色画像における全画素の色素量の中から、各染色の色素量の最大値と最小値とをそれぞれ抽出する。
　このため、顧客に応じた標準的な染色濃度として許容することができる範囲を色素量という数値で適切に記録しておくことができる。
　また、全ての患者の標準色画像から当該範囲を抽出しているため、例えば、データベース３に記録された全ての病理標本画像から１枚の標準色画像を抽出し、当該１枚の標準色画像から当該範囲を抽出する構成と比較して、標準色画像の枚数（当該範囲を抽出する画素数）が増えるため、当該範囲を適切に抽出することができる。
（実施の形態３）
　次に、本実施の形態３について説明する。
　以下の説明では、上述した実施の形態１，２と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
　図９は、本実施の形態３に係る画像処理装置４Ｂを示すブロック図である。
　本実施の形態３では、図９に示すように、上述した実施の形態２に対して、画像処理装置４Ａ（装置本体４１Ａ）に平均値算出部４１８及び第２画像抽出部４１９の機能を追加するとともに、色素量範囲抽出部４１７の機能を省略した画像処理装置４Ｂ（装置本体４１Ｂ）を採用している。
　なお、本実施の形態３では、病理標本Ｓには、第１，第２染色色素の２種類の染色色素による染色（例えば、ＨＥ染色）が施されている。また、以下では、色素量推定部４１６にて推定された第１，第２染色色素の色素量をそれぞれ第１，第２色素量と記載する。
　〔平均値算出部及び第２画像抽出部の機能〕
　平均値算出部４１８は、全ての患者の標準色画像（病理標本画像）について、当該標準色画像毎に、当該標準色画像内における全画素の第１色素量の平均値（以下、第１色素量平均値（ｘ）と記載）と、当該標準色画像内における全画素の第２色素量の平均値（以下、第２色素量平均値（ｙ）と記載）とをそれぞれ算出する。
　第２画像抽出部４１９は、全ての患者の標準色画像（病理標本画像）から以下に示す第１～第４標準色画像をそれぞれ抽出する。
　第１標準色画像は、全ての患者の標準色画像のうち、第１色素量平均値（ｘ）と第２色素量平均値（ｙ）との和（ｘ＋ｙ）が最大となる標準色画像である。
　第２標準色画像は、全ての患者の標準色画像のうち、第１色素量平均値（ｘ）と第２色素量平均値（ｙ）との和（ｘ＋ｙ）が最小となる標準色画像である。
　第３標準色画像は、全ての患者の標準色画像のうち、第１色素量平均値（ｘ）と第２色素量平均値（ｙ）との差（ｘ－ｙ）が最大となる標準色画像である。
　第４標準色画像は、全ての患者の標準色画像のうち、第１色素量平均値（ｘ）と第２色素量平均値（ｙ）との差（ｘ－ｙ）が最小となる標準色画像である。
　〔画像処理装置の動作〕
　次に、上述した画像処理装置４Ｂの動作（画像処理方法）について説明する。
　図１０は、画像処理装置４Ｂの動作を示すフローチャートである。
　本実施の形態３に係る画像処理装置４Ｂの動作は、図１０に示すように、上述した実施の形態２で説明した画像処理装置４Ａの動作（図８）に対して、ステップＳ１０を省略し、ステップＳ１１～Ｓ２７を追加するとともに、ステップＳ４の代わりにステップＳ４Ｂを採用した点が異なる。このため、以下では、ステップＳ１１～Ｓ２７，Ｓ４Ｂを主に説明する。なお、本実施の形態３では、ステップＳ３の後、ステップＳ６が実行される。
　ステップＳ１１は、ステップＳ７の後に実行される。
　具体的に、平均値算出部４１８は、ステップＳ１１において、ステップＳ３で抽出された標準色画像について、ステップＳ７で推定された第１，第２色素量に基づいて、当該標準色画像内における全画素の第１色素量平均値（ｘ）と、当該標準色画像内における全画素の第２色素量平均値（ｙ）とをそれぞれ算出する。この後、画像処理装置４Ｂは、ステップＳ８に移行する。
　ステップＳ１２は、全ての識別情報（情報（Ａ））で実施したと判断された場合（ステップＳ８：Ｙｅｓ）に実行される。
　具体的に、第２画像抽出部４１９は、ステップＳ１２において、全ての患者の標準色画像から、ステップＳ１１で算出された第１色素量平均値（ｘ）と第２色素量平均値（ｙ）との和（ｘ＋ｙ）が最大となる標準色画像を抽出する。
　ステップＳ１２の後、第２画像抽出部４１９は、ステップＳ１２で抽出した画像が１枚であるか否かを判断する（ステップＳ１３）。
　抽出した画像が１枚であると判断した場合（ステップＳ１３：Ｙｅｓ）には、第２画像抽出部４１９は、当該１枚の画像を第１標準色画像とする（ステップＳ１４）。
　図１１は、ステップＳ１５を説明する図である。なお、図１１では、病理標本ＳにＨＥ染色が施されている場合であって、第１色素量をＥ色素の色素量とし、第２色素量をＨ色素の色素量としている。また、図１１では、ステップＳ１２で４枚の標準色画像Ｆ１～Ｆ４が抽出された場合であって、当該４枚の標準色画像Ｆ１～Ｆ４の第１，第２色素量平均値（ｘ，ｙ）を２次元平面（横軸：第１色素量平均値（ｘ）、縦軸：第２色素量平均値（ｙ））上に描出している。
　抽出した画像が１枚ではないと判断した場合（ステップＳ１３：Ｎｏ）には、第２画像抽出部４１９は、ステップＳ１２で抽出した複数の標準色画像のうち、第１色素量平均値（ｘ）が最大となる画像（図１１の例では、標準色画像Ｆ４）を第１標準色画像とする（ステップＳ１５）。
　なお、ステップＳ１５では、ステップＳ１２で抽出した複数の標準色画像のうち、第１色素量平均値（ｘ）が最大となる画像を第１標準色画像としていたが、これに限らず、第１色素量平均値（ｘ）が最小となる画像（図１１の例では、標準色画像Ｆ１）や、第１色素量平均値（ｘ）が中間値となる画像（図１１の例では、標準色画像Ｆ２，Ｆ３）を第１標準色画像としても構わない。また、ステップＳ１２で抽出した複数の標準色画像の全てを第１標準色画像としても構わない。
　ステップＳ１４，Ｓ１５の後、第２画像抽出部４１９は、全ての患者の標準色画像から、ステップＳ１１で算出された第１色素量平均値（ｘ）と第２色素量平均値（ｙ）との和（ｘ＋ｙ）が最小となる標準色画像を抽出する（ステップＳ１６）。
　ステップＳ１６の後、第２画像抽出部４１９は、ステップＳ１６で抽出した画像が１枚であるか否かを判断する（ステップＳ１７）。
　抽出した画像が１枚であると判断した場合（ステップＳ１７：Ｙｅｓ）には、第２画像抽出部４１９は、当該１枚の画像を第２標準色画像とする（ステップＳ１８）。
　図１２は、ステップＳ１９を説明する図である。なお、図１２は、図１１に対応した図である。また、図１２では、ステップＳ１６で４枚の標準色画像Ｆ５～Ｆ８が抽出された場合であって、当該４枚の標準色画像Ｆ５～Ｆ８の第１，第２色素量平均値（ｘ，ｙ）を２次元平面上に描出している。
　抽出した画像が１枚ではないと判断した場合（ステップＳ１７：Ｎｏ）には、第２画像抽出部４１９は、ステップＳ１６で抽出した複数の標準色画像のうち、第１色素量平均値（ｘ）が最小となる画像（図１２の例では、標準色画像Ｆ５）を第２標準色画像とする（ステップＳ１９）。
　なお、ステップＳ１９では、ステップＳ１６で抽出した複数の標準色画像のうち、第１色素量平均値（ｘ）が最小となる画像を第２標準色画像としていたが、これに限らず、第１色素量平均値（ｘ）が最大となる画像（図１２の例では、標準色画像Ｆ８）や、第１色素量平均値（ｘ）が中間値となる画像（図１２の例では、標準色画像Ｆ６，Ｆ７）を第２標準色画像としても構わない。また、ステップＳ１６で抽出した複数の標準色画像の全てを第２標準色画像としても構わない。
　ステップＳ１８，Ｓ１９の後、第２画像抽出部４１９は、全ての患者の標準色画像から、ステップＳ１１で算出された第１色素量平均値（ｘ）と第２色素量平均値（ｙ）との差（ｘ－ｙ）が最大となる標準色画像を抽出する（ステップＳ２０）。
　ステップＳ２０の後、第２画像抽出部４１９は、ステップＳ２０で抽出した画像が１枚であるか否かを判断する（ステップＳ２１）。
　抽出した画像が１枚であると判断した場合（ステップＳ２１：Ｙｅｓ）には、第２画像抽出部４１９は、当該１枚の画像を第３標準色画像とする（ステップＳ２２）。
　図１３は、ステップＳ２３を説明する図である。なお、図１３は、図１１に対応した図である。また、図１３では、ステップＳ２０で４枚の標準色画像Ｆ９～Ｆ１２が抽出された場合であって、当該４枚の標準色画像Ｆ９～Ｆ１２の第１，第２色素量平均値（ｘ，ｙ）を２次元平面上に描出している。
　抽出した画像が１枚ではないと判断した場合（ステップＳ２１：Ｎｏ）には、第２画像抽出部４１９は、ステップＳ２０で抽出した複数の標準色画像のうち、第２色素量平均値（ｙ）が最小となる画像（図１３の例では、標準色画像Ｆ１２）を第３標準色画像とする（ステップＳ２３）。
　なお、ステップＳ２３では、ステップＳ２０で抽出した複数の標準色画像のうち、第２色素量平均値（ｙ）が最小となる画像を第３標準色画像としていたが、これに限らず、第２色素量平均値（ｙ）が最大となる画像（図１３の例では、標準色画像Ｆ９）や、第２色素量平均値（ｙ）が中間値となる画像（図１３の例では、標準色画像Ｆ１０，Ｆ１１）を第３標準色画像としても構わない。また、ステップＳ２０で抽出した複数の標準色画像の全てを第３標準色画像としても構わない。
　ステップＳ２２，Ｓ２３の後、第２画像抽出部４１９は、全ての患者の標準色画像から、ステップＳ１１で算出された第１色素量平均値（ｘ）と第２色素量平均値（ｙ）との差（ｘ－ｙ）が最小となる標準色画像を抽出する（ステップＳ２４）。
　ステップＳ２４の後、第２画像抽出部４１９は、ステップＳ２４で抽出した画像が１枚であるか否かを判断する（ステップＳ２５）。
　抽出した画像が１枚であると判断した場合（ステップＳ２５：Ｙｅｓ）には、第２画像抽出部４１９は、当該１枚の画像を第４標準色画像とする（ステップＳ２６）。
　図１４は、ステップＳ２７を説明する図である。なお、図１４は、図１１に対応した図である。また、図１４では、ステップＳ２４で４枚の標準色画像Ｆ１３～Ｆ１６が抽出された場合であって、当該４枚の標準色画像Ｆ１３～Ｆ１６の第１，第２色素量平均値（ｘ，ｙ）を２次元平面上に描出している。
　抽出した画像が１枚ではないと判断した場合（ステップＳ２５：Ｎｏ）には、第２画像抽出部４１９は、ステップＳ２４で抽出した複数の標準色画像のうち、第２色素量平均値（ｙ）が最大となる画像（図１４の例では、標準色画像Ｆ１３）を第４標準色画像とする（ステップＳ２７）。
　なお、ステップＳ２７では、ステップＳ２４で抽出した複数の標準色画像のうち、第２色素量平均値（ｙ）が最大となる画像を第４標準色画像としていたが、これに限らず、第２色素量平均値（ｙ）が最小となる画像（図１４の例では、標準色画像Ｆ１６）や、第２色素量平均値（ｙ）が中間値となる画像（図１４の例では、標準色画像Ｆ１４，Ｆ１５）を第４標準色画像としても構わない。また、ステップＳ２４で抽出した複数の標準色画像の全てを第４標準色画像としても構わない。
　図１５は、第１～第４標準色画像を説明する図である。なお、図１５は、図１１に対応した図である。また、図１５では、４枚の第１～第４標準色画像の第１，第２色素量平均値（ｘ，ｙ）を２次元平面上に描出している。
　以上説明したステップＳ１４（またはＳ１５），Ｓ１８（またはＳ１９），Ｓ２２（またはＳ２３），Ｓ２６（またはＳ２７）により、図１５に示すように、Ｈ色素とＥ色素の双方の染色濃度が高い病理標本Ｓの第１標準色画像と、Ｈ色素とＥ色素の双方の染色濃度が低い病理標本Ｓの第２標準色画像と、Ｅ色素の染色濃度が高いがＨ色素の染色濃度が低い病理標本Ｓの第３標準色画像と、Ｅ色素の染色濃度が低いがＨ色素の染色濃度が高い病理標本Ｓの第４標準色画像とが抽出される。
　ステップＳ２７の後、制御部４１３は、ステップＳ１４（またはＳ１５），Ｓ１８（またはＳ１９），Ｓ２２（またはＳ２３），Ｓ２６（またはＳ２７）により抽出された第１～第４標準色画像を表示部４３に表示させる（ステップＳ４Ｂ）。
　以上説明した本実施の形態３によれば、上述した実施の形態１と同様の効果の他、以下の効果を奏する。
　本実施の形態３に係る画像処理装置４Ｂでは、全ての患者の標準色画像から、第１，第２色素量平均値の和（ｘ＋ｙ）が最大及び最小となる第１，第２標準色画像と、第１，第２色素量平均値の差（ｘ－ｙ）が最大及び最小となる第３，第４標準色画像を抽出及び表示する。
　このため、顧客に応じた標準的な染色濃度として許容することができる範囲を第１～第４標準色画像の表示により病理標本Ｓの作製者等のユーザに目視にて認識させることができる。
（実施の形態４）
　次に、本実施の形態４について説明する。
　以下の説明では、上述した実施の形態１～３と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
　図１６は、本実施の形態４に係る画像処理装置４Ｃを示すブロック図である。
　本実施の形態４では、図１６に示すように、上述した実施の形態３に対して、画像処理装置４Ｂ（装置本体４１Ｂ）に画像生成部４２０の機能を追加するとともに、第２画像抽出部４１９の機能を省略した画像処理装置４Ｃ（装置本体４１Ｃ）を採用している。
　なお、本実施の形態４では、上述した実施の形態３と同様に、病理標本Ｓには、第１，第２染色色素の２種類の染色色素による染色（例えば、ＨＥ染色）が施されている。また、以下では、色素量推定部４１６にて推定された第１，第２染色色素の色素量をそれぞれ第１，第２色素量と記載する。
　〔画像生成部の機能〕
　本実施の形態４において、以下で記載する変換用標本画像は、第１，第２染色色素の２種類の染色色素による染色（例えば、ＨＥ染色）が施された病理標本Ｓを撮像した１枚の病理標本画像である。そして、当該変換用標本画像は、例えば、データベース３に記録されており、ユーザによる第１操作受付部４２への入力操作により、制御部４１３による制御の下、当該データベース３から抽出され、記憶部４１４に記憶されている。また、当該変換用標本画像については、制御部４１３による制御の下、第１，第２染色色素の画素毎の第１，第２色素量が推定されている。
　画像生成部４２０は、変換用標本画像における第１色素量を平均値算出部４１８にて算出された全ての患者の標準色画像（病理標本画像）における第１色素量平均値のいずれかに変換するとともに、当該変換用標本画像における第２色素量を平均値算出部４１８にて算出された全ての患者の標準色画像における第２色素量平均値のいずれかに変換し、例えば式（１７）～（２６）により、ＲＧＢ値を画素値（Ｇ＊（ｘ））とした変換標準色画像を生成する。
　〔画像処理装置の動作〕
　次に、上述した画像処理装置４Ｃの動作（画像処理方法）について説明する。
　図１７は、画像処理装置４Ｃの動作を示すフローチャートである。
　本実施の形態４に係る画像処理装置４Ｃの動作は、図１７に示すように、上述した実施の形態３で説明した画像処理装置４Ｂの動作（図１０）に対して、ステップＳ１２～Ｓ２７を省略し、ステップＳ２８，Ｓ２９を追加するとともに、ステップＳ４Ｂの代わりにステップＳ４Ｃを採用した点が異なる。このため、以下では、ステップＳ２８，Ｓ２９，Ｓ４Ｃを主に説明する。
　ステップＳ２８は、全ての識別情報（情報（Ａ））で実施したと判断された場合（ステップＳ８：Ｙｅｓ）に実行される。
　具体的に、画像生成部４２０は、ステップＳ２８において、全ての患者の標準色画像について、ステップＳ１１でそれぞれ算出された第１色素量平均値のうち、最大値（以下、第１最大平均値と記載）と、最小値（以下、第１最小平均値と記載）と、中間値（以下、第１中間平均値と記載）とをそれぞれ抽出する。また、画像生成部４２０は、全ての患者の標準色画像について、ステップＳ１１でそれぞれ算出された第２色素量平均値のうち、最大値（以下、第２最大平均値と記載）と、最小値（以下、第２最小平均値と記載）と、中間値（以下、第２中間平均値と記載）とをそれぞれ抽出する。
　ステップＳ２８の後、画像生成部４２０は、以下に示す第１～第５変換標準色画像を生成する（ステップＳ２９）。
　第１変換標準色画像は、変換用標本画像における第１色素量をステップＳ２８で抽出した第１最大平均値に変換し、当該変換用標本画像における第２色素量をステップＳ２８で抽出した第２最大平均値に変換した変換標準色画像である。
　第２変換標準色画像は、変換用標本画像における第１色素量をステップＳ２８で抽出した第１最小平均値に変換し、当該変換用標本画像における第２色素量をステップＳ２８で抽出した第２最小平均値に変換した変換標準色画像である。
　第３変換標準色画像は、変換用標本画像における第１色素量をステップＳ２８で抽出した第１最大平均値に変換し、当該変換用標本画像における第２色素量をステップＳ２８で抽出した第２最小平均値に変換した変換標準色画像である。
　第４変換標準色画像は、変換用標本画像における第１色素量をステップＳ２８で抽出した第１最小平均値に変換し、当該変換用標本画像における第２色素量をステップＳ２８で抽出した第２最大平均値に変換した変換標準色画像である。
　第５変換標準色画像は、変換用標本画像における第１色素量をステップＳ２８で抽出した第１中間平均値に変換し、当該変換用標本画像における第２色素量をステップＳ２８で抽出した第２中間平均値に変換した変換標準色画像である。
　ステップＳ２９の後、制御部４１３は、ステップＳ２９で生成された第１～第５変換標準色画像を表示部４３に表示させる（ステップＳ４Ｃ）。
　以上説明した本実施の形態４のように第１～第５変換標準色画像を生成及び表示するように構成した場合であっても、上述した実施の形態３と同様の効果を奏する。
（実施の形態５）
　次に、本実施の形態５について説明する。
　以下の説明では、上述した実施の形態１，２と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
　図１８は、本実施の形態５に係る画像処理装置４Ｄを示すブロック図である。
　本実施の形態５では、図１８に示すように、上述した実施の形態１に対して、画像処理装置４（装置本体４１）に第３画像抽出部４２１の機能を追加した画像処理装置４Ｄ（装置本体４１Ｄ）を採用している。
　〔第３画像抽出部４２１の機能〕
　本実施の形態５において、データベース３に記録された複数の病理標本画像（複数の検査情報）の少なくとも一つには、当該病理標本画像の重要度を示す以下の付帯情報（Ｍ）～（Ｒ）が関連付けられている。
　（Ｍ）画像解析ソフト使用履歴
　（Ｎ）画像送信履歴
　（Ｏ）サーバやＰＣに画像が保存されている場合でのその保存場所
（例　C:\Users\10005167\Desktop\簡易提案書 2\標本作製コンサルテーション装置）
　（Ｐ）リンクの作成履歴
　（Ｑ）画像の閲覧頻度履歴
　（Ｒ）画像マーキング履歴
　ここで、付帯情報（Ｍ）は、病理標本画像が画像解析ソフトを用いて画像解析された履歴を示す情報である。すなわち、付帯情報（Ｍ）が関連付けられた病理標本画像は、診断に用いられた画像であり、標準的な染色濃度を確実に有した画像である。付帯情報（Ｎ）は、病理標本画像が外部装置に送信された履歴を示す情報である。すなわち、付帯情報（Ｎ）が関連付けられた病理標本画像は、例えば、医師等に評価を依頼するために送信された画像であり、標準的な染色濃度を確実に有した画像である。付帯情報（Ｑ）は、画像の閲覧頻度が高く、注目された病理標本画像に関連付けられた情報である。すなわち、付帯情報（Ｑ）が関連付けられた病理標本画像は、標準的な染色濃度を確実に有した画像である。付帯情報（Ｒ）は、病理標本画像にマーキングが付された場合に、当該病理標本画像に関連付けられる情報である。すなわち、付帯情報（Ｒ）が関連付けられた病理標本画像は、診断に用いられた画像であり、標準的な染色濃度を確実に有した画像である。
　以上説明した付帯情報（Ｍ）～（Ｒ）は、例えば、データベース３にネットワークを介して通信接続可能とする撮像装置２や画像処理装置４の第１，第２操作受付部２３，４２への入力操作に応じて、該当する病理標本画像に関連付けられる。
　なお、上述した画像解析ソフトの機能としては、例えば、免疫染色された病理標本Ｓの陽性細胞の数と面積を算出する機能や、ＨＥ染色された病理標本Ｓの形態を判別する機能（例えば、乳腺細胞等の細胞の円形度の算出、細胞核の大きさを算出し基準値と比較、領域内の核の数を算出し基準値と比較、あるいは、細胞核の核内の染色の濃淡を領域毎に定量化し他の細胞核と比較等）を例示することができる。
　そして、第３画像抽出部４２１は、全ての患者の標準色画像（病理標本画像）から、付帯情報（Ｍ）～（Ｒ）の少なくとも一つが関連付けられた標準色画像を抽出する。
　〔画像処理装置の動作〕
　次に、上述した画像処理装置４Ｄの動作（画像処理方法）について説明する。
　図１９は、画像処理装置４Ｄの動作を示すフローチャートである。
　本実施の形態５に係る画像処理装置４Ｄの動作は、図１９に示すように、上述した実施の形態２で説明した画像処理装置４Ａの動作（図８）に対して、ステップＳ６，Ｓ７，Ｓ１０を省略し、ステップＳ３０，Ｓ３１を追加するとともに、ステップＳ４の代わりにステップＳ４Ｄ１，Ｓ４Ｄ２を採用した点が異なる。このため、以下では、ステップＳ３０，Ｓ３１，Ｓ４Ｄ１，Ｓ４Ｄ２を主に説明する。なお、本実施の形態５では、ステップＳ３の後、ステップＳ８が実行される。
　ステップＳ３０は、全ての識別情報（情報（Ａ））で実施したと判断された場合（ステップＳ８：Ｙｅｓ）に実行される。
　具体的に、第３画像抽出部４２１は、ステップＳ３０において、全ての患者の標準色画像のうち、付帯情報（Ｍ）～（Ｒ）の少なくとも一つが関連付けられた標準色画像があるか否かを判断する。
　付帯情報（Ｍ）～（Ｒ）の少なくとも一つが関連付けられた標準色画像がないと判断された場合（ステップＳ３０：Ｎｏ）には、制御部４１３は、全ての患者の標準色画像を表示部４３に表示させる（ステップＳ４Ｄ１）。
　なお、ステップＳ４Ｄ１において、全ての患者の標準色画像の枚数が多い場合には、一部の患者の標準色画像のみを表示させても構わない。
　付帯情報（Ｍ）～（Ｒ）の少なくとも一つが関連付けられた標準色画像があると判断した場合（ステップＳ３０：Ｙｅｓ）には、第３画像抽出部４２１は、全ての患者の標準色画像から付帯情報（Ｍ）～（Ｒ）の少なくとも一つが関連付けられた標準色画像を抽出する（ステップＳ３１）。
　ステップＳ３１の後、制御部４１３は、ステップＳ３１で抽出された標準色画像を表示部４３に表示させる（ステップＳ４Ｄ２）。
　なお、ステップＳ４Ｄ２において、ステップＳ３１で抽出された標準色画像の枚数が多い場合には、当該枚数を削減し、削減した枚数分の標準色画像のみを表示させても構わない。
　以上説明した本実施の形態５によれば、上述した実施の形態１，２と同様の効果の他、以下の効果を奏する。
　本実施の形態５に係る画像処理装置４Ｄでは、全ての患者の標準色画像から付帯情報（Ｍ）～（Ｒ）の少なくとも一つが関連付けられた標準色画像を抽出及び表示する。
　このため、顧客に応じた標準的な染色濃度を確実に有した標準色画像（付帯情報（Ｍ）～（Ｒ）の少なくとも一つが関連付けられた標準色画像）を病理標本Ｓの作製者等のユーザに目視にて認識させることができる。
（実施の形態６）
　次に、本実施の形態６について説明する。
　以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
　図２０は、本実施の形態６に係る画像処理システム１Ｅを示すブロック図である。
　上述した実施の形態１に係る画像処理システム１では、本発明に係るデータベース（データベース３）は、一つのみ設けられていた。
　これに対して本実施の形態２に係る画像処理システム１Ｅでは、本発明に係るデータベースは、複数、設けられている。図２０では、第１～第３データベース３Ｅ１～３Ｅ３の３つだけ設けられた構成を例示している。
　そして、本実施の形態６に係る画像処理装置４は、データベースを指定し、１つのみのデータベース、あるいは、２つ以上のデータベース（例えば、顧客（病院または病理標本作製会社）は異なるが同一の系列の顧客に属する検査情報をそれぞれ記録した２つ以上のデータベース）から標準色画像を抽出する。
　以上説明した本実施の形態６のように本発明に係るデータベースを複数、設けた場合であっても、上述した実施の形態１と同様の効果を奏する。
（その他の実施形態）
　ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１～６によってのみ限定されるべきものではない。
　図２１は、本実施の形態１～６の変形例を示す図である。
　上述した実施の形態１～６において、撮像部２１の代わりに、図２１に示した顕微鏡装置５を採用しても構わない。
　顕微鏡装置５は、落射照明ユニット５１１及び透過照明ユニット５１２が設けられた略Ｃ字形のアーム５１と、当該アーム５１に取り付けられ、病理標本Ｓが載置される標本ステージ５２と、鏡筒５６の一端側に三眼鏡筒ユニット５７を介して標本ステージ５２と対向するように設けられた対物レンズ５３と、標本ステージ５２を移動させるステージ位置変更部５４と、撮像部５５とを備える。
　撮像部５５としては、上述した実施の形態１～６で説明した結像光学系２１３、フィルタ部２１５、及びＲＧＢカメラ２１４を備えた構成を例示することができる。
　三眼鏡筒ユニット５７は、対物レンズ５３から入射した病理標本Ｓの観察光を、鏡筒５６の他端側に設けられた撮像部５５と、ユーザが病理標本Ｓを直接観察するための接眼レンズユニット５８とに分岐する。
　落射照明ユニット５１１は、落射照明用光源５１１ａ及び落射照明光学系５１１ｂを備え、病理標本Ｓに対して落射照明光を照射する。落射照明光学系５１１ｂは、落射照明用光源５１１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
　透過照明ユニット５１２は、透過照明用光源５１２ａ及び透過照明光学系５１２ｂを備え、病理標本Ｓに対して透過照明光を照射する。透過照明光学系５１２ｂは、透過照明用光源５１２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
　対物レンズ５３は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ５３１，５３２）を保持可能なレボルバ５９に取り付けられている。このレボルバ５９を回転させて、標本ステージ５２と対向する対物レンズ５３１，５３２を変更することにより、撮像倍率を変化させることができる。
　鏡筒５６の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部とを含むズーム部が設けられている。当該ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大または縮小させる。
　ステージ位置変更部５４は、例えばステッピングモータ等の駆動部５４１を含み、標本ステージ５２の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部５４には、標本ステージ５２をＺ軸に沿って移動させることにより、対物レンズ５３の焦点を病理標本Ｓに合わせる。
　上述した実施の形態２～５では、全ての患者の標準色画像を抽出していたが、これに限らず、全ての患者よりも少ない患者数で当該患者毎の標準色画像を抽出しても構わない。
　上述した実施の形態１～６では、抽出した標準色画像や生成した第１～第５変換標準色画像を表示していたが、表示せずに、データベース３（３Ｅ１～３Ｅ３）に記録された病理標本画像に対して標準色画像であることを示す付帯情報を関連付けたり、第１～第５変換標準色画像をデータベース３（３Ｅ１～３Ｅ３）に記録したりしても構わない。
　上述した実施の形態２～４では、分光透過率推定部４１５及び色素量推定部４１６は、標準色画像内の画素毎の分光透過率及び色素量をそれぞれ推定していたが、これに限らず、当該標準色画像内の領域（複数の画素を含む領域）毎の分光透過率及び色素量をそれぞれ推定する構成としても構わない。また、色素量推定部４１６は、分光透過率を用いて色素量を推定していたが、これに限らず、標準色画像における各画素の画素値から直接、ルックアップテーブルや、回帰分析で求めた色素量推定行列を用いて、各染色の画素毎の色素量をそれぞれ推定しても構わない。
　上述した実施の形態１～６で説明した構成を適宜、組み合わせた構成を採用しても構わない。例えば、実施の形態２で説明した構成に対して、実施の形態５で説明した付帯情報が関連付けられた標準色画像を抽出する構成を採用しても構わない。また、実施の形態２～５で説明した構成において、実施の形態６のようにデータベース３を複数、設けた構成としても構わない。
　１，１Ｅ　画像処理システム
　２　撮像装置
　３　データベース
　３Ｅ１～３Ｅ３　第１～第３データベース
　４，４Ａ～４Ｄ　画像処理装置
　５　顕微鏡装置
　２１　撮像部
　２２　装置本体
　２３　第２操作受付部
　２４　表示部
　４１，４１Ａ～４１Ｄ　装置本体
　４２　第１操作受付部
　４３　表示部
　５１　アーム
　５２　標本ステージ
　５３　対物レンズ
　５４　ステージ位置変更部
　５５　撮像部
　５６　鏡筒
　５７　三眼鏡筒ユニット
　５８　接眼レンズユニット
　５９　レボルバ
　２１１　ステージ
　２１２　照明部
　２１３　結像光学系
　２１４　ＲＧＢカメラ
　２１５　フィルタ部
　２１６　フィルタホイール
　２１７，２１８　第１，第２フィルタ
　２２１　画像取得部
　２２２　制御部
　２２３　記憶部
　２２４　通信部
　４１１　通信部
　４１２　第１画像抽出部
　４１３　制御部
　４１４　記憶部
　４１５　分光透過率推定部
　４１６　色素量推定部
　４１７　色素量範囲抽出部
　４１８　平均値算出部
　４１９　第２画像抽出部
　４２０　画像生成部
　４２１　第３画像抽出部
　５１１　落射照明ユニット
　５１１ａ　落射照明用光源
　５１１ｂ　落射照明光学系
　５１２　透過照明ユニット
　５１２ａ　透過照明用光源
　５１２ｂ　透過照明光学系
　５３１，５３２　対物レンズ
　５４１　駆動部
　Ｆ１～Ｆ１６　標準色画像
　Ｌ　観察光路
　Ｓ　病理標本

Claims (11)

  1. 　染色が施された被検査対象の病理標本を撮像した病理標本画像と、当該病理標本に施された染色種別を示す染色情報と、当該病理標本の作製または撮影日時を示す日時情報とが関連付けられた検査情報を複数、記録するデータベースと、
    　前記データベースに記録された前記病理標本画像を処理する画像処理装置とを備え、
    　前記画像処理装置は、
    　染色種別の入力操作を受け付ける第１操作受付部と、
    　前記データベースに記録された複数の前記病理標本画像から前記入力操作に応じた染色種別と同一の染色種別を示す前記染色情報が関連付けられた病理標本画像を抽出するとともに、当該抽出した病理標本画像のうち最も遅い作製または撮影日時を示す前記日時情報が関連付けられた病理標本画像を標準色画像として抽出する第１画像抽出部とを備える
    　ことを特徴とする画像処理システム。
  2. 　前記データベースは、
    　２種類以上の染色色素による染色が施された被検査対象の病理標本を撮像した前記病理標本画像と、当該病理標本に施された染色種別を示す前記染色情報と、当該病理標本の作製または撮影日時を示す前記日時情報と、当該被検査対象の識別情報とが関連付けられた前記検査情報を複数、記録し、
    　前記第１画像抽出部は、
    　前記識別情報に基づいて、前記データベースに記録された複数の前記病理標本画像から、前記被検査対象毎に前記標準色画像をそれぞれ抽出し、
    　前記画像処理装置は、
    　前記第１画像抽出部にて抽出された複数の前記標準色画像について、当該標準色画像毎に、各前記染色色素の当該標準色画像内の領域毎の色素量をそれぞれ推定する色素量推定部と、
    　前記色素量推定部にて推定された色素量から、前記染色色素毎に、最大値と最小値とをそれぞれ抽出する色素量範囲抽出部とをさらに備える
    　ことを特徴とする請求項１に記載の画像処理システム。
  3. 　前記データベースは、
    　第１染色色素及び第２染色色素の２種類の染色色素による染色が施された被検査対象の病理標本を撮像した前記病理標本画像と、当該病理標本に施された染色種別を示す前記染色情報と、当該病理標本の作製または撮影日時を示す前記日時情報と、当該被検査対象の識別情報とが関連付けられた前記検査情報を複数、記録し、
    　前記第１画像抽出部は、
    　前記識別情報に基づいて、前記データベースに記録された複数の前記病理標本画像から、前記被検査対象毎に前記標準色画像をそれぞれ抽出し、
    　前記画像処理装置は、
    　前記第１画像抽出部にて抽出された複数の前記標準色画像について、当該標準色画像毎に、前記第１染色色素の当該標準色画像内の領域毎の第１色素量と、前記第２染色色素の当該標準色画像内の領域毎の第２色素量とをそれぞれ推定する色素量推定部と、
    　前記第１画像抽出部にて抽出された複数の前記標準色画像について、当該標準色画像毎に、前記第１色素量の平均値と、前記第２色素量の平均値とをそれぞれ算出する平均値算出部と、
    　前記第１画像抽出部にて抽出された複数の前記標準色画像から、前記第１色素量の平均値と前記第２色素量の平均値との和が最大となる第１標準色画像と、前記第１色素量の平均値と前記第２色素量の平均値との和が最小となる第２標準色画像とをそれぞれ抽出する第２画像抽出部とをさらに備える
    　ことを特徴とする請求項１または２に記載の画像処理システム。
  4. 　前記データベースは、
    　第１染色色素及び第２染色色素の２種類の染色色素による染色が施された被検査対象の病理標本を撮像した前記病理標本画像と、当該病理標本に施された染色種別を示す前記染色情報と、当該病理標本の作製または撮影日時を示す前記日時情報と、当該被検査対象の識別情報とが関連付けられた前記検査情報を複数、記録し、
    　前記第１画像抽出部は、
    　前記識別情報に基づいて、前記データベースに記録された複数の前記病理標本画像から、前記被検査対象毎に前記標準色画像をそれぞれ抽出し、
    　前記画像処理装置は、
    　前記第１画像抽出部にて抽出された複数の前記標準色画像について、当該標準色画像毎に、前記第１染色色素の当該標準色画像内の領域毎の第１色素量と、前記第２染色色素の当該標準色画像内の領域毎の第２色素量とをそれぞれ推定する色素量推定部と、
    　前記第１画像抽出部にて抽出された複数の前記標準色画像について、当該標準色画像毎に、前記第１色素量の平均値と、前記第２色素量の平均値とをそれぞれ算出する平均値算出部と、
    　前記第１画像抽出部にて抽出された複数の前記標準色画像から、前記第１色素量の平均値と前記第２色素量の平均値との差が最大となる第３標準色画像と、前記第１色素量の平均値と前記第２色素量の平均値との差が最小となる第４標準色画像とをそれぞれ抽出する第２画像抽出部とをさらに備える
    　ことを特徴とする請求項１～３のいずれか一つに記載の画像処理システム。
  5. 　前記データベースは、
    　第１染色色素及び第２染色色素の２種類の染色色素による染色が施された被検査対象の病理標本を撮像した前記病理標本画像と、当該病理標本に施された染色種別を示す前記染色情報と、当該病理標本の作製または撮影日時を示す前記日時情報と、当該被検査対象の識別情報とが関連付けられた前記検査情報を複数、記録し、
    　前記第１画像抽出部は、
    　前記識別情報に基づいて、前記データベースに記録された複数の前記病理標本画像から、前記被検査対象毎に前記標準色画像をそれぞれ抽出し、
    　前記画像処理装置は、
    　前記第１画像抽出部にて抽出された複数の前記標準色画像について、当該標準色画像毎に、前記第１染色色素の当該標準色画像内の領域毎の第１色素量と、前記第２染色色素の当該標準色画像内の領域毎の第２色素量とをそれぞれ推定する色素量推定部と、
    　前記第１画像抽出部にて抽出された複数の前記標準色画像について、当該標準色画像毎に、前記第１色素量の平均値と、前記第２色素量の平均値とをそれぞれ算出する平均値算出部と、
    　前記第１染色色素及び前記第２染色色素の２種類の染色色素による染色が施された病理標本を撮像した変換用標本画像における前記第１染色色素の色素量を前記平均値算出部にて算出された複数の前記第１色素量の平均値のいずれかに変換するとともに、当該変換用標本画像における前記第２染色色素の色素量を前記平均値算出部にて算出された複数の前記第２色素量の平均値のいずれかに変換した変換標準色画像を生成する画像生成部とをさらに備える
    　ことを特徴とする請求項１～４のいずれか一つに記載の画像処理システム。
  6. 　前記データベースは、
    　前記病理標本画像と、前記染色情報と、前記日時情報と、当該病理標本画像に対応する被検査対象の識別情報とが関連付けられた前記検査情報を複数、記録し、
    　前記データベースに記録された複数の前記病理標本画像の少なくとも一つには、
    　当該病理標本画像の重要度を示す付帯情報が関連付けられ、
    　前記第１画像抽出部は、
    　前記識別情報に基づいて、前記データベースに記録された複数の前記病理標本画像から、前記被検査対象毎に前記標準色画像をそれぞれ抽出し、
    　前記画像処理装置は、
    　前記第１画像抽出部にて抽出された複数の前記標準色画像から、前記付帯情報が関連付けられた標準色画像を抽出する第３画像抽出部をさらに備える
    　ことを特徴とする請求項１～５のいずれか一つに記載の画像処理システム。
  7. 　前記付帯情報は、
    　前記病理標本画像が画像解析ソフトを用いて画像解析された履歴を示す情報である
    　ことを特徴とする請求項６に記載の画像処理システム。
  8. 　前記付帯情報は、
    　前記病理標本画像が外部装置に送信された履歴を示す情報である
    　ことを特徴とする請求項６または７に記載の画像処理システム。
  9. 　染色が施された被検査対象の病理標本を撮像して前記病理標本画像を取得する画像取得部と、前記染色情報及び前記日時情報の入力操作を受け付ける第２操作受付部とを有する撮像装置をさらに備え、
    　前記データベースは、
    　前記画像取得部にて取得された前記病理標本画像と、前記第２操作受付部への入力操作に応じた前記染色情報及び前記日時情報とが関連付けられた前記検査情報を複数、記録する
    　ことを特徴とする請求項１～８のいずれか一つに記載の画像処理システム。
  10. 　データベースに記録された病理標本画像を処理する画像処理装置が実行する画像処理方法であって、
    　前記データベースは、
    　染色が施された被検査対象の病理標本を撮像した前記病理標本画像と、当該病理標本に施された染色種別を示す染色情報と、当該病理標本の作製または撮影日時を示す日時情報とが関連付けられた検査情報を複数、記録し、
    　当該画像処理方法は、
    　前記データベースに記録された複数の前記病理標本画像から入力操作に応じた染色種別と同一の染色種別を示す前記染色情報が関連付けられた病理標本画像を抽出するとともに、当該抽出した病理標本画像のうち最も遅い作製または撮影日時を示す前記日時情報が関連付けられた病理標本画像を標準色画像として抽出する
    　ことを特徴とする画像処理方法。
  11. 　請求項１０に記載の画像処理方法を画像処理装置に実行させる
    　ことを特徴とする画像処理プログラム。
PCT/JP2017/016108 2017-04-21 2017-04-21 画像処理システム、画像処理方法、及び画像処理プログラム WO2018193635A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/016108 WO2018193635A1 (ja) 2017-04-21 2017-04-21 画像処理システム、画像処理方法、及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/016108 WO2018193635A1 (ja) 2017-04-21 2017-04-21 画像処理システム、画像処理方法、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2018193635A1 true WO2018193635A1 (ja) 2018-10-25

Family

ID=63856623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/016108 WO2018193635A1 (ja) 2017-04-21 2017-04-21 画像処理システム、画像処理方法、及び画像処理プログラム

Country Status (1)

Country Link
WO (1) WO2018193635A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008185337A (ja) * 2007-01-26 2008-08-14 Nec Corp 病理画像評価装置、病理画像評価方法、及び病理画像評価プログラム
JP2010261762A (ja) * 2009-04-30 2010-11-18 Olympus Corp 標本作成装置および標本作成方法
JP2011081648A (ja) * 2009-10-08 2011-04-21 Olympus Corp 病理診断支援装置および病理診断支援システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008185337A (ja) * 2007-01-26 2008-08-14 Nec Corp 病理画像評価装置、病理画像評価方法、及び病理画像評価プログラム
JP2010261762A (ja) * 2009-04-30 2010-11-18 Olympus Corp 標本作成装置および標本作成方法
JP2011081648A (ja) * 2009-10-08 2011-04-21 Olympus Corp 病理診断支援装置および病理診断支援システム

Similar Documents

Publication Publication Date Title
ES2301706T3 (es) Metodo de videomicroscopia cuantitativa y sistema asociado asi como el producto de programa informatico de sofware.
US8503743B2 (en) Image processing system, image processing device and image processing terminal
JP5738564B2 (ja) 画像処理システム
CN102073133A (zh) 虚拟显微镜系统
JP2011095225A (ja) 画像処理装置、画像処理方法および顕微鏡システム
US8160331B2 (en) Image processing apparatus and computer program product
Bueno et al. An automated system for whole microscopic image acquisition and analysis
US9406118B2 (en) Stain image color correcting apparatus, method, and system
JP5137481B2 (ja) 画像処理装置、画像処理プログラム、および画像処理方法
JP2010156612A (ja) 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
US20210174147A1 (en) Operating method of image processing apparatus, image processing apparatus, and computer-readable recording medium
WO2018193635A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム
Guo et al. Revealing architectural order with quantitative label-free imaging and deep neural networks
US11378515B2 (en) Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium
JPWO2018131091A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Lindner et al. Rapid microscopy measurement of very large spectral images
JP5752985B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
CN115249282A (zh) 用于生成染色图像的系统和方法
Ma et al. Light-field tomographic fluorescence lifetime imaging microscopy
Korzynska et al. Color standardization for the immunohistochemically stained tissue section images
JP5631682B2 (ja) 顕微鏡システムおよび配信システム
JP5687541B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム
Li et al. Histological skin morphology enhancement base on molecular hyperspectral imaging technology
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17906166

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17906166

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP