WO2014006964A1 - 情報処理装置、情報処理方法、プログラム及び顕微鏡システム - Google Patents

情報処理装置、情報処理方法、プログラム及び顕微鏡システム Download PDF

Info

Publication number
WO2014006964A1
WO2014006964A1 PCT/JP2013/062407 JP2013062407W WO2014006964A1 WO 2014006964 A1 WO2014006964 A1 WO 2014006964A1 JP 2013062407 W JP2013062407 W JP 2013062407W WO 2014006964 A1 WO2014006964 A1 WO 2014006964A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
partial image
partial
information processing
imaging
Prior art date
Application number
PCT/JP2013/062407
Other languages
English (en)
French (fr)
Inventor
高橋　正弘
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP13813211.3A priority Critical patent/EP2871512B1/en
Priority to US14/405,048 priority patent/US10955655B2/en
Priority to JP2014523630A priority patent/JP6172146B2/ja
Publication of WO2014006964A1 publication Critical patent/WO2014006964A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Definitions

  • the present technology relates to an information processing apparatus that processes image information picked up by a microscope, an information processing method, a program thereof, and a microscope system including the information processing apparatus. More specifically, the present invention relates to a technique for synthesizing a wide-field microscope image by dividing and imaging an observation target region and joining a plurality of obtained partial images.
  • a technique for dividing and observing the observation target area with a digital microscope and joining the obtained partial images in order to obtain a microscope image with a wide field of view and high magnification Is used.
  • the virtual microscope system using this technology allows the user to display an arbitrary position at an arbitrary magnification with respect to the obtained microscope observation image, or to display it at a remote location via a network. Therefore, it is attracting particular attention for use in tissue / cell examination in pathological diagnosis.
  • Patent Document 1 proposes a microscope system in which a processing device that generates partial images and a processing device that performs splicing processing are separately provided for the purpose of reducing processing time.
  • Patent Document 2 discloses a microscope that detects a positional shift when capturing a partial image and corrects a joining position of the partial images based on the result in order to prevent an error caused by a positional shift during scanning. A device has been proposed.
  • the matching is performed based on the one determined to have a high correlation in the matching process.
  • the connection between those having a high correlation is not necessarily an accurate connection. Matching is not always possible. Specifically, when a foreign image other than the sample, such as dust, is included in the partial image, it is determined that the correlation is higher than that of the sample, and erroneous joining may be performed. This problem is likely to occur particularly when the edge of the cover glass is present on the sample.
  • the present disclosure provides an information processing apparatus capable of combining images with high accuracy and synthesizing a wide-field-of-view and high-resolution microscope observation image even when a foreign object image exists in a plurality of digital images.
  • the main object is to provide an information processing method, a program, and a microscope system.
  • An information processing apparatus includes an image acquisition unit that acquires a first partial image and a second partial image in which a part of an observation target region is captured, the first partial image, and the second part.
  • a joint position adjusting unit that adjusts a joint position with an image, and when the foreign substance is present in the first partial image, the image is present as the second partial image.
  • the partial image to be acquired is acquired.
  • processing for preferentially joining the partial image of the foreign matter with the partial image of the sample is performed even if the foreign matter is present in the observation target region. Thereby, since the shift
  • the information processing apparatus may include an imaging order generation unit that creates an imaging order of the partial images based on an entire image obtained by imaging the entire observation target region at a lower magnification than the partial image.
  • the imaging sequence generation unit has a sample as a second region to be imaged next to the first region The region may be selected, and the image acquisition unit may acquire the first partial image and the second partial image in accordance with the imaging order created by the imaging order generation unit.
  • the image acquisition unit acquires the second partial image to be connected to the first partial image from a plurality of partial images in which a part of the observation target region is captured, and the connection position adjustment unit The joining position of the second partial image may be adjusted with respect to the first partial image.
  • the image acquisition unit may acquire a partial image in which no foreign matter exists as the second partial image.
  • the image acquisition unit may include a foreign object as the second partial image when there is no partial image in which a sample exists in a partial image obtained by imaging an area adjacent to the imaging area of the first partial image.
  • An existing partial image may be acquired.
  • the image acquisition unit may exclude a partial image including a foreign object connected to a partial image including a foreign object from the acquisition target when acquiring the second partial image.
  • the information processing apparatus may be provided with an image analysis unit that determines the presence or absence of foreign matter and a sample with respect to the partial image. Further, the image analysis unit can determine the presence / absence of a foreign substance and a sample for each region of the whole image, and can determine a corresponding partial image based on the result. In that case, the image analysis unit may determine the presence / absence of a foreign object and a sample by using two types of whole images having the same field of view and different imaging conditions. In addition, the image analysis unit may calculate a first likelihood indicating the degree of presence of the sample for each region of the entire image and a second likelihood for calculating the presence probability of the foreign matter.
  • the image analysis unit can create a presence map indicating presence information of the sample and the foreign matter based on the first likelihood and the second likelihood.
  • the information processing apparatus may be provided with an image composition unit that joins the first partial image and the second partial image.
  • the image composition unit connects the second partial image to the first partial image based on position information at the time of capturing the acquired partial image. You may combine them.
  • the image acquisition unit acquires the second partial image, the partial images connected based on the position information may be excluded from acquisition targets.
  • the image acquisition unit acquires the first partial image and the second partial image obtained by capturing a part of the observation target region by the image acquisition unit, and the connection position adjustment unit.
  • a joining position adjusting step for adjusting a joining position between the first partial image and the second partial image, and in the image obtaining step, when there is a foreign object in the first partial image Acquires a partial image in which a sample exists as the second partial image.
  • the program according to the present disclosure includes an image acquisition function for acquiring the first partial image and the second partial image so that a partial image in which a sample is present is acquired for a partial image in which foreign matter is present;
  • the information processing apparatus is caused to execute a joining position adjustment function for adjusting a joining position between the first partial image and the second partial image.
  • a microscope system includes at least a whole image imaging unit that images the entire observation target region, and a partial image imaging unit that images a part of the observation target region at a higher magnification than the whole image;
  • An information processing device that controls the microscope device and processes each image captured by the microscope device, wherein the information processing device includes a first image in which a part of the observation target region is imaged.
  • An image acquisition unit that acquires a partial image and a second partial image, and a connection position adjustment unit that adjusts a connection position between the first partial image and the second partial image are provided, The said image acquisition part acquires the partial image in which a sample exists as said 2nd partial image, when a foreign material exists in a said 1st partial image.
  • FIG. 10 is a diagram showing an outline of a presence map creation process in an image analysis unit 232; FIG.
  • FIG. 10 is a diagram showing an outline of a presence map creation process in an image analysis unit 232; It is a flowchart figure which shows the flow which acquires the image connected with a partial image in the image acquisition part 233.
  • FIG. FIG. 10 is a diagram showing an outline of a presence map creation process in an image analysis unit 232; It is a figure which shows the outline
  • FIG. 3 is a sequence diagram illustrating a process and a data flow in the information processing apparatus 2.
  • FIG. 10 is a flowchart showing a flow of imaging sequence creation processing by the information processing apparatus 2.
  • FIG. 10 is a flowchart illustrating a flow of determining an imaging order in an imaging order generation unit 235. It is a figure which shows the imaging sequence produced
  • FIG. 10 is a flowchart illustrating an overview of the overall operation of a microscope system according to a modification of the second embodiment of the present disclosure.
  • First embodiment an example of a system that preferentially joins an image in which foreign matter exists with an image in which a sample exists
  • Second Embodiment Example of System for Creating Imaging Sequence
  • FIG. 1 is a diagram showing an outline of the microscope system of the present embodiment.
  • the microscope system of the present embodiment is to image and observe various prepared specimens at a high magnification, and includes at least a digital microscope 1 and an information processing device 2 as shown in FIG.
  • the information processing apparatus 2 includes an image acquisition unit 233 that acquires a first partial image and a second partial image obtained by capturing a part of the observation target region, a first partial image, and a second partial image.
  • the connection position adjustment part 234 which adjusts the connection position of at least is provided. Then, when there is a foreign object in the first partial image, the image acquisition unit 233 preferentially acquires the partial image in which the sample exists as the second partial image.
  • the server 3 and / or the image display device 4 may be provided in the microscope system of the present embodiment.
  • the information processing device 2, the server 3, and the image display device 4 can be directly connected, but can also be connected to each other via the network 5 so that they can communicate with each other.
  • the digital microscope 1 includes a light source, an objective lens, an imaging device, a stage, and the like.
  • the prepared specimen placed on the stage is irradiated with predetermined illumination light, and the light transmitted through the observation object or the observation object Imaging light emitted from an object.
  • FIG. 2 is a block diagram illustrating a configuration example of the digital microscope 1. As shown in FIG. 2, the digital microscope 1 provided in the microscope system of the present embodiment is provided with an entire image capturing unit 11 and a partial image capturing unit 12.
  • the whole image capturing unit 11 includes a light source, a low-magnification objective lens, a low-resolution image sensor, and the like, and captures the entire observation target region of the slide specimen placed on the stage at a low magnification and a low resolution. To do. At this time, the entire image capturing unit 11 captures two types of entire images with different imaging conditions in the same field of view. In that case, for example, the entire image capturing unit 11 is provided with two types of light sources, a light source that emits bright-field illumination light and a light source that emits dark-field illumination light.
  • the overall image capturing unit 11 may be provided with an illumination control unit that determines which mode to acquire a bright-field image or a mode to acquire a dark-field image is executed. The illumination control unit can set a parameter corresponding to each mode for the light source, and irradiate illumination light suitable for each mode from the light source.
  • the entire image imaging unit 11 can irradiate the preparation with light from the lower side of the preparation on which the sample is placed (on the side opposite to the imaging device with respect to the preparation). Thereby, about the part which permeate
  • the whole image capturing unit 11 when dark field illumination is used, for example, the preparation is illuminated from above. At this time, it is possible to acquire information on a portion where light is scattered in the preparation from the image captured by the image sensor. Light scattering occurs, for example, at the edge of the cover glass or the like, so that the edge of the cover glass placed so as to cover the sample on the slide appears white in the dark field image. Thereby, in the whole image imaging part 11, the image which made the edge part of a cover glass stand out can be acquired. As described above, the whole image capturing unit 11 can acquire two kinds of whole images, that is, a bright field image and a dark field image.
  • the partial image capturing unit 12 includes a light source, an objective lens having a higher magnification than that of the entire image capturing unit 11, a high-resolution image sensor, and the like.
  • the partial image capturing unit 12 is an observation target region of the preparation specimen placed on the stage. Shoot a part at high magnification and high resolution. That is, the digital microscope 1 captures a low-resolution whole image (thumbnail image) and a partial image (slide image) having a higher resolution than the whole image.
  • the digital microscope 1 is provided with an imaging device controller 13 that controls imaging processing by the whole image imaging unit 11 and the partial image imaging unit 12, an input / output interface unit 14 that is connected to the information processing device 2, and the like. May be.
  • an imaging device controller 13 that controls imaging processing by the whole image imaging unit 11 and the partial image imaging unit 12
  • an input / output interface unit 14 that is connected to the information processing device 2, and the like. May be.
  • the input / output interface unit 14 it is possible to input a control command from the information processing device 2 and output each image data captured by the entire image capturing unit 11 and the partial image capturing unit 12 to the information processing device 2. Become.
  • FIG. 3 is a block diagram illustrating a configuration example of the information processing apparatus 2.
  • the information processing apparatus 2 includes an image processing unit 23 that processes each image captured by the digital microscope 1. Further, the information processing apparatus 2 may be provided with a CPU (Central Processing Unit) 21, a memory 22, an image composition unit 24, an input / output interface unit 25, a hard disk 26, and the like.
  • a CPU Central Processing Unit
  • FIG. 4 is a block diagram illustrating a configuration example of the image processing unit 23. As shown in FIG. 4, the image processing unit 23 may be provided with an image analysis unit 232 that analyzes an entire image (thumbnail image) obtained by imaging the entire observation target region.
  • an image analysis unit 232 that analyzes an entire image (thumbnail image) obtained by imaging the entire observation target region.
  • the image analysis unit 232 determines whether foreign matter and a sample exist for each region of the entire image obtained by imaging the entire observation target region. For example, the image analysis unit 232 divides each of two kinds of whole images having different imaging conditions in the same field of view into a plurality of regions, and compares the two kinds of whole images to determine whether or not a foreign object and a sample exist. Can be determined.
  • the term “foreign matter” as used herein refers to the edge of the cover glass covering the sample or dust mixed in the sample, and the image analysis unit 232 determines the presence or absence of foreign matter in the partial image.
  • the method for determining whether or not the observation object exists in the image analysis unit 232 is not particularly limited. For example, a method for calculating a likelihood indicating the possibility that a foreign object and a sample exist for each region is used. Can be adopted.
  • the “likelihood” includes not only the existence probability of the observation object but also the concept of presence / absence.
  • the likelihood may be, for example, each region of the bright field image in the entire image, a region where the observation target exists (level 2), and the observation target. It can be classified into three stages: an area (level 1) and an area where no observation object exists (level 0). In addition, for example, in the entire image, each area of the dark field image can be classified into two stages: an area where a foreign object exists (level 1) and an area where no foreign object exists (level 0).
  • the image analysis unit 232 can determine the presence of the sample and the foreign matter by comparing the likelihoods of the bright field image and the dark field image.
  • the image processing unit 23 is provided with an image acquisition unit 233 that acquires a first partial image and a second partial image in which a part of the observation target region is captured.
  • the image acquisition unit 233 can acquire the second partial image as a partial image to be joined to the first partial image from a plurality of partial images obtained by capturing a part of the observation target region.
  • the image acquisition unit 233 preferentially acquires the partial image in which the sample exists as the second partial image.
  • connection position adjustment unit 23 adjustment (matching processing) of the connection position of the partial images to be connected selected by the image acquisition unit 233 is performed.
  • a method for adjusting the joining position by the joining position adjusting unit 234 is not particularly limited. For example, a luminance value for each of a plurality of pixels in an area (margin area) to be joined to each partial image is calculated, and the brightness value is calculated. This is done by calculating an autocorrelation function based on the above. Further, the joining position may be adjusted by calculating the square of the luminance value difference for each pixel in the overlapping region. In addition, various algorithms used for image pattern matching can be used.
  • the CPU 21 comprehensively controls each unit provided in the information processing apparatus 2 and executes, for example, a program that comprehensively controls the above-described image processing unit 23 and the like.
  • the CPU 21 can also perform arithmetic processing executed by each unit of the information processing apparatus 2, perform image encoding, and perform partial image pattern matching processing executed by the image composition unit 24 described later.
  • the memory 22 is used as a work area of the CPU 21, and temporarily stores a partial image (slide image), an entire image (thumbnail image), etc., taken by the digital microscope 1 and input from the input / output interface unit 25.
  • Image composition unit 24 In the image synthesis unit 24, a plurality of partial images (slide images) captured by the digital microscope 1 are connected to synthesize a wide-field microscope observation image with high magnification and high resolution. Partial images (slide images) are sequentially input to the image composition unit 24 via the input / output interface unit 25. Then, the partial images (slide images) are subjected to matching processing in the order of imaging, and are joined (stitched) based on the result.
  • an image in which a sample exists is preferentially acquired as a partial image to be joined to the partial image in which the foreign object exists.
  • the hard disk 26 stores, for example, processing results in the image processing unit 23 (likelihood of each region, presence level, presence map, imaging order, etc.), a wide-field microscope observation image synthesized by the image synthesis unit 24, and the like. .
  • the information processing apparatus 2 may be provided with an interface (not shown) for connection with the server 3 so that they can communicate with each other via the network 5.
  • Such a computer program may be stored in a recording medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a flash memory, and can be distributed via a network.
  • the server 3 manages various data uploaded from the information processing apparatus 2 and outputs it to the image display apparatus 4 and the information processing apparatus 2 in response to a request. Further, the server 3 generates a GUI (Graphical User Interface) for the user of the image display device 4 for the image that can be browsed on the image display device 4.
  • GUI Graphic User Interface
  • the image display device 4 displays a wide-field microscope observation image obtained by synthesizing a partial image (slide image) or a plurality of partial images (slide images) output from the server 3 or the information processing device 2. For example, when the preparation specimen is a pathological specimen, the user (image viewer) of the image display device 4 is a doctor or the like, and performs a pathological diagnosis based on the displayed image.
  • the network 5 is a communication line network that connects the information processing device 2, the server 3, and the image display device 4 to each other so that bidirectional communication is possible.
  • the network 5 includes, for example, the public network such as the Internet, a telephone line network, a satellite communication network, a broadcast communication path, a WAN (Wide Area Network), a LAN (Local Area Network), an IP-VPN (Internet Protocol-Virtual).
  • a private network such as Private Network, Ethernet (registered trademark), or a wireless LAN is used, regardless of whether it is wired or wireless.
  • the network 5 may be a communication line network provided exclusively for the microscope system of the present embodiment.
  • FIG. 5 is a flowchart showing an outline of the overall operation of the microscope system of the present embodiment.
  • the entire image capturing unit 11 of the digital microscope 1 is an observation target region of a preparation specimen placed on a stage.
  • the whole is photographed at a low magnification and a low resolution (step S1a).
  • the entire image (bright field image) captured in step S1a is output from the interface 14 of the digital microscope 1 and input to the image processing unit 23 via the interface 25 of the information processing apparatus 2.
  • the input first whole image (thumbnail image) is divided into a plurality of regions, and the observation object is determined for each region, for example, by calculating the likelihood. It is determined whether or not it exists (step S2a). For example, the likelihood of each region can be calculated by image recognition processing or the like. And the presence map which shows the presence information of an observation target object is produced based on the likelihood in each area
  • the entire image capturing unit 11 of the digital microscope 1 has the same field of view as the bright field image, and reduces the entire image (dark field image) having foreign matters such as the edge of the cover glass covering the sample in the observation target region. Photographing at a low magnification and a low resolution (step S1b). At this time, since the imaging conditions such as the light source are different from the imaging conditions in step S1b described above, the entire image capturing unit 11 captures the foreign objects such as the sample and the edge of the cover glass so that the foreign objects stand out. Can do.
  • the dark field image captured in step S1b is also output from the interface 14 of the digital microscope 1 and input to the image processing unit 23 via the interface 26 of the information processing apparatus 2.
  • step S2b the likelihood of each region is calculated by image recognition processing or the like.
  • step S3b the image analysis unit 232 creates a presence map indicating the presence information of the foreign matter based on the likelihood in each region.
  • the processing performed in steps S2b and S3b can be performed in parallel with the processing performed in steps S2a and S3a after the bright field image is captured in step S1a and the dark field image is captured in step S1b. .
  • step S4 the image analysis unit 232 corrects the presence map created in step S3a based on the presence map created in step S3b (step S4).
  • 6 and 7 are diagrams showing an outline of the existence map creation process.
  • the entire image capturing unit 11 captures a bright field image of the observation object 6 and the foreign matter (the edge of the cover glass) 7 on the slide glass 8 in an arbitrary observation region 9. .
  • the image analysis unit 232 determines each region of the entire image as a region where the observation target object 6 exists (level 2) and the observation target object 6 according to the likelihood.
  • a region (level 1) that may be present and a region (level 0) where the observation object 6 does not exist are classified into three stages. At this stage, the presence level of the area where the observation object 6 and the foreign object 7 are present is “2”.
  • the entire image capturing unit 11 captures a dark field image by changing the image capturing conditions such as the light source so that the foreign object 7 can be highlighted.
  • the presence level of the region where the foreign matter (the edge of the cover glass) 7 exists is “1” (portion surrounded by a circle in FIG. 6C).
  • the image analysis unit 232 corrects the presence map by subtracting the presence map illustrated in FIG. 6C from the presence map illustrated in FIG. 6B. As a result, the presence level of the area where the foreign substance 7 exists becomes “1”.
  • the correction process of the presence map based on the partial image in which the foreign matter is present is not limited to the case where the foreign matter is the cover glass, but the foreign matter 7 such as dust as shown in FIG. But it is done in the same way.
  • the processing method is not limited to the processing method performed in the above-described steps S1a, S2a, S3a, S1b, S2b, and S3b.
  • FIG. 8 is a flowchart showing a flow of acquiring an image to be joined to a partial image.
  • the image acquisition unit 233 acquires an arbitrary partial image (first partial image) (step S6-a).
  • the image acquisition unit 233 preferentially acquires a partial image in which a sample is present as the second partial image (steps S6-b and S6-c).
  • the image acquisition unit 233 can acquire a partial image to be joined to the first partial image as the second partial image.
  • the image acquisition unit 233 preferably acquires a partial image in which a sample exists and no foreign matter exists as the second partial image.
  • the image acquisition unit 233 when there is no partial image in which the sample exists in the partial image obtained by imaging the area adjacent to the imaging area of the partial image in which the foreign substance exists, As a partial image to be joined, a partial image in which foreign matter exists may be acquired (steps S6-d and S6-e). In addition, the image acquisition unit 233 acquires an arbitrary partial image when the partial image obtained by imaging the region adjacent to the imaging region of the first partial image is only the partial image in which neither the sample nor the foreign object exists. (Step S6-f). In this case, the arbitrary partial images may be joined based on information regarding the position of the digital microscope 1 in the stage surface direction.
  • the image acquisition unit 233 acquires a partial image to be connected to a partial image in which a foreign object exists
  • the image acquisition unit 233 is connected based on a partial image in which a foreign object connected to the partial image in which a foreign object exists or based on position information. It is preferable that a partial image in which a foreign object exists is excluded from the acquisition target.
  • FIG. 9 is a diagram showing an outline of a presence map in which the process shown in FIG. 8 is executed. As shown in FIG. 9, when the processing shown in FIG. 8 is performed, it is possible to prevent the foreign matter (the edge of the cover glass) 7 from being joined together, and the image on which the observation target 6 exists and the image of the foreign matter 7 are displayed. It becomes possible to connect them with priority.
  • FIG. 10 is a diagram showing an outline of a state in which a sample and foreign matter are mixed.
  • the partial image in which the foreign matter exists is controlled so as to be preferentially connected to the image in which the sample exists. Therefore, as shown in FIG. 10A and FIG. 10B, even if a foreign object 7 such as a cover glass exists on the observation object 6, it is generated by joining partial images in which the foreign object exists as shown in FIG. 10C. This makes it possible to prevent misalignment of the joining position.
  • the partial images are sequentially output to the information processing apparatus 2 and are subjected to a joining process in the image composition unit 24 (step S8).
  • the joining process performed in step S8 may be performed after the joining position of the partial images is adjusted in step S7 described above, and the joining order (joining sequence) and the partial images are temporarily stored in the memory 22. Good.
  • the partial image in which the foreign object exists is preferentially connected to the partial image in which the sample is present. Misalignment of joining position is difficult to occur. As a result, it is possible to combine the partial images with high accuracy to synthesize a microscope observation image with a wide field of view and high resolution.
  • FIG. 11 is a block diagram illustrating a configuration example of the information processing apparatus 2 in the microscope system of the present embodiment
  • FIG. 12 is a block diagram illustrating a configuration example of the image processing unit 23 in the information processing apparatus 2.
  • the information processing apparatus 2 includes an imaging sequence generation unit 235 that creates an imaging sequence (imaging sequence) of partial images, and the first partial image and the second partial image. At least an image acquisition unit 233 that acquires images and a connection position adjustment unit 234 that adjusts the connection positions of these partial images are provided. Then, the image acquisition unit 233 acquires the first partial image and the second partial image according to the imaging order (imaging sequence) created by the imaging order generation unit 235.
  • the information processing apparatus 2 includes an imaging control unit 27.
  • the imaging control unit 27 controls driving when the digital microscope 1 captures a partial image based on the imaging sequence (imaging sequence) created by the imaging sequence generation unit 235.
  • the imaging sequence generation unit 235 creates an imaging sequence (imaging sequence) based on the determination result of the image analysis unit 232, for example.
  • the image analysis unit 232 determines the presence / absence of foreign matter and a sample for each region of the entire image by the same method as the image analysis unit 232 in the first embodiment described above. Then, in the imaging sequence generation unit 235, an imaging is performed so that an area where the observation object is more likely to exist is imaged first and an imaging movement distance is smaller than an area where the possibility that a foreign object exists is high. Create a sequence.
  • the imaging order generation unit 235 may create the imaging order based on the likelihood calculated by the image analysis unit 232 and the presence map created by the image analysis unit 232. Further, the created imaging order (imaging sequence) is output to the imaging control unit 27 via the interface 231.
  • FIG. 13 is a flowchart showing an outline of the overall operation of the microscope system of the present embodiment
  • FIG. 14 is a sequence diagram showing the processing and data flow in the information processing apparatus 2.
  • the image analyzing unit 232 performs the whole image similarly to the first embodiment described above. Is divided into a plurality of regions, and corrected existence maps are created (steps S1a to S3a, S1b to S3b, S4).
  • FIG. 15 is a flowchart showing the flow of the imaging sequence creation process by the information processing apparatus 2 in more detail.
  • FIG. 16 is a flowchart showing a flow of determining the imaging order in the imaging order generation unit 235.
  • FIG. 17 is a diagram illustrating the imaging order generated by the imaging order generation unit 235.
  • the imaging order (imaging sequence) is created so that, for example, an image is taken from an area having a higher likelihood (existence level) and the moving distance becomes smaller.
  • the imaging sequence generation unit 235 first selects an area (first area) to be imaged (step S9-a). In this imaging sequence generation unit 235, when a foreign substance exists in the first area, the area where the sample exists is preferentially selected as an area (second area) to be imaged next to the first area. (Steps S9-b, S9-c). In the imaging sequence generation unit 235, it is preferable to select an area where a sample exists and no foreign matter exists as the second area.
  • the imaging sequence generation unit 235 when there is no area where the sample exists in the area adjacent to the area where the foreign substance exists, the foreign substance exists as an area to be imaged next to the area where the foreign substance exists.
  • a region to be selected may be selected (steps S9-d and S9-e).
  • the imaging order generation unit 235 sets an arbitrary area as an area to be imaged next to the first area when neither a sample nor a foreign object exists in the area adjacent to the imaging area of the first area. Yes (step S9-f).
  • the arbitrary region may be determined based on information regarding the position of the digital microscope 1 in the stage surface direction.
  • the imaging sequence generation unit 235 selects a region to be imaged next to a region where a foreign object exists, the region selected as a region where either the sample or the foreign material exists, or based on position information is selected. It is preferable to exclude areas and the like from selection targets. For example, when the presence map shown in FIG. 17A is created, an imaging order as shown in FIG. 17B is created.
  • the imaging order (imaging sequence) created by the imaging order generation unit 235 is output to the imaging control unit 27 via the interface 231, and the imaging control unit 27 is based on the imaging order.
  • the imaging control unit 27 is based on the imaging order.
  • a partial image is captured by the partial image capturing unit 12 of the digital microscope 1 based on this imaging order (step S5).
  • the image acquisition unit 233 acquires the first partial image and the second partial image in accordance with the imaging order created by the imaging order generation unit 235, and performs adjustment of the joining position, image synthesis, and the like (step) S6 to S8).
  • the imaging order generating unit 235 creates an imaging order in which the second area is an area where the sample exists
  • the acquisition unit 233 acquires a plurality of partial images captured in the order.
  • the microscope system of the present embodiment even if a foreign object exists in the observation target region, an imaging order is created so that the region where the foreign material exists is imaged after the region where the sample exists, and the joining process is performed in that order. Therefore, it is difficult for the joining position to be shifted during the joining process. As a result, it is possible to combine the partial images with high accuracy to synthesize a microscope observation image with a wide field of view and high resolution. Further, in the microscope system according to the present embodiment, since a plurality of captured partial images can be connected without being stored in the memory 22, the data amount of the microscope system can be suppressed. Furthermore, in the microscope system of the present embodiment, the time required for processing after imaging can be shortened.
  • FIG. 18 is a flowchart showing an outline of the overall operation of the microscope system of this modification.
  • the image analysis unit 232 determines the presence of a foreign object and a sample from one type of entire image captured by the entire image capturing unit 11.
  • a method for determining whether or not a foreign substance and a sample exist in the image analysis unit 232 is not particularly limited. For example, a method for calculating a likelihood indicating the possibility that an observation target exists for each region is used. Can be adopted.
  • the foreign object and the sample are identified based on the image captured by the entire image capturing unit 11, and the entire image is divided into a plurality of regions corresponding to the partial images.
  • a first likelihood indicating the presence degree of the sample and a second likelihood indicating the presence probability of the foreign object can be calculated.
  • a method for distinguishing foreign matter and a sample from one type of whole image is performed based on information such as luminance or shape related to the foreign matter and the sample, which is stored in advance in a memory. Then, the image analysis unit 232 can create a presence map indicating the presence information of the sample and the foreign matter based on the first likelihood and the second likelihood of each region.
  • the image analysis unit 232 creates two types of presence maps, a presence map indicating the presence information of the sample and the foreign matter, and a presence map indicating the presence information of the foreign matter from one type of whole image, and the presence maps are generated. It may be corrected.
  • the time required to capture an image and the time required for processing after the imaging can be shortened, and the time required for all processes can also be shortened.
  • the configuration and effects other than those described above in the microscope system of the present modification are the same as those in the second embodiment described above.
  • An image acquisition unit for acquiring a first partial image and a second partial image obtained by imaging a part of the observation target region;
  • a joining position adjusting unit that adjusts the joining position of the first partial image and the second partial image;
  • the image acquisition unit is an information processing apparatus that acquires a partial image in which a sample is present as the second partial image when a foreign object is present in the first partial image.
  • An imaging sequence generation unit that creates an imaging sequence of the partial images based on an entire image obtained by imaging the entire observation target region at a lower magnification than the partial images;
  • the imaging order generation unit is an area where a sample is present as a second area that is imaged next to the first area Select The information processing apparatus according to (1), wherein the image acquisition unit acquires the first partial image and the second partial image according to an imaging order created by the imaging order generation unit.
  • the image acquisition unit acquires the second partial image to be joined to the first partial image from a plurality of partial images obtained by capturing a part of the observation target region, The information processing apparatus according to (1), wherein the connection position adjustment unit adjusts a connection position of the second partial image with respect to the first partial image.
  • the image acquisition unit includes a foreign object as the second partial image when there is no partial image in which a sample exists in a partial image obtained by imaging an area adjacent to the imaging area of the first partial image.
  • the information processing apparatus according to any one of (1) to (4), which acquires a partial image.
  • the image acquisition unit excludes a partial image in which a foreign object connected with a partial image in which a foreign object is present is excluded from acquisition targets (1) to (5)
  • the image analysis unit determines presence / absence of a foreign substance and a sample for each of a plurality of regions of the entire image, and determines a corresponding partial image based on the result.
  • the information processing apparatus determines the presence / absence of a foreign object and a sample using two types of whole images having the same field of view and different imaging conditions.
  • the image analysis unit divides the entire image into a plurality of regions corresponding to the partial images, a first likelihood indicating a sample presence degree for each region, and a second likelihood calculating a presence probability of a foreign object, The information processing apparatus according to (8) or (9).
  • (11) The information processing apparatus according to (10), wherein the image analysis unit creates a presence map indicating presence information of a sample and a foreign object based on the first likelihood and the second likelihood.
  • the information processing apparatus according to any one of (1) to (11), further including an image composition unit that joins the first partial image and the second partial image.
  • the image acquisition unit is used as the second partial image.
  • the image composition unit joins the second partial image to the first partial image based on position information at the time of capturing the acquired partial image.
  • the image acquisition unit acquires the second partial image, the partial images connected based on the position information are excluded from acquisition targets.
  • a program that causes an information processing apparatus to execute a joining position adjustment function that adjusts a joining position between the first partial image and the second partial image.
  • a microscope apparatus comprising at least a whole image imaging unit that images the entire observation target region, and a partial image imaging unit that images a part of the observation target region at a higher magnification than the whole image; And at least an information processing device that controls the microscope device and processes each image captured by the microscope device,
  • An image acquisition unit that acquires a first partial image and a second partial image from a plurality of partial images obtained by capturing a part of the observation target region;
  • a joining position adjusting unit that adjusts a joining position between the first partial image and the second partial image; Is provided,
  • the microscope system acquires a partial image in which a sample is present as the second partial image when the foreign substance is present in the first partial image.

Abstract

　複数のデジタル画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することが可能な情報処理装置、情報処理方法、プログラム及び顕微鏡システムを提供する。　情報処理装置に設けられた画像取得部により、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得し、繋合位置調整部により第１の部分画像に対する第２の部分画像の繋合位置を調整する。そして、画像取得部において、第１の部分画像に異物が存在するときは、第２の部分画像として試料が存在する部分画像を取得するように顕微鏡の駆動を制御する。

Description

情報処理装置、情報処理方法、プログラム及び顕微鏡システム
　本技術は、顕微鏡により撮像された画像情報を処理する情報処理装置、情報処理方法、そのプログラム及び情報処理装置を備えた顕微鏡システムに関する。より詳しくは、観察対象領域を分割撮像し、得られた複数の部分画像を繋ぎ合わせて、広視野の顕微鏡画像を合成する技術に関する。
　医療、病理、生物及び材料などの分野においては、広視野でかつ高倍率の顕微鏡観察画像を得るために、デジタル顕微鏡により観察対象領域を分割撮像し、得られた複数の部分画像を繋ぎ合わせる技術が用いられている。この技術を用いたバーチャル顕微鏡システムは、得られた顕微鏡観察画像について、ユーザーが任意の位置を任意の倍率で表示させることが可能であり、またネットワークを介して離れた場所で表示させることも可能であることから、病理診断における組織・細胞検査用途で特に注目されている。
　一方、バーチャル顕微鏡システムにおいて、高解像度の顕微鏡観察画像を得るには、観察対象領域をより小さな区分に分割して撮像すればよいが、部分画像の数が多くなるほど、より高い精度で撮像及び繋ぎ合わせ（スティッチング）処理を行う必要がある。そこで、従来、バーチャル顕微鏡システムにおいて、高品質の顕微鏡観察画像を短時間で得るため、種々の検討がなされている。
　例えば、特許文献１には、処理時間の短縮化を目的として、部分画像を生成する処理装置と、繋ぎ合わせ処理を行う処理装置とを別にした顕微鏡システムが提案されている。また、特許文献２には、走査時の撮像位置ずれによる誤差を防止するため、部分画像を撮像する際に位置ずれを検出し、その結果に基づいて各部分画像の繋ぎ合わせ位置を補正する顕微鏡装置が提案されている。
特開２０１１－１１８１０７号公報 特開２００６－２８４９６５号公報
　しかしながら、前述した従来のバーチャル顕微鏡システムでは、マッチング処理において相関関係が高いと判断されたものを基準にして繋ぎ合わせを行っているが、相関関係が高いもの同士の繋ぎ合わせが、必ずしも正確な繋ぎ合わせを実現できるとは限らない。具体的には、部分画像にゴミなどの試料以外の異物が含まれている場合、これらが試料よりも相関関係が高いと判断され、誤った繋ぎ合わせが行われることがある。特に、試料上にカバーガラスの縁部が存在している場合に、この問題が生じやすい。
　そこで、本開示は、複数のデジタル画像中に異物の画像が存在していても、画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することが可能な情報処理装置、情報処理方法、プログラム及び顕微鏡システムを提供することを主目的とする。
　本開示に係る情報処理装置は、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得部と、前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整部と、を有し、前記画像取得部は、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する。
　本開示の情報処理装置では、観察対象領域に異物が存在していても、異物の部分画像を試料の部分画像と優先的に繋ぎ合わせる処理を行う。これにより、繋ぎ合わせ処理時に繋ぎ合わせ位置のずれを防止できるため、繋ぎ合わせ精度が向上する。
　この情報処理装置には、観察対象領域全体を、前記部分画像よりも低倍率で撮像した全体画像に基づいて、前記部分画像の撮像順序を作成する撮像順序生成部が設けられていてもよく、前記撮像順序生成部は、複数の領域に分割された前記全体画像の第１の領域に異物が存在するときは、前記第１の領域の次に撮像される第２の領域として試料が存在する領域を選択し、前記画像取得部は、前記撮像順序生成部で作成された撮像順序に従って、前記第１の部分画像及び前記第２の部分画像を取得してもよい。
　また、前記画像取得部が、観察対象領域の一部が撮像された複数の部分画像から、前記第１の部分画像に繋ぎ合わせる前記第２の部分画像を取得し、前記繋合位置調整部が、前記第１の部分画像に対し、前記第２の部分画像の繋合位置を調整してもよい。
　また、前記画像取得部は、前記第２の部分画像として異物が存在しない部分画像を取得してもよい。
　また、前記画像取得部は、前記第１の部分画像の撮像領域に隣接する領域を撮像した部分画像の中に、試料が存在する部分画像がないときは、前記第２の部分画像として異物が存在する部分画像を取得してもよい。
　また、前記画像取得部は、前記第２の部分画像を取得する際、異物が存在する部分画像と繋ぎ合わされた異物が存在する部分画像を取得対象外としてもよい。
　また、この情報処理装置には、前記部分画像について、異物及び試料の存在の有無を判定する画像解析部が設けられていてもよい。
　また、前記画像解析部は、前記全体画像の前記領域毎に異物及び試料の存在の有無を判定し、その結果に基づいて対応する部分画像の判定を行うことができる。
　その場合、前記画像解析部は、同視野で撮像条件が異なる２種類の全体画像を用いて、異物及び試料の存在の有無を判定してもよい。
　また、前記画像解析部は、前記全体画像の各領域について試料の存在度合いを示す第１尤度と、異物の存在確率を算出する第２尤度とを算出してもよい。
　その場合、前記画像解析部は、前記第１尤度及び前記第２尤度に基づいて試料及び異物の存在情報を示す存在マップを作成することもできる。
　更に、この情報処理装置には、前記第１の部分画像と前記第２の部分画像とを繋ぎ合わせる画像合成部が設けられていてもよい。
　その場合、前記画像取得部は、前記第１の部分画像の撮像領域に隣接する領域を撮像した部分画像が、試料及び異物のいずれも存在しない部分画像のみであるときは、前記第２の画像として前記部分画像の中から任意の部分画像を取得し、前記画像合成部は、取得された部分画像の撮像時の位置情報に基づいて前記第１の部分画像に前記第２の部分画像を繋ぎ合わせてもよい。
　更に、前記画像取得部は、前記第２の部分画像を取得する際、前記位置情報に基づいて繋ぎ合わされた部分画像は取得対象外としてもよい。
　本開示に係る情報処理方法は、画像取得部によって、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得工程と、繋合位置調整部によって、前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整工程と、を有し、前記画像取得工程では、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する。
　本開示に係るプログラムは、第１の部分画像及び第２の部分画像を、異物が存在する部分画像に対しては試料が存在する部分画像が取得されるように取得する画像取得機能と、前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整機能と、を情報処理装置に実行させる。
　本開示に係る顕微鏡システムは、観察対象領域全体を撮像する全体画像撮像部と、前記観察対象領域の一部を前記全体画像よりも高倍率で撮像する部分画像撮像部とを少なくとも備える顕微鏡装置と、前記顕微鏡装置を制御すると共に、前記顕微鏡装置で撮像された各画像を処理する情報処理装置と、を少なくとも備え、前記情報処理装置には、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得部と、前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整部と、が設けられており、前記画像取得部は、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する。
　本開示によれば、異物の画像が存在していても、繋ぎ合わせ位置のずれを防止するため、多数の部分画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することができる。
本開示の第１の実施形態の顕微鏡システムの概要を示す図である。 図１に示すデジタル顕微鏡１の構成例を示すブロック図である。 図１に示す情報処理装置２の構成例を示すブロック図である。 図３に示す画像処理部２３の構成例を示すブロック図である。 本開示の第１の実施形態の顕微鏡システムの全体動作の概要を示すフローチャート図である。 画像解析部２３２における存在マップ作成処理の概要を示す図である。 画像解析部２３２における存在マップ作成処理の概要を示す図である。 画像取得部２３３において部分画像に繋ぎ合わせる画像を取得する流れを示すフローチャート図である。 画像解析部２３２における存在マップ作成処理の概要を示す図である。 試料と異物とが混在した状態の概要を示す図である。 本開示の第２の実施形態の顕微鏡システムにおける情報処理装置２の構成例を示すブロック図である。 図１１に示す画像処理部２３の構成例を示すブロック図である。 本開示の第２の実施形態の顕微鏡システムの全体動作の概要を示すフローチャート図である。 情報処理装置２における処理及びデータの流れを示すシーケンス図である。 情報処理装置２による撮像順序作成処理の流れを示すフローチャート図である。 撮像順序生成部２３５において撮像順序を決定する流れを示すフローチャート図である。 撮像順序生成部２３５で生成された撮像順序を示す図である。 本開示の第２の実施形態の変形例における顕微鏡システムの全体動作の概要を示すフローチャート図である。
　以下、本開示を実施するための形態について、添付の図面を参照して詳細に説明する。なお、本開示は、以下に示す各実施形態に限定されるものではない。また、説明は、以下の順序で行う。
 
　１．第１の実施の形態
　　（異物が存在する画像を試料が存在する画像に優先的に繋合するシステムの例）
　２．第２の実施の形態
　　（撮像シーケンスを作成するシステムの例）
 
＜１．第１の実施の形態＞
［顕微鏡システムの構成］
　先ず、本開示の第１の実施形態に係るバーチャル顕微鏡システムについて説明する。図１は本実施形態の顕微鏡システムの概要を示す図である。本実施形態の顕微鏡システムは、各種プレパラート標本を高倍率で撮像して観察するものであり、図１に示すように、デジタル顕微鏡１と情報処理装置２とを少なくとも備える。
　この情報処理装置２には、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得部２３３と、第１の部分画像と第２の部分画像との繋合位置を調整する繋合位置調整部２３４とが少なくとも設けられている。そして、画像取得部２３３では、第１の部分画像に異物が存在するときは、第２の部分画像として試料が存在する部分画像を優先的に取得する。
　また、本実施形態の顕微鏡システムには、サーバ３及び／又は画像表示装置４が設けられていてもよい。その場合、情報処理装置２、サーバ３及び画像表示装置４は、直接接続することもできるが、ネットワーク５を介して相互に通信可能に接続することもできる。
［デジタル顕微鏡１］
　デジタル顕微鏡１は、光源、対物レンズ、撮像素子及びステージなどを備えており、ステージ上に載置されたプレパラート標本に対して所定の照明光を照射し、観察対象物を透過した光や観察対象物から発せられた光などを撮像する。図２はデジタル顕微鏡１の構成例を示すブロック図である。図２に示すように、本実施形態の顕微鏡システムが備えるデジタル顕微鏡１には、全体画像撮像部１１と部分画像撮像部１２とが設けられている。
　全体画像撮像部１１は、光源、低倍率の対物レンズ及び低解像度の撮像素子などで構成されており、ステージ上に載置されたプレパラート標本の観察対象領域全体を、低倍率かつ低解像度で撮影する。このとき、全体画像撮像部１１において、同視野で撮像条件が異なる２種類の全体画像を撮像する。その場合、例えば、全体画像撮像部１１には、明視野照明光を照射する光源及び暗視野照明光を照射する光源の２種類の光源を設ける。また、全体画像撮像部１１には、明視野画像を取得すべきモード又は暗視野画像を取得すべきモードのどちらを実行するかを判断する照明制御部が設けられていてもよい。この照明制御部は、各モードに応じたパラメータを光源に対して設定し、光源から、各モードに適した照明光を照射させることができる。
　全体画像撮像部１１では、明視野照明を用いる場合、例えば、試料が載置されたプレパラートの下方（プレパラートに対して撮像素子と反対側）からプレパラートに光を照射することができる。これにより、光を透過する部分についてはプレパラート上にある、試料及びカバーガラスなどの異物の画像を取得することができる。
　一方で、全体画像撮像部１１では、暗視野照明を用いる場合、例えば、上方側からプレパラートが照明される。このとき、撮像素子により撮像された画像からは、プレパラートにおいて光が散乱された部分の情報を取得することができる。光の散乱は、例えばカバーガラスの縁部等で生ずるので、暗視野画像には、例えばプレパラート上の試料を覆うように載置されたカバーガラスの縁部が白く現れる。これにより、全体画像撮像部１１では、カバーガラスの縁部を際立たせた画像を取得することができる。このように、全体画像撮像部１１では、明視野画像及び暗視野画像の２種類の全体画像を取得することができる。
　また、部分画像撮像部１２は、光源、全体画像撮像部１１よりも高倍率の対物レンズ及び高解像度の撮像素子などで構成されており、ステージ上に載置されたプレパラート標本の観察対象領域の一部を、高倍率かつ高解像度で撮影する。即ち、デジタル顕微鏡１では、低解像度の全体画像（サムネイル画像）と、全体画像よりも高解像度の部分画像（スライド画像）が撮像される。
　また、デジタル顕微鏡１には、全体画像撮像部１１及び部分画像撮像部１２による撮像処理を制御する撮像装置コントローラ１３や、情報処理装置２と接続するための入出力インターフェイス部１４などが設けられていてもよい。入出力インターフェイス部１４を設けることで、情報処理装置２からの制御コマンドの入力や、情報処理装置２に対する全体画像撮像部１１及び部分画像撮像部１２で撮像された各画像データの出力が可能となる。
［情報処理装置２］
　図３は情報処理装置２の構成例を示すブロック図である。情報処理装置２は、デジタル顕微鏡１で撮像された各画像を処理する画像処理部２３を備えている。また、情報処理装置２には、ＣＰＵ（Central Processing Unit）２１、メモリ２２、画像合成部２４、入出力インターフェイス部２５及びハードディスク２６などが設けられていてもよい。
（画像処理部２３）
　図４は画像処理部２３の構成例を示すブロック図である。図４に示すように、画像処理部２３には、観察対象領域全体を撮像した全体画像（サムネイル画像）を解析する画像解析部２３２が設けられていてよい。
　この画像解析部２３２では、観察対象領域全体を撮像した全体画像の領域毎に異物及び試料が存在するか否かを判断する。例えば、画像解析部２３２では、同視野で撮像条件が異なる２種類の全体画像の夫々を複数の領域に分割し、その２種類の全体画像を比較することで、異物及び試料が存在するか否かを判断することができる。なお、ここでいう「異物」とは、試料を覆うカバーガラスの縁部又は試料に混入したゴミ等を指し、画像解析部２３２により、部分画像中における異物の存在の有無が判定される。
　画像解析部２３２において観察対象物が存在するか否かを判断する方法は、特に限定されるものではないが、例えば領域毎に異物及び試料が存在する可能性を示す尤度を算出する方法を採用することができる。なお、ここでいう「尤度」には、観察対象物の存在確率だけでなく、存在の有無の概念も含む。
　より具体的には、尤度は、例えば、全体画像のうち、明視野画像の各領域を、観察対象物が存在している領域（レベル２）、観察対象物が存在しているかもしれない領域（レベル１）、観察対象物が存在していない領域（レベル０）の３段階に分類できる。また、例えば、全体画像のうち、暗視野画像の各領域を、異物が存在している領域（レベル１）、異物が存在していない領域（レベル０）の２段階に分類できる。画像解析部２３２では、この明視野画像及び暗視野画像の尤度を比較することにより、試料及び異物の存在を判断することができる。
　また、画像処理部２３には、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得部２３３が設けられている。例えば、画像取得部２３３は、観察対象領域の一部が撮像された複数の部分画像から、第１の部分画像に繋ぎ合わせる部分画像として第２の部分画像を取得することができる。この画像取得部２３３では、その第１の部分画像に異物が存在するときは、第２の部分画像として試料が存在する部分画像を優先的に取得する。
　また、画像処理部２３には、繋合位置調整部２３４が設けられる。この繋合位置調整部２３４では、画像取得部２３３により選択された繋ぎ合わせる部分画像同士の繋ぎ合わせ位置の調整（マッチング処理）をする。
　繋合位置調整部２３４で繋ぎ合わせ位置を調整する方法は、特に限定されないが、例えば夫々の部分画像に繋ぎ合わせる領域（のりしろ領域）の複数の画素ごとの輝度値が算出され、その輝度値に基づいて自己相関関数が算出されることで行われる。また、重なる領域の画素ごとに輝度値の差の自乗が算出されることで繋ぎ合わせ位置が調整されてもよい。その他、画像のパターンマッチングに利用される各種アルゴリズムが利用可能である。
（ＣＰＵ２１）
　ＣＰＵ２１は、情報処理装置２に設けられた各部を統括的に制御するものであり、例えば前述した画像処理部２３などを統括的に制御するプログラムを実行する。また、ＣＰＵ２１は情報処理装置２の各部で実行される演算処理を行ったり、画像のエンコードや後述する画像合成部２４で実行される部分画像のパターンマッチング処理などを行うこともできる。
（メモリ２２）
　メモリ２２は、ＣＰＵ２１の作業領域として用いられ、デジタル顕微鏡１で撮影され入出力インターフェイス部２５から入力された部分画像（スライド画像）や全体画像（サムネイル画像）などを一時的に記憶する。
（画像合成部２４）
　画像合成部２４では、デジタル顕微鏡１で撮像された複数の部分画像（スライド画像）を繋ぎ合わせて、高倍率かつ高解像度の広視野顕微鏡観察画像を合成する。この画像合成部２４には、入出力インターフェイス部２５を介して、部分画像（スライド画像）が順次入力される。そして、部分画像（スライド画像）は、撮像順にマッチング処理が行われ、その結果に基づいて繋ぎ合わせ（スティッチング）処理される。
　ここで、本実施形態の顕微鏡システムでは、異物が存在する部分画像が存在するときは、その異物が存在する部分画像に繋ぎ合わせる部分画像として、試料が存在する画像が優先的に取得される。これにより、異物が存在する部分画像同士を繋ぎ合わせることを抑制するため、繋ぎ合わせ位置のずれを防止し、繋ぎ合わせ精度が向上する。
（ハードディスク２６）
　ハードディスク２６には、例えば画像処理部２３での処理結果（各領域の尤度、存在レベル、存在マップ、撮像順序など）や画像合成部２４で合成された広視野顕微鏡観察画像などが記憶される。
　なお、これらのデータの一部又は全部は、ネットワーク５上のサーバ３に記憶することもできる。その場合、情報処理装置２に、サーバ３との接続用インターフェイス（図示せず）を設け、ネットワーク５を介して相互に通信可能とすればよい。
　また、前述した情報処理装置２の各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータなどに実装することが可能である。このようなコンピュータプログラムは、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどの記録媒体に格納されていてもよく、また、ネットワークを介して配信することもできる。
［サーバ３］
　サーバ３は、情報処理装置２からアップロードされた各種データを管理し、要求に応じて画像表示装置４や情報処理装置２に出力する。また、サーバ３は、画像表示装置４で閲覧可能な画像について、画像表示装置４のユーザのためのＧＵＩ（Graphical User Interface）を生成する。
［画像表示装置４］
　画像表示装置４は、サーバ３又は情報処理装置２から出力された部分画像（スライド画像）や複数の部分画像（スライド画像）を合成した広視野顕微鏡観察画像を表示する。例えば、プレパラート標本が病理標本である場合は、画像表示装置４のユーザ（画像の閲覧者）は医師などであり、表示された画像に基づいて病理診断を行う。
［ネットワーク５］
　ネットワーク５は、情報処理装置２、サーバ３及び画像表示装置４を、互いに双方向通信可能に接続する通信回線網である。このネットワーク５は、例えば、インターネット、電話回線網、衛星通信網、同報通信路などの公衆回線網や、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）、ワイヤレスＬＡＮなどの専用回線網などで構成されており、有線か無線かは問わない。また、このネットワーク５は、本実施形態の顕微鏡システムに専用に設けられた通信回線網であってもよい。
［動作］
　次に、本実施形態の顕微鏡システムの動作の一例について説明する。図５は本実施形態の顕微鏡システムの全体動作の概要を示すフローチャート図である。
　図５に示すように、本実施形態の顕微鏡システムにより対象物の顕微鏡観察をする場合は、先ず、デジタル顕微鏡１の全体画像撮像部１１が、ステージ上に載置されたプレパラート標本の観察対象領域全体を、低倍率かつ低解像度で撮影する（ステップＳ１ａ）。このステップＳ１ａで撮像された全体画像（明視野画像）は、デジタル顕微鏡１のインターフェイス１４から出力され、情報処理装置２のインターフェイス２５を介して、画像処理部２３に入力される。
　そして、画像処理部２３の画像解析部２３２において、入力された第１全体画像（サムネイル画像）を複数の領域に分割し、例えば尤度を算出するなどの方法で、領域毎に観察対象物が存在するか否かを判断する（ステップＳ２ａ）。例えば、各領域の尤度は、画像認識処理などによって算出することができる。そして、画像解析部２３２で各領域における尤度に基づいて、観察対象物の存在情報を示す存在マップを作成する（ステップＳ３ａ）。
　また、デジタル顕微鏡１の全体画像撮像部１１は、明視野画像と同じ視野であって、観察対象領域の試料を覆うカバーガラスの縁部などの異物を有する全体画像（暗視野画像）を、低倍率かつ低解像度で撮影する（ステップＳ１ｂ）。このとき、光源等の撮像条件が、上述したステップＳ１ｂにおける撮像条件とは異なるため、全体画像撮像部１１は、試料及びカバーガラスの縁部などの異物のうち、異物を際立たせて撮影することができる。このステップＳ１ｂで撮像された暗視野画像も、デジタル顕微鏡１のインターフェイス１４から出力され、情報処理装置２のインターフェイス２６を介して、画像処理部２３に入力される。
　そして、ステップＳ２ａ及びステップＳ３ａで行われた処理と同様の処理が、ステップＳ１ｂで撮像された暗視野画像に対しても行われる（ステップＳ２ｂ及びステップＳ３ｂ）。ステップＳ２ｂでは、各領域の尤度が、画像認識処理などによって算出される。そして、ステップＳ３ｂでは、画像解析部２３２で各領域における尤度に基づいて、異物の存在情報を示す存在マップを作成する。なお、ステップＳ２ｂ及びＳ３ｂで行われる処理は、ステップＳ１ａで明視野画像が撮像され、ステップＳ１ｂで暗視野画像が撮像された後、ステップＳ２ａ及びＳ３ａで行われる処理と並行して行うことができる。
　次に、画像解析部２３２で、ステップＳ３ａで作成された存在マップをステップＳ３ｂで作成された存在マップに基づいて補正する（ステップＳ４）。図６及び図７は、存在マップ作成処理の概要を示す図である。
　例えば、図６Ａに示すように、まず、全体画像撮像部１１が、スライドガラス８上の観察対象物６及び異物（カバーガラスの縁部）７の明視野画像を任意の観察領域９で撮像する。続いて、図６Ｂに示すように、画像解析部２３２では、全体画像の各領域を、尤度に応じて、観察対象物６が存在している領域（レベル２）、観察対象物６が存在しているかもしれない領域（レベル１）、観察対象物６が存在していない領域（レベル０）の３段階に分類する。この段階では、観察対象物６及び異物７の存在する領域の存在レベルは「２」である。
　次に、図６Ｃに示すように、全体画像撮像部１１は、異物７を際立たせて撮像できるように、光源などの撮像条件を変更して暗視野画像を撮像する。このとき、異物（カバーガラスの縁部）７の存在する領域の存在レベルは「１」である（図６Ｃの○で囲んだ部分）。そして、図６Ｄに示すように、画像解析部２３２では、図６Ｂに示す存在マップから図６Ｃに示す存在マップを減算することで、存在マップを補正する。これにより、異物７の存在する領域の存在レベルが「１」になる。また、本実施形態の顕微鏡システムでは、異物が存在する部分画像に基づく存在マップの補正処理については、異物がカバーガラスである場合に限られず、図７に示すようにゴミ等の異物７であっても同様に行われる。
　なお、本実施形態の顕微鏡システムでは、後述するステップＳ５で行われる部分画像の撮像処理を行うことができ、ステップＳ６で行われる部分画像同士の繋ぎ合わせ処理を行うことができれば、存在マップの作成処理方法は、上述したステップＳ１ａ、Ｓ２ａ、Ｓ３ａ、Ｓ１ｂ、Ｓ２ｂ及びＳ３ｂで行われる処理方法に限られない。
　次に、デジタル顕微鏡１の部分画像撮像部１２により、部分画像が撮像される（ステップＳ５）。そして、画像取得部２３３で、撮像された部分画像の夫々について、繋ぎ合わせる部分画像を取得する（ステップＳ６）。図８は部分画像に繋ぎ合わせる画像を取得する流れを示すフローチャート図である。
　具体的には、図８に示すように、まず、画像取得部２３３で、任意の部分画像（第１の部分画像）を取得する（ステップＳ６－ａ）。この画像取得部２３３では、その第１の部分画像に異物が存在するときは、第２の部分画像として試料が存在する部分画像を優先的に取得する（ステップＳ６－ｂ、Ｓ６－ｃ）。このとき、画像取得部２３３では、第２の部分画像として、第１の部分画像に繋ぎ合わせる部分画像を取得することができる。また、画像取得部２３３では、第２の部分画像としては、試料が存在し、かつ異物が存在しない部分画像を取得することが好ましい。
　一方で、画像取得部２３３では、異物が存在する部分画像の撮像領域に隣接する領域を撮像した部分画像の中に、試料が存在する部分画像がないときは、この異物が存在する部分画像に繋ぎ合わせる部分画像として、異物が存在する部分画像を取得してもよい（ステップＳ６－ｄ、Ｓ６－ｅ）。また、画像取得部２３３では、第１の部分画像の撮像領域に隣接する領域を撮像した部分画像が、試料及び異物のいずれも存在しない部分画像のみであるときは、任意の部分画像を取得することができる（ステップＳ６－ｆ）。この場合において、任意の部分画像は、デジタル顕微鏡１のステージ面方向の位置に関する情報に基づいて繋ぎ合わせればよい。
　また、画像取得部２３３では、異物が存在する部分画像に繋ぎ合わせる部分画像を取得する際、異物が存在する部分画像と繋ぎ合わされた異物が存在する部分画像や、位置情報に基づいて繋ぎ合わされた異物が存在する部分画像などを取得対象外とすることが好ましい。
　図９は、図８に示す処理が実行された存在マップの概要を示す図である。図９に示すように、図８に示す処理が行われると、異物（カバーガラスの縁部）７同士を繋ぎ合わせることを防止でき、観察対象物６の存在する画像と異物７の画像とを優先的に繋ぎ合わせることが可能となる。
　次に、繋合位置調整部２３４において、繋ぎ合わせる部分画像の繋ぎ合わせ位置を調製する（ステップＳ７）。図１０は、試料と異物とが混在した状態の概要を示す図である。図９に示した処理が実行されることで、異物が存在する部分画像は試料が存在する画像と優先的に繋ぎ合うように制御される。そのため、図１０Ａ及び図１０Ｂに示すように、観察対象物６上にカバーガラスなどの異物７が存在していても、図１０Ｃに示すような異物が存在する部分画像同士を繋ぎ合わせることにより発生しやすい、繋ぎ合わせ位置のずれを防止できる。
　次に、部分画像は、順次、情報処理装置２に出力され、画像合成部２４において、繋ぎ合わせ処理がされる（ステップＳ８）。このステップＳ８で行われる繋ぎ合わせ処理は、前述したステップＳ７で部分画像の繋ぎ合わせ位置が調整され、繋ぎ合わせ順序（繋合シーケンス）及び部分画像がメモリ２２に一旦格納されてから行われてもよい。本実施形態の顕微鏡システムでは、観察対象領域に異物が存在していても、異物が存在する部分画像を試料が存在する部分画像と優先的に繋ぎ合わせる処理を行っているため、繋ぎ合わせ処理時に繋ぎ合わせ位置のずれが発生しにくい。その結果、部分画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することが可能となる。
　なお、本実施形態の顕微鏡システムでは、２種類の全体画像として明視野画像及び暗視野画像を用いる場合について説明したが、本開示はかかる例に限定されるものではない。
＜２．第２の実施の形態＞
　次に、本開示の第２の実施形態に係る顕微鏡システムについて説明する。図１１は、本実施形態の顕微鏡システムにおける情報処理装置２の構成例を示すブロック図であり、図１２は、その情報処理装置２における画像処理部２３の構成例を示すブロック図である。
　図１２に示すように、本実施形態の顕微鏡システムでは、情報処理装置２に、部分画像の撮像順序（撮像シーケンス）を作成する撮像順序生成部２３５と、第１の部分画像及び第２の部分画像を取得する画像取得部２３３と、これらの部分画像の繋合位置を調整する繋合位置調整部２３４とが少なくとも設けられている。そして、撮像順序生成部２３５で作成された撮像順序（撮像シーケンス）に従って、画像取得部２３３が第１の部分画像及び第２の部分画像を取得する。
　また、図１１に示すように、本実施形態の顕微鏡システムでは、情報処理装置２が撮像制御部２７を備えている。撮像制御部２７は、撮像順序生成部２３５の作成した撮像順序（撮像シーケンス）に基づいて、デジタル顕微鏡１により部分画像を撮像する際の駆動を制御する。
　撮像順序生成部２３５は、例えば、画像解析部２３２の判断結果に基づいて撮像順序（撮像シーケンス）を作成する。画像解析部２３２では、前述した第１の実施形態における画像解析部２３２と同様の方法で、全体画像の領域毎に異物及び試料の存在の有無を判定する。そして、撮像順序生成部２３５では、異物が存在する可能性が高い領域よりも、観察対象物が存在する可能性がより高い領域が先に撮像され、且つ撮像移動距離がより小さくなるように撮像シーケンスを作成する。なお、撮像順序生成部２３５は、画像解析部２３２で算出された尤度、画像解析部２３２で作成された存在マップに基づいて、撮像順序を作成してもよい。更に、作成された撮像順序（撮像シーケンス）は、インターフェイス２３１を介して、撮像制御部２７に出力される。
　図１３は、本実施形態の顕微鏡システムの全体動作の概要を示すフローチャート図であり、図１４は、その情報処理装置２における処理及びデータの流れを示すシーケンス図である。
　本実施形態の顕微鏡システムでは、まず、全体画像撮像部１１が撮像した第１全体画像及び第２全体画像に基づいて、画像解析部２３２で、前述した第１の実施形態と同様に、全体画像を複数の領域に分割し、補正した存在マップを作成する（ステップＳ１ａ～Ｓ３ａ、Ｓ１ｂ～Ｓ３ｂ、Ｓ４）。
　次に、撮像順序生成部２３５において、補正した存在マップに基づいて、部分画像の撮像順序（撮像シーケンス）を作成する（ステップＳ９）。図１５は情報処理装置２による撮像順序作成処理の流れをより詳細に示すフローチャート図である。図１６は撮像順序生成部２３５において撮像順序を決定する流れを示すフローチャート図である。図１７は撮像順序生成部２３５で生成された撮像順序を示す図である。
　図１５に示すように、撮像順序（撮像シーケンス）は、例えば、尤度（存在レベル）がより高い領域から撮像し、移動距離がより小さくなるように作成する。
　その際、本実施形態の顕微鏡システムでは、観察対象領域中に異物が存在している場合、より詳細に撮像順序を作成することができる。具体的には、図１６に示すように、まず、撮像順序生成部２３５で最初に撮像する領域（第１の領域）を選択する（ステップＳ９－ａ）。この撮像順序生成部２３５では、その第１の領域に異物が存在するときは、第１の領域の次に撮像する領域（第２の領域）として、試料が存在する領域を優先的に選択する（ステップＳ９－ｂ、Ｓ９－ｃ）。また、撮像順序生成部２３５では、第２の領域としては、試料が存在し、かつ異物が存在しない領域を選択することが好ましい。
　一方で、撮像順序生成部２３５では、異物が存在する領域に隣接する領域の中に、試料が存在する領域がないときは、この異物が存在する領域の次に撮像する領域として、異物が存在する領域を選択してもよい（ステップＳ９－ｄ、Ｓ９－ｅ）。また、撮像順序生成部２３５は、第１の領域の撮像領域に隣接する領域に、試料及び異物のいずれも存在しないときには、任意の領域を第１の領域の次に撮像する領域とすることができる（ステップＳ９－ｆ）。この場合において、任意の領域は、デジタル顕微鏡１のステージ面方向の位置に関する情報に基づいて決定すればよい。
　また、撮像順序生成部２３５では、異物が存在する領域の次に撮像する領域を選択する際、試料及び異物のいずれかが存在する領域として選択された領域や、位置情報に基づいて選択された領域などを選択対象外とすることが好ましい。例えば、図１７Ａに示す存在マップが作成された場合、図１７Ｂに示すような撮像順序が作成される。
　続いて、図１４に示すように、撮像順序生成部２３５で作成された撮像順序（撮像シーケンス）は、インターフェイス２３１を介して撮像制御部２７に出力され、撮像制御部２７は、撮像順序に基づいてデジタル顕微鏡１の駆動を制御する。そして、本実施形態の顕微鏡システムでは、この撮像順序に基づいて、デジタル顕微鏡１の部分画像撮像部１２により、部分画像が撮像される（ステップＳ５）。
　次に、画像取得部２３３により、撮像順序生成部２３５で作成された撮像順序に従って、第１の部分画像及び第２の部分画像を取得し、繋ぎ合わせ位置の調整や画像合成等を行う（ステップＳ６～Ｓ８）。このとき、本実施形態の顕微鏡システムでは、第１の領域に異物が存在するときは、第２の領域を試料が存在する領域とする撮像順序が撮像順序生成部２３５により作成されており、画像取得部２３３では、その順序に従って撮像された複数の部分画像を取得している。
　本実施形態の顕微鏡システムでは、観察対象領域に異物が存在していても、異物が存在する領域を試料が存在する領域よりも後に撮像するように撮像順序を作成し、その順に繋ぎ合わせ処理を行っているため、繋ぎ合わせ処理時に繋ぎ合わせ位置のずれが発生しにくい。その結果、部分画像を高精度に繋ぎ合わせて、広視野かつ高解像度の顕微鏡観察画像を合成することが可能となる。また、本実施形態の顕微鏡システムでは、撮像した複数の部分画像をメモリ２２に格納せずに繋ぎ合わせ処理を行うことができるため、顕微鏡システムのデータ量を抑制することができる。更に、本実施形態の顕微鏡システムでは、撮像後の処理に要する時間を短縮することもできる。
（変形例）
　また、本開示の第２の実施形態の変形例に係る顕微鏡システムでは、１種類の全体画像を用いて、異物及び試料の存在の有無を判定することができる。図１８は、本変形例の顕微鏡システムの全体動作の概要を示すフローチャート図である。
　本変形例の顕微鏡システムでは、画像解析部２３２により、全体画像撮像部１１が撮像した１種類の全体画像から、異物及び試料の存在を判定する。画像解析部２３２において異物及び試料が存在するか否かを判断する方法は、特に限定されるものではないが、例えば領域毎に観察対象物が存在する可能性を示す尤度を算出する方法を採用することができる。
　より具体的には、画像解析部２３２では、例えば、全体画像撮像部１１により撮像された画像により異物及び試料を識別し、全体画像を部分画像に対応する複数の領域に分割し、領域毎に試料の存在度合いを示す第１尤度と、異物の存在確率を示す第２尤度とを算出することができる。１種類の全体画像から異物及び試料を区別する方法については、メモリに予め記憶された、異物及び試料に関する輝度又は形状等の情報に基づいて行われる。そして、画像解析部２３２では、各領域の第１尤度及び第２尤度に基づいて試料及び異物の存在情報を示す存在マップを作成することができる。
　なお、画像解析部２３２は、１種類の全体画像から試料及び異物の存在情報を示す存在マップと、異物の存在情報を示す存在マップとの２種類の存在マップを作成し、それらの存在マップを補正してもよい。
　これにより、観察対象領域に異物が存在していても、１種類の全体画像で異物及び試料を区別して、観察対象物６が存在する領域を優先的に撮影し、異物７の領域を後で撮影できる。本変形例の顕微鏡システムでは、画像を撮像する時間と、撮像後の処理に要する時間とを短縮し、全工程に要する時間を短縮することもできる。なお、本変形例の顕微鏡システムにおける上記以外の構成及び効果は、前述した第２の実施形態と同様である。
　また、本開示は、以下のような構成をとることもできる。
（１）
　観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得部と、
　前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整部と、を有し、
　前記画像取得部は、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する情報処理装置。
（２）
　観察対象領域全体を、前記部分画像よりも低倍率で撮像した全体画像に基づいて、前記部分画像の撮像順序を作成する撮像順序生成部を有し、
　前記撮像順序生成部は、複数の領域に分割された全体画像の第１の領域に異物が存在するときは、前記第１の領域の次に撮像される第２の領域として試料が存在する領域を選択し、
　前記画像取得部は、前記撮像順序生成部で作成された撮像順序に従って、前記第１の部分画像及び前記第２の部分画像を取得する（１）に記載の情報処理装置。
（３）
　前記画像取得部は、観察対象領域の一部が撮像された複数の部分画像から、前記第１の部分画像に繋ぎ合わせる前記第２の部分画像を取得し、
　前記繋合位置調整部は、前記第１の部分画像に対し、前記第２の部分画像の繋合位置を調整する（１）に記載の情報処理装置。
（４）
　前記画像取得部は、前記第２の部分画像として異物が存在しない部分画像を取得する（１）～（３）のいずれかに記載の情報処理装置。
（５）
　前記画像取得部は、前記第１の部分画像の撮像領域に隣接する領域を撮像した部分画像の中に、試料が存在する部分画像がないときは、前記第２の部分画像として異物が存在する部分画像を取得する（１）～（４）のいずれかに記載の情報処理装置。
（６）
　前記画像取得部は、前記第２の部分画像を取得する際、異物が存在する部分画像と繋ぎ合わされた異物が存在する部分画像は取得対象外とする（１）～（５）のいずれかに記載の情報処理装置。
（７）
　前記部分画像について、異物及び試料の存在の有無を判定する画像解析部を備える（１）～（６）のいずれかに記載の情報処理装置。
（８）
　前記画像解析部は、全体画像の複数の領域毎に異物及び試料の存在の有無を判定し、その結果に基づいて対応する部分画像の判定を行う（７）に記載の情報処理装置。
（９）
　前記画像解析部は、同視野で撮像条件が異なる２種類の全体画像を用いて、異物及び試料の存在の有無を判定する（７）又は（８）に記載の情報処理装置。
（１０）
　前記画像解析部は、前記全体画像を前記部分画像に対応する複数の領域に分割し、領域毎に試料の存在度合いを示す第１尤度と、異物の存在確率を算出する第２尤度とを算出する（８）又は（９）に記載の情報処理装置。
（１１）
　前記画像解析部は、前記第１尤度及び前記第２尤度に基づいて試料及び異物の存在情報を示す存在マップを作成する（１０）に記載の情報処理装置。
（１２）
　前記第１の部分画像と前記第２の部分画像とを繋ぎ合わせる画像合成部を備える（１）～（１１）のいずれかに記載の情報処理装置。
（１３）
　前記画像取得部は、前記第１の部分画像の撮像領域に隣接する領域を撮像した部分画像が、試料及び異物のいずれも存在しない部分画像のみであるときは、前記第２の部分画像として前記部分画像の中から任意の部分画像を取得し、
　前記画像合成部は、取得された部分画像の撮像時の位置情報に基づいて前記第１の部分画像に前記第２の部分画像を繋ぎ合わせる（１２）に記載の情報処理装置。
（１４）
　前記画像取得部は、前記第２の部分画像を取得する際、前記位置情報に基づいて繋ぎ合わされた部分画像は取得対象外とする（１３）に記載の情報処理装置。
（１５）
　画像取得部により、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得工程と、
　繋合位置調整部により、前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整工程と、を有し、
　前記画像取得工程では、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する情報処理方法。
（１６）
　観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を、異物が存在する部分画像に対しては試料が存在する部分画像が取得されるように取得する画像取得機能と、
　前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整機能と、を情報処理装置に実行させるプログラム。
（１７）
　観察対象領域全体を撮像する全体画像撮像部と、前記観察対象領域の一部を前記全体画像よりも高倍率で撮像する部分画像撮像部とを少なくとも備える顕微鏡装置と、
　前記顕微鏡装置を制御すると共に、前記顕微鏡装置で撮像された各画像を処理する情報処理装置と、を少なくとも備え、
　前記情報処理装置には、
　　観察対象領域の一部が撮像された複数の部分画像から、第１の部分画像及び第２の部分画像を取得する画像取得部と、
　前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整部と、
　が設けられており、
　　前記画像取得部は、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する顕微鏡システム。
　１　デジタル顕微鏡
　２　情報処理装置
　３　サーバ
　４　画像表示装置
　５　ネットワーク
　６　観察対象物
　７　異物
　８　スライドガラス
　１１　全体画像撮像部
　１２　部分画像撮像部
　１３　撮像装置コントローラ
　１４、２５、２３１　インターフェイス
　２１　ＣＰＵ
　２２　メモリ
　２３　画像処理部
　２４　画像合成部
　２６　ハードディスク
　２７　撮像制御部
　２３２　画像解析部
　２３３　画像取得部
　２３４　繋合位置調整部
　２３５　撮像順序生成部

Claims (17)

  1. 　観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得部と、
    　前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整部と、を有し、
    　前記画像取得部は、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する情報処理装置。
  2. 　観察対象領域全体を、前記部分画像よりも低倍率で撮像した全体画像に基づいて、前記部分画像の撮像順序を作成する撮像順序生成部を有し、
    　前記撮像順序生成部は、複数の領域に分割された前記全体画像の第１の領域に異物が存在するときは、前記第１の領域の次に撮像される第２の領域として試料が存在する領域を選択し、
    　前記画像取得部は、前記撮像順序生成部で作成された撮像順序に従って、前記第１の部分画像及び前記第２の部分画像を取得する請求項１に記載の情報処理装置。
  3. 　前記画像取得部は、観察対象領域の一部が撮像された複数の部分画像から、前記第１の部分画像に繋ぎ合わせる前記第２の部分画像を取得し、
    　前記繋合位置調整部は、前記第１の部分画像に対し、前記第２の部分画像の繋合位置を調整する請求項１に記載の情報処理装置。
  4. 　前記画像取得部は、前記第２の部分画像として異物が存在しない部分画像を取得する請求項１に記載の情報処理装置。
  5. 　前記画像取得部は、前記第１の部分画像の撮像領域に隣接する領域を撮像した部分画像の中に、試料が存在する部分画像がないときは、前記第２の部分画像として異物が存在する部分画像を取得する請求項１に記載の情報処理装置。
  6. 　前記画像取得部は、前記第２の部分画像を取得する際、異物が存在する部分画像と繋ぎ合わされた異物が存在する部分画像は取得対象外とする請求項５に記載の情報処理装置。
  7. 　前記部分画像について、異物及び試料の存在の有無を判定する画像解析部を備える請求項１に記載の情報処理装置。
  8. 　前記画像解析部は、全体画像の複数の領域毎に異物及び試料の存在の有無を判定し、その結果に基づいて対応する部分画像の判定を行う請求項７に記載の情報処理装置。
  9. 　前記画像解析部は、同視野で撮像条件が異なる２種類の全体画像を用いて、異物及び試料の存在の有無を判定する請求項７に記載の情報処理装置。
  10. 　前記画像解析部は、前記全体画像の各領域について試料の存在度合いを示す第１尤度と、異物の存在確率を算出する第２尤度とを算出する請求項８に記載の情報処理装置。
  11. 　前記画像解析部は、前記第１尤度及び前記第２尤度に基づいて試料及び異物の存在情報を示す存在マップを作成する請求項１０に記載の情報処理装置。
  12. 　前記第１の部分画像と前記第２の部分画像とを繋ぎ合わせる画像合成部を備える請求項１に記載の情報処理装置。
  13. 　前記画像取得部は、前記第１の部分画像の撮像領域に隣接する領域を撮像した部分画像が、試料及び異物のいずれも存在しない部分画像のみであるときは、前記第２の部分画像として前記部分画像の中から任意の部分画像を取得し、
    　前記画像合成部は、取得された部分画像の撮像時の位置情報に基づいて前記第１の部分画像に前記第２の部分画像を繋ぎ合わせる請求項１２に記載の情報処理装置。
  14. 　前記画像取得部は、前記第２の部分画像を取得する際、前記位置情報に基づいて繋ぎ合わされた部分画像は取得対象外とする請求項１３に記載の情報処理装置。
  15. 　画像取得部により、観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得工程と、
    　繋合位置調整部により、前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整工程と、を有し、
    　前記画像取得工程では、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する情報処理方法。
  16. 　観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を、異物が存在する部分画像に対しては試料が存在する部分画像が取得されるように取得する画像取得機能と、
    　前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整機能と、
    を情報処理装置に実行させるプログラム。
  17. 　観察対象領域全体を撮像する全体画像撮像部と、前記観察対象領域の一部を前記全体画像よりも高倍率で撮像する部分画像撮像部とを少なくとも備える顕微鏡装置と、
    　前記顕微鏡装置を制御すると共に、前記顕微鏡装置で撮像された各画像を処理する情報処理装置と、を少なくとも備え、
    　前記情報処理装置には、
    　　観察対象領域の一部が撮像された第１の部分画像及び第２の部分画像を取得する画像取得部と、
    　前記第１の部分画像と前記第２の部分画像との繋合位置を調整する繋合位置調整部と、
    　が設けられており、
    　　前記画像取得部は、前記第１の部分画像に異物が存在するときは、前記第２の部分画像として試料が存在する部分画像を取得する顕微鏡システム。
PCT/JP2013/062407 2012-07-04 2013-04-26 情報処理装置、情報処理方法、プログラム及び顕微鏡システム WO2014006964A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP13813211.3A EP2871512B1 (en) 2012-07-04 2013-04-26 Information processing device, information processing method, program, and microscope system
US14/405,048 US10955655B2 (en) 2012-07-04 2013-04-26 Stitching images based on presence of foreign matter
JP2014523630A JP6172146B2 (ja) 2012-07-04 2013-04-26 情報処理装置、情報処理方法、プログラム及び顕微鏡システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012150566 2012-07-04
JP2012-150566 2012-07-04

Publications (1)

Publication Number Publication Date
WO2014006964A1 true WO2014006964A1 (ja) 2014-01-09

Family

ID=49881727

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/062407 WO2014006964A1 (ja) 2012-07-04 2013-04-26 情報処理装置、情報処理方法、プログラム及び顕微鏡システム

Country Status (4)

Country Link
US (1) US10955655B2 (ja)
EP (1) EP2871512B1 (ja)
JP (4) JP6172146B2 (ja)
WO (1) WO2014006964A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6172146B2 (ja) * 2012-07-04 2017-08-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US9721371B2 (en) * 2015-12-02 2017-08-01 Caterpillar Inc. Systems and methods for stitching metallographic and stereoscopic images
JP7009619B2 (ja) 2017-09-29 2022-01-25 ライカ バイオシステムズ イメージング インコーポレイテッド ２回通過式マクロ画像
CN111213363A (zh) * 2017-10-13 2020-05-29 深圳传音通讯有限公司 终端拍照控制方法、移动终端及可读储存介质
JP7443821B2 (ja) 2020-02-28 2024-03-06 株式会社デンソー 情報算出システム
KR20220106582A (ko) * 2021-01-22 2022-07-29 가톨릭대학교 산학협력단 병리 조직 영상의 처리 방법 및 그 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11249021A (ja) * 1998-03-03 1999-09-17 Nikon Corp 画像表示システム
JP2000295462A (ja) * 1999-02-04 2000-10-20 Olympus Optical Co Ltd 顕微鏡画像伝送システム
JP2004343222A (ja) * 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
JP2006284965A (ja) 2005-03-31 2006-10-19 Seiko Precision Inc 顕微鏡装置及び拡大画像生成方法
JP2011118107A (ja) 2009-12-02 2011-06-16 Olympus Corp 顕微鏡システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08145888A (ja) * 1994-11-16 1996-06-07 Olympus Optical Co Ltd 蛍光測色装置
US6091842A (en) * 1996-10-25 2000-07-18 Accumed International, Inc. Cytological specimen analysis system with slide mapping and generation of viewing path information
AU724393B2 (en) * 1995-11-30 2000-09-21 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
US6718053B1 (en) * 1996-11-27 2004-04-06 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
EP1008956A1 (en) * 1998-12-08 2000-06-14 Synoptics Limited Automatic image montage system
US6993169B2 (en) * 2001-01-11 2006-01-31 Trestle Corporation System and method for finding regions of interest for microscopic digital montage imaging
JP2004101871A (ja) * 2002-09-10 2004-04-02 Olympus Corp 顕微鏡画像撮影装置
US20040202357A1 (en) * 2003-04-11 2004-10-14 Perz Cynthia B. Silhouette image acquisition
JP2007510199A (ja) * 2003-10-08 2007-04-19 ライフスパン バイオサイエンス，インク． 自動顕微鏡スライド組織サンプルマッピング及び画像取得
JP4462959B2 (ja) 2004-02-25 2010-05-12 富士通株式会社 顕微鏡画像撮影システム及び方法
US7792338B2 (en) * 2004-08-16 2010-09-07 Olympus America Inc. Method and apparatus of mechanical stage positioning in virtual microscopy image capture
JP4917331B2 (ja) * 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
JP4890096B2 (ja) * 2006-05-19 2012-03-07 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
US8712116B2 (en) * 2007-10-17 2014-04-29 Ffei Limited Image generation based on a plurality of overlapped swathes
EP2288903A4 (en) * 2008-05-16 2012-03-21 Biomedical Photometrics Inc IMAGING SYSTEM WITH OPTIMIZATION OF THE DYNAMIC RANGE
GB2466830B (en) * 2009-01-09 2013-11-13 Ffei Ltd Method and apparatus for controlling a microscope
JP5278252B2 (ja) * 2009-08-31 2013-09-04 ソニー株式会社 組織切片像取得表示装置、組織切片像取得表示方法及び組織切片像取得表示プログラム
JP2011065371A (ja) 2009-09-16 2011-03-31 Olympus Corp 画像生成方法及び画像生成装置
JP5434621B2 (ja) * 2010-01-19 2014-03-05 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
US8396269B2 (en) * 2010-04-08 2013-03-12 Digital Pathco LLC Image quality assessment including comparison of overlapped margins
JP5537281B2 (ja) 2010-06-21 2014-07-02 オリンパス株式会社 顕微鏡装置および画像取得方法
JP5703609B2 (ja) 2010-07-02 2015-04-22 ソニー株式会社 顕微鏡及び領域判定方法
US20130077892A1 (en) * 2011-09-27 2013-03-28 Yasunori Ikeno Scan Order Optimization and Virtual Slide Stitching
JP6172146B2 (ja) * 2012-07-04 2017-08-02 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び顕微鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11249021A (ja) * 1998-03-03 1999-09-17 Nikon Corp 画像表示システム
JP2000295462A (ja) * 1999-02-04 2000-10-20 Olympus Optical Co Ltd 顕微鏡画像伝送システム
JP2004343222A (ja) * 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
JP2006284965A (ja) 2005-03-31 2006-10-19 Seiko Precision Inc 顕微鏡装置及び拡大画像生成方法
JP2011118107A (ja) 2009-12-02 2011-06-16 Olympus Corp 顕微鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2871512A4

Also Published As

Publication number Publication date
JP6447675B2 (ja) 2019-01-09
JP6984690B2 (ja) 2021-12-22
EP2871512A1 (en) 2015-05-13
JPWO2014006964A1 (ja) 2016-06-02
EP2871512B1 (en) 2019-06-05
JP2019049749A (ja) 2019-03-28
JP2020154317A (ja) 2020-09-24
US20150124078A1 (en) 2015-05-07
US10955655B2 (en) 2021-03-23
JP6743871B2 (ja) 2020-08-19
JP6172146B2 (ja) 2017-08-02
JP2017199026A (ja) 2017-11-02
EP2871512A4 (en) 2016-02-24

Similar Documents

Publication Publication Date Title
JP6447675B2 (ja) 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
EP3776458B1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
JP6947841B2 (ja) 病理学用の拡張現実顕微鏡
JP4937850B2 (ja) 顕微鏡システム、そのｖｓ画像生成方法、プログラム
CA2901164C (en) Referencing in multi-acquisition slide imaging
JP5996334B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US10051241B2 (en) Method and apparatus for image combination and displaying the combined image
JP2011186305A (ja) バーチャルスライド作成装置
JP5826561B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
JP2013011856A (ja) 撮像システムおよびその制御方法
WO2013100028A9 (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
US20130016919A1 (en) Information processing apparatus, information processing method, and program
JP4878815B2 (ja) 顕微鏡装置
JP6480713B2 (ja) 顕微鏡システム
US10721413B2 (en) Microscopy system, microscopy method, and computer readable recording medium
JP5967197B2 (ja) 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
JP2009258187A (ja) 光学顕微鏡装置及び光学顕微鏡用データ処理装置
CN104335098B (zh) 信息处理设备、信息处理方法及显微镜系统
JP5874540B2 (ja) 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
JP6284428B2 (ja) 顕微鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13813211

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014523630

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14405048

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013813211

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE