WO2013105373A1 - 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム - Google Patents

情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム Download PDF

Info

Publication number
WO2013105373A1
WO2013105373A1 PCT/JP2012/081801 JP2012081801W WO2013105373A1 WO 2013105373 A1 WO2013105373 A1 WO 2013105373A1 JP 2012081801 W JP2012081801 W JP 2012081801W WO 2013105373 A1 WO2013105373 A1 WO 2013105373A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
failure
image
detection unit
information processing
Prior art date
Application number
PCT/JP2012/081801
Other languages
English (en)
French (fr)
Inventor
真司 渡辺
信裕 林
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/369,227 priority Critical patent/US10509218B2/en
Priority to EP12865325.0A priority patent/EP2804038B1/en
Priority to JP2013553213A priority patent/JP6102749B2/ja
Priority to CN201280066139.5A priority patent/CN104081248A/zh
Publication of WO2013105373A1 publication Critical patent/WO2013105373A1/ja
Priority to US16/690,621 priority patent/US10983329B2/en
Priority to US17/212,918 priority patent/US11422356B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • the present disclosure relates to an information processing device, an imaging control method, a program, a digital microscope system, a display control device, a display control method, and a program.
  • Patent Document 1 discloses a technique for generating high-resolution composite image data by capturing a partial image of a biological sample and synthesizing the partial images.
  • an information processing apparatus including a generation unit that generates setting information for setting an imaging condition at the time of re-imaging.
  • an imaging control method including generating setting information for setting imaging conditions at the time of reimaging is provided.
  • the computer evaluates an image captured using a digital microscope, thereby detecting a failure that requires re-imaging related to the image, and the detection unit detects the failure.
  • a program for functioning as a generation unit that generates setting information for setting an imaging condition at the time of re-imaging when detected is provided.
  • a digital microscope and a detection unit that detects a failure that requires re-imaging related to the image by evaluating an image captured using the digital microscope, and the detection unit
  • a digital microscope system including an information processing apparatus including a generation unit that generates setting information for setting an imaging condition at the time of reimaging when a failure is detected.
  • a display control apparatus includes an acquisition unit that acquires setting information for setting, and a display control unit that displays the setting information acquired by the acquisition unit on a display surface.
  • the imaging control method, the program, the digital microscope system, the display control device, the display control method, and the program according to the present disclosure it is possible to perform re-imaging with less effort and time. Become.
  • FIG. 1 is a block diagram illustrating an example of a configuration of a scanner according to a first embodiment. It is explanatory drawing for demonstrating an example of the imaging by a digital microscope. It is explanatory drawing for demonstrating an example of the bonding of an image. It is explanatory drawing for demonstrating an example of imaging omission. It is explanatory drawing for demonstrating an example of the detection of an imaging omission. It is explanatory drawing for demonstrating an example of the edge which appears in the bonding image at the time of a bonding failure. It is a block diagram which shows an example of a structure of the server which concerns on 1st Embodiment.
  • FIG. 1 is an explanatory diagram illustrating an example of a schematic configuration of a digital microscope system 1 according to an embodiment of the present disclosure.
  • the digital microscope system 1 includes a scanner 100, a server 200, and a viewer 300.
  • the scanner 100 is an information processing apparatus having a digital microscope or connected to the digital microscope.
  • the scanner 100 captures an image of a sample using a digital microscope.
  • a digital microscope is loaded with a sample preparation.
  • the scanner 100 determines an imaging condition, and sets the determined imaging condition in the digital microscope.
  • the scanner 100 captures an image of the preparation sample using a digital microscope. More specifically, the scanner 100 determines a sample imaging area as an imaging condition, and sets the determined imaging area in the digital microscope. Further, the scanner 100 divides the imaging area into a plurality of individual areas, determines the imaging order of the plurality of individual areas as imaging conditions, and sets the determined imaging order in the digital microscope.
  • the scanner 100 causes the digital microscope to capture an image of the sample in each individual area according to the set imaging order. Further, the scanner 100 generates a composite image by combining the captured images of the individual regions as partial images. Thus, in the scanner 100, an image of one sample, that is, a combined image is generated.
  • the server 200 is an information processing apparatus that manages sample images generated by the scanner 100.
  • the server 200 stores the composite image generated by the scanner 100 in the database in association with the sample identification information.
  • the viewer 300 is an example of a display control device.
  • the viewer 300 displays a sample combined image generated by the scanner 100 or stored by the server 200 on the display surface.
  • the viewer 300 provides a user interface for enabling the imaging conditions of the scanner 100 to be specified by a user operation. That is, the user can specify the imaging condition of the scanner 100 through an operation on the viewer 300.
  • the digital microscope system 1 can perform re-imaging with less effort and time. Thereafter, ⁇ 2. First Embodiment> and ⁇ 3. In the second embodiment, the specific contents will be described.
  • the scanner 100 automatically detects a failure that requires re-imaging, and performs re-imaging according to the failure.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the scanner 100-1 according to the first embodiment.
  • the scanner 100-1 includes an imaging control unit 110, a digital microscope 120, a bonding unit 130, a failure detection unit 140, a setting information generation unit 150, and a communication unit 160.
  • Imaging control unit 110 controls imaging using the digital microscope 120.
  • the imaging control unit 110 sets imaging conditions designated by the user or automatically determined in the digital microscope 120, and causes the digital microscope 120 to capture an image of the sample according to the imaging conditions.
  • the imaging control unit 110 sets an imaging area, an imaging order, illumination brightness, white balance coefficient, and the like as imaging conditions for the entire sample.
  • the imaging control unit 110 sets a focus position as an imaging condition for each individual area, for example.
  • the imaging control unit 110 sets at least a part of the imaging conditions based on the setting information to the digital microscope 120. Reset to. Then, the imaging control unit 110 causes the digital microscope 120 to re-image the sample image according to the reset imaging conditions.
  • the imaging control unit 110 outputs information on the imaging conditions that have been set or reset (hereinafter referred to as “imaging condition information”) to the communication unit 160.
  • the digital microscope 120 captures an image according to the image capturing conditions set by the image capturing control unit 110.
  • the digital microscope 120 captures an image (hereinafter, referred to as “individual image”) that reflects each individual area within the set imaging area in accordance with the set imaging order.
  • individual image an image that reflects each individual area within the set imaging area in accordance with the set imaging order.
  • FIG. 3 is an explanatory diagram for explaining an example of imaging by the digital microscope 120.
  • an imaging region 20 including the entire biological sample 10 is set.
  • the imaging area 20 is divided into a plurality of individual areas 21.
  • the imaging order of the individual regions 21 may be an arbitrary order such as a spiral order from the center of the biological sample 10 toward the outside or a zigzag order in which each row is traced alternately from top to bottom and from bottom to top.
  • the digital microscope 120 captures an individual image showing each individual region 21 according to the imaging order set in this way.
  • the digital microscope 120 captures an image of the expanded area 23 including the individual area 21 as an individual image so that the adjacent individual images can be pasted together.
  • the digital microscope 120 outputs the captured individual images to the pasting unit 130 and the failure detecting unit 140.
  • the digital microscope 120 includes, for example, an optical system, an image sensor, an image processing circuit, and a drive circuit.
  • the optical system can include, for example, an objective lens.
  • the imaging element is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor.
  • the image processing circuit performs development processing such as demosaic processing and white balance correction.
  • the drive circuit moves the relative positions of the objective lens and the sample each time an individual image is captured according to the set imaging region and imaging order.
  • the combining unit 130 generates a combined image by combining the individual images captured by the digital microscope 120.
  • This point will be described more specifically with reference to FIG.
  • FIG. 4 is an explanatory diagram for explaining an example of image combining.
  • individual images 30a and 30b captured in adjacent individual regions 21 are shown.
  • the individual image 30 is an image of the region 23 including the individual region 21. Therefore, the individual image 30 includes a portion 31 corresponding to the individual region 21 and a portion (hereinafter referred to as “overlapping portion”) 33 that overlaps each other.
  • the pasting unit 130 pastes the individual image 30b onto the individual image 30a by appropriately overlapping the overlapping portion 33b with the overlapping portion 33a.
  • the bonding unit 130 superimposes the overlapping portion 33b on the overlapping portion 33a using, for example, the luminance value of the overlapping portion 33a and the luminance value of the overlapping portion 33b.
  • the pasting unit 130 for example, superimposes the overlapping portion 33b on the overlapping portion 33a, calculates a difference in luminance value between each pixel of the overlapping portion 33a and the corresponding overlapping portion 33b, The absolute value of the difference is summed over a plurality of pixels.
  • the pasting unit 130 calculates the total value of the absolute values of the differences in luminance values for each position while changing the position of the overlapping portion 33b.
  • the bonding unit 130 determines the position of the overlapping portion 33b when the minimum total value is calculated as the optimum position of the overlapping portion 33b at the time of bonding. In this way, the combining unit 130 sequentially combines the individual images of the adjacent individual regions 21, and finally generates one combined image of the entire sample.
  • the combining unit 130 outputs the generated combined image to the communication unit 160.
  • the combining unit 130 outputs, for example, the minimum total value for combining individual images to the failure detection unit 140. Note that the combining unit 130 may also output the generated combined image to the failure detection unit 140.
  • the failure detection unit 140 evaluates an image captured using the digital microscope 120 to detect a failure requiring re-imaging related to the image.
  • “evaluating an image” includes evaluating each individual image, and evaluating a composite image composed of the individual images.
  • detection of failure by the failure detection unit 140 will be described using first to fifth examples of specific failure detection.
  • the failure detection unit 140 detects a failure related to a composite image generated by combining a plurality of individual images as the failure.
  • the failure detection unit 140 detects an imaging omission of an area that should be included in the composite image as a failure related to the composite image.
  • this point will be described more specifically with reference to FIGS. 5A and 5B.
  • FIG. 5A is an explanatory diagram for explaining an example of imaging omission.
  • a biological sample 10 an imaging region 20, a plurality of individual regions 21, and an imaging region of an individual image that includes the individual region 21 are shown.
  • the imaging region 20 includes the entire dark-colored portion 11 of the biological sample 10, but cannot include the light-colored portion 13 of the biological sample 10. That is, a part of the sample 10 is not captured although it is an area to be included in the composite image.
  • the imaging region is determined by detecting the edge of the biological sample using the entire biological sample image, the light-colored portion 13 may leak from the imaging region.
  • it may be difficult to accurately use the sample for example, pathological diagnosis).
  • the failure detection unit 140 detects an imaging omission of a region to be included in the composite image by evaluating the direction in which the texture exists in the image. More specifically, the failure detection unit 140 evaluates, for example, the texture existing direction in the individual image of the region located in the peripheral portion of the imaging region 20, that is, the individual image constituting the peripheral portion of the combined image.
  • the failure detection unit 140 evaluates, for example, the texture existing direction in the individual image of the region located in the peripheral portion of the imaging region 20, that is, the individual image constituting the peripheral portion of the combined image.
  • FIG. 5B is an explanatory diagram for explaining an example of detection of imaging omission.
  • one individual image 30 constituting the peripheral portion 35 of the composite image is shown. Since the individual image 30 is an image of the region 23 including the individual region 21, the individual image 30 includes a protruding portion 37 that protrudes from the composite image. In other words, the protruding portion 37 reflects an area outside the imaging area 20. Therefore, if any texture exists in the protruding portion 37 of the individual image 30, it can be said that there is a sample to be imaged also in the direction of the protruding portion 37 leaking from the imaging region 20.
  • the failure detection unit 140 can detect whether there is an imaging omission by determining whether a texture exists in the protruding portion 37 of the individual image 30 as an evaluation of the texture presence direction. .
  • the failure detection unit 140 detects an edge in the protrusion unit 37 using an edge detection filter, calculates the amount of the detected edge, and determines whether the amount of the edge exceeds a predetermined threshold value. By doing so, it can be determined whether or not a texture exists in the protruding portion 37.
  • the failure detection unit 140 may detect an imaging omission using a composite image instead of an individual image. In this case, the failure detection unit 140 detects the imaging omission by evaluating the texture direction in the individual images included in the composite image. Since the combined image does not include the protruding portion 37 of the individual image 30, the failure detection unit 140 determines whether a texture exists in the peripheral portion 35 instead of the protruding portion 37 of the individual image 30, for example. Determine. If any texture exists in the peripheral portion 35, it can be estimated that there is a high possibility that there is a sample to be imaged outside the imaging region 20 in the direction corresponding to the peripheral portion 35.
  • the failure detection unit 140 can detect whether there is an imaging omission by determining whether a texture exists in the peripheral portion 35 as an evaluation of the texture presence direction.
  • the failure detection unit 140 may determine the direction of the edge of the peripheral portion 35 instead of determining whether or not a texture exists in the peripheral portion 35 or in combination with the determination. That is, if the edge portion 35 has an edge in the outer direction of the composite image (for example, a vertical edge in FIG. 5B), it can be estimated that the edge extends to the protruding portion 37. It can be estimated that there is a high possibility that there is a sample to be imaged outside the imaging region 20 in the direction in which the image is to be captured.
  • the failure detection unit 140 detects an imaging omission of an area that should be included in a composite image by evaluating the direction of texture presence in individual images, for example.
  • the failure detection unit 140 detects a failure in combining when generating the composite image as a failure related to the composite image.
  • a combined image is generated by combining the captured individual images, but the individual images may not be appropriately combined. As a result, an unnatural shift occurs in the whole or part of the combined image, and the sample may not be confirmed accurately.
  • the failure detection unit 140 detects the above-mentioned combining failure by evaluating the luminance value of the overlapping portion when the combined image is generated.
  • the pasting unit 130 between each pixel of the overlapping portion 33 a and the corresponding pixel of the overlapping portion 33 b, The difference between the luminance values is calculated, and the absolute values of the differences over a plurality of pixels are summed.
  • the bonding unit 130 determines the position of the overlapping portion 33b when the minimum total value is calculated as the optimum position of the overlapping portion 33b at the time of bonding.
  • the failure detection unit 140 can detect a bonding failure by determining whether or not the minimum total value exceeds a predetermined threshold as an evaluation of the luminance value of the overlapping portion. The failure detection unit 140 acquires the minimum total value from the pasting unit 130.
  • the failure detection unit 140 may detect the above-mentioned combining failure by evaluating an edge in a predetermined direction appearing in the combined image.
  • this point will be described more specifically with reference to FIG.
  • FIG. 6 is an explanatory diagram for explaining an example of an edge appearing in the composite image when the composite fails.
  • a composite image 40 is shown. If the combining at the time of generating the combined image 40 fails, the individual images are shifted from each other at the boundary of the combining, so that an edge appears at the boundary of the combining. For example, horizontal edges 41a and vertical edges 41b and 41c appear. Therefore, the failure detection unit 140 detects, for example, an edge in a predetermined direction (for example, the horizontal direction and the vertical direction) that appears in the composite image, and evaluates the length or strength of the detected edge.
  • a predetermined direction for example, the horizontal direction and the vertical direction
  • the edge when the length of the detected edge is larger than a predetermined ratio of the length of one side of the individual area 21, the edge can be estimated to be an edge generated as a result of the bonding failure.
  • the edge even when the detected edge has a strength that cannot be assumed as a unique edge of the sample, the edge can be estimated to be an edge that has occurred as a result of the bonding failure. In such a case, the failure detection unit 140 detects the bonding failure.
  • the failure detection unit 140 detects a bonding failure by evaluating, for example, the luminance value of the overlapping portion or the edge in a predetermined direction appearing in the combined image.
  • the failure detection unit 140 detects a defect in the focus position as a failure requiring re-imaging related to the individual image or the combined image.
  • the imaging control unit 110 sets the focus position to the digital microscope 120, but an individual image with blur may be captured due to an incorrect focus position setting. As a result, it can be difficult to accurately confirm the sample.
  • the failure detection unit 140 detects a defect in the focus position by evaluating the contrast of the individual image. An image with blur is low in contrast. Therefore, the failure detection unit 140 can detect a defect in the focus position by calculating the contrast of the individual image and determining whether the calculated contrast exceeds a predetermined threshold. Any method may be used as a contrast calculation method. As an example, the failure detection unit 140 calculates, for each pixel of the individual image, a difference in luminance value from each of the four adjacent pixels, and sums the absolute values of the differences. Then, the failure detection unit 140 further sums up the total value calculated for each pixel in the entire individual image. For example, the total value calculated in this way is used as the contrast of the individual image. As described above, the failure detection unit 140 detects a defect in the focus position.
  • the failure detection unit 140 detects a white balance defect as a failure requiring re-imaging related to an individual image or a composite image.
  • white balance correction is performed in the development processing of the individual image.
  • the color of the individual image may be developed to a color different from the actual sample due to an erroneous white balance. As a result, it can be difficult to accurately confirm the color of the sample.
  • the digital microscope 120 captures an image of an area where no sample exists (that is, an image in which nothing is reflected). Then, the failure detection unit 140 compares the color information of the image with the color information prepared in advance as a template. The failure detection unit 140 detects a white balance defect when the difference between the two is larger than a predetermined threshold. In this way, the failure detection unit 140 detects a white balance defect.
  • the failure detection unit 140 detects a brightness defect as a failure requiring re-imaging related to an individual image or a composite image.
  • the brightness of the illumination is adjusted at the time of imaging, but an individual image that is too bright or an individual image that is too dark may be captured due to incorrect brightness. As a result, it can be difficult to accurately confirm the sample.
  • the digital microscope 120 captures an image of an area where no sample exists (that is, an image in which nothing is reflected). Then, the failure detection unit 140 compares the luminance information of the image with the luminance information prepared in advance as a template. And the failure detection part 140 detects the malfunction of a brightness, when both difference is larger than a predetermined threshold value. In this way, the failure detection unit 140 detects a brightness defect.
  • failure detection by the failure detection unit 140 has been described above using the first to fifth examples of specific failure detection. Such failure detection makes it possible to automatically detect a failure that requires re-imaging without allowing the user to check the image on the screen.
  • the failure detection unit 140 evaluates each image for detection of a failure that requires re-imaging each time a plurality of individual images are captured. By such evaluation, failure can be detected at the time when the individual image is captured, so that it is possible to perform re-imaging immediately after the failure is detected. That is, it is not necessary to re-input the sample into the digital microscope 120 for re-imaging, or to change the setting for items that do not need to be reset. Therefore, in this case, the effort required for re-imaging is almost eliminated, and the time required for re-imaging is extremely reduced.
  • the failure detection unit 140 outputs information on the detected failure to the setting information generation unit 150.
  • Setting information generation unit 150 When the failure detection unit 140 detects a failure, the setting information generation unit 150 generates setting information for setting an imaging condition for re-imaging. Hereinafter, generation of setting information by the setting information generation unit 150 will be described using the first to fifth examples of failure detection.
  • the setting information generation unit 150 When the failure detection unit 140 detects the imaging omission, the setting information generation unit 150 generates imaging region information for resetting the imaging region so as to include an additional region to be newly imaged, for example. .
  • the imaging area information is one piece of setting information. More specifically, as described with reference to FIGS. 5A and 5B, the failure detection unit 140 determines which individual region 21 (or individual image 30) when evaluating the texture direction in the individual image. It is known in which direction (for example, left, right, up, down) there is an imaging leak.
  • the setting information generation unit 150 acquires a combination of the coordinates of the individual area 21 and the direction of the imaging omission as information related to the imaging omission from the failure detection unit 140, and generates information including the combination as the imaging area information. . With such imaging area information, the imaging control unit 110 can reset the imaging area so as to include an imaging omission area. As a result, the same imaging omission can be avoided during re-imaging.
  • the imaging area information may include information that simply instructs to enlarge the imaging area.
  • the imaging control unit 110 changes the parameters for determining the imaging region so that the imaging region becomes wider.
  • the imaging control unit 110 determines the imaging region by detecting the edge of the sample appearing in the entire sample image. In this case, the imaging control unit 110 lowers the threshold for edge detection. As a result, weaker edges are also detected, so that a wider imaging area is determined and reset in the digital microscope 120.
  • the imaging control unit 110 divides the entire sample image into blocks, calculates a variance of luminance values for each block, and determines a block area with variance exceeding the threshold as an imaging area. . In this case, the imaging control unit 110 lowers the threshold value for comparison with the variance. As a result, a larger block area is determined as the imaging area, so that a wider imaging area is reset in the digital microscope 120.
  • the setting information generation unit 150 further generates imaging order information for resetting the imaging order of the individual images.
  • the imaging order information is one piece of setting information.
  • the imaging order information includes, for example, information that instructs to newly set the imaging order.
  • individual images of the individual regions 21 adjacent to each other are continuously captured. In this way, by sequentially capturing adjacent individual images and sequentially combining them, the possibility that the combining fails will be reduced.
  • the re-imaging when the individual images are first imaged in the original imaging order and the individual images of the enlarged area are additionally imaged, the individual image of the enlarged area is different from the individual image of the original imaging area. The images are taken discontinuously. Therefore, there is a high possibility that the bonding will fail. Therefore, when resetting the imaging region, it is possible to avoid the failure of the pasting during the re-imaging by further generating the imaging sequence information and resetting the imaging sequence.
  • the setting information generation unit 150 generates imaging order information for resetting the imaging order of the individual images when the failure detection unit 140 detects the above-described combining failure.
  • the imaging order information includes, for example, information instructing to set an imaging order that is different from the imaging order when a bonding failure is detected.
  • the different imaging order here may be an imaging order in which the imaging start position is different, or may be an imaging order in which scan patterns (such as a spiral order or a zigzag order) are different. The occurrence of the bonding failure largely depends on what imaging order is set. As described with reference to FIG.
  • the individual images 30 are combined using the luminance value of the overlapping portion 33.
  • the occurrence of the bonding failure may depend on the imaging order. Therefore, when a bonding failure occurs, the possibility of a bonding failure occurring can be further reduced by performing re-imaging in another imaging order.
  • the imaging order information may include information indicating the imaging order itself when a bonding failure is detected.
  • the setting information generation unit 150 generates focus position information for resetting the focus position when a defect in the focus position is detected.
  • the focus position information is one piece of setting information.
  • the focus position information is information including, for example, the coordinates of the individual area corresponding to the individual image in which the defect in the focus position is detected and the set focus position. With such focus position information, the imaging control unit 110 can change the focus position particularly in an individual area with a focus position defect. As a result, it is possible to avoid a similar focus position problem during re-imaging.
  • the imaging control unit 110 when determining the focus position in each individual area in the imaging area, the imaging control unit 110, for example, independently measures the focus position in several individual areas and performs interpolation using the measured focus positions. Thus, the focus position of another individual area is determined. In this case, based on the focus position information, the imaging control unit 110 may change the individual area for independently measuring the focus position, or may change the interpolation method. In this case, the focus position information may include information that simply instructs to change the focus position.
  • the setting information generation unit 150 generates white balance information for resetting the white balance when a white balance defect is detected.
  • the white balance information is one piece of setting information.
  • the white balance information includes, for example, color information of an image of an area where no sample exists (that is, color information compared with the color information of the template) when a white balance defect is detected.
  • the imaging control unit 110 can adjust the white balance (for example, RGB coefficients in white balance correction) to an appropriate value. As a result, similar white balance problems can be avoided during re-imaging.
  • the setting information generation unit 150 should change the RGB coefficient from the color information of the image in the area where the sample does not exist and the color information prepared in advance as a template (for example, R is set to 0. 0).
  • White balance information including the information may be generated.
  • the setting information generation unit 150 generates brightness information for resetting the brightness of the illumination when a brightness defect is detected.
  • the brightness information is one piece of setting information.
  • the brightness information includes, for example, brightness information of an image in an area where no sample exists when brightness failure is detected (that is, brightness information compared with the brightness information of the template). With such brightness information, the imaging control unit 110 can adjust the brightness of the illumination to an appropriate value. As a result, the same brightness problem can be avoided during re-imaging.
  • the setting information generation unit 150 should change the brightness of the illumination from the luminance information of the image of the region where the sample does not exist and the luminance information prepared in advance as a template (for example, 1.2 Brightness information including the information may be generated.
  • the generation of the setting information by the setting information generation unit 150 has been described above using the first to fifth examples of specific failure detection.
  • Such setting information enables the scanner 100 to automatically set the imaging conditions for re-imaging without the user having to individually review the imaging conditions for avoiding another failure.
  • the setting information generation unit 150 outputs the generated setting information to the imaging control unit 110 and the communication unit 160.
  • the failure detection unit 140 detects a failure requiring re-imaging, and the setting information generation unit 150 generates setting information corresponding to the failure.
  • the imaging control unit 110 causes the digital microscope 120 to re-image each individual image or to re-image the entire plurality of individual images. Determine. That is, it is determined whether to perform partial re-imaging or total re-imaging. For example, the imaging control unit 110 performs the following determination.
  • the imaging control unit 110 can determine that partial re-imaging is to be performed when priority is given to shortening the time required for re-imaging, for example. In the case where priority is given to avoiding a failure in pasting, it may be determined that the entire re-imaging is performed. For example, the imaging control unit 110 determines in advance whether to give priority to shortening the time required for imaging or avoiding a failure in pasting.
  • the imaging control unit 110 determines, for example, that the entire re-imaging is performed. Since a failure in combining often covers not only a part of the combined image but the entire combined image, it is desirable to perform re-imaging as a whole. In addition, since the white balance and the brightness are generally set with the same contents not for each individual image but for the whole of the plurality of individual images, the white balance and the brightness similarly affect the plurality of individual images. Therefore, it is desirable to perform overall re-imaging.
  • re-imaging in a necessary and sufficient range can be performed by determining the re-imaging range according to the type of failure. In other words, it is possible to perform re-imaging more efficiently while avoiding a second failure in re-imaging.
  • the communication unit 160 communicates with the server 200-1 and the viewer 300. For example, the communication unit 160 transmits the combined image from the combining unit 130 to the server 200-1 and the viewer 300. In addition, the communication unit 160 transmits the imaging condition information from the imaging control unit 110 to the server 200-1 and the viewer 300. Also, the setting information from the setting information generation unit 150 is transmitted to the viewer 300.
  • the communication unit 160 may receive the imaging condition information from the server 200-1 or the viewer 300 when the imaging condition is determined or changed by the server 200-1 or the viewer 300. Similarly, the communication unit 160 may receive setting information from the server 200-1 or the viewer 300 when the setting information is generated or changed by the server 200-1 or the viewer 300. The communication unit 160 can output the received information to the imaging control unit 110.
  • FIG. 7 is a block diagram illustrating an example of the configuration of the server 200-1 according to the first embodiment.
  • the server 200-1 includes a communication unit 210, a storage unit 220, and a control unit 230.
  • the communication unit 210 communicates with the scanner 100-1 and the viewer 300. For example, the communication unit 210 receives a composite image and imaging condition information from the scanner 100-1. In addition, the communication unit 210 transmits the composite image and the imaging condition information stored in the storage unit 220 to the viewer 300.
  • the storage unit 220 stores a composite image and imaging condition information managed by the server 200-1.
  • the storage unit 220 may configure a database that stores the combined image of the sample and the imaging condition information when the combined image is generated in association with the identification information of each sample.
  • Control unit 230 controls the entire server 200-1. For example, when the composite image and the imaging condition information are received from the scanner 100-1 by the communication unit 210, the control unit 230 causes the storage unit 220 to store the received composite image and the imaging condition information. In addition, the control unit 230 may cause the communication unit 210 to transmit the combined image and the imaging condition information to be presented to the user to the viewer 300 in response to an instruction from the user or automatically.
  • FIG. 8 is a block diagram illustrating an example of the configuration of the viewer 300 according to the first embodiment.
  • the viewer 300 includes a communication unit 310, an input unit 320, a control unit 330, and a display unit 340.
  • the communication unit 310 communicates with the scanner 100-1 and the server 200-1. For example, the communication unit 310 receives a composite image to be presented to the user from the scanner 100-1 or the server 200-1. The communication unit 310 can also receive imaging condition information or setting information associated with the composite image together with the composite image.
  • the communication unit 310 scans the imaging condition information indicating the designated imaging condition or the edited setting information when the imaging condition is designated or the setting information is edited by the user via a user interface described later. To 100-1.
  • the input unit 320 detects a user operation.
  • the input unit 320 may include one or more input devices such as a touch panel, a keyboard, a button, and a pointing device, for example.
  • Control unit 330 The control unit 330 controls the entire viewer 300.
  • the control unit 330 includes, for example, an acquisition unit 331 and a display control unit 333.
  • the acquisition unit 331 acquires a composite image to be presented to the user and imaging condition information when the composite image is generated via the communication unit 310. For example, the acquisition unit 331 acquires the composite image and imaging condition information in response to an instruction from the user or each time a composite image is generated by the scanner 100-1.
  • the acquisition unit 331 acquires imaging condition information representing the imaging conditions of the current scanner 100-1 via the communication unit 310. For example, the acquisition unit 331 acquires the imaging condition information in response to an instruction from the user.
  • the acquisition unit 331 may acquire setting information via the communication unit 310 under a predetermined condition. For example, the acquisition unit 331 may acquire the setting information when the user instructs the user to present the setting information before starting imaging, or when the setting information to be presented to the user is generated.
  • the display control unit 333 displays the combined image on the display surface of the display unit 340.
  • the display control unit 333 displays the composite image on the display surface in response to an instruction from the user or every time a composite image is generated.
  • the display control unit 333 allows the user to review the imaging conditions, for example, when the composite image is generated.
  • the imaging condition information is displayed on the display surface of the display unit 340.
  • the display control unit 333 provides, for example, a user interface for enabling the user to specify the imaging condition of the scanner 100-1 so that the user can freely specify the imaging condition. For example, the display control unit 333 presents the current imaging conditions of the scanner 100-1 to the user in response to an instruction from the user. When the user designates an imaging condition by a user operation on the input unit 320, the display control unit 333 transmits imaging condition information representing the designated imaging condition to the scanner 100-1 via the communication unit 310.
  • the display control unit 333 may display the acquired setting information on the display surface of the display unit 340.
  • the scanner 100-1 automatically detects a failure requiring re-imaging, and re-imaging is also performed automatically. However, even if the setting information for re-imaging is displayed when the user instructs the user to present the setting information before the start of imaging, or when the setting information to be presented to the user is generated, etc. Good.
  • the display control unit 333 may present the setting information to the user before re-imaging is executed. Then, the display control unit 333 may make the setting information editable by the user before re-imaging is executed. If the setting information can be edited in this way, the user can edit the setting information and perform more appropriate re-imaging when determining that the setting information is not appropriate.
  • the display unit 340 is a display having a display surface.
  • the display unit 340 displays a combined image, imaging condition information, setting information, or the like on the display surface in accordance with control by the control unit 330.
  • FIG. 9 is a flowchart illustrating an example of a schematic flow of an imaging control process according to the first embodiment.
  • steps S401 to S405 are processes related to the entire imaging.
  • the imaging control unit 110 of the scanner 100-1 determines an imaging area, and sets the determined imaging area in the digital microscope 120.
  • step S ⁇ b> 403 the imaging control unit 110 determines the imaging order of the individual images that reflect the individual areas included in the set imaging area, and sets the determined imaging order in the digital microscope 120.
  • step S ⁇ b> 405 the imaging control unit 110 determines other overall imaging conditions such as white balance and illumination brightness, and sets the determined imaging conditions in the digital microscope 120.
  • Steps S407 to S415 are processes that are repeated for each individual image.
  • step S407 the imaging control unit 110 determines individual imaging conditions for imaging each individual image, such as the focus position, and sets the determined imaging conditions in the digital microscope 120.
  • step S409 the digital microscope 120 captures individual images according to the set imaging order.
  • step S411 the combining unit 130 combines the captured individual image and the adjacent individual image.
  • step S500 the failure detection unit 140 executes an individual image evaluation process regarding the captured individual image.
  • step S413 the failure detection unit 140 determines whether a failure requiring re-imaging has been detected in the individual image evaluation process. If the failure is detected, the process proceeds to step S417. Otherwise, the process proceeds to S415.
  • step S415 the imaging control unit 110 determines whether imaging of individual images has been completed for all the individual areas included in the imaging area. If the imaging is complete, the process ends. Otherwise, the process returns to step S407.
  • step S417 the setting information generation unit 150 generates setting information for setting imaging conditions at the time of reimaging.
  • step S419 the imaging control unit 110 determines whether to perform partial re-imaging or overall re-imaging. If overall re-imaging is desired, the process returns to step S401. Otherwise, the process returns to step S407.
  • the imaging control unit 110 sets the entire imaging condition and individual imaging conditions based on the generated setting information in steps S401 to S407.
  • step S407 the imaging control unit 110 sets individual imaging conditions based on the generated setting information.
  • the individual image evaluation process 500 is executed for each type of failure that requires re-imaging. That is, when five types of failure are detected, five individual image evaluation processes 500 are executed.
  • the individual image evaluation process 500a related to imaging omission and the individual image evaluation process 500b related to a pasting failure will be described.
  • FIG. 10 is a flowchart showing an example of the flow of the individual image evaluation process 500a regarding the imaging omission.
  • the individual image evaluation process 500a the direction in which the texture exists in the individual image is evaluated.
  • step S510 the failure detection unit 140 determines whether the individual image is an individual image of an area located in the peripheral portion of the imaging region 20 (that is, an individual image constituting the peripheral portion of the combined image). If the individual image is an individual image of a region located in the peripheral portion of the imaging region 20, the process proceeds to step S520. Otherwise, the process ends.
  • step S520 the failure detection unit 140 detects the edge of the protruding portion of the individual image (that is, the portion of the individual image that protrudes from the combined image), and calculates the amount of the detected edge.
  • step S530 the failure detection unit 140 determines whether the calculated edge amount exceeds a threshold value. That is, the failure detection unit 140 determines whether there is a texture at the protruding portion of the individual image. If the amount of edges exceeds the threshold, the process proceeds to step S540. Otherwise, the process ends.
  • step S540 the failure detection unit 140 detects an imaging omission in an area that should be included in the composite image as a failure requiring reimaging. Then, the process ends.
  • FIG. 11 is a flowchart showing an example of the flow of the individual image evaluation process 500b regarding the pasting failure.
  • the luminance value of the overlapping portion when the composite image is generated is evaluated.
  • step S550 the failure detection unit 140 determines a difference in luminance value between overlapping portions of adjacent individual images (that is, a sum of absolute values of differences in luminance values between corresponding pixels in the overlapping portion). Is calculated.
  • step S560 the failure detection unit 140 determines whether the difference in luminance value between the overlapping portions exceeds a predetermined threshold. If the difference exceeds a predetermined threshold, the process proceeds to step S570. Otherwise, the process ends.
  • step S570 the failure detection unit 140 detects a failure in combining when generating a combined image as a failure requiring re-imaging. Then, the process ends.
  • a failure requiring re-imaging is automatically detected in the scanner 100, and based on setting information generated according to the failure.
  • Imaging conditions for re-imaging are automatically set. Therefore, the user does not need to perform operations such as confirmation of an image on the screen and resetting of imaging conditions for avoiding a failure again as in the past. Therefore, re-imaging can be performed with less effort and time.
  • the server 200-2 automatically detects a failure that requires re-imaging. Then, the server 200-2 prompts the scanner 100-2 to re-image the sample in response to the detection of the failure.
  • the configuration of the viewer 300 in the second embodiment may be the same as the configuration of the viewer 300 in the first embodiment.
  • FIG. 12 is a block diagram illustrating an example of the configuration of the scanner 100-2 according to the second embodiment.
  • the scanner 100-2 includes an imaging control unit 111, a digital microscope 121, a pasting unit 131, and a communication unit 160.
  • the imaging control unit 111 controls imaging using the digital microscope 121.
  • the imaging control unit 111 sets an imaging condition specified by the user or automatically determined in the digital microscope 121, and causes the digital microscope 121 to capture an image of the sample according to the imaging condition.
  • the imaging control unit 111 sets, for example, an imaging region, an imaging order, illumination brightness, a white balance coefficient, and the like as imaging conditions for the entire sample.
  • the imaging control unit 111 sets a focus position as an imaging condition for each individual area, for example.
  • the imaging control unit 111 sets at least a part of the imaging conditions based on the setting information to a digital microscope. Reset to 121. Then, the imaging control unit 111 causes the digital microscope 121 to re-image the sample image according to the reset imaging conditions.
  • the imaging control unit 110 outputs imaging condition information representing the set or reset imaging conditions to the communication unit 160.
  • the digital microscope 121 captures an image according to the image capturing conditions set by the image capturing control unit 111. For example, like the digital microscope 120 according to the first embodiment, the digital microscope 121 captures an individual image that reflects each individual area in the set imaging area in accordance with the set imaging order. Then, the digital microscope 121 outputs the captured individual image to the pasting unit 131.
  • the combining unit 131 Similar to the combining unit 130 according to the first embodiment, the combining unit 131 generates a combined image by combining the individual images captured by the digital microscope 121. Then, the combining unit 131 outputs the generated combined image to the communication unit 160.
  • FIG. 13 is a block diagram illustrating an example of the configuration of the server 200-2 according to the second embodiment.
  • the server 200-2 includes a communication unit 210, a storage unit 220, a control unit 230, a failure detection unit 240, and a setting information generation unit 250.
  • the failure detection unit 240 detects a failure requiring re-imaging by evaluating a composite image (or a partial image thereof) received from the scanner 100-2 via the communication unit 210.
  • the type of failure detected by the failure detection unit 240 may be the same as the type of failure that can be detected by the failure detection unit 140 of the scanner 100-1 according to the first embodiment. That is, the failure detection unit 240 can detect, for example, the imaging omission and the combining failure described above as failures related to the combined image. Further, the failure detection unit 240 can detect the above-described failure in the focus position, failure in white balance, and failure in brightness as other failures.
  • the failure detection unit 240 detects an imaging omission, since the protruding portion is not included in the composite image, the failure detection unit 240 is illustrated in FIG. A peripheral portion 35 is used.
  • the failure detection unit 240 detects a failure in combining, since the two overlapping portions of the individual images adjacent to each other have already been lost, the edge included in the combined image as shown in FIG. Evaluate the direction.
  • the failure detection unit 240 outputs information about the detected failure to the setting information generation unit 250.
  • the setting information generation unit 250 When the failure detection unit 240 detects a failure, the setting information generation unit 250 generates setting information for setting an imaging condition for re-imaging. Similar to the setting information generation unit 150, the setting information generation unit 250 detects a failure requiring re-imaging, such as an imaging failure, a pasting failure, a focus position failure, a white balance failure, and a brightness failure. In addition, various setting information is generated.
  • a failure requiring re-imaging such as an imaging failure, a pasting failure, a focus position failure, a white balance failure, and a brightness failure.
  • various setting information is generated.
  • the setting information generation unit 250 When the setting information generation unit 250 generates the setting information, the setting information generation unit 250 transmits the setting information and a re-imaging request for prompting re-imaging to the scanner 100-2 via the communication unit 210.
  • the re-imaging request may be once transmitted to the viewer 300 and transferred to the scanner 100-2 after the re-imaging instruction from the user is input to the viewer 300.
  • FIG. 14 is a flowchart illustrating an example of a schematic flow of imaging control processing on the server 200-2 side according to the second embodiment.
  • step S601 the failure detection unit 240 of the server 200-2 reads a composite image from the storage unit 220. For example, the failure detection unit 240 selects and reads a composite image from the storage unit 220 by automatically selecting an unevaluated composite image or in response to an instruction from the user.
  • step S700 the failure detection unit 240 executes a combined image evaluation process.
  • step S603 the failure detection unit 240 determines whether a failure requiring reimaging has been detected. If the failure is detected, the process proceeds to step S605. Otherwise, the process ends.
  • step S605 the setting information generation unit 250 generates setting information for setting imaging conditions for re-imaging.
  • step S607 the setting information generation unit 250 causes the storage unit 220 to store the generated setting information.
  • step S609 the setting information generation unit 250 transmits setting information and a re-imaging request to the scanner 100-2 or the viewer 300 via the communication unit 210. Then, the process ends.
  • the combined image review process 700 is executed for each type of failure that requires re-imaging. That is, when five types of failure are detected, five combined image evaluation processes 700 are executed.
  • a composite image review process 700a related to an imaging omission and a composite image review process 700b related to a composite failure will be described.
  • FIG. 15 is a flowchart showing an example of the flow of a combined image evaluation process 700a regarding an imaging omission.
  • the texture direction in the composite image is evaluated.
  • the failure detection unit 240 detects the edge of the peripheral portion of the composite image, and calculates the amount of the detected edge. For example, the failure detection unit 240 calculates the amount of edge for each individual image (that is, partial image) that constitutes the composite image.
  • step S720 the failure detection unit 240 determines whether the calculated edge amount exceeds a threshold value. That is, the failure detection unit 240 determines whether there is a texture at the peripheral portion of the composite image. For example, the failure detection unit 240 makes a determination for each individual image (that is, a partial image) constituting the composite image. If the amount of edges exceeds the threshold, the process proceeds to step S730. Otherwise, the process ends.
  • step S730 the failure detection unit 240 detects an imaging omission in an area that should be included in the composite image as a failure requiring reimaging. Then, the process ends.
  • FIG. 16 is a flowchart showing an example of the flow of a composite image evaluation process 700b regarding a composite failure.
  • an edge in a predetermined direction is evaluated.
  • the failure detection unit 240 detects an edge in a predetermined direction included in the composite image, and calculates the length or strength of the detected edge.
  • step S750 the failure detection unit 240 determines whether there is an edge in a predetermined direction having a predetermined length or greater than a predetermined strength. If there is an edge in a predetermined direction having a predetermined length or greater than a predetermined strength, the process proceeds to step S760. Otherwise, the process ends.
  • step S760 the failure detection unit 240 detects a failure in combining when generating a combined image as a failure requiring re-imaging. Then, the process ends.
  • FIG. 17 is a flowchart illustrating an example of a schematic flow of imaging control processing on the scanner 100-2 side according to the second embodiment.
  • steps S801 to S807 are processes related to the entire imaging.
  • the communication unit 160 of the scanner 100-2 receives setting information from the server 200-2.
  • the imaging control unit 111 determines an imaging area based on the setting information, and sets the determined imaging area in the digital microscope 121.
  • the imaging control unit 111 determines the imaging order of the individual images that reflect the individual areas included in the set imaging area based on the setting information, and sets the determined imaging order in the digital microscope 121. To do.
  • the imaging control unit 111 determines other overall imaging conditions such as white balance and illumination brightness based on the setting information, and sets the determined imaging conditions in the digital microscope 121. To do.
  • Steps S809 to S815 are processes that are repeated for each individual image.
  • step S809 the imaging control unit 111 determines individual imaging conditions for imaging each individual image, such as the focus position, based on the setting information, and sets the determined imaging conditions in the digital microscope 121.
  • step S811 the digital microscope 121 images individual images according to the set imaging order.
  • step S813 the combining unit 131 combines the captured individual image and the adjacent individual image.
  • step S815 the imaging control unit 111 determines whether imaging of individual images has been completed for all individual areas included in the imaging area. If the imaging has been completed, the process proceeds to step S817. Otherwise, the process returns to step S809.
  • step S817 the communication unit 160 transmits the composite image to the server 200-2 and the viewer 300. Then, the process ends.
  • the server 200 automatically detects a failure that requires re-imaging, and executes the re-imaging in response to the failure. -2. Therefore, the user does not need to perform operations such as confirmation of an image on the screen and resetting of imaging conditions for avoiding a failure again as in the past. Therefore, re-imaging can be performed with less effort and time. Furthermore, in the second embodiment, even if each individual scanner does not have a failure detection and setting information generation function, the failure detection and setting information generation are performed by storing the composite image on the server. Is possible. Further, it is possible to detect failure and generate setting information afterwards as necessary while shortening the imaging time of the scanner.
  • a failure requiring re-imaging is detected by evaluating an image captured using a digital microscope. And when the said failure is detected, the setting information for setting the imaging condition at the time of reimaging is produced
  • a failure related to the composite image is detected.
  • re-imaging is automatically performed even if a failure unique to the digital microscope system, such as an imaging failure or a bonding failure, occurs. As a result, it is possible to reduce the labor and time for reimaging in the digital microscope system.
  • imaging area information is generated as setting information. Based on the imaging area information, it is possible to set the imaging area so as to include an imaging omission area. As a result, the same imaging omission can be avoided during re-imaging.
  • imaging order information is generated as setting information. By the imaging order information, it is also possible to avoid a bonding failure at the time of reimaging.
  • imaging order information is generated as setting information.
  • re-imaging it is determined whether to perform partial re-imaging or overall re-image according to the type of failure detected. In this manner, by determining the re-imaging range according to the type of failure, re-imaging can be performed within a necessary and sufficient range. In other words, it is possible to perform re-imaging more efficiently while avoiding a second failure in re-imaging.
  • failure detection and setting information generation are performed, for example, on the scanner side.
  • each time a plurality of individual images are captured each image is evaluated to detect a failure that requires re-imaging.
  • failure can be detected after imaging, so that re-imaging can be performed immediately. This eliminates the need to re-arrange the imaging target such as a preparation for re-imaging, thereby reducing labor and time required for re-imaging.
  • failure detection and setting information generation are performed on the server side, for example.
  • failure detection and setting information generation are performed using the composite image stored in the server.
  • the digital microscope may not be provided by a scanner, and may be an apparatus different from the scanner.
  • the digital microscope is connected to the scanner.
  • Two or more devices among the scanner, server, and viewer may be the same device.
  • processing steps in the imaging control process of this specification do not necessarily have to be executed in time series in the order described in the flowchart.
  • processing steps in the imaging control process may be executed in a different order from the order described as the flowchart, or may be executed in parallel.
  • An information processing apparatus comprising: a generation unit configured to generate setting information for setting an imaging condition for re-imaging when the failure is detected by the detection unit.
  • a generation unit configured to generate setting information for setting an imaging condition for re-imaging when the failure is detected by the detection unit.
  • the detection unit detects a failure associated with a composite image generated by combining a plurality of images as the failure.
  • the failure related to the composite image includes an imaging omission of a region to be included in the composite image.
  • the detection unit detects the imaging omission by evaluating a texture existing direction in the image.
  • the generation unit generates imaging region information for resetting an imaging region so as to include an additional region to be newly imaged when the imaging omission is detected by the detection unit, (2) The information processing apparatus according to any one of (4) to (4). (6) The information processing apparatus according to (5), wherein the generation unit further generates imaging order information for resetting the imaging order of the images when the imaging area is reset. (7) The information processing apparatus according to (2), wherein the failure related to the composite image includes a composite failure when generating the composite image. (8) The information processing apparatus according to (7), wherein the detection unit detects the combining failure by evaluating an edge in a predetermined direction included in the combined image.
  • the information processing apparatus (9) The information processing apparatus according to (7), wherein the detection unit detects the combining failure by evaluating a luminance value of an overlapping portion when the combined image is generated. (10) The generation unit generates imaging order information for resetting the imaging order of the images when the detection unit detects the unsuccessful pasting, and any one of (7) to (9) The information processing apparatus according to item. (11) The information processing apparatus according to any one of (2) to (10), wherein the detection unit further detects a failure in a focus position, white balance, or brightness as the failure.
  • the information processing apparatus according to the type of the failure detected by the detection unit, an imaging control unit that determines whether to cause the digital microscope to re-image individual images or to re-image a plurality of images as a whole, The information processing apparatus according to any one of (2) to (11), further including: (13) The information processing apparatus according to any one of (2) to (12), wherein the detection unit evaluates each image for detecting the failure each time the plurality of images are captured. (14) The information processing apparatus according to any one of (2) to (12), wherein the detection unit evaluates the composite image or a partial image of the composite image after the composite image is generated. .
  • the information processing apparatus includes: A display control unit that presents the setting information generated by the generation unit to a user or allows editing by the user before re-imaging is performed;
  • the information processing apparatus according to any one of (1) to (14), further including: (16) Detecting a failure requiring re-imaging associated with the image by evaluating an image captured using a digital microscope; and An imaging control method comprising: generating setting information for setting imaging conditions for re-imaging when the failure is detected by the detection unit.
  • a digital microscope A detection unit that detects a failure that requires re-imaging related to the image by evaluating an image that is captured using the digital microscope, and when the failure is detected by the detection unit, during the re-imaging
  • An information processing apparatus including a generation unit that generates setting information for setting the imaging conditions of Including digital microscope system.
  • a detection unit that detects a failure associated with a composite image generated by combining a plurality of images captured using a digital microscope by evaluating the image;
  • An information processing apparatus comprising: a generation unit configured to generate setting information for setting an imaging condition for re-imaging when the failure is detected by the detection unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)

Abstract

【課題】より少ない手間及び時間で再撮像を行うことを可能にすること。 【解決手段】デジタル顕微鏡を用いて撮像される画像を評価することにより、上記画像に関連する再撮像を要する失敗を検出する検出部と、上記検出部により上記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部とを備える情報処理装置が提供される。

Description

情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム
　本開示は、情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラムに関する。
　従来、顕微鏡を用いてサンプルのデジタル画像を撮像するデジタル顕微鏡システムが利用されている。例えば、病理診断の分野では、デジタル顕微鏡システムを利用して生体サンプルのデジタル画像を撮像しておくことにより、生体サンプルの情報を長期的に維持し、生体サンプルそのものを輸送することなく生体サンプルに基づく病理診断をどこでも行うことが可能となる。特許文献１は、生体サンプルの部分画像を撮像し、当該部分画像を合成することにより、高解像度の合成画像データを生成する技術を開示している。
特開２０１０－２３０４９５号公報
　上記特許文献１に示されているように、一般的なデジタル顕微鏡システムでは、顕微鏡を用いて撮像される多くの部分画像から１つのサンプルの画像が生成される。この撮像から生成に至る過程において、失敗が生じることは少なくない。例えば、多数のサンプルを自動で連続的に撮像するような場合には、全てのサンプルの撮像が成功していることは稀である。それにもかかわらず、デジタル顕微鏡システムに関する従来の技術では、例えば病理診断などのサンプル画像の利用に支障をきたす画像が得られた場合、即ち再撮像を要する失敗があった場合に、当該失敗の発見から再撮像に至るまでに多くの手間及び時間を要する。例えば、当該失敗は、画面上での当該画像の確認を通じてはじめて発見される。そして、再撮像対象のサンプルの探索、サンプルの再投入、再度の失敗を回避するための撮像条件の再設定、及び再撮像が行われる。このように、再撮像は、多くの手間及び時間を要する。
　そこで、より少ない手間及び時間で再撮像を行うことを可能にする仕組みが提供されることが望ましい。
　本開示によれば、デジタル顕微鏡を用いて撮像される画像を評価することにより、上記画像に関連する再撮像を要する失敗を検出する検出部と、上記検出部により上記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、を備える情報処理装置が提供される。
　また、本開示によれば、デジタル顕微鏡を用いて撮像される画像を評価することにより、上記画像に関連する再撮像を要する失敗を検出することと、上記検出部により上記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成することと、を含む撮像制御方法が提供される。
　また、本開示によれば、コンピュータを、デジタル顕微鏡を用いて撮像される画像を評価することにより、上記画像に関連する再撮像を要する失敗を検出する検出部と、上記検出部により上記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、として機能させるためのプログラムが提供される。
　また、本開示によれば、デジタル顕微鏡と、上記デジタル顕微鏡を用いて撮像される画像を評価することにより、上記画像に関連する再撮像を要する失敗を検出する検出部、及び上記検出部により上記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部を備える情報処理装置と、を含むデジタル顕微鏡システムが提供される。
　また、本開示によれば、デジタル顕微鏡を用いて撮像される画像を評価することにより上記画像に関連する再撮像を要する失敗が検出された場合に生成される、再撮像の際の撮像条件を設定するための設定情報を取得する取得部と、上記取得部により取得される上記設定情報を表示面に表示させる表示制御部と、を備える表示制御装置が提供される。
　以上説明したように本開示に係る情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラムによれば、より少ない手間及び時間で再撮像を行うことが可能になる。
本開示の実施形態に係るデジタル顕微鏡システムの概略的な構成の一例を示す説明図である。 第１の実施形態に係るスキャナの構成の一例を示すブロック図である。 デジタル顕微鏡による撮像の一例を説明するための説明図である。 画像の貼り合せの一例を説明するための説明図である。 撮像漏れの一例を説明するための説明図である。 撮像漏れの検出の一例を説明するための説明図である。 貼り合せ失敗時の貼り合せ画像に現れるエッジの一例を説明するための説明図である。 第１の実施形態に係るサーバの構成の一例を示すブロック図である。 第１の実施形態に係るビューアの構成の一例を示すブロック図である。 第１の実施形態に係る撮像制御処理の概略的な流れの一例を示すフローチャートである。 撮像漏れに関する個別画像評価処理の流れの一例を示すフローチャートである。 貼り合せ失敗に関する個別画像評価処理の流れの一例を示すフローチャートである。 第２の実施形態に係るスキャナの構成の一例を示すブロック図である。 第２の実施形態に係るサーバの構成の一例を示すブロック図である。 第２の実施形態に係るサーバ側での撮像制御処理の概略的な流れの一例を示すフローチャートである。 撮像漏れに関する貼り合せ画像評価処理の流れの一例を示すフローチャートである。 貼り合せ失敗に関する貼り合せ画像評価処理の流れの一例を示すフローチャートである。 第２の実施形態に係るスキャナ側での撮像制御処理の概略的な流れの一例を示すフローチャートである。
　以下に添付の図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．デジタル顕微鏡システムの概略的な構成
　２．第１の実施形態
　　２．１．スキャナの構成
　　２．２．サーバの構成
　　２．３．ビューアの構成
　　２．４．処理の流れ
　３．第２の実施形態
　　３．１．スキャナの構成
　　３．２．サーバの構成
　　３．３．処理の流れ
　４．まとめ
　＜１．デジタル顕微鏡システムの概略的な構成＞
　まず、図１を参照して、本開示の実施形態に係るデジタル顕微鏡システム１の概略的な構成について説明する。図１は、本開示の実施形態に係るデジタル顕微鏡システム１の概略的な構成の一例を示す説明図である。図１を参照すると、デジタル顕微鏡システム１は、スキャナ１００、サーバ２００及びビューア３００を含む。
　スキャナ１００は、デジタル顕微鏡を有し、又はデジタル顕微鏡と接続される情報処理装置である。スキャナ１００は、デジタル顕微鏡を用いてサンプルの画像を撮像する。例えば、デジタル顕微鏡には、サンプルの固定されたプレパラートが投入される。スキャナ１００は、デジタル顕微鏡にプレパラートが投入されると、撮像条件を決定し、決定した撮像条件をデジタル顕微鏡に設定する。そして、スキャナ１００は、デジタル顕微鏡を用いて、当該プレパラートのサンプルの画像を撮像する。より具体的には、スキャナ１００は、撮像条件として、サンプルの撮像領域を決定し、決定した撮像領域をデジタル顕微鏡に設定する。また、スキャナ１００は、撮像領域を複数の個別領域に分割し、撮像条件として、当該複数の個別領域の撮像順を決定し、決定した撮像順をデジタル顕微鏡に設定する。そして、スキャナ１００は、設定された撮像順に従って、各個別領域においてデジタル顕微鏡にサンプルの画像を撮像させる。さらに、スキャナ１００は、撮像された複数の個別領域の画像を部分画像として貼り合せることにより、貼り合せ画像を生成する。このように、スキャナ１００において、１つのサンプルの画像、即ち貼り合せ画像が生成される。
　サーバ２００は、スキャナ１００により生成されるサンプルの画像を管理する情報処理装置である。例えば、サーバ２００は、スキャナ１００により生成される貼り合せ画像をサンプルの識別情報と関連付けてデータベース内に記憶する。
　ビューア３００は、表示制御装置の一例である。例えば、ビューア３００は、スキャナ１００により生成され、又はサーバ２００により記憶されているサンプルの貼り合せ画像を表示面に表示させる。また、例えば、ビューア３００は、スキャナ１００の撮像条件をユーザ操作により指定可能とするためのユーザインタフェースを提供する。即ち、ユーザは、ビューア３００での操作を介して、スキャナ１００の撮像条件を指定できる。
　本開示の実施形態では、デジタル顕微鏡システム１において、より少ない手間及び時間で再撮像を行うことが可能になる。以降、＜２．第１の実施形態＞及び＜３．第２の実施形態＞において、その具体的な内容を説明する。
　＜２．第１の実施形態＞
　まず、本開示の第１の実施形態を説明する。本開示の第１の実施形態によれば、スキャナ１００において、再撮像を要する失敗が自動的に検出され、当該失敗に応じた再撮像が行われる。
　＜２．１．スキャナの構成＞
　図２～図６を参照して、第１の実施形態に係るスキャナ１００－１の構成の一例について説明する。図２は、第１の実施形態に係るスキャナ１００－１の構成の一例を示すブロック図である。図２を参照すると、スキャナ１００－１は、撮像制御部１１０、デジタル顕微鏡１２０、貼り合せ部１３０、失敗検出部１４０、設定情報生成部１５０及び通信部１６０を備える。
　（撮像制御部１１０）
　撮像制御部１１０は、デジタル顕微鏡１２０を用いた撮像を制御する。例えば、撮像制御部１１０は、ユーザにより指定され、又は自動的に決定される撮像条件をデジタル顕微鏡１２０に設定し、当該撮像条件に従ってデジタル顕微鏡１２０にサンプルの画像を撮像させる。撮像制御部１１０は、例えば、サンプル全体の撮像条件として、撮像領域、撮像順、照明の明るさ及びホワイトバランスの係数等を設定する。また、撮像制御部１１０は、例えば、個別領域ごとの撮像条件として、フォーカス位置を設定する。
　また、設定情報生成部１５０が再撮像の際の撮像条件を設定するための設定情報を生成すると、撮像制御部１１０は、当該設定情報に基づいて、上記撮像条件の少なくとも一部をデジタル顕微鏡１２０に再設定する。そして、撮像制御部１１０は、再設定された撮像条件に従って、デジタル顕微鏡１２０にサンプルの画像を再撮像させる。
　撮像制御部１１０は、設定し又は再設定した撮像条件の情報（以下、「撮像条件情報」と呼ぶ）を通信部１６０に出力する。
　（デジタル顕微鏡１２０）
　デジタル顕微鏡１２０は、撮像制御部１１０により設定された撮像条件に従って画像を撮像する。例えば、デジタル顕微鏡１２０は、設定された撮影順に従って、設定された撮像領域内の各個別領域を映す画像（以下、「個別画像」と呼ぶ）を撮像する。以下、この点について図３を参照してより具体的に説明する。
　図３は、デジタル顕微鏡１２０による撮像の一例を説明するための説明図である。図３を参照すると、生体サンプル１０の画像を撮像するために、例えば、生体サンプル１０の全体を含む撮像領域２０が設定される。そして、当該撮像領域２０は、複数の個別領域２１に分割される。個別領域２１の撮像順は、例えば、生体サンプル１０の中央から外側に向かう渦巻き状の順序、又は各列を上から下、下から上に交互に辿るようなジグザグ状の順序など、任意の順序に設定され得る。デジタル顕微鏡１２０は、このように設定された撮像順に従って、各個別領域２１を映す個別画像を撮像する。ここで、デジタル顕微鏡１２０は、後に隣り合う個別画像を貼り合せられるように、個別領域２１を包含する拡張された領域２３の画像を個別画像として撮像する。
　デジタル顕微鏡１２０は、撮像された個別画像を貼り合せ部１３０及び失敗検出部１４０に出力する。
　なお、デジタル顕微鏡１２０は、例えば、光学系、撮像素子、画像処理回路及び駆動回路を含む。当該光学系は、例えば対物レンズを含み得る。上記撮像素子は、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ又はＣＣＤ（Charge　Coupled　Device）イメージセンサである。上記画像処理回路は、デモザイク処理、ホワイトバランス補正等の現像処理を行う。上記駆動回路は、設定される撮像領域及び撮像順に従って、個別画像が撮像されるごとに、対物レンズとサンプルとの相対的な位置を移動させる。
　（貼り合せ部１３０）
　貼り合せ部１３０は、デジタル顕微鏡１２０により撮像された個別画像を貼り合せることにより、貼り合せ画像を生成する。以下、この点について図４を参照してより具体的に説明する。
　図４は、画像の貼り合せの一例を説明するための説明図である。図４を参照すると、隣接する個別領域２１で撮像された個別画像３０ａ及び３０ｂが示されている。図３を参照して既に説明したように、個別画像３０は、個別領域２１を包含する領域２３の画像である。よって、個別画像３０は、個別領域２１に対応する部分３１を有すると共に、互いに重なり合う部分（以下、「重なり部分」）３３を有する。貼り合せ部１３０は、重なり部分３３ａに重なり部分３３ｂを適切に重ね合せることにより、個別画像３０ａに個別画像３０ｂを貼り合せる。ここで、貼り合せ部１３０は、例えば、重なり部分３３ａの輝度値と重なり部分３３ｂの輝度値とを用いて、重なり部分３３ａに重なり部分３３ｂを重ね合せる。一例として、貼り合せ部１３０は、例えば、重なり部分３３ａに重なり部分３３ｂを重ね合せて、重なり部分３３ａの各画素とそれに対応する重なり部分３３ｂの画素との間の輝度値の差分を算出し、当該差分の絶対値を複数の画素にわたって合計する。貼り合せ部１３０は、重なり部分３３ｂの位置を変えながらこのような輝度値の差分の絶対値の合計値をその位置ごとに算出する。そして、貼り合せ部１３０は、最小の合計値が算出される場合の重なり部分３３ｂの位置を、貼り合せ時の重なり部分３３ｂの最適な位置として決定する。このようにして、貼り合せ部１３０は、隣接する個別領域２１の個別画像を順次貼り合せ、最終的にサンプル全体の１つの貼り合せ画像を生成する。
　貼り合せ部１３０は、生成した貼り合せ画像を通信部１６０に出力する。また、貼り合せ部１３０は、例えば、各個別画像の貼り合せについての上記最小の合計値を失敗検出部１４０に出力する。なお、貼り合せ部１３０は、生成した貼り合せ画像を失敗検出部１４０にも出力してもよい。
　（失敗検出部１４０）
　失敗検出部１４０は、デジタル顕微鏡１２０を用いて撮像される画像を評価することにより、当該画像に関連する再撮像を要する失敗を検出する。ここでの「画像を評価する」とは、個別画像の各々を評価すること、及び、個別画像から構成される貼り合せ画像を評価することを含む。以下に、具体的な失敗検出の第１～第５の例を用いて、失敗検出部１４０による失敗の検出について説明する。なお、失敗検出の第１の例及び第２の例では、失敗検出部１４０は、上記失敗として、複数の個別画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出する。
　第１の例において、失敗検出部１４０は、貼り合せ画像に関連する失敗として、貼り合せ画像に含まれるべき領域の撮像漏れを検出する。以下、この点について図５Ａ及び図５Ｂを参照してより具体的に説明する。
　図５Ａは、撮像漏れの一例を説明するための説明図である。図５Ａを参照すると、図３と同様に、生体サンプル１０、撮像領域２０、複数の個別領域２１、及び、個別画像の撮像領域であって、個別領域２１を包含する領域２３が示されている。ここで、撮像領域２０は、生体サンプル１０のうちの濃い色の部分１１全体を包含するが、生体サンプル１０のうちの薄い色の部分１３を包含できていない。即ち、サンプル１０の一部は、貼り合せ画像に含まれるべき領域であるにもかかわらず、撮像されていない。例えば、生体サンプル全体の画像を用いて生体サンプルのエッジを検出することにより撮像領域を決める場合に、このように薄い色の部分１３が撮像領域から漏れる場合がある。このように、撮像漏れがあれば、サンプルの利用（例えば病理診断）を正確に行うことが困難になり得る。
　そこで、例えば、失敗検出部１４０は、画像におけるテクスチャの存在方向を評価することにより、貼り合せ画像に含まれるべき領域の撮像漏れを検出する。より具体的には、失敗検出部１４０は、例えば、撮像領域２０の周縁部分に位置する領域の個別画像、即ち貼り合せ画像の周縁部分を構成する個別画像におけるテクスチャの存在方向を評価する。以下、この点について図５Ｂを参照してより具体的に説明する。
　図５Ｂは、撮像漏れの検出の一例を説明するための説明図である。図５Ｂを参照すると、貼り合せ画像の周縁部分３５を構成する１つの個別画像３０が示されている。個別画像３０は、個別領域２１を包含する領域２３の画像であるので、貼り合せ画像からはみ出すはみ出し部分３７を含む。換言すると、当該はみ出し部分３７は、撮像領域２０の外側の領域を映す。そのため、個別画像３０のうちの当該はみ出し部分３７に何らかのテクスチャが存在すれば、撮像領域２０から漏れているはみ出し部分３７の方向にも撮像すべきサンプルがあると言える。よって、失敗検出部１４０は、テクスチャの存在方向の評価として、個別画像３０のうちの当該はみ出し部分３７にテクスチャが存在するか否かを判定することにより、撮像漏れがあるか否かを検出できる。なお、失敗検出部１４０は、一例として、エッジ検出フィルタによりはみ出し部３７内のエッジを検出し、検出されたエッジの量を算出し、当該エッジの量が所定の閾値を超えるか否かを判定することにより、はみ出し部３７にテクスチャが存在するか否かを判定することができる。
　また、失敗検出部１４０は、個別画像ではなく貼り合せ画像を用いて撮像漏れを検出してもよい。この場合、失敗検出部１４０は、貼り合せ画像に含まれる個別画像におけるテクスチャの存在方向を評価することにより、上記撮像漏れを検出する。貼り合せ画像には個別画像３０のうちのはみ出し部分３７は含まれないので、失敗検出部１４０は、例えば、個別画像３０のはみ出し部分３７の代わりに、周縁部分３５にテクスチャが存在するか否かを判定する。周縁部分３５に何らかのテクスチャが存在すれば、周縁部分３５に対応する方向の撮像領域２０の外側にも撮像すべきサンプルがある可能性が高いと推定できる。よって、失敗検出部１４０は、テクスチャの存在方向の評価として、周縁部分３５にテクスチャが存在するか否かを判定することにより、撮像漏れがあるか否かを検出できる。なお、失敗検出部１４０は、例えば、周縁部分３５にテクスチャが存在するかの判定の代わりに、又は当該判定と併せて、周縁部分３５のエッジの方向を判定してもよい。即ち、周縁部分３５に、貼り合せ画像の外側方向のエッジ（例えば図５Ｂでは縦方向のエッジ）が存在すれば、はみ出し部分３７にもエッジが延びていると推定できるので、周縁部分３５に対応する方向の撮像領域２０の外側にも撮像すべきサンプルがある可能性が高いと推定できる。
　以上のように、失敗検出部１４０は、例えば個別画像におけるテクスチャの存在方向を評価すれことにより、貼り合せ画像に含まれるべき領域の撮像漏れを検出する。
　第２の例において、失敗検出部１４０は、貼り合せ画像に関連する失敗として、上記貼り合せ画像を生成する際の貼り合せ失敗を検出する。図４を参照して説明したとおり、撮像された個別画像の貼り合せにより貼り合せ画像が生成されるが、個別画像を適切に貼り合せられない場合もある。その結果、貼り合せ画像の全体又は一部に不自然なズレが発生し、サンプルを正確に確認できなくこともある。
　そこで、一例として、失敗検出部１４０は、貼り合せ画像が生成される際の重なり部分の輝度値を評価することにより、上記貼り合せ失敗を検出する。図４を参照して既に説明したように、貼り合せ部１３０は、個別画像３０ａに個別画像３０ｂを貼り合せる際に、重なり部分３３ａの各画素とそれに対応する重なり部分３３ｂの画素との間の輝度値の差分を算出し、複数の画素にわたる当該差分の絶対値を合計する。そして、貼り合せ部１３０は、最小の合計値が算出される場合の重なり部分３３ｂの位置を、貼り合せ時の重なり部分３３ｂの最適な位置として決定する。そのため、上記最小の合計値は、最終的に貼り合せがどの程度適当であったかを示す値と言える。即ち、当該最小の合計値が小さければ、貼り合せが成功したと言え、当該最小の合計値が大きければ、貼り合せが失敗したと言える。よって、失敗検出部１４０は、重なり部分の輝度値の評価として、上記最小の合計値が所定の閾値を超えるか否かを判定することにより、貼り合せ失敗を検出できる。なお、失敗検出部１４０は、上記最小の合計値を貼り合せ部１３０から取得する。
　また、別の例として、失敗検出部１４０は、貼り合せ画像に現れる所定の方向のエッジを評価することにより、上記貼り合せ失敗を検出してもよい。以下、この点について図６を参照してより具体的に説明する。
　図６は、貼り合せ失敗時の貼り合せ画像に現れるエッジの一例を説明するための説明図である。図６を参照すると、貼り合せ画像４０が示されている。貼り合せ画像４０を生成する際の貼り合せに失敗すると、貼り合せの境界において個別画像が互いにずれているので、貼り合せの境界にエッジが現れる。例えば、水平方向のエッジ４１ａ並びに垂直方向のエッジ４１ｂ及び４１ｃが現れる。よって、失敗検出部１４０は、例えば、貼り合せ画像に現れる所定の方向（例えば、水平方向及び垂直方向）のエッジを検出し、検出したエッジの長さ又は強さを評価する。例えば、検出されたエッジの長さが個別領域２１の一辺の長さの所定の割合よりも大きい場合には、そのエッジは、貼り合せ失敗の結果として生じたエッジであると推定され得る。また、検出されたエッジがサンプルの固有のエッジとしては想定され得ない強さを有する場合にも、そのエッジは、貼り合せ失敗の結果として生じたエッジであると推定され得る。このような場合に、失敗検出部１４０は、上記貼り合せ失敗を検出する。
　以上のように、失敗検出部１４０は、例えば重なり部分の輝度値又は貼り合せ画像に現れる所定の方向のエッジを評価することにより、貼り合せ失敗を検出する。
　第３の例において、失敗検出部１４０は、個別画像又は貼り合せ画像に関連する再撮像を要する失敗として、フォーカス位置の不具合を検出する。デジタル顕微鏡１２０が個別画像を撮像する際には、撮像制御部１１０がフォーカス位置をデジタル顕微鏡１２０に設定するが、誤ったフォーカス位置の設定によって、ボケを伴う個別画像が撮像されることがある。その結果、サンプルを正確に確認することが困難となり得る。
　そこで、一例として、失敗検出部１４０は、個別画像のコントラストを評価することにより、フォーカス位置の不具合を検出する。ボケを伴う画像はコントラストが低くなる。よって、失敗検出部１４０は、個別画像のコントラストを算出し、算出したコントラストが所定の閾値を超えるか否かを判定することにより、フォーカス位置の不具合を検出できる。なお、コントラストの算出手法として、いずれの手法が用いられてもよい。一例として、失敗検出部１４０は、個別画像の画素毎に、隣接する４つの画素のそれぞれとの輝度値の差分を算出し、当該差分の絶対値を合計する。そして、失敗検出部１４０は、画素毎に算出された合計値を個別画像全体でさらに合計する。例えばこのように算出された合計値が、個別画像のコントラストとして用いられる。以上のように、失敗検出部１４０は、フォーカス位置の不具合を検出する。
　第４の例において、失敗検出部１４０は、個別画像又は貼り合せ画像に関連する再撮像を要する失敗として、ホワイトバランスの不具合を検出する。デジタル顕微鏡１２０では、個別画像の現像処理において、ホワイトバランス補正が行われるが、誤ったホワイトバランスによって、個別画像の色が実際のサンプルとは異なる色に現像されてしまうことがある。その結果、サンプルの色を正確に確認することが困難となり得る。
　そこで、一例として、デジタル顕微鏡１２０は、サンプルが存在しない領域の画像（即ち、何も映っていない画像）を撮像する。そして、失敗検出部１４０は、当該画像の色情報と、テンプレートとして予め用意されている色情報とを比較する。そして、失敗検出部１４０は、両者の差が所定の閾値よりも大きい場合には、ホワイトバランスの不具合を検出する。このように、失敗検出部１４０は、ホワイトバランスの不具合を検出する。
　第５の例において、失敗検出部１４０は、個別画像又は貼り合せ画像に関連する再撮像を要する失敗として、明るさの不具合を検出する。デジタル顕微鏡１２０では、撮像の際に照明の明るさが調整されるが、誤った明るさによって、明るすぎる個別画像又は暗すぎる個別画像が撮影されてしまうことがある。その結果、サンプルを正確に確認することが困難となり得る。
　そこで、一例として、ホワイトバランスの不具合と同様に、デジタル顕微鏡１２０は、サンプルが存在しない領域の画像（即ち、何も映っていない画像）を撮像する。そして、失敗検出部１４０は、当該画像の輝度情報と、テンプレートとして予め用意されている輝度情報とを比較する。そして、失敗検出部１４０は、両者の差が所定の閾値よりも大きい場合には、明るさの不具合を検出する。このように、失敗検出部１４０は、明るさの不具合を検出する。
　以上、具体的な失敗検出の第１～第５の例を用いて、失敗検出部１４０による失敗の検出について説明した。このような失敗検出により、画面上でユーザに画像を確認させることなく、再撮像を要する失敗を自動的に検出することが可能になる。
　第１の実施形態において、失敗検出部１４０は、複数の個別画像の各々が撮像される都度、再撮像を要する失敗の検出のために各画像を評価する。このような評価により、個別画像が撮像された時点で失敗が検出され得るので、失敗が検出された後、即座に再撮像を行うことが可能になる。即ち、再撮像のために、デジタル顕微鏡１２０にサンプルを再投入する作業、又は再設定する必要のない項目についての設定の変更が不要となる。従って、この場合、再撮像に要する手間はほぼ無くなり、再撮像に要する時間も極めて少なくなる。
　失敗検出部１４０は、検出した失敗に関する情報を設定情報生成部１５０に出力する。
　（設定情報生成部１５０）
　設定情報生成部１５０は、失敗検出部１４０により失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する。以下に、上記失敗検出の第１～第５の例を用いて、設定情報生成部１５０による設定情報の生成について説明する。
　第１に、撮像漏れが検出される場合の設定情報の生成について説明する。設定情報生成部１５０は、失敗検出部１４０により上記撮像漏れが検出された場合に、例えば、新たに撮像されるべき追加領域を含むように撮像領域を再設定するための撮像領域情報を生成する。当該撮像領域情報は、設定情報の１つである。より具体的には、図５Ａ及び図５Ｂを参照して説明したように、失敗検出部１４０は、個別画像におけるテクスチャの存在方向の評価の際に、どの個別領域２１（又は個別画像３０）のどちらの方向（例えば、左、右、上、下）に撮像漏れがあるかを知る。よって、設定情報生成部１５０は、失敗検出部１４０から、当該撮像漏れに関する情報として、個別領域２１の座標及び撮像漏れの方向の組合せを取得し、当該組合せを含む情報を撮像領域情報として生成する。このような撮像領域情報により、撮像制御部１１０は、撮像漏れの領域を含むように撮像領域を再設定することができる。その結果、再撮像の際に同様の撮像漏れを回避することができる。
　なお、撮像領域情報は、単に撮像領域を拡大することを指示する情報を含んでもよい。この場合に、撮像制御部１１０は、撮像領域がより広くなるように、撮像領域を決定するためのパラメータを変更する。一例として、撮像制御部１１０は、サンプル全体の画像に現れるサンプルのエッジを検出することにより、撮像領域を決定する。この場合に、撮像制御部１１０は、エッジ検出における閾値を下げる。これにより、より弱いエッジも検出されるようになるので、より広い撮像領域が決定され、デジタル顕微鏡１２０に再設定される。また、別の例として、撮像制御部１１０は、サンプル全体の画像をブロックに分割して、ブロック毎の輝度値の分散を算出し、閾値を超える分散を伴うブロックの領域を撮像領域として決定する。この場合に、撮像制御部１１０は、分散と比較するための上記閾値を下げる。これにより、より多くのブロックの領域が撮像領域として決定されるので、より広い撮像領域がデジタル顕微鏡１２０に再設定される。
　さらに、例えば、設定情報生成部１５０は、撮像領域が再設定される場合に、個別画像の撮像順を再設定するための撮像順情報をさらに生成する。当該撮像順情報は、設定情報の１つである。当該撮像順情報は、例えば、撮像順を新たに設定することを指示する情報を含む。通常、互いに隣接する個別領域２１の個別画像は連続的に撮像される。このように隣接する個別画像を連続的に撮像してこれらを順々に貼り合せることで、貼り合せが失敗する可能性が低くなる。一方、再撮像において、元の撮像順で個別画像をまず撮像し、拡大された領域の個別画像を追加的に撮像すると、拡大された領域の個別画像は、元の撮像領域の個別画像とは不連続に撮像されることになる。そのため、貼り合せが失敗する可能性が高くなる。よって、撮像領域を再設定する場合には、撮像順情報をさらに生成して撮像順をも再設定することで、再撮像の際に貼り合せ失敗を回避することができる。
　第２に、貼り合せ画像を生成する際の貼り合せ失敗が検出される場合の設定情報の生成について説明する。設定情報生成部１５０は、失敗検出部１４０により上記貼り合せ失敗が検出された場合に、個別画像の撮像順を再設定するための撮像順情報を生成する。当該撮像順情報は、例えば、貼り合せ失敗が検出された場合の撮像順とは別の撮像順を設定することを指示する情報を含む。ここでの別の撮像順とは、撮像の開始位置が異なる撮像順であってもよく、スキャンパターン（渦巻き状の順序又はジグザグ状の順序など）が異なる撮像順であってもよい。貼り合せ失敗の発生は、どのような撮像順が設定されるかに大きく依存する。図４を参照して説明したように、個別画像３０の貼り合せは、重なり部分３３の輝度値を用いて行われる。例えば、重なり部分３３内の画素間で輝度値がほとんど変化しないような個別画像３０から撮像されると、貼り合せにずれが発生し、撮像領域において貼り合せ失敗が発生する可能性が高くなる。このように、貼り合せ失敗の発生は、撮像順に依存し得る。よって、貼り合せ失敗が発生した場合には、別の撮像順で再撮像を行うことにより、貼り合せ失敗が発生する可能性をより低くすることができる。なお、撮像順情報は、貼り合せ失敗が検出された場合の撮像順そのものを示す情報を含んでもよい。
　第３に、フォーカス位置の不具合が検出される場合の設定情報の生成について説明する。設定情報生成部１５０は、フォーカス位置の不具合が検出された場合に、フォーカス位置を再設定するためのフォーカス位置情報を生成する。当該フォーカス位置情報は、設定情報の１つである。当該フォーカス位置情報は、例えば、フォーカス位置の不具合が検出された個別画像に対応する個別領域の座標及び設定されていたフォーカス位置を含む情報である。このようなフォーカス位置情報により、撮像制御部１１０は、特にフォーカス位置の不具合を伴った個別領域において、フォーカス位置を変更することが可能になる。その結果、再撮像の際に同様のフォーカス位置の不具合を回避することができる。
　なお、撮像制御部１１０は、撮像領域内の各個別領域でのフォーカス位置を決めるにあたり、例えば、いくつかの個別領域でフォーカス位置を独立的に測定し、測定された当該フォーカス位置を用いた補間により、他の個別領域のフォーカス位置を決める。この場合、上記フォーカス位置情報に基づいて、撮像制御部１１０は、フォーカス位置を独立的に測定する個別領域を変更してもよく、また、補間手法を変更してもよい。この場合、フォーカス位置情報は、単にフォーカス位置を変更することを指示する情報を含んでもよい。
　第４に、ホワイトバランスの不具合が検出される場合の設定情報の生成について説明する。設定情報生成部１５０は、ホワイトバランスの不具合が検出された場合に、ホワイトバランスを再設定するためのホワイトバランス情報を生成する。当該ホワイトバランス情報は、設定情報の１つである。当該ホワイトバランス情報は、例えば、ホワイトバランスの不具合が検出された場合の、サンプルが存在しない領域の画像の色情報（即ち、テンプレートの色情報と比較された色情報）を含む。このようなホワイトバランス情報により、撮像制御部１１０は、ホワイトバランス（例えば、ホワイトバランス補正におけるＲＧＢの係数）を適切な値に調整することが可能になる。その結果、再撮像の際に同様のホワイトバランスの不具合を回避することができる。なお、設定情報生成部１５０は、上記サンプルが存在しない領域の画像の色情報とテンプレートとして予め用意されている色情報とから、ＲＧＢの係数をどのように変更すべきか（例えば、Ｒを０．８倍にする、等）を決定し、当該情報を含むホワイトバランス情報を生成してもよい。
　第５に、明るさの不具合が検出される場合の設定情報の生成について説明する。設定情報生成部１５０は、明るさの不具合が検出された場合に、照明の明るさを再設定するための明るさ情報を生成する。当該明るさ情報は、設定情報の１つである。当該明るさ情報は、例えば、明るさの不具合が検出された場合の、サンプルが存在しない領域の画像の輝度情報（即ち、テンプレートの輝度情報と比較された輝度情報）を含む。このような明るさ情報により、撮像制御部１１０は、照明の明るさを適切な値に調整することが可能になる。その結果、再撮像の際に同様の明るさの不具合を回避することができる。なお、設定情報生成部１５０は、上記サンプルが存在しない領域の画像の輝度情報とテンプレートとして予め用意されている輝度情報とから、照明の明るさをどのように変更すべきか（例えば、１.２倍明るくする、等）を決定し、当該情報を含む明るさ情報を生成してもよい。
　以上、具体的な失敗検出の第１～第５の例を用いて、設定情報生成部１５０による設定情報の生成について説明した。このような設定情報により、再度の失敗を回避するための撮像条件を個別にユーザが再検討せずとも、スキャナ１００が再撮像の撮像条件を自動的に設定することが可能になる。
　設定情報生成部１５０は、生成した設定情報を撮像制御部１１０及び通信部１６０に出力する。
　（撮像制御部１１０　続き）
　以上のように、失敗検出部１４０により、再撮像を要する失敗が検出され、設定情報生成部１５０により、当該失敗に応じた設定情報が生成される。一方、例えば、撮像制御部１１０は、失敗検出部１４０により検出される上記失敗の種類に応じて、デジタル顕微鏡１２０に個々の個別画像を再撮像させるか複数の個別画像の全体を再撮像させるかを判定する。即ち、部分的な再撮像又は全体的な再撮像のいずれを行うかが判定される。例えば、撮像制御部１１０は、以下のような判定を行う。
Figure JPOXMLDOC01-appb-T000001
　即ち、失敗の種類が撮像漏れ又はフォーカス位置の不具合であれば、撮像制御部１１０は、例えば、再撮像に要する時間の短縮を優先する場合に、部分的な再撮像を行うと判定し得る。貼り合せ失敗の回避を優先する場合には、全体的な再撮像を行うと判定されてよい。撮像に要する時間の短縮又は貼り合せ失敗の回避のいずれを優先するかは、例えば撮像制御部１１０に予め定められている。
　また、失敗の種類が貼り合せ失敗、ホワイトバランの不具合、明るさの不具合であれば、撮像制御部１１０は、例えば、全体的な再撮像を行うと判定する。貼り合せ失敗は、貼り合せ画像の一部のみではなく、貼り合せ画像全体に及ぶことが多いので、全体的な再撮像を行うことが望ましい。また、ホワイトバランス及び明るさは、通常、個別画像毎にではなく複数の個別画像の全体に同じ内容で設定されるので、複数の個別画像に同様に影響を及ぼす。よって、全体的な再撮像を行うことが望ましい。
　このように、再撮像の範囲を失敗の種類に応じて判定することにより、必要十分な範囲での再撮像を行うことができる。即ち、再撮像での再度の失敗を回避しつつ、より効率的に再撮像を行うことが可能になる。
　（通信部１６０）
　通信部１６０は、サーバ２００－１及びビューア３００と通信する。例えば、通信部１６０は、貼り合せ部１３０からの貼り合せ画像をサーバ２００－１及びビューア３００に送信する。また、通信部１６０は、撮像制御部１１０からの撮像条件情報をサーバ２００－１及びビューア３００に送信する。また、設定情報生成部１５０からの設定情報をビューア３００に送信する。
　また、通信部１６０は、撮像条件がサーバ２００－１又はビューア３００により決定され又は変更される場合には、サーバ２００－１又はビューア３００から撮像条件情報を受信してもよい。同様に、通信部１６０は、設定情報がサーバ２００－１又はビューア３００により生成され又は変更される場合には、サーバ２００－１又はビューア３００から設定情報を受信してもよい。通信部１６０は、受信されるこれら情報を撮像制御部１１０に出力し得る。
　＜２．２．サーバの構成＞
　図７を参照して、第１の実施形態に係るサーバ２００－１の構成の一例について説明する。図７は、第１の実施形態に係るサーバ２００－１の構成の一例を示すブロック図である。図７を参照すると、サーバ２００－１は、通信部２１０、記憶部２２０及び制御部２３０を備える。
　（通信部２１０）
　通信部２１０は、スキャナ１００－１及びビューア３００と通信する。例えば、通信部２１０は、スキャナ１００－１から貼り合せ画像及び撮像条件情報を受信する。また、通信部２１０は、記憶部２２０に記憶される貼り合せ画像及び撮像条件情報をビューア３００に送信する。
　（記憶部２２０）
　記憶部２２０は、サーバ２００－１により管理される貼り合せ画像及び撮像条件情報を記憶する。例えば、記憶部２２０は、各サンプルの識別情報と関連付けて、当該サンプルの貼り合せ画像及び当該貼り合せ画像が生成された際の撮像条件情報を記憶するデータベースを構成してもよい。
　（制御部２３０）
　制御部２３０は、サーバ２００－１全体を制御する。例えば、制御部２３０は、通信部２１０によりスキャナ１００－１から貼り合せ画像及び撮像条件情報が受信されると、受信された貼り合せ画像及び撮像条件情報を記憶部２２０に記憶させる。また、制御部２３０は、ユーザからの指示に応じて又は自動的に、ユーザに呈示されるべき貼り合せ画像及び撮像条件情報を通信部２１０からビューア３００へ送信させてもよい。
　＜２．３．ビューアの構成＞
　図８を参照して、第１の実施形態に係るビューア３００の構成の一例について説明する。図８は、第１の実施形態に係るビューア３００の構成の一例を示すブロック図である。図８を参照すると、ビューア３００は、通信部３１０、入力部３２０、制御部３３０及び表示部３４０を備える。
　（通信部３１０）
　通信部３１０は、スキャナ１００－１及びサーバ２００－１と通信する。例えば、通信部３１０は、ユーザに呈示されるべき貼り合せ画像を、スキャナ１００－１又はサーバ２００－１から受信する。通信部３１０は、貼り合せ画像と共に、当該貼り合せ画像と関連付けられる撮像条件情報又は設定情報をも受信し得る。
　また、通信部３１０は、後に説明するユーザインタフェースを介してユーザにより撮像条件が指定され又は設定情報が編集された場合に、指定された撮像条件を表す撮像条件情報又は編集された設定情報をスキャナ１００－１に送信する。
　（入力部３２０）
　入力部３２０は、ユーザ操作を検出する。当該入力部３２０は、例えば、タッチパネル、キーボード、ボタン及びポインティングデバイスなどの入力デバイスのうち１つ以上を含み得る。
　（制御部３３０）
　制御部３３０は、ビューア３００全体を制御する。制御部３３０は、例えば、取得部３３１及び表示制御部３３３を含む。
　（取得部３３１）
　取得部３３１は、通信部３１０を介して、ユーザに呈示されるべき貼り合せ画像及び当該貼り合せ画像が生成された際の撮像条件情報を取得する。取得部３３１は、例えば、ユーザからの指示に応じて、又はスキャナ１００－１で貼り合せ画像が生成される度に、当該貼り合せ画像及び撮像条件情報を取得する。
　また、取得部３３１は、通信部３１０を介して、現時点のスキャナ１００－１の撮像条件を表す撮像条件情報を取得する。取得部３３１は、例えば、ユーザからの指示に応じて、当該撮像条件情報を取得する。
　また、取得部３３１は、所定の条件下で、通信部３１０を介して、設定情報を取得してもよい。例えば、撮像開始前にユーザにより設定情報のユーザへの呈示が指示された場合、又はユーザに呈示すべき設定情報が生成された場合に、取得部３３１は、設定情報を取得してもよい。
　（表示制御部３３３）
　表示制御部３３３は、貼り合せ画像を表示部３４０の表示面に表示させる。例えば、表示制御部３３３は、ユーザからの指示に応じて、又は貼り合せ画像が生成される度に、貼り合せ画像を上記表示面に表示させる。また、ユーザが貼り合せ画像の閲覧時に再撮像を要する失敗を発見した場合に、ユーザが撮像条件を再検討できるように、表示制御部３３３は、例えば、当該貼り合せ画像が生成された際の撮像条件情報を表示部３４０の表示面に表示させる。
　また、ユーザが撮像条件を自由に指定することができるように、表示制御部３３３は、例えば、スキャナ１００－１の撮像条件をユーザ操作により指定可能とするためのユーザインターフェースを提供する。例えば、表示制御部３３３は、ユーザからの指示に応じて、現時点のスキャナ１００－１の撮像条件をユーザに呈示する。また、ユーザが、入力部３２０へのユーザ操作により撮像条件を指定すると、表示制御部３３３は、指定された撮像条件を表す撮像条件情報を通信部３１０を介してスキャナ１００－１へ送信する。
　また、表示制御部３３３は、取得した設定情報を表示部３４０の表示面に表示させてもよい。本実施形態では、基本的には、スキャナ１００－１において、再撮像を要する失敗が自動的に検出され、再撮像も自動的に行われる。ただし、撮像開始前にユーザにより設定情報のユーザへの呈示が指示された場合、又はユーザに呈示すべき設定情報が生成された場合等には、再撮像のための設定情報が表示されてもよい。
　一例として、表示制御部３３３は、設定情報を、再撮像が実行される前にユーザに呈示してもよい。そして、表示制御部３３３は、設定情報を、再撮像が実行される前にユーザにより編集可能としてもよい。このように設定情報が編集可能であれば、ユーザは、設定情報が適切でないと判断する場合に、設定情報を編集し、より適切な再撮像を行わせることが可能になる。
　（表示部３４０）
　表示部３４０は、表示面を有するディスプレイである。表示部３４０は、例えば、制御部３３０による制御に応じて、貼り合せ画像、撮像条件情報、又は設定情報等を表示面に表示する。
　＜２．４．処理の流れ＞
　次に、図９～図１１を参照して、第１の実施形態に係る撮像制御処理の例について説明する。
　（撮像制御処理）
　図９は、第１の実施形態に係る撮像制御処理の概略的な流れの一例を示すフローチャートである。
　まず、ステップＳ４０１～ステップＳ４０５は、撮像全体に関する処理である。ステップＳ４０１では、スキャナ１００－１の撮像制御部１１０は、撮像領域を決定し、決定した当該撮像領域をデジタル顕微鏡１２０に設定する。次に、ステップＳ４０３では、撮像制御部１１０は、設定された撮像領域に含まれる各個別領域を映す個別画像の撮像順を決定し、決定した当該撮像順をデジタル顕微鏡１２０に設定する。次に、ステップＳ４０５で、撮像制御部１１０は、例えばホワイトバランス、照明の明るさのような、その他の全体の撮像条件を決定し、決定した当該撮像条件をデジタル顕微鏡１２０に設定する。
　次に、ステップＳ４０７～ステップＳ４１５は、個別画像毎に繰り返される処理である。
　ステップＳ４０７で、撮像制御部１１０は、例えばフォーカス位置のような、各個別画像の撮像のための個別の撮像条件を決定し、決定した当該撮像条件をデジタル顕微鏡１２０に設定する。次に、ステップＳ４０９で、デジタル顕微鏡１２０は、設定された撮像順序に従って個別画像を撮像する。そして、ステップＳ４１１で、貼り合せ部１３０は、撮像された個別画像と隣接する個別画像との貼り合せを行う。そして、ステップＳ５００で、失敗検出部１４０は、撮像された個別画像に関する個別画像評価処理を実行する。
　また、ステップＳ４１３で、失敗検出部１４０は、個別画像評価処理において再撮像を要する失敗を検出したか否かを判定する。当該失敗が検出されていれば、処理はステップＳ４１７へ進む。そうでなければ、処理はＳ４１５へ進む。
　ステップＳ４１５で、撮像制御部１１０は、撮像領域に含まれる全ての個別領域について個別画像の撮像を完了したかを判定する。撮像が完了した場合には、処理は終了する。そうでなければ、処理は、ステップＳ４０７へ戻る。
　また、ステップＳ４１７で、設定情報生成部１５０は、再撮像の際の撮像条件を設定するための設定情報を生成する。そして、ステップＳ４１９で、撮像制御部１１０は、部分的な再撮像又は全体的な再撮像のいずれを行うかを判定する。全体的な再撮像が望ましい場合には、処理はステップＳ４０１へ戻る。そうでなければ、処理はステップＳ４０７へ戻る。なお、処理がステップＳ４０１へ戻った場合に、ステップＳ４０１～ステップＳ４０７で、撮像制御部１１０は、生成された設定情報に基づいて、全体の撮像条件及び個別の撮像条件を設定する。また、処理がステップＳ４０７へ戻った場合に、ステップＳ４０７で、撮像制御部１１０は、生成された設定情報に基づいて、個別の撮像条件を設定する。
　（個別画像評価処理５００）
　次に、個別画像評処理５００の例について説明する。個別画像評価処理５００は、再撮像を要する失敗の種類毎に実行される。即ち、５つの種類の失敗を検出する場合には、５つの個別画像評価処理５００が実行される。ここでは、とりわけ、撮像漏れに関する個別画像評価処理５００ａ及び貼り合せ失敗に関する個別画像評価処理５００ｂについて説明する。
　図１０は、撮像漏れに関する個別画像評価処理５００ａの流れの一例を示すフローチャートである。当該個別画像評価処理５００ａでは、個別画像におけるテクスチャの存在方向が評価される。
　まず、ステップＳ５１０で、失敗検出部１４０は、個別画像が撮像領域２０の周縁部分に位置する領域の個別画像（即ち、貼り合せ画像の周縁部分を構成する個別画像）であるかを判定する。個別画像が撮像領域２０の周縁部分に位置する領域の個別画像であれば、処理はステップＳ５２０へ進む。そうでなければ、処理は終了する。
　ステップＳ５２０で、失敗検出部１４０は、個別画像のはみ出し部分（即ち、個別画像のうちの、貼り合せ画像からはみ出す部分）のエッジを検出し、検出されたエッジの量を算出する。
　そして、ステップＳ５３０で、失敗検出部１４０は、算出されたエッジの量が閾値を超えるか否かを判定する。即ち、失敗検出部１４０は、個別画像のうちのはみ出し部分にテクスチャがあるかを判定する。エッジの量が閾値を超えれば、処理はステップＳ５４０へ進む。そうでなければ、処理は終了する。
　ステップＳ５４０で、失敗検出部１４０は、再撮像を要する失敗として、貼り合せ画像に含まれるべき領域の撮像漏れを検出する。そして、処理は終了する。
　次に、図１１は、貼り合せ失敗に関する個別画像評価処理５００ｂの流れの一例を示すフローチャートである。当該個別画像評価処理５００ｂでは、貼り合せ画像が生成される際の重なり部分の輝度値が評価される。
　まず、ステップＳ５５０で、失敗検出部１４０は、互いに隣接する個別画像の重なり部分の間の輝度値の差（即ち、重なり部分の対応する画素の間の輝度値の差分の絶対値の合計値）を算出する。
　そして、ステップＳ５６０で、失敗検出部１４０は、上記重なり部分の間の輝度値の差が所定の閾値を超えるかを判定する。当該差が所定の閾値を超えれば、処理はステップＳ５７０へ進む。そうでなければ、処理は終了する。
　ステップＳ５７０で、失敗検出部１４０は、再撮像を要する失敗として、貼り合せ画像を生成する際の貼り合せ失敗を検出する。そして、処理は終了する。
　以上、第１の実施形態について説明したが、当該第１の実施形態によれば、スキャナ１００において、再撮像を要する失敗が自動的に検出され、失敗に応じて生成された設定情報に基づいて再撮像の際の撮像条件が自動的に設定される。そのため、ユーザは、従来のように、画面上での画像の確認、及び再度の失敗を回避するための撮像条件の再設定等の作業を行わなくてもよい。よって、より少ない手間及び時間で再撮像を行うことが可能になる。さらに、第１の実施形態では、失敗が検出された後、即座に再撮像を行うことが可能になる。即ち、再撮像のために、デジタル顕微鏡１２０にサンプルを再投入する作業、又は再設定する必要のない項目についての設定の変更が不要となる。従って、この場合、再撮像に要する手間はほぼ無くなり、再撮像に要する時間も極めて少なくなる。
　＜３．第２の実施形態＞
　続いて、本開示の第２の実施形態を説明する。本開示の第２の実施形態によれば、サーバ２００－２において、再撮像を要する失敗が自動的に検出される。そして、サーバ２００－２は、当該失敗の検出に応じて、スキャナ１００－２にサンプルの再撮像を促す。なお、第２の実施形態におけるビューア３００の構成は、第１の実施形態におけるビューア３００の構成と同じであってよい。
　＜３．１．スキャナの構成＞
　まず、図１２を参照して、第２の実施形態に係るスキャナ１００－２の構成の一例について説明する。図１２は、第２の実施形態に係るスキャナ１００－２の構成の一例を示すブロック図である。図１２を参照すると、スキャナ１００－２は、撮像制御部１１１、デジタル顕微鏡１２１、貼り合せ部１３１及び通信部１６０を備える。
　（撮像制御部１１１）
　撮像制御部１１１は、デジタル顕微鏡１２１を用いた撮像を制御する。例えば、撮像制御部１１１は、ユーザにより指定され、又は自動的に決定される撮像条件をデジタル顕微鏡１２１に設定し、当該撮像条件に従ってデジタル顕微鏡１２１にサンプルの画像を撮像させる。撮像制御部１１１は、第１の実施形態に係る撮像制御部１１０と同様、例えば、サンプル全体の撮像条件として、撮像領域、撮像順、照明の明るさ及びホワイトバランスの係数等を設定する。また、撮像制御部１１１は、例えば、個別領域ごとの撮像条件として、フォーカス位置を設定する。
　また、本実施形態において、サーバ２００－２により生成される設定情報が通信部１６０により受信されると、撮像制御部１１１は、当該設定情報に基づいて、上記撮像条件の少なくとも一部をデジタル顕微鏡１２１に再設定する。そして、撮像制御部１１１は、再設定された撮像条件に従って、デジタル顕微鏡１２１にサンプルの画像を再撮像させる。
　撮像制御部１１０は、設定し又は再設定した撮像条件を表す撮像条件情報を通信部１６０に出力する。
　（デジタル顕微鏡１２１）
　デジタル顕微鏡１２１は、撮像制御部１１１により設定された撮像条件に従って画像を撮像する。例えば、デジタル顕微鏡１２１は、第１の実施形態に係るデジタル顕微鏡１２０と同様、設定された撮影順に従って、設定された撮像領域内の各個別領域を映す個別画像を撮像する。そして、デジタル顕微鏡１２１は、撮像された個別画像を貼り合せ部１３１に出力する。
　（貼り合せ部１３１）
　貼り合せ部１３１は、第１の実施形態に係る貼り合せ部１３０と同様、デジタル顕微鏡１２１により撮像された個別画像を貼り合せることにより、貼り合せ画像を生成する。そして、貼り合せ部１３１は、生成した貼り合せ画像を通信部１６０に出力する。
　＜３．２．サーバの構成＞
　次に、図１３を参照して、第２の実施形態に係るサーバ２００－２の構成の一例について説明する。図１３は、第２の実施形態に係るサーバ２００－２の構成の一例を示すブロック図である。図１３を参照すると、サーバ２００－２は、通信部２１０、記憶部２２０、制御部２３０、失敗検出部２４０及び設定情報生成部２５０を備える。
　（失敗検出部２４０）
　失敗検出部２４０は、通信部２１０を介してスキャナ１００－２から受信される貼り合せ画像（又はその部分画像）を評価することにより、再撮像を要する失敗を検出する。失敗検出部２４０により検出される失敗の種類は、第１の実施形態に係るスキャナ１００－１の失敗検出部１４０により検出され得る失敗の種類と同様であってよい。即ち、失敗検出部２４０は、例えば、貼り合せ画像に関連する失敗として、上述した撮像漏れ及び貼り合せ失敗を検出し得る。また、失敗検出部２４０は、その他の失敗として、上述したフォーカス位置の不具合、ホワイトバランスの不具合及び明るさの不具合を検出し得る。
　なお、失敗検出部２４０は、撮像漏れを検出する場合には、貼り合せ画像にはみ出し部分が含まれないため、貼り合せ画像又は部分画像におけるテクスチャの存在方向を評価するにあたって、図５Ｂに示される周縁部分３５を用いる。また、失敗検出部２４０は、貼り合せ失敗を検出する場合には、互いに隣接する個別画像の２つの重なり部分が既に失われているため、図６に示されるように貼り合せ画像に含まれるエッジの方向を評価する。
　失敗検出部２４０は、検出した失敗に関する情報を設定情報生成部２５０に出力する。
　（設定情報生成部２５０）
　設定情報生成部２５０は、失敗検出部２４０により失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する。設定情報生成部２５０は、設定情報生成部１５０と同様に、撮像漏れ、貼り合せ失敗、フォーカス位置の不具合、ホワイトバランスの不具合及び明るさの不具合等の、再撮像を要する失敗が検出された場合に、各種設定情報を生成する。
　設定情報生成部２５０は、設定情報を生成した場合には、通信部２１０を介して、スキャナ１００－２に設定情報及び再撮像を促すための再撮像要求を送信する。再撮像要求は、一旦ビューア３００に送信され、ビューア３００においてユーザからの再撮像の指示が入力された後にスキャナ１００－２へ転送されてもよい。
　＜３．３．処理の流れ＞
　次に、図１４～図１７を参照して、第２の実施形態に係る撮像制御処理の例について説明する。
　（サーバ２００－２側での撮像制御処理）
　まず、撮像制御処理のうち、サーバ２００－２側で行われる処理の例について説明する。図１４は、第２の実施形態に係るサーバ２００－２側での撮像制御処理の概略的な流れの一例を示すフローチャートである。
　まず、ステップＳ６０１で、サーバ２００－２の失敗検出部２４０は、記憶部２２０から貼り合せ画像を読み込む。例えば、失敗検出部２４０は、未評価の貼り合せ画像を自動的に選択することにより、又はユーザからの指示に応じて、記憶部２２０から貼り合せ画像を選択し、読み込む。次に、ステップＳ７００で、失敗検出部２４０は、貼り合せ画像評価処理を実行する。そして、ステップＳ６０３で、失敗検出部２４０は、再撮像を要する失敗を検出したかを判定する。当該失敗が検出されていれば、処理はステップＳ６０５へ進む。そうでなければ処理は終了する。
　ステップＳ６０５で、設定情報生成部２５０は、再撮像の際の撮像条件を設定するための設定情報を生成する。次に、ステップＳ６０７で、設定情報生成部２５０は、生成した設定情報を記憶部２２０に記憶させる。そして、ステップＳ６０９で、設定情報生成部２５０は、通信部２１０を介して、スキャナ１００－２又はビューア３００に設定情報及び再撮像要求を送信する。そして、処理は終了する。
　（貼り合せ画像評価処理７００）
　次に、貼り合せ画像評処理７００の例について説明する。貼り合せ画像評処理７００は、再撮像を要する失敗の種類毎に実行される。即ち、５つの種類の失敗を検出する場合には、５つの貼り合せ画像評処理７００が実行される。ここでは、とりわけ、撮像漏れに関する貼り合せ画像評処理７００ａ及び貼り合せ失敗に関する貼り合せ画像評処理７００ｂについて説明する。
　図１５は、撮像漏れに関する貼り合せ画像評価処理７００ａの流れの一例を示すフローチャートである。当該貼り合せ画像評価処理７００ａでは、貼り合せ画像におけるテクスチャの存在方向が評価される。
　まず、ステップＳ７１０で、失敗検出部２４０は、貼り合せ画像の周縁部分のエッジを検出し、検出されたエッジの量を算出する。失敗検出部２４０は、例えば、貼り合せ画像を構成する個別画像（即ち部分画像）ごとにエッジの量を算出する。
　そして、ステップＳ７２０で、失敗検出部２４０は、算出されたエッジの量が閾値を超えるか否かを判定する。即ち、失敗検出部２４０は、貼り合せ画像のうちの周縁部分にテクスチャがあるかを判定する。失敗検出部２４０は、例えば、貼り合せ画像を構成する個別画像（即ち部分画像）ごとに判定を行う。エッジの量が閾値を超えれば、処理はステップＳ７３０へ進む。そうでなければ、処理は終了する。
　ステップＳ７３０で、失敗検出部２４０は、再撮像を要する失敗として、貼り合せ画像に含まれるべき領域の撮像漏れを検出する。そして、処理は終了する。
　次に、図１６は、貼り合せ失敗に関する貼り合せ画像評価処理７００ｂの流れの一例を示すフローチャートである。当該貼り合せ画像評価処理７００ａでは、所定方向のエッジが評価される。
　まず、ステップＳ７４０で、失敗検出部２４０は、貼り合せ画像に含まれる所定の方向のエッジを検出し、検出されたエッジの長さ又は強さを算出する。
　そして、ステップＳ７５０で、失敗検出部２４０は、所定の長さ又は所定の強さ以上の所定方向のエッジがあるかを判定する。所定の長さ又は所定の強さ以上の所定の方向のエッジがある場合に、処理はステップＳ７６０へ進む。そうでなければ、処理は終了する。
　ステップＳ７６０で、失敗検出部２４０は、再撮像を要する失敗として、貼り合せ画像を生成する際の貼り合せ失敗を検出する。そして、処理は終了する。
　（スキャナ１００－２側での撮像制御処理）
　次に、撮像制御処理のうち、スキャナ１００－２側で行われる処理の例について説明する。図１７は、第２の実施形態に係るスキャナ１００－２側での撮像制御処理の概略的な流れの一例を示すフローチャートである。
　まず、ステップＳ８０１～ステップＳ８０７は、撮像全体に関する処理である。ステップＳ８０１で、スキャナ１００－２の通信部１６０は、サーバ２００－２から設定情報を受信する。次に、ステップＳ８０３で、撮像制御部１１１は、設定情報に基づいて、撮像領域を決定し、決定した撮像領域をデジタル顕微鏡１２１に設定する。また、ステップＳ８０５で、撮像制御部１１１は、設定情報に基づいて、設定された撮像領域に含まれる各個別領域を映す個別画像の撮像順を決定し、決定した撮像順をデジタル顕微鏡１２１に設定する。また、ステップＳ８０７で、撮像制御部１１１は、設定情報に基づいて、例えばホワイトバランス、照明の明るさのような、その他の全体の撮像条件を決定し、決定した撮像条件をデジタル顕微鏡１２１に設定する。
　次に、ステップＳ８０９～ステップＳ８１５は、個別画像毎に繰り返される処理である。
　ステップＳ８０９で、撮像制御部１１１は、設定情報に基づいて、例えばフォーカス位置のような、各個別画像の撮像のための個別の撮像条件を決定し、決定した撮像条件をデジタル顕微鏡１２１に設定する。次に、ステップＳ８１１で、デジタル顕微鏡１２１は、設定された撮像順序に従って個別画像を撮像する。そして、ステップＳ８１３で、貼り合せ部１３１は、撮像された個別画像と隣接する個別画像との貼り合せを行う。
　ステップＳ８１５で、撮像制御部１１１は、撮像領域に含まれる全ての個別領域について個別画像の撮像を完了したかを判定する。撮像が完了した場合には、処理はステップＳ８１７へ進む。そうでなければ、処理は、ステップＳ８０９へ戻る。
　ステップＳ８１７で、通信部１６０は、貼り合せ画像をサーバ２００－２及びビューア３００に送信する。そして、処理は終了する。
　以上、第２の実施形態について説明したが、当該第２の実施形態によれば、サーバ２００において、再撮像を要する失敗が自動的に検出され、当該失敗に応じた再撮像の実行をスキャナ１００－２に促す。そのため、ユーザは、従来のように、画面上での画像の確認、及び再度の失敗を回避するための撮像条件の再設定等の作業を行わなくてもよい。よって、より少ない手間及び時間で再撮像を行うことが可能になる。さらに、第２の実施形態では、個々のスキャナに失敗の検出及び設定情報の生成の機能がなくても、サーバに貼り合せ画像を記憶することにより、失敗の検出及び設定情報の生成を行うことが可能になる。また、スキャナでの撮像時間を短縮しつつ、必要に応じて事後的に失敗の検出及び設定情報の生成を行うことが可能になる。
　＜４.まとめ＞
　ここまで、図１～１７を用いて、本開示に係るデジタル顕微鏡システムの２つの実施形態について説明した。これら実施形態によれば、デジタル顕微鏡を用いて撮像される画像を評価することにより、再撮像を要する失敗が検出される。そして、当該失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報が生成される。即ち、再撮像を要する失敗が自動的に検出され、失敗に応じて生成された設定情報に基づいて再撮像の際の撮像条件が自動的に設定される。そのため、ユーザは、従来のように、画面上での画像の確認、及び再度の失敗を回避するための撮像条件の再設定等の作業を行わなくてもよい。よって、より少ない手間及び時間で再撮像を行うことが可能になる。
　また、再撮像を要する失敗として、貼り合せ画像に関連する失敗が検出される。このような失敗の検出により、撮像漏れや貼り合せ失敗のようなデジタル顕微鏡システムに特有の失敗が発生しても、再撮像が自動的に行われる。その結果、デジタル顕微鏡システムでの再撮像の手間及び時間をより少なくすることができる。
　また、撮像漏れが検出された場合に、設定情報として撮像領域情報が生成される。当該撮像領域情報により、撮像漏れの領域を含むように撮像領域を設定することが可能になる。その結果、再撮像の際に同様の撮像漏れを回避することができる。また、当該撮像領域情報と併せて、設定情報として撮像順情報が生成される。当該撮像順情報により、再撮像の際に貼り合せ失敗を回避することも可能になる。
　また、貼り合せ失敗が検出された場合に、設定情報として撮像順情報が生成される。当該撮像順情報により、別の撮像順で再撮像を行うことによって、貼り合せ失敗が発生する可能性をより低くすることができる。
　また、再撮像の際には、検出される失敗の種類に応じて、部分的な再撮像又は全体的な再撮像のいずれを行うかが判定される。このように、再撮像の範囲を失敗の種類に応じて判定することにより、必要十分な範囲での再撮像を行うことができる。即ち、再撮像での再度の失敗を回避しつつ、より効率的に再撮像を行うことが可能になる。
　また、失敗の検出及び設定情報の生成は、例えばスキャナ側で行われる。この場合に、例えば、複数の個別画像の各々が撮像される都度、再撮像を要する失敗の検出のために各画像が評価される。このような評価により、撮像後に失敗を検出できるので、即座に再撮像を行うことが可能になる。それにより、再撮像のために、プレパラートのような撮像対象を都度配置し直す必要はなくなるので、再撮像に要する手間及び時間を少なくすることができる。
　また、失敗の検出及び設定情報の生成は、例えばサーバ側で行われる。この場合に、例えば、サーバに蓄積された貼り合せ画像を用いて、失敗の検出及び設定情報の生成が行われる。これにより、個々のスキャナに失敗の検出及び設定情報の生成の機能がなくても、当該サーバに貼り合せ画像を記憶することにより、失敗の検出及び設定情報の生成を行うことが可能になる。また、スキャナでの撮像時間を短縮しつつ、必要に応じて事後的に失敗の検出及び設定情報の生成を行うことが可能になる。
　以上、添付図面を参照しながら本開示の好適な実施形態について説明したが、本開示は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
　例えば、デジタル顕微鏡は、スキャナにより備えられなくてもよく、スキャナとは別の装置であってもよい。この場合に、デジタル顕微鏡はスキャナに接続される。また、スキャナ、サーバ及びビューアのうちの２つ以上の装置が、同一の装置であってもよい。
　また、本明細書の撮像制御処理における処理ステップは、必ずしもフローチャートに記載された順序に沿って時系列に実行されなくてよい。例えば、撮像制御処理における処理ステップは、フローチャートとして記載した順序と異なる順序で実行されても、並列的に実行されてもよい。
　また、スキャナ、サーバ又はビューアに内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭ等のハードウェアに、上記スキャナ、サーバ又はビューアの各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた記憶媒体も提供される。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部と、
　前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と
を備える情報処理装置。
（２）
　前記検出部は、前記失敗として、複数の画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出する、前記（１）に記載の情報処理装置。
（３）
　前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像に含まれるべき領域の撮像漏れを含む、前記（２）に記載の情報処理装置。
（４）
　前記検出部は、前記画像におけるテクスチャの存在方向を評価することにより、前記撮像漏れを検出する、前記（３）に記載の情報処理装置。
（５）
　前記生成部は、前記検出部により前記撮像漏れが検出された場合に、新たに撮像されるべき追加領域を含むように撮像領域を再設定するための撮像領域情報を生成する、前記（２）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記生成部は、撮像領域が再設定される場合に、前記画像の撮像順を再設定するための撮像順情報をさらに生成する、前記（５）に記載の情報処理装置。
（７）
　前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、前記（２）に記載の情報処理装置。
（８）
　前記検出部は、前記貼り合せ画像に含まれる所定の方向のエッジを評価することにより、前記貼り合せ失敗を検出する、前記（７）に記載の情報処理装置。
（９）
　前記検出部は、前記貼り合せ画像が生成される際の重なり部分の輝度値を評価することにより、前記貼り合せ失敗を検出する、前記（７）に記載の情報処理装置。
（１０）
　前記生成部は、前記検出部により前記貼り合せ失敗が検出された場合に、前記画像の撮像順を再設定するための撮像順情報を生成する、前記（７）～（９）のいずれか１項に記載の情報処理装置。
（１１）
　前記検出部は、前記失敗として、フォーカス位置、ホワイトバランス又は明るさの不具合をさらに検出する、前記（２）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　前記情報処理装置は、前記検出部により検出される前記失敗の種類に応じて、前記デジタル顕微鏡に個々の画像を再撮像させるか複数の画像の全体を再撮像させるかを判定する撮像制御部、をさらに備える、前記（２）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
　前記検出部は、前記複数の画像の各々が撮像される都度、前記失敗の検出のために各画像を評価する、前記（２）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
　前記検出部は、前記貼り合せ画像が生成された後に、前記貼り合せ画像又は前記貼り合せ画像の部分画像を評価する、前記（２）～（１２）のいずれか１項に記載の情報処理装置。
（１５）
　前記情報処理装置は、
　前記生成部により生成される前記設定情報を、再撮像が実行される前にユーザに呈示し又はユーザにより編集可能とする表示制御部、
をさらに備える、前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
　デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出することと、
　前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成することと
を含む撮像制御方法。
（１７）
　コンピュータを、
　デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部と、
　前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と
として機能させるためのプログラム。
（１８）
　デジタル顕微鏡と、
　前記デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部、及び
　前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部
を備える情報処理装置と、
　を含むデジタル顕微鏡システム。
（１９）
　デジタル顕微鏡を用いて撮像される画像を評価することにより前記画像に関連する再撮像を要する失敗が検出された場合に生成される、再撮像の際の撮像条件を設定するための設定情報を取得する取得部と、
　前記取得部により取得される前記設定情報を表示面に表示させる表示制御部と、
を備える表示制御装置。
（２０）
　デジタル顕微鏡を用いて撮像される複数の画像を貼り合せることで生成される貼り合せ画像に関連する失敗を、画像を評価することにより検出する検出部と、
　前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と
を備える情報処理装置。
　１　　　　　　　　デジタル顕微鏡システム
　１０　　　　　　　生体サンプル
　２０　　　　　　　撮像領域
　２１　　　　　　　個別領域
　３０　　　　　　　個別画像
　３３　　　　　　　重なり部分
　３５　　　　　　　周縁部分
　３７　　　　　　　はみ出し部分
　４０　　　　　　　貼り合せ画像
　１００　　　　　　スキャナ
　１１０、１１１　　撮像制御部
　１２０、１２１　　デジタル顕微鏡
　１３０、１３１　　貼り合せ部
　１４０　　　　　　失敗検出部
　１５０　　　　　　設定情報生成部
　１６０　　　　　　通信部
　２００　　　　　　サーバ
　２１０　　　　　　通信部
　２２０　　　　　　記憶部
　２３０　　　　　　制御部
　２４０　　　　　　失敗検出部
　２５０　　　　　　設定情報生成部
　３００　　　　　　ビューア
　３１０　　　　　　通信部
　３２０　　　　　　入力部
　３３０　　　　　　制御部
　３３１　　　　　　取得部
　３３３　　　　　　表示制御部
　３４０　　　　　　表示部
 

Claims (20)

  1. 　デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部と、
    　前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、
    を備える情報処理装置。
  2. 　前記検出部は、前記失敗として、複数の画像を貼り合せることにより生成される貼り合せ画像に関連する失敗を検出する、請求項１に記載の情報処理装置。
  3. 　前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像に含まれるべき領域の撮像漏れを含む、請求項２に記載の情報処理装置。
  4. 　前記検出部は、前記画像におけるテクスチャの存在方向を評価することにより、前記撮像漏れを検出する、請求項３に記載の情報処理装置。
  5. 　前記生成部は、前記検出部により前記撮像漏れが検出された場合に、新たに撮像されるべき追加領域を含むように撮像領域を再設定するための撮像領域情報を生成する、請求項２に記載の情報処理装置。
  6. 　前記生成部は、撮像領域が再設定される場合に、前記画像の撮像順を再設定するための撮像順情報をさらに生成する、請求項５に記載の情報処理装置。
  7. 　前記貼り合せ画像に関連する前記失敗は、前記貼り合せ画像を生成する際の貼り合せ失敗を含む、請求項２に記載の情報処理装置。
  8. 　前記検出部は、前記貼り合せ画像に含まれる所定の方向のエッジを評価することにより、前記貼り合せ失敗を検出する、請求項７に記載の情報処理装置。
  9. 　前記検出部は、前記貼り合せ画像が生成される際の重なり部分の輝度値を評価することにより、前記貼り合せ失敗を検出する、請求項７に記載の情報処理装置。
  10. 　前記生成部は、前記検出部により前記貼り合せ失敗が検出された場合に、前記画像の撮像順を再設定するための撮像順情報を生成する、請求項７に記載の情報処理装置。
  11. 　前記検出部は、前記失敗として、フォーカス位置、ホワイトバランス又は明るさの不具合をさらに検出する、請求項２に記載の情報処理装置。
  12. 　前記情報処理装置は、前記検出部により検出される前記失敗の種類に応じて、前記デジタル顕微鏡に個々の画像を再撮像させるか複数の画像の全体を再撮像させるかを判定する撮像制御部、をさらに備える、請求項２に記載の情報処理装置。
  13. 　前記検出部は、前記複数の画像の各々が撮像される都度、前記失敗の検出のために各画像を評価する、請求項２に記載の情報処理装置。
  14. 　前記検出部は、前記貼り合せ画像が生成された後に、前記貼り合せ画像又は前記貼り合せ画像の部分画像を評価する、請求項２に記載の情報処理装置。
  15. 　前記情報処理装置は、
    　前記生成部により生成される前記設定情報を、再撮像が実行される前にユーザに呈示し又はユーザにより編集可能とする表示制御部、
    をさらに備える、請求項１に記載の情報処理装置。
  16. 　デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出することと、
    　前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成することと、
    を含む撮像制御方法。
  17. 　コンピュータを、
    　デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部と、
    　前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、
    として機能させるためのプログラム。
  18. 　デジタル顕微鏡と、
    　前記デジタル顕微鏡を用いて撮像される画像を評価することにより、前記画像に関連する再撮像を要する失敗を検出する検出部、及び
    　前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部
    　を備える情報処理装置と、
    を含むデジタル顕微鏡システム。
  19. 　デジタル顕微鏡を用いて撮像される画像を評価することにより前記画像に関連する再撮像を要する失敗が検出された場合に生成される、再撮像の際の撮像条件を設定するための設定情報を取得する取得部と、
    　前記取得部により取得される前記設定情報を表示面に表示させる表示制御部と、
    を備える表示制御装置。
  20. 　デジタル顕微鏡を用いて撮像される複数の画像を貼り合せることで生成される貼り合せ画像に関連する失敗を、画像を評価することにより検出する検出部と、
    　前記検出部により前記失敗が検出された場合に、再撮像の際の撮像条件を設定するための設定情報を生成する生成部と、
    を備える情報処理装置。
     
PCT/JP2012/081801 2012-01-11 2012-12-07 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム WO2013105373A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US14/369,227 US10509218B2 (en) 2012-01-11 2012-12-07 Information processing apparatus, imaging control method, program, digital microscope system, display control apparatus, display control method, and program including detection of a failure requiring reimaging
EP12865325.0A EP2804038B1 (en) 2012-01-11 2012-12-07 Information processing device, imaging control method, program, digital microscope system
JP2013553213A JP6102749B2 (ja) 2012-01-11 2012-12-07 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム
CN201280066139.5A CN104081248A (zh) 2012-01-11 2012-12-07 信息处理装置、成像控制方法、程序、数字显微镜系统、显示控制装置、显示控制方法和程序
US16/690,621 US10983329B2 (en) 2012-01-11 2019-11-21 Information processing apparatus, imaging control method, program, digital microscope system, display control apparatus, display control method, and program including detection of a failure requiring reimaging
US17/212,918 US11422356B2 (en) 2012-01-11 2021-03-25 Information processing apparatus, imaging control method, program, digital microscope system, display control apparatus, display control method, and program including detection of a failure requiring reimaging

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012003214 2012-01-11
JP2012-003214 2012-01-11

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/369,227 A-371-Of-International US10509218B2 (en) 2012-01-11 2012-12-07 Information processing apparatus, imaging control method, program, digital microscope system, display control apparatus, display control method, and program including detection of a failure requiring reimaging
US16/690,621 Continuation US10983329B2 (en) 2012-01-11 2019-11-21 Information processing apparatus, imaging control method, program, digital microscope system, display control apparatus, display control method, and program including detection of a failure requiring reimaging

Publications (1)

Publication Number Publication Date
WO2013105373A1 true WO2013105373A1 (ja) 2013-07-18

Family

ID=48781333

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/081801 WO2013105373A1 (ja) 2012-01-11 2012-12-07 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム

Country Status (5)

Country Link
US (3) US10509218B2 (ja)
EP (1) EP2804038B1 (ja)
JP (1) JP6102749B2 (ja)
CN (1) CN104081248A (ja)
WO (1) WO2013105373A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126242A (ja) * 2015-01-07 2016-07-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2016177037A (ja) * 2015-03-19 2016-10-06 株式会社ニコン 観察装置、観察方法、及びプログラム
JP2017005555A (ja) * 2015-06-12 2017-01-05 リコーイメージング株式会社 撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラム
JP2017009718A (ja) * 2015-06-19 2017-01-12 株式会社島津製作所 顕微鏡
JP2017102405A (ja) * 2015-12-04 2017-06-08 オリンパス株式会社 顕微鏡、画像貼り合わせ方法、プログラム
WO2019065050A1 (ja) * 2017-09-27 2019-04-04 富士フイルム株式会社 観察装置、観察方法および観察プログラム
JP2021036213A (ja) * 2019-08-30 2021-03-04 富士通株式会社 撮影漏れ検出装置、及び、撮影漏れ検出方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5557091B2 (ja) * 2010-03-30 2014-07-23 日本電気株式会社 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
JP6102749B2 (ja) * 2012-01-11 2017-03-29 ソニー株式会社 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム
DE102016110988A1 (de) * 2016-06-15 2017-12-21 Sensovation Ag Verfahren zum digitalen Aufnehmen einer Probe durch ein Mikroskop
JP6887910B2 (ja) * 2017-08-01 2021-06-16 株式会社東芝 画像処理装置
US10861156B2 (en) * 2018-02-28 2020-12-08 Case Western Reserve University Quality control for digital pathology slides
US10641659B2 (en) * 2018-08-14 2020-05-05 Shimadzu Corporation Infrared microscope with adjustable connection optical system
JP2021135981A (ja) * 2020-02-28 2021-09-13 京セラドキュメントソリューションズ株式会社 データ連携システムおよび処理監視システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105000A1 (en) * 2002-11-29 2004-06-03 Olymlpus Corporation Microscopic image capture apparatus
JP2004191959A (ja) * 2002-11-29 2004-07-08 Olympus Corp 顕微鏡画像撮影装置
JP2006317406A (ja) * 2005-05-16 2006-11-24 Olympus Corp 細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置
US20070146483A1 (en) * 2005-12-28 2007-06-28 Moritoshi Ando Injection apparatus and injection method
JP2009134100A (ja) * 2007-11-30 2009-06-18 Sunx Ltd 拡大観察装置
WO2010052929A1 (en) * 2008-11-10 2010-05-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and program recording medium
JP2010230495A (ja) 2009-03-27 2010-10-14 Sony Corp 観察装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369304B2 (en) 1999-10-29 2008-05-06 Cytyc Corporation Cytological autofocusing imaging systems and methods
AU2003228482A1 (en) * 2002-04-10 2003-10-27 Kendro Laboratoryb Products, Lp Automated protein crystallization imaging
US7746404B2 (en) * 2003-11-10 2010-06-29 Hewlett-Packard Development Company, L.P. Digital camera with panoramic image capture
US7792338B2 (en) * 2004-08-16 2010-09-07 Olympus America Inc. Method and apparatus of mechanical stage positioning in virtual microscopy image capture
US7877213B2 (en) * 2004-09-23 2011-01-25 Agilent Technologies, Inc. System and methods for automated processing of multiple chemical arrays
US7336847B2 (en) * 2004-10-11 2008-02-26 Benq Corporation Texture error recovery method using edge preserving spatial interpolation
US20060159367A1 (en) * 2005-01-18 2006-07-20 Trestle Corporation System and method for creating variable quality images of a slide
DE102005017642B4 (de) * 2005-04-15 2010-04-08 Vistec Semiconductor Systems Jena Gmbh Verfahren zur Inspektion eines Wafers
US20060256397A1 (en) * 2005-05-12 2006-11-16 Lexmark International, Inc. Method and system for combining images
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
US8396269B2 (en) * 2010-04-08 2013-03-12 Digital Pathco LLC Image quality assessment including comparison of overlapped margins
JP5887766B2 (ja) 2011-08-31 2016-03-16 株式会社ニコン 顕微鏡制御装置、画像処理装置、顕微鏡装置およびプログラム
JP6102749B2 (ja) 2012-01-11 2017-03-29 ソニー株式会社 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191959A (ja) * 2002-11-29 2004-07-08 Olympus Corp 顕微鏡画像撮影装置
US20040105000A1 (en) * 2002-11-29 2004-06-03 Olymlpus Corporation Microscopic image capture apparatus
JP2006317406A (ja) * 2005-05-16 2006-11-24 Olympus Corp 細胞画像撮像装置、細胞画像撮像方法、細胞画像撮像プログラム、及び細胞観察装置
DE602006010018D1 (de) * 2005-12-28 2009-12-10 Fujitsu Ltd Injektionsvorrichtung sowie Injektionsmethode
US20070146483A1 (en) * 2005-12-28 2007-06-28 Moritoshi Ando Injection apparatus and injection method
EP1803806A2 (en) * 2005-12-28 2007-07-04 Fujitsu Limited Injection apparatus and injection method
JP2007175026A (ja) * 2005-12-28 2007-07-12 Fujitsu Ltd インジェクション装置およびインジェクション方法
JP2009134100A (ja) * 2007-11-30 2009-06-18 Sunx Ltd 拡大観察装置
WO2010052929A1 (en) * 2008-11-10 2010-05-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and program recording medium
JP2010110556A (ja) * 2008-11-10 2010-05-20 Canon Inc 画像処理装置、画象処理方法、プログラム、及びプログラム記憶媒体
KR20110091739A (ko) * 2008-11-10 2011-08-12 캐논 가부시끼가이샤 화상 처리 장치, 화상 처리 방법, 단층상 촬상 장치 및 프로그램 기억 매체
EP2355689A1 (en) * 2008-11-10 2011-08-17 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and program recording medium
CN102209488A (zh) * 2008-11-10 2011-10-05 佳能株式会社 图像处理设备、图像处理方法、程序和程序记录介质
JP2010230495A (ja) 2009-03-27 2010-10-14 Sony Corp 観察装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2804038A4

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126242A (ja) * 2015-01-07 2016-07-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2016177037A (ja) * 2015-03-19 2016-10-06 株式会社ニコン 観察装置、観察方法、及びプログラム
JP2017005555A (ja) * 2015-06-12 2017-01-05 リコーイメージング株式会社 撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラム
JP2017009718A (ja) * 2015-06-19 2017-01-12 株式会社島津製作所 顕微鏡
JP2017102405A (ja) * 2015-12-04 2017-06-08 オリンパス株式会社 顕微鏡、画像貼り合わせ方法、プログラム
WO2019065050A1 (ja) * 2017-09-27 2019-04-04 富士フイルム株式会社 観察装置、観察方法および観察プログラム
JPWO2019065050A1 (ja) * 2017-09-27 2020-02-27 富士フイルム株式会社 観察装置、観察方法および観察プログラム
JP2021036213A (ja) * 2019-08-30 2021-03-04 富士通株式会社 撮影漏れ検出装置、及び、撮影漏れ検出方法
JP7263983B2 (ja) 2019-08-30 2023-04-25 富士通株式会社 撮影漏れ検出装置、及び、撮影漏れ検出方法

Also Published As

Publication number Publication date
US10509218B2 (en) 2019-12-17
US11422356B2 (en) 2022-08-23
CN104081248A (zh) 2014-10-01
US10983329B2 (en) 2021-04-20
JPWO2013105373A1 (ja) 2015-05-11
EP2804038A4 (en) 2015-08-12
EP2804038A1 (en) 2014-11-19
US20140362204A1 (en) 2014-12-11
US20210208381A1 (en) 2021-07-08
JP6102749B2 (ja) 2017-03-29
EP2804038B1 (en) 2018-11-14
US20200088986A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
JP6102749B2 (ja) 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム
JP5645051B2 (ja) 画像処理装置
JP5281972B2 (ja) 撮像装置
WO2011099647A1 (ja) 画像処理装置
JP5218177B2 (ja) 画像処理装置および方法
JP5235823B2 (ja) 情報処理装置、情報処理システム、情報処理方法及び当該情報処理方法をコンピュータに実行させるプログラム
US20160247288A1 (en) Image processing device
JP5984493B2 (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
US20080063273A1 (en) Character extracting apparatus, method, and program
JP3824116B2 (ja) 顕微鏡画像遠隔制御システム
US8854448B2 (en) Image processing apparatus, image display system, and image processing method and program
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
JP2011203811A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び複眼デジタルカメラ
WO2011024287A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理方法を実行するためのコンピュータプログラム
JP2013153429A (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
JP5586909B2 (ja) 情報処理装置、システム、方法及びプログラム
JP2013148856A (ja) 撮像装置、表示画面生成装置、撮像システム、及びその制御方法
JP4764169B2 (ja) 撮影レンズ位置制御装置
JP6409460B2 (ja) 画像処理装置、および、コンピュータプログラム
JP6124676B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2006094237A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2023068507A (ja) パラメータ調整支援装置及びパラメータ調整支援方法
JP5733706B2 (ja) 画像処理装置、方法、及びプログラム
JP2010136280A (ja) 画像処理装置、画像処理方法、ソフトウェアと、ソフトウェアを記録する記録媒体
JP2008141229A (ja) レンズ性能評価装置およびレンズ評価性能方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12865325

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14369227

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2013553213

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012865325

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE