WO2021059488A1 - 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム Download PDF

Info

Publication number
WO2021059488A1
WO2021059488A1 PCT/JP2019/038164 JP2019038164W WO2021059488A1 WO 2021059488 A1 WO2021059488 A1 WO 2021059488A1 JP 2019038164 W JP2019038164 W JP 2019038164W WO 2021059488 A1 WO2021059488 A1 WO 2021059488A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
control unit
display image
observation
time
Prior art date
Application number
PCT/JP2019/038164
Other languages
English (en)
French (fr)
Inventor
桃太郎 石川
俊秀 唯木
雄之 阿部
耕磨 林
恭子 根岸
良子 仙洞田
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to PCT/JP2019/038164 priority Critical patent/WO2021059488A1/ja
Priority to EP19947323.2A priority patent/EP4043547A4/en
Priority to US17/764,019 priority patent/US20220398736A1/en
Priority to CN201980100800.1A priority patent/CN114502713A/zh
Priority to JP2021548122A priority patent/JPWO2021059488A1/ja
Publication of WO2021059488A1 publication Critical patent/WO2021059488A1/ja

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48Automatic or computerized control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to an information processing device, an information processing method, an information processing program, and an information processing system.
  • Patent Document 1 discloses a technique for calculating cell density from the area of a colony and the number of cells contained in the colony for which the area of the colony has been calculated, based on an image of the colony of the cell. .. For example, since the amount of analysis results using such a technique becomes enormous due to daily analysis, a technique that allows the user to easily visually recognize the analysis results is required.
  • the acquisition unit that acquires the observation result obtained from the time-lapse image of the object, the analysis result that visually expresses the observation result, and the increase / decrease indicating the time required to increase / decrease the predetermined value of the object.
  • An information processing device includes a control unit that shows the time on the display image, and when the control unit receives the setting of the section in the analysis result, the control unit shows the increase / decrease time corresponding to the set section on the display image. ..
  • the observation result obtained from the time-lapse image of the object is acquired, the analysis result visually expressing the observation result, and the increase / decrease time indicating the time required to increase / decrease the predetermined value for the object.
  • the display image shows the increase / decrease time corresponding to the set section.
  • the computer acquires the observation result obtained from the time-lapse image of the object, the analysis result that visually expresses the observation result, and the time required to increase or decrease the predetermined value of the object.
  • An information processing program for displaying the increase / decrease time to be shown on the display image and displaying the increase / decrease time corresponding to the set section on the display image when the setting of the section in the analysis result is received is provided.
  • an information processing system that outputs a display image to a user terminal by cloud computing, and includes a server, and the server is an acquisition unit that acquires an observation result obtained from a time-lapse image of an object.
  • An image generation unit that generates a display image including an analysis result that visually expresses the observation result and an increase / decrease time that indicates the time required to increase / decrease a predetermined value for the object, and an image generation unit that generates the image via a network.
  • An information processing system including an output unit that outputs the displayed display image to a user terminal, and when the image generation unit receives the setting of the section in the analysis result, the display image shows the increase / decrease time corresponding to the set section. Is provided.
  • the figure which shows the screen example in the group registration which concerns on 1st Embodiment The figure which shows the screen example in the group registration which concerns on 1st Embodiment.
  • the figure which shows the screen example in the group registration which concerns on 1st Embodiment The figure which shows the screen example in the group registration which concerns on 1st Embodiment.
  • the figure which shows the screen example in the group registration which concerns on 1st Embodiment The figure which shows the screen example in the group registration which concerns on 1st Embodiment.
  • the figure which shows the screen example in the group registration which concerns on 1st Embodiment The figure which shows the screen example in the group registration which concerns on 1st Embodiment.
  • the figure which shows the screen example in the group registration which concerns on 1st Embodiment The figure which shows the screen example in the group registration which concerns on 1st Embodiment.
  • the flowchart which shows the example of the processing flow in the information processing apparatus which concerns on 2nd Embodiment.
  • the block diagram which shows the functional structure example of the information processing apparatus which concerns on 3rd Embodiment.
  • FIG. 1 is a diagram showing an overall configuration example of an analysis system including the information processing apparatus according to the first embodiment.
  • the analysis system 1000 includes a culture system BS, an information processing device 100, and a storage device 110.
  • the culture system BS includes a culture device 8 and an observation device 5.
  • the analysis system 1000 is a system for culturing an object (for example, a cell, a sample, a specimen, etc.), observing (imaging) the process of culturing, and analyzing the observation result (eg, captured image).
  • the culture system BS, the information processing device 100, and the storage device 110 are connected via networks such as the Internet, LAN (Local Area Network), and WAN (Wide Area Network). Further, the culture system BS, the information processing device 100, and the storage device 110 may be connected via a network combining the Internet, LAN, WAN, and the like. Such a network is not limited to a network by wired communication, and may include a network by wireless communication. Further, the information processing device 100 may be configured to include the storage device 110. Further, the culture system BS and the storage device 110 may be connected via a network.
  • FIG. 2 is a diagram showing a configuration example of a culture system connected to the information processing apparatus according to the first embodiment.
  • FIG. 3 is a block diagram showing a configuration example of a culture system connected to the information processing apparatus according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of the connection relationship around the control unit of the culture system connected to the information processing apparatus according to the first embodiment.
  • the culture system BS is roughly divided into a culture chamber 2 provided in the upper part of the housing 1, a stocker 3 for accommodating and holding a plurality of culture containers 10, and an observation for observing (imaging) an object in the culture container 10. It has a device 5 and a transport unit (transport device) 4 for transporting the culture container 10.
  • the culture system BS has a control unit (control device) 6 for controlling the operation of the system, and an operation panel 7 including a display device.
  • the culture chamber 2, the stocker 3, the transfer unit 4, and the like correspond to the culture device 8.
  • the culture chamber 2 is a chamber that forms a culture environment for observation objects such as cells in microscopic observation.
  • the culture chamber 2 is provided with a temperature control device 21, a humidifier 22, a gas supply device 23, a circulation fan 24, and an environmental sensor 25.
  • the temperature adjusting device 21 cooperates with the environment sensor 25 to adjust the temperature in the culture chamber 2 to a predetermined set temperature.
  • the humidifier 22 cooperates with the environment sensor 25 to adjust the humidity in the culture chamber 2 to a predetermined set humidity.
  • the gas supply device 23 cooperates with the environment sensor 25 to supply CO 2 gas, N 2 gas, O 2 gas, and the like.
  • the circulation fan 24 is a fan that circulates gas (air) in the culture chamber 2 and adjusts the temperature in cooperation with the environment sensor 25.
  • the environment sensor 25 detects the temperature, humidity, carbon dioxide concentration, nitrogen concentration, oxygen concentration, etc. of the culture chamber 2.
  • the stocker 3 is formed in a shelf shape divided into front and back and upper and lower. For example, a unique address is set for each shelf.
  • the culture container 10 is appropriately selected according to the type and purpose of the object to be cultured.
  • the culture container 10 may be, for example, a well plate, a flask, or a dish type culture container. In this embodiment, a case where a well plate is used will be given as an example.
  • the object is injected into the culture vessel 10 together with the liquid medium (culture solution) and held. For example, a code number is assigned to each of the culture vessels 10.
  • the culture container 10 is housed in association with the designated address of the stocker 3 according to the assigned code number.
  • the transfer unit 4 has a Z stage 41 that can move up and down, a Y stage 42 that can move back and forth, and an X stage 43 that can move left and right, which are provided inside the culture chamber 2.
  • the support arm 45 lifts and supports the culture vessel 10 on the tip end side of the X stage 43.
  • the observation device 5 includes a first lighting unit 51, a second lighting unit 52, a third lighting unit 53, a macro observation system 54, a microscopic observation system 55, and a control unit 6.
  • the first illumination unit 51 illuminates the object from below the sample table 15.
  • the second illumination unit 52 illuminates the object from above the sample table 15 along the optical axis of the microscopic observation system 55.
  • the third illumination unit 53 illuminates the object from below the sample table 15 along the optical axis of the microscopic observation system 55.
  • the macro observation system 54 carries out macro observation of the object.
  • the microscopic observation system 55 carries out microscopic observation of the object.
  • the sample table 15 is provided with a transparent window portion 16 such as glass in the observation region of the microscopic observation system 55.
  • the macro observation system 54 includes an observation optical system 54a and an image pickup device 54c such as a CCD camera that captures an image of an object imaged by the observation optical system 54a.
  • the macro observation system 54 acquires an overall observation image from above of the culture vessel 10 backlit by the first illumination unit 51.
  • the microscopic observation system 55 includes an observation optical system 55a including an objective lens, an intermediate magnification lens, a fluorescence filter, and an imaging device 55c such as a cooled CCD camera that captures an image of an object imaged by the observation optical system 55a. And have.
  • a plurality of objective lenses and intermediate variable magnification lenses may be provided.
  • the objective lens and the intermediate magnification lens can be set to an arbitrary observation magnification by changing the combination of lenses.
  • the microscopic observation system 55 includes a transmission image of the object illuminated by the second illumination unit 52, a reflection image of the object illuminated by the third illumination unit 53, and a fluorescence image of the object illuminated by the third illumination unit 53. To get. That is, the microscopic observation system 55 acquires a microscopic observation image obtained by microscopically observing the object in the culture vessel 10.
  • the control unit 6 processes the signals input from the image pickup device 54c of the macro observation system 54 and the image pickup device 55c of the microscopic observation system 55 to generate an image such as an overall observation image and a microscopic observation image. Further, the control unit 6 performs image analysis on the whole observation image and the microscopic observation image to generate a time-lapse image. The control unit 6 outputs the generated image to the information processing device 100 and stores it in the storage device 110.
  • the control unit 6 has a CPU (Central Processing Unit) (processor) 61, a ROM (Read Only Memory) 62, and a RAM (Random Access Memory) 63.
  • the CPU 61 controls the control unit 6 and executes various processes in the control unit 6.
  • the ROM 62 stores a control program related to the culture system BS, control data, and the like.
  • the RAM 63 includes an auxiliary storage device such as a hard disk or a DVD (Digital Versatile Disc), and temporarily stores observation conditions, image data, and the like.
  • Each component device such as the culture chamber 2, the transfer unit 4, the observation device 5, and the operation panel 7 is connected to the control unit 6 (see FIG. 3).
  • the RAM 63 stores, for example, the environmental conditions of the culture chamber 2 according to the observation program, the observation schedule, the observation type in the observation device 5, the observation position, the observation magnification, and the like. Further, the RAM 63 includes a storage area for storing the image data photographed by the observation device 5, and stores the image data in association with the index data including the code number of the culture vessel 10, the imaging date and time, and the like.
  • the operation panel 7 has an operation panel (operation unit, input unit) 71 and a display panel 72.
  • the operation panel 71 includes input / output devices (operation unit, input unit) such as a keyboard, a mouse, and a switch. The user operates the operation panel 71 to input observation program settings, condition selection, operation commands, and the like.
  • the communication unit 65 is configured in accordance with a wired or wireless communication standard, and is connected to an observation device 5, a culture system BS, or an external device (eg, a server, a user's client terminal, etc.) connected to the control unit 6. Send and receive data between.
  • Various types of information stored in the RAM 63 can be appropriately stored in the storage device 110 via the information processing device 100.
  • FIG. 5 is a block diagram showing a functional configuration example of the information processing device according to the first embodiment.
  • the information processing apparatus 100 includes a communication unit 131, an acquisition unit 132, a display control unit 133, a calculation unit 134, and a registration unit 135. Further, the information processing device 100 is connected to the input unit 121 and the display unit 122.
  • the input unit 121 receives various operations by the user of the information processing device 100 and outputs a control signal according to the user operation.
  • the input unit 121 is composed of, for example, a mouse, a keyboard, and the like.
  • the display unit 122 displays and outputs various information (information including an image) according to a user operation on the input unit 121.
  • the display unit 122 is composed of, for example, a display or the like.
  • the input unit 121 and the display unit 122 may be integrally configured. That is, even if the input unit 121 and the display unit 122 are configured by a portable terminal (eg, a tablet terminal) or the like having a touch panel that directly performs an input operation on various information displayed on the display unit 122. Good.
  • the communication unit 131 communicates with the culture system BS and the storage device 110 via the network to transmit and receive various information.
  • the communication unit 131 receives information on observation conditions and observation results from the culture system BS, for example, via a network. Further, the communication unit 131 transmits / receives information on observation conditions and observation results to / from the storage device 110 via a network, for example.
  • the acquisition unit 132 acquires the observation results obtained by imaging a plurality of objects housed in a container having a plurality of storage units under predetermined observation conditions. For example, the acquisition unit 132 appropriately acquires information on various observation results in the culture system BS stored in the storage device 110 from the storage device 110 via the network or the communication unit 131. Further, the acquisition unit 132 can appropriately acquire not only the information regarding the observation result but also the information regarding the observation condition from the storage device 110.
  • FIG. 6 is a diagram showing an example of information stored in the storage device according to the first embodiment.
  • the storage device 110 has, as data items, an experiment number, an experiment name, an experiment manager, an experiment person, an observation start date and time, an observation end date and time, a microscope name, a magnification, a container product, a container type, and a determination. Includes result, status, app number, and app name.
  • the experiment number is information indicating an identification number uniquely assigned to each experiment. Information such as "Exp00001" is stored in the experiment number.
  • the experiment name is information indicating the name of the experiment. Information such as "BS-T00001" is stored in the experiment name.
  • the person responsible for the experiment is information indicating the name of the person responsible for the experiment.
  • Information such as "responsible person A" is stored in the experiment manager.
  • the person in charge of the experiment is information indicating the name of the person in charge of the experiment.
  • Information such as "charge E” is stored in the person in charge of the experiment.
  • the data items of the experiment number, the experiment name, the person in charge of the experiment, and the person in charge of the experiment may be simply the data items of the number, the name, the person in charge, and the person in charge, respectively.
  • it when it is used not only in the experimental step but also in the culture step, it may be a data item of a culture number, a culture name, a culture manager, and a culture manager.
  • the observation start date and time is information indicating the date and time when the observation was started. Information such as "2019/08/25 09:00:00" is stored in the observation start date and time.
  • the observation end date and time is information indicating the date and time when the observation was completed. Information such as "2019/08/26 15:15:25” is stored in the observation end date and time.
  • the microscope name is information indicating the name of the microscope used in the observation. Information such as "microscope H” is stored in the microscope name.
  • the magnification is information indicating the magnification of the microscope set at the time of observation. Information such as "8x” is stored in the magnification.
  • the container product is information indicating the manufacturer name of a container (for example, a well plate) having a plurality of accommodating portions (for example, wells, dishes, etc.) for accommodating an object. Information such as "product type K” is stored in the container product.
  • the container type is information indicating the type of a container (for example, a well plate) having a plurality of accommodating portions (for example, wells or the like) for accommodating an object.
  • Information such as "6WP (Well Plate)" is stored in the container type.
  • the determination result is information indicating the user's determination for the experiment. Information such as "OK” or “NG” is stored in the determination result.
  • the status is information indicating the progress of analysis of the observation result. Information such as "completed” or "60%” is stored in the status.
  • the application number is information indicating an identification number uniquely assigned to each application package used in the analysis of the observation result. Information such as "App.00001" is stored in the application number.
  • the application name is information indicating the name of the application package. Information such as "AppX” is stored in the application name.
  • As the application package for example, there are an image analysis application, an application for calculating the area of an object, an application for calculating the number of objects, and the like.
  • the storage device 110 stores observation images of a plurality of storage units in which the objects are housed in association with the experiment number, the code number, and the like.
  • the observation image corresponds to, for example, the above-mentioned general observation image or microscopic observation image. Therefore, the acquisition unit 132 can appropriately acquire the observation image from the storage device 110 as well.
  • the storage device 110 also stores group information described later.
  • the display control unit 133 generates a display image to be displayed on the display unit 122, and displays the generated display image on the display unit 122.
  • the display control unit 133 generates various display images to be displayed on the display unit 122 and displays the generated display images on the display unit 122.
  • the group is mainly executed by the registration unit 135, which will be described later. Generate a display image related to the registration of. Further, the display control unit 133 acquires information that requires a calculation from the calculation unit 134 regarding the generation of the display image. That is, the calculation unit 134 executes a calculation based on the observation result.
  • the display control unit 133 acquires raw data such as observation conditions and observation results from the storage device 110, and acquires information on calculation processing results based on the observation results from the calculation unit 134. Details of the processing by the display control unit 133 according to this embodiment will be described later.
  • the registration unit 135 registers two or more accommodating units as the same group based on the observation conditions or the classification criteria obtained from the observation results and the observation results.
  • the classification criterion is, for example, at least one of the observation conditions including the type and amount of the culture solution to be charged into the container.
  • the classification criterion is, for example, at least one of the observation conditions including the type, concentration and amount of serum contained in the culture medium to be put into the container.
  • the classification criterion is, for example, at least one of the observation conditions including the type, concentration, duration of exposure, and timing of exposure of the drug to be charged into the containment.
  • the classification criterion is, for example, at least one of the observation conditions including the type and number of objects to be put into the containment unit.
  • the classification criterion is at least one of the observation conditions including, for example, the microscope name, the magnification, the temperature setting, the humidity setting, the atmosphere supply setting, and the light output setting in the space where the container is arranged (for example, the culture room 2). is there.
  • the classification criterion is, for example, at least one of the observation results including the number of objects, the time course of the number, the doubling time of the number, the amount of movement, and the morphological change.
  • the classification criterion is, for example, at least one of the observation results including the occupied area of the object and the peripheral length of the object.
  • the classification standard for example, the brightness value after the analysis of the observation result (image) may be used.
  • the registration unit 135 registers two or more storage units having the same (similar or related) observation result as one of the above-mentioned classification criteria or a combination of the classification criteria as the same group. ..
  • the registration unit 135 stores the group information in the storage device 110.
  • the classification criteria include features or indicators used for group registration and group display described later.
  • the information used in the group registration may include an observation image of the accommodating portion, which is one of the observation results. That is, the registration unit 135 registers two or more accommodating units having the same (similar, related) observation images as the same group in an arbitrary process (period) of observation. Further, the information used in the group registration may include information that visually expresses the observation result. That is, the registration unit 135 registers two or more accommodating units having the same (similar, related) graphed information as the same group based on the graphed information of the observation results.
  • group registration can be carried out without using the observation results.
  • the registration unit 135 executes group registration at an arbitrary timing without using the observation result.
  • Arbitrary timing is, for example, before, during, and / or after observation.
  • group registration that does not use the observation results can be performed before observation (at the timing when the classification criteria for observation conditions are set). That is, the registration unit 135 may register two or more accommodating units as the same group based on the classification criteria regarding the observation conditions.
  • the classification criteria for the observation conditions may be determined in advance by the user.
  • FIGS. 7 to 16 are diagrams showing screen examples in group registration using the classification criteria according to the first embodiment. Further, in the description of FIGS. 7 to 16, the processes in the display control unit 133, the calculation unit 134, and the registration unit 135 will be described as appropriate.
  • the display control unit 133 displays a display image showing the observation result search screen on the display unit 122.
  • a search is executed with the text input unit KSa that performs a keyword search and the condition search units FSa, FSb, FSc, and FSd that perform a search by selecting from predetermined search conditions.
  • a search button SB is included.
  • the condition search unit FSa is, for example, a pull-down for selecting the name of the person in charge of the experiment.
  • the condition search unit FSb is, for example, a pull-down for selecting a status.
  • the condition search unit FSc is, for example, a pull-down that selects an observation start date and an observation end date.
  • the condition search unit FSd is, for example, a pull-down for selecting an application name.
  • the condition search unit FSa, FSb, FSc, and FSd may be realized by text input. The search conditions are not limited to the above.
  • the user operates the input unit 121, performs text input to the text input unit KSa, makes a selection using the conditional search units FSa, FSb, FSc, and FSd, and presses the search button SB.
  • the user operates the input unit 121 and presses the search button SB without selecting text input or conditional search.
  • the display control unit 133 acquires information corresponding to the search condition from the storage device 110, and displays a display image showing the search result SR on the display unit 122. That is, the display control unit 133 displays a list of observation results based on the search conditions or a display image showing a list of all observation results on the display unit 122.
  • search result SR for example, information on the data items of the experiment name, the experiment manager, the experiment person, the observation start date and time, the observation end date and time, the microscope name, the magnification, the container product, the container type, the application name, the judgment, and the status Is included.
  • the data items of the search result SR are not limited to the above. Further, the search result SR can be sorted according to the instruction of the data item or the like. The user performs an operation of selecting (designating) from the search result SR in order to confirm the observation result.
  • the display control unit 133 shows the observation result selected from the search result SR in the display image.
  • the display image of the observation result includes, for example, information ExpI regarding observation, information ScI regarding imaging conditions (observation conditions), plate map PmI including observation images, and information EvI regarding events in observation.
  • the plate map PmI includes an observation image OI, a group name GN, a time-series switching content TS, and a depth switching content DP.
  • the observation image OI for example, an observation image included in the selected observation result is displayed.
  • a registered group name is displayed in the group name GN.
  • time-series switching content TS for example, content for switching observation images in chronological order is displayed.
  • the depth switching content DP for example, content for switching the observation image corresponding to the depth of the accommodating portion is displayed.
  • the time-series switching content TS is represented by, for example, a plurality of rectangles separated at regular intervals.
  • the user can operate the input unit 121 to select the rectangle of the time-series switching content TS.
  • the display control unit 133 switches the display of the plate map PmI using the observation image corresponding to the corresponding period as the display image.
  • the display control unit 133 may display information regarding the observation date and time in the selected rectangle.
  • the switching of the observation image using the time-series switching content TS is not limited to the selection of the rectangle, and may be realized by the time-series switching content TSa that moves the selection position of the rectangle.
  • the depth switching content DP is represented by, for example, a rectangle divided by a certain depth (thickness, Z direction) with respect to the accommodating portion.
  • the user can operate the input unit 121 to select the rectangle of the depth switching content DP.
  • the display control unit 133 switches the display of the plate map PmI using the observation image corresponding to the depth of the corresponding accommodating unit as the display image.
  • the switching of the observation image using the depth switching content DP is not limited to the selection of the rectangle, and may be realized by the depth switching content DPa that moves the selection position of the rectangle.
  • the display control unit 133 shows the observation result of the group selected by the user with respect to the display image relating to the container having the plurality of storage units, and displays the display image on the display unit 122. Further, when the search condition is not used, the display control unit 133 indicates the observation result selected by the user from the list (all lists) with respect to the display image relating to the container having a plurality of storage units, and displays the display image. It is displayed on the display unit 122. Further, when the search condition is used, the display control unit 133 indicates the observation result selected by the user from the list based on the search condition with respect to the display image relating to the container having a plurality of storage units, and displays the display image. It is displayed on the display unit 122. Then, the display control unit 133 shows the observation image of the accommodating unit included in the observation result with respect to the display image, and displays the display image on the display unit 122.
  • editing includes editing group information by registering a new group.
  • the display control unit 133 receives a signal indicating that the edit button EB has been pressed.
  • the display control unit 133 displays an observation image OI and a display image including the group addition button AG for adding a new group.
  • the user operates the input unit 121, selects two or more observation image OIs corresponding to the accommodating units to be added to the new group, and presses the group addition button AG.
  • the display control unit 133 displays a display image in which the observation image OI is inverted with a predetermined color according to the selection of the observation image OI.
  • the display control unit 133 receives a signal indicating that the group addition button AG is pressed, and as shown in FIG. 12, the display control unit 133 inputs (or edits) the group name of the new group.
  • a display image including the registration button RB for executing group registration is displayed.
  • the display control unit 133 clearly indicates the observation image OI to be registered as a group by highlighting information such as a color, a frame, and a line.
  • a group color content GC that expresses observation results and the like in different colors for each group is arranged.
  • the user operates the input unit 121, selects the group color content GC, inputs the group name to the text input unit KSb, and presses the registration button RB.
  • the display control unit 133 receives a signal indicating that the registration button RB is pressed, and as shown in FIG. 14, the display control unit 133 displays a display image including a confirmation image CI showing an image confirming the execution of the group registration. indicate.
  • the user operates the input unit 121 and presses the registration button included in the confirmation image CI.
  • the group registration is not executed, the user operates the input unit 121 and presses the cancel button included in the confirmation image CI.
  • FIG. 13 the user operates the input unit 121, selects the group color content GC, inputs the group name to the text input unit KSb, and presses the registration button RB.
  • the display control unit 133 receives a signal indicating that the registration button RB is pressed, and as shown in FIG. 14, the display control unit 133 displays a display image including a confirmation image
  • the display control unit 133 displays a display image including a completion image CS indicating that the group registration is completed.
  • the registration unit 135 stores the group information regarding the new group in the storage device 110.
  • the display control unit 133 displays a display image including the newly registered group name in the group name GN of the plate map PmI.
  • the information processing device 100 completes the group registration as described above.
  • FIG. 17 is a flowchart showing an example of a processing flow in the information processing apparatus according to the first embodiment.
  • the acquisition unit 132 determines whether or not the search for which the search conditions have been set has been executed. For example, the acquisition unit 132 selects from the search conditions in which the search button SB is pressed by inputting text into the text input unit KSa, and the search conditions using the condition search units FSa, FSb, FSc, and FSd, and the search button SB is pressed. It is determined whether the search is performed or the search is performed only when the search button SB is pressed.
  • the acquisition unit 132 selects from the search conditions in which the search button SB is pressed by inputting text into the text input unit KSa, or the search conditions using the condition search units FSa, FSb, FSc, and FSd, and the search button SB.
  • the process in step S102 is executed.
  • the acquisition unit 132 executes the process in step S103.
  • step S102 the acquisition unit 132 acquires the observation result based on the search conditions. For example, the acquisition unit 132 acquires the observation result corresponding to the search condition from the storage device 110 via the communication unit 131.
  • step S103 the acquisition unit 132 acquires all the observation results. For example, the acquisition unit 132 acquires all the observation results from the storage device 110 via the communication unit 131.
  • step S104 the display control unit 133 displays a list of observation results. For example, the display control unit 133 shows a list of observation results acquired by the acquisition unit 132 on the display image, and displays the display image on the display unit 122.
  • the display control unit 133 accepts selection for the observation result.
  • the display control unit 133 accepts the user's selection of the observation result as a signal in the display image of the list of observation results.
  • the display control unit 133 displays the plate map.
  • the display control unit 133 shows the observation result selected by the user with respect to the display image of the container having the plurality of storage units, and displays the display image on the display unit 122.
  • the display control unit 133 may show a graph or the like for the observation result on the display image based on the execution result of the calculation by the calculation unit 134, and display the display image on the display unit 122.
  • the display control unit 133 may display the time-series switching content TS, the depth switching content DP, and the like on the display image, and display the display image on the display unit 122.
  • step S107 the display control unit 133 accepts selection for the observation image and group registration of the accommodating unit corresponding to the selected observation image. For example, the display control unit 133 receives a signal indicating that the edit button EB is pressed. Then, the display control unit 133 displays the observation image OI and the display image including the group addition button AG on the display unit 122. Subsequently, the display control unit 133 receives a signal indicating the selection of the observation image OI and the pressing of the group addition button AG. At this time, the display control unit 133 may display a display image in which the selected observation image OI is inverted with a predetermined color.
  • the display control unit 133 displays a display image including the text input unit KSb for inputting the group name and the registration button RB for executing the group registration on the display unit 122.
  • the observation image OI to be registered as a group may be clearly indicated by a frame or the like.
  • the display control unit 133 receives a signal indicating the selection of the group color content GC, the group name input to the text input unit KSb, and the pressing of the registration button RB.
  • the registration unit 135 executes group registration.
  • the registration unit 135 stores the group information in the storage device 110 based on the group color and the group name received by the display control unit 133 for the observation result to be the target of the new group.
  • Group registration is not limited to new group registration.
  • the registration unit 135 may store the group information to be added to the "group A" in the storage device 110 for the selected accommodating unit.
  • FIG. 18 is a flowchart showing an example of the flow of the display switching process of the observation image according to the first embodiment.
  • the display control unit 133 determines whether the plate map is displayed. At this time, the display control unit 133 executes the process in step S202 when the plate map is displayed (step S201: Yes). On the other hand, when the plate map is not displayed (step S201: No), the display control unit 133 ends the process because it is not necessary to switch the display of the observation image.
  • step S202 the display control unit 133 determines whether or not the time series switching operation has been accepted. For example, the display control unit 133 determines whether or not the rectangle of the time-series switching content TS is selected. The display control unit 133 may determine whether or not an operation of moving the selection position of the rectangle has been performed with respect to the time-series switching content TSa. Then, when the display control unit 133 receives the signal indicating the time series switching operation (step S202: Yes), the display control unit 133 displays the observation image corresponding to the time series in step S203. For example, the display control unit 133 switches the display of the plate map PmI using the observation image corresponding to the period corresponding to the rectangular position of the time-series switching content TS as the display image. On the other hand, when the display control unit 133 does not accept the time-series switching operation (step S202: No), the display control unit 133 executes the process in step S204.
  • step S204 the display control unit 133 determines whether or not the depth switching operation has been accepted. For example, the display control unit 133 determines whether or not the rectangle of the depth switching content DP is selected. The display control unit 133 may determine whether or not an operation of moving the selection position of the rectangle has been performed with respect to the depth switching content DPa. Then, when the display control unit 133 receives the signal indicating the depth switching operation (step S204: Yes), the display control unit 133 displays the observation image corresponding to the depth in step S205. For example, when the rectangle of the depth switching content DP is selected, the display control unit 133 switches the display of the plate map PmI using the observation image corresponding to the depth of the corresponding accommodating unit as the display image.
  • step S204 when the display control unit 133 does not accept the depth switching operation (step S204: No), the display control unit 133 executes the process in step S201. That is, when the display control unit 133 receives a signal indicating an operation for the time-series switching content TS or the depth switching content DP while the plate map is being displayed, the display control unit 133 switches to the corresponding observation image and displays it. Run.
  • FIG. 19 is a block diagram showing a functional configuration example of the information processing apparatus according to the second embodiment.
  • the information processing device 100a includes a communication unit 131, an acquisition unit 132, a display control unit 133a, a calculation unit 134a, and a registration unit 135. Further, the input unit 121 and the display unit 122 are connected to the information processing device 100a.
  • the display control unit 133a corresponds to the "control unit”.
  • the calculation unit 134a corresponds to the "time calculation unit”.
  • the acquisition unit 132 acquires the observation result obtained from the time-lapse image of the object.
  • the time-lapse image of the object is an image based on the overall observation image and the microscopic observation image, and is, for example, an image generated by the control unit 6.
  • the process in the acquisition unit 132 is the same as that in the above embodiment.
  • the display control unit 133a shows on the display image an analysis result that visually expresses the observation result and a time calculated based on the observation result, which indicates the time required for increasing or decreasing a predetermined value for the object. ..
  • the display control unit 133a when the display control unit 133a receives the setting of the time interval in the analysis result (eg, a signal indicating the user's input, etc.), the display control unit 133a shows the increase / decrease time corresponding to the set interval in the display image.
  • the said section in this embodiment is, for example, a set of points (in this case, time) including a certain time and another time, or a set of real numbers, and is between any at least two points in the set. Including.
  • the increase / decrease time is, for example, information indicating the time required for the number of objects to increase or decrease to a predetermined value at a certain time, and includes a doubling time.
  • the predetermined value can be set by the user according to the type of the object to be observed and the like.
  • the doubling time will be described as an example of the increase / decrease time.
  • T DT indicates the doubling time, and ln indicates the natural logarithm (log e 2).
  • t 1 indicates the time at the start position of the section
  • t 2 indicates the time at the end position of the section.
  • y 1 indicates the number of objects at the start position of the section
  • y 2 indicates the number of objects at the end position of the section.
  • the display control unit 133a has the number of objects on the vertical axis and the time on the horizontal axis, and draws the observation results on a graph to visually represent the analysis results and the time interval in the graph (eg, after cell culture).
  • the doubling time of the object based on the setting of (time T1 to time T20, time T5 to time T10, etc.) is shown in the display image, and the display image is displayed on the display unit 122.
  • the vertical axis of the graph is not limited to the number of objects.
  • the display control unit 133a may, for example, plot the area of the object on the vertical axis and draw the observation result on a graph to show the analysis result on the display image.
  • the display control unit 133a may, for example, set the peripheral length of the object on the vertical axis and show the analysis result obtained by drawing the observation result on a graph in the display image. Then, when the display control unit 133a receives a signal indicating a change in the time interval in the graph of the visually expressed information, the display control unit 133a shows the doubling time calculated corresponding to the received section on the display image, and displays the display unit.
  • a display image including the graph in which the section is changed and the doubling time corresponding to the changed section is displayed in 122.
  • the time interval setting (eg, initial setting, change, etc.) in the graph is realized by the user operation while visually recognizing the graph (image) displayed as a part of the displayed image by the user.
  • the display control unit 133a when the display control unit 133a receives the signal indicating the change of the time interval in the graph at the timing of the user operation, the display control unit 133a shows the doubling time corresponding to the changed interval in the display image.
  • 20 to 23 are diagrams showing an example of a display image including the analysis result and the doubling time according to the second embodiment.
  • FIG. 20 as an example, a screen after group registration will be used for explanation.
  • the user operates the input unit 121 and selects a registered group from the group name GN in the plate map PmI.
  • the display control unit 133a includes the analysis result AR indicating the analysis result corresponding to the group selected by the user from the plurality of group names displayed as the list of observation results, and the doubling time.
  • a display image including the doubling time DT indicating the above is displayed on the display unit 122.
  • the display control unit 133a acquires, for example, the doubling time calculated in advance from the storage device 110 and displays it when displaying the analysis result AR and the doubling time DT. That is, the doubling time may be calculated in advance at the timing of storing the observation result in the storage device 110. As described above, the calculation of the doubling time in the present embodiment may be calculated in advance at the timing of storing the observation result in the storage device 110, or may be calculated at the timing of receiving the signal indicating the change of the above-mentioned section. May be good.
  • the display control unit 133a may receive the calculation processing result from the calculation unit 134a and display the doubling time. That is, the calculation unit 134a may calculate the doubling time in real time when displaying the analysis result AR. Further, the display control unit 133a shows a display image switched to the analysis result of the corresponding group according to the selection by the user when another group is selected by the user, and displays the display image on the display unit 122. At this time, the display control unit 133a also switches and displays the doubling time. It is preferable that the display control unit 133a shows the graph and the doubling time on the display image so as to fit on one screen (for example, one screen of the browser), and displays the display image on the display unit 122.
  • the analysis result AR shown in FIG. 20 is an example in which the average number of objects in the containment unit belonging to the group B is visually expressed together with the error bar.
  • the number of objects in each of the housing units belonging to one group may be visually represented.
  • the analysis result AR is displayed as a graph of the number corresponding to the number of accommodating portions.
  • the doubling time DT is displayed for each of the graphs. The user can confirm the doubling time DT that does not fit in the display area by using the scroll bar.
  • the average number of objects in the containment unit belonging to a plurality of groups may be visually represented.
  • the analysis result AR the average number of objects in the containment unit belonging to each of the plurality of selected groups is displayed in each graph.
  • the doubling time DT is displayed for each of the graphs. That is, the display control unit 133a shows a graph as an analysis result corresponding to each of the plurality of groups selected by the user from the plurality of group names displayed as a list of observation results on the display image, and displays the graph on the display unit 122. Display the display image.
  • the time interval in the analysis result may be set by using the interval setting content (eg, two moving bar icons, etc.).
  • the display control unit 133a shows the section setting contents TA and TB for setting the time interval in the analysis result on the graph of the display image or the like.
  • the section setting content TA is content that sets the time at the start position of the section.
  • the section setting content TA is represented by “T0”.
  • T0 corresponds to the time of "t 1 " used in the calculation of the doubling time.
  • the section setting content TB is content that sets the time at the end position of the section.
  • the section setting content TB is represented by “T1”.
  • T1 corresponds to the time "T 2" which are utilized in the calculation of doubling time.
  • the user sets the section by moving each of the section setting contents TA and TB to an arbitrary position on the time axis. That is, the display control unit 133a shows the section setting content that sets the section so as to be movable in the direction of the time axis in the analysis result on the display image, and receives the change of the section when the section setting content is moved by the user operation. , The doubling time corresponding to the received section is shown in the display image.
  • the display control unit 133a shows information on the date and time of the section on the display image.
  • FIG. 23 shows an example in which the date and time at the start position and the date and time at the end position of the section are displayed above the doubling time DT. That is, when the section setting contents TA and TB are moved by the user operation, the display control unit 133a switches the information on the date and time of the set section and shows it on the display image according to the movement, and displays the display image on the display unit 122. Is displayed. Further, the display control unit 133a shows different expression effects on the display image inside and outside the section set by the section setting contents TA and TB. In FIG. 23, as an expression effect of hiding the outside of the section, an example is given in which the user who performs the operation of moving the section setting contents TA and TB can clearly recognize the section.
  • the data on the vertical axis and the horizontal axis of the graph are shown as an example.
  • information on the time in the period from the observation start date and time to the observation end date and time may be displayed on the horizontal axis.
  • information on the item selected from the pull-down menu of the plate map PmI may be displayed on the vertical axis.
  • the vertical axis if the number of cells is selected in a pull-down, indicated by 0 to 1.0 of ( ⁇ 10 7) or the like.
  • the vertical axis is indicated by a ratio such as 0 to 100 (or 0 to 1.0) when the cell occupied area ratio is selected by pulling down. Therefore, the vertical and horizontal axes of the graph change according to the content to be displayed.
  • FIG. 24 is a flowchart showing an example of a processing flow in the information processing apparatus according to the second embodiment.
  • the acquisition unit 132 acquires information regarding the observation results of each group from the storage device 110.
  • the display control unit 133a displays a display image including information on the observation result of each group acquired by the acquisition unit 132 on the display unit 122.
  • the user operates the input unit 121 to select an arbitrary group. The user may select a plurality of groups or only one group.
  • step S303 the acquisition unit 132 acquires the observation result belonging to the group selected by the user from the storage device 110. Then, the display control unit 133a graphs the observation result acquired by the acquisition unit 132. In step S304, the calculation unit 134a calculates the doubling time in the section of the time axis of the graph. The display control unit 133a may use the doubling time stored in the storage device 110 in advance. In step S305, the display control unit 133a displays a display image including the graph and the doubling time on the display unit 122.
  • FIG. 25 is a flowchart showing an example of a processing flow for displaying the doubling time according to the setting of the section according to the second embodiment.
  • the calculation unit 134a determines whether the setting of the section in the graph has been changed. At this time, when the section setting is changed (step S401: Yes), the calculation unit 134a calculates the doubling time in the set section in step S402.
  • the display control unit 133a may use the doubling time previously stored in the storage device 110 (the doubling time according to the change in the section setting). On the other hand, if the section setting has not been changed (step S401: No), the process in step S404 is executed.
  • step S403 the display control unit 133a displays a display image including the doubling time calculated by the calculation unit 134a on the display unit 122.
  • step S404 the display control unit 133a determines whether another group has been selected. At this time, the display control unit 133a ends the process of displaying the doubling time corresponding to the displayed analysis result when another group is selected (step S404: Yes). On the other hand, if no other group is selected (step S404: No), the process in step S401 is executed.
  • FIG. 26 is a block diagram showing a functional configuration example of the information processing device according to the third embodiment.
  • the information processing apparatus 100b includes a communication unit 131, an acquisition unit 132, a display control unit 133b, a calculation unit 134b, and a registration unit 135. Further, the input unit 121 and the display unit 122 are connected to the information processing device 100b.
  • the display control unit 133b corresponds to the "control unit”.
  • the calculation unit 134b corresponds to the "time calculation unit” and the "normalization calculation unit”.
  • the display control unit 133b shows the analysis result normalized based on the interval in the display image. For example, the display control unit 133b receives an instruction to normalize the analysis result by a user operation in a situation where the analysis result based on the section setting using the section setting contents TA, TB, etc. is displayed. Then, when the display control unit 133b receives the normalization instruction, the display control unit 133b acquires the calculation result of the normalization based on the set section from the storage device 110. Subsequently, the display control unit 133b shows the graph as the analysis result normalized based on the acquired calculation result on the display image, and displays the display image on the display unit 122.
  • the calculation unit 134b may appropriately calculate the calculation result of the normalization based on the set interval. That is, when the calculation unit 134b receives the instruction to normalize the analysis result by the user operation, the calculation unit 134b executes the calculation related to the normalization of the analysis result. As a result, the display control unit 133b shows the graph as the analysis result normalized based on the calculation result of the calculation unit 134b on the display image, and displays the display image on the display unit 122.
  • the detailed sh theory regarding the display of the display image including the normalized analysis result according to the present embodiment will be described below with reference to the drawings.
  • FIG. 27 is a diagram illustrating an example of normalization of the analysis result according to the third embodiment.
  • the analysis result (graph) corresponding to the number of objects in the two accommodating portions will be described as an example.
  • the number of objects in each accommodating portion included in the observation result is plotted on the graph, which of the accommodating portion A and the accommodating portion B can be better cultured in the set section. It is difficult to tell whether the cells are (eg, good or bad of cell maturity or good or bad of differentiation state).
  • the number of objects in the containment section B is larger than the number of objects in the containment section A until near the middle of the start and end of the section, but the number of objects in the containment section A is the number of objects in the containment section B near the end of the section. Is more than Therefore, the user instructs the execution of normalization based on the set interval.
  • the number of objects in the accommodating portion A and the accommodating portion B is represented without being reversed. That is, in the example shown in FIG. 27, it can be seen that the accommodating portion A can be cultured better than the accommodating portion B.
  • Normalization can be calculated as follows, as an example.
  • the value of the start T0 of the interval is set to "1.00" (reference), and the entire graph is normalized.
  • the value (number of objects) of the accommodating portion A at T0 is set to "30", the next value is set to "60”, and the value at T1 is set to "65”.
  • the value (number of objects) at T0 of the accommodating portion B is set to "15", the next value is set to "50”, and the value at T1 is set to "70".
  • the calculation unit 134b executes the above calculation for all values. After normalization, the scale on the vertical axis is also changed. As a result, the user can easily recognize that the accommodating portion A is better cultivated than the accommodating portion B.
  • FIG. 28 is a diagram illustrating an example of an operation for normalizing the analysis result according to the third embodiment.
  • FIG. 29 is a diagram illustrating an example of an operation for denormalizing the analysis result according to the third embodiment.
  • the user in the situation where the analysis result in which the number of objects is plotted is displayed, the user can use the section setting content TA or TB at any position of the region Op outside the section, for example, on the left. Perform the first operation such as clicking.
  • the display control unit 133b executes the normalization of the displayed analysis result.
  • the user can use, for example, at any position of the region Op outside the interval set by the interval setting content TA or TB in the situation where the normalized analysis result is displayed.
  • the display control unit 133b cancels the normalization of the displayed analysis result (normalized analysis result). That is, the display control unit 133b switches between the analysis result shown in FIG. 28 and the analysis result shown in FIG. 29 and displays them on the display unit 122 by performing the first operation and the second operation at the position of the region Op. ..
  • FIG. 30 is a flowchart showing an example of a processing flow in the information processing apparatus according to the third embodiment.
  • the display control unit 133b determines whether the normalization instruction has been accepted. For example, the display control unit 133b determines whether or not it has been accepted that the first operation has been executed at the position of the region Op outside the section set by the section setting contents TA and TB by the user operation.
  • the display control unit 133b receives the normalization instruction (step S501: Yes)
  • the display control unit 133b normalizes the graph based on the set section in step S502 and shows it on the display image, and displays it on the display unit 122. Display the display image.
  • the display control unit 133b when the display control unit 133b accepts that the first operation is executed at the position of the area Op, the display control unit 133b acquires the calculation result related to the normalization from the storage device 110, and the graph normalized based on the calculation result. Is shown in the display image, and the display image is displayed on the display unit 122.
  • the calculation result related to normalization may be executed by the calculation unit 134b.
  • the display control unit 133b executes the process in step S503.
  • step S503 the display control unit 133b determines whether or not the instruction to cancel the normalization has been accepted. For example, the display control unit 133b determines whether or not it has been accepted that the second operation has been executed at the position of the region Op outside the section set by the section setting contents TA and TB by the user operation. At this time, when the display control unit 133b receives the instruction to cancel the normalization (step S503: Yes), in step S504, the display control unit 133b shows the graph for which the normalization is canceled on the display image, and displays the display image on the display unit 122. indicate.
  • step S503 when the display control unit 133b accepts that the second operation is executed at the position of the area Op, the normalization is canceled, the graph before normalization is shown in the display image, and the display image is displayed on the display unit 122. Is displayed.
  • step S503 when the display control unit 133b has not received the instruction to cancel the normalization (step S503: No), the display control unit 133b executes the process in step S505.
  • step S505 the display control unit 133b determines whether another group has been selected. At this time, when another group is selected (step S505: Yes), the display control unit 133b ends the process of normalizing or canceling the normalization of the analysis result. On the other hand, the display control unit 133b executes the process in step S501 when another group is not selected (step S505: No).
  • FIG. 31 is a diagram showing a configuration example of the information processing system according to the fourth embodiment.
  • the information processing system SYS includes a first terminal 30, a second terminal 40, a terminal device 80, an information processing device 100, and a culture system BS.
  • the first terminal 30, the second terminal 40, the terminal device 80, and the information processing device 100 are connected to each other so as to be able to communicate with each other via the network N.
  • the network N may be any of the Internet, a mobile communication network, and a local network, and may be a network in which a plurality of types of these networks are combined.
  • the terminal device 80 is composed of a plurality of gateway devices 80a.
  • the gateway device 80a is connected to the culture system BS by wire or wirelessly.
  • the information processing system SYS has a configuration in which a plurality of culture system BSs are connected to the information processing device 100 via the terminal device 80, but the present invention is not limited to this, and a single culture system BS is connected to the information processing device 100 via the terminal device 80. It may be configured to be connected to the information processing device 100. Further, a plurality of information processing devices 100 may be provided in the information processing system SYS, or a single information processing device 100 may be provided.
  • each information processing apparatus 100 may include all of the various functions described in the above embodiments, or may include them in a distributed manner. That is, the information processing device 100 according to the present embodiment can be realized by cloud computing.
  • the user's terminal (first terminal 30, second terminal 40, etc.) is connected to the information processing device 100, and the observation result is viewed using the browser displayed on the display unit of the terminal. Can be operated.
  • the information processing device 100 acquires the observation result obtained from the time-lapse image of the object in the acquisition unit. Then, the information processing apparatus 100 generates a display image including the analysis result that visually expresses the observation result and the increase / decrease time indicating the time required for the increase / decrease of the predetermined value with respect to the object in the image generation unit. Further, when the information processing apparatus 100 receives the setting of the section in the analysis result in the image generation unit, the display image shows the increase / decrease time corresponding to the set section. Subsequently, the information processing device 100 outputs the display image generated by the image generation unit to the user terminal via the network N in the output unit.
  • the information processing device 100 includes, for example, a computer system.
  • the information processing device 100 reads an information processing program stored in the memory and executes various processes according to the read information processing program.
  • Such an information processing program obtains, for example, an observation result obtained from a time-lapse image of an object on a computer, an analysis result that visually expresses the observation result, and a time required for increasing or decreasing a predetermined value of the object.
  • the display image shows the increase / decrease time to be shown, and when the setting of the section in the analysis result is received, the increase / decrease time corresponding to the set section is shown in the display image.
  • the information processing program may be recorded and provided on a computer-readable storage medium (for example, non-transitory storage medium, non-transitory tangible media). Further, in each of the above-described embodiments, when the arithmetic unit 134 of the information processing apparatus 100 displays information visually expressing the analysis result as a graph, one data to be displayed on the graph (eg, next to the graph). Axis data, etc.) may be calculated from a plurality of observation images (eg, integration, average).

Abstract

【課題】観察結果に基づく解析結果の表示を簡易な操作で実現する。 【解決手段】情報処理装置は、対象物のタイムラプス画像から得られる観察結果を取得する取得部と、観察結果を視覚的に表現した解析結果と、対象物に関する所定値の増減に要する時間を示す増減時間とを表示画像に示す制御部と、を備え、制御部は、解析結果における区間の設定を受信すると、設定された区間に対応する増減時間を表示画像に示す。

Description

情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム
 本発明は、情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システムに関する。
 特許文献1では、細胞のコロニーが撮像された画像に基づいて、コロニーの面積と、コロニーの面積を算出したコロニーに含まれる細胞の数とから、細胞の密度を算出する技術が開示されている。例えば、こうした技術を用いた解析結果は日々の解析によって膨大な量となるため、ユーザがそれらの解析結果を容易に視認できる技術が求められる。
国際公開第2015/193951号
 第1の態様に従えば、対象物のタイムラプス画像から得られる観察結果を取得する取得部と、観察結果を視覚的に表現した解析結果と、対象物に関する所定値の増減に要する時間を示す増減時間とを表示画像に示す制御部と、を備え、制御部は、解析結果における区間の設定を受信すると、設定された区間に対応する増減時間を表示画像に示す、情報処理装置が提供される。
 第2の態様に従えば、対象物のタイムラプス画像から得られる観察結果を取得することと、観察結果を視覚的に表現した解析結果と、対象物に関する所定値の増減に要する時間を示す増減時間とを表示画像に示すことと、解析結果における区間の設定を受信すると、設定された区間に対応する増減時間を表示画像に示すことと、を含む情報処理方法が提供される。
 第3の態様に従えば、コンピュータに、対象物のタイムラプス画像から得られる観察結果を取得することと、観察結果を視覚的に表現した解析結果と、対象物に関する所定値の増減に要する時間を示す増減時間とを表示画像に示すことと、解析結果における区間の設定を受信すると、設定された区間に対応する増減時間を表示画像に示すことと、を実行させる情報処理プログラムが提供される。
 第4の態様に従えば、クラウドコンピューティングによりユーザ端末に表示画像を出力する情報処理システムであって、サーバを備え、サーバは、対象物のタイムラプス画像から得られる観察結果を取得する取得部と、観察結果を視覚的に表現した解析結果と、対象物に関する所定値の増減に要する時間を示す増減時間とを含む表示画像を生成する画像生成部と、ネットワークを介して、画像生成部が生成した表示画像をユーザ端末に出力する出力部と、を備え、画像生成部は、解析結果における区間の設定を受信すると、設定された前記区間に対応する増減時間を表示画像に示す、情報処理システムが提供される。
第1実施形態に係る情報処理装置を含む解析システムの全体構成例を示す図。 第1実施形態に係る情報処理装置に接続される培養システムの構成例を示す図。 第1実施形態に係る情報処理装置に接続される培養システムの構成例を示すブロック図。 第1実施形態に係る情報処理装置に接続される培養システムの制御ユニット回りの接続関係の例を説明する図。 第1実施形態に係る情報処理装置の機能構成例を示すブロック図。 第1実施形態に係る記憶装置が記憶する情報例を示す図。 第1実施形態に係るグループ登録における画面例を示す図。 第1実施形態に係るグループ登録における画面例を示す図。 第1実施形態に係るグループ登録における画面例を示す図。 第1実施形態に係るグループ登録における画面例を示す図。 第1実施形態に係るグループ登録における画面例を示す図。 第1実施形態に係るグループ登録における画面例を示す図。 第1実施形態に係るグループ登録における画面例を示す図。 第1実施形態に係るグループ登録における画面例を示す図。 第1実施形態に係るグループ登録における画面例を示す図。 第1実施形態に係るグループ登録における画面例を示す図。 第1実施形態に係る情報処理装置における処理の流れの例を示すフローチャート。 第1実施形態に係る観察画像の表示切り替え処理の流れの例を示すフローチャート。 第2実施形態に係る情報処理装置の機能構成例を示すブロック図。 第2実施形態に係る解析結果と倍加時間とを含む表示画像の例を示す図。 第2実施形態に係る解析結果と倍加時間とを含む表示画像の例を示す図。 第2実施形態に係る解析結果と倍加時間とを含む表示画像の例を示す図。 第2実施形態に係る解析結果と倍加時間とを含む表示画像の例を示す図。 第2実施形態に係る情報処理装置における処理の流れの例を示すフローチャート。 第2実施形態に係る区間の設定に応じた倍加時間を表示する処理の流れの例を示すフローチャート。 第3実施形態に係る情報処理装置の機能構成例を示すブロック図。 第3実施形態に係る解析結果の正規化の例を説明する図。 第3実施形態に係る解析結果の正規化を実施する操作の例を説明する図。 第3実施形態に係る解析結果の正規化の解除を実施する操作の例を説明する図。 第3実施形態に係る情報処理装置における処理の流れの例を示すフローチャート。 第4実施形態に係る情報処理システムの構成例を示す図。
 以下、実施形態について図面を参照して説明する。図面においては実施形態を説明するため、一部分を大きく又は強調して表すなど適宜縮尺を変更して表現しており、実際の製品とは大きさ、形状が異なる場合がある。
[第1実施形態]
 第1実施形態を説明する。図1は、第1実施形態に係る情報処理装置を含む解析システムの全体構成例を示す図である。図1に示すように、解析システム1000は、培養システムBSと、情報処理装置100と、記憶装置110とを含む。培養システムBSは、培養装置8と、観察装置5とを含む。解析システム1000は、対象物(例えば、細胞、試料、標本等)を培養するとともに、培養の過程を観察(撮像)し、観察結果(例、撮像画像)を解析するシステムである。
 培養システムBS、情報処理装置100、及び記憶装置110は、インターネット、LAN(Local Area Network)、及びWAN(Wide Area Network)等のネットワークを介して接続される。また、培養システムBS、情報処理装置100、及び記憶装置110は、インターネット、LAN、及びWAN等を組み合わせたネットワークを介して接続されてもよい。かかるネットワークは、有線通信によるネットワークに限らず、無線通信によるネットワークを含んでもよい。また、情報処理装置100が記憶装置110を備えた構成としてもよい。また、培養システムBSと記憶装置110とは、ネットワークを介して接続されてもよい。
 図2は、第1実施形態に係る情報処理装置に接続される培養システムの構成例を示す図である。図3は、第1実施形態に係る情報処理装置に接続される培養システムの構成例を示すブロック図である。図4は、第1実施形態に係る情報処理装置に接続される培養システムの制御ユニット回りの接続関係の例を説明する図である。
 培養システムBSは、大別して、筐体1の上部に設けられた培養室2と、複数の培養容器10を収容及び保持するストッカ3と、培養容器10内の対象物を観察(撮像)する観察装置5と、培養容器10を搬送する搬送ユニット(搬送装置)4とを有する。加えて、培養システムBSは、システムの作動を制御する制御ユニット(制御装置)6と、表示装置を備える操作盤7とを有する。なお、培養室2、ストッカ3、及び搬送ユニット4等は、培養装置8に相当する。
 培養室2は、顕微鏡観察における細胞等の観察対象物の培養環境を形成するチャンバである。培養室2には、温度調整装置21と、加湿器22と、ガス供給装置23と、循環ファン24と、環境センサ25とが設けられる。温度調整装置21は、環境センサ25と連携し、培養室2内の温度を所定の設定温度に調整する。加湿器22は、環境センサ25と連携し、培養室2内の湿度を所定の設定湿度に調整する。ガス供給装置23は、環境センサ25と連携し、COガス、Nガス、及びOガス等を供給する。循環ファン24は、環境センサ25と連携し、培養室2内の気体(空気)を循環させ、温度調整するファンである。環境センサ25は、培養室2の温度、湿度、二酸化炭素濃度、窒素濃度、及び酸素濃度等を検出する。
 ストッカ3は、前後、及び上下に仕切られた棚状にて形成される。各棚には、例えば、固有の番地が設定される。培養容器10は、培養する対象物の種別や目的等に応じて適宜選択される。培養容器10は、例えば、ウェルプレート、フラスコ、又はディッシュタイプ等の培養容器でよい。本実施形態では、ウェルプレートを利用する場合を例に挙げる。培養容器10には、対象物が液体培地(培養液)とともに注入され、保持される。培養容器10のそれぞれには、例えば、コード番号が付与される。培養容器10は、付与されたコード番号に応じて、ストッカ3の指定番地に対応付けて収容される。搬送ユニット4は、培養室2の内部に設けられた、上下移動可能なZステージ41と、前後移動可能なYステージ42と、左右移動可能なXステージ43とを有する。支持アーム45は、Xステージ43の先端側において、培養容器10を持ち上げ、支持する。
 観察装置5は、第1照明部51と、第2照明部52と、第3照明部53と、マクロ観察系54と、顕微観察系55と、制御ユニット6とを有する。第1照明部51は、試料台15の下側から対象物を照明する。第2照明部52は、顕微観察系55の光軸に沿って、試料台15の上方から対象物を照明する。第3照明部53は、顕微観察系55の光軸に沿って、試料台15の下方から対象物を照明する。マクロ観察系54は、対象物のマクロ観察を実施する。顕微観察系55は、対象物のミクロ観察を実施する。試料台15には、顕微観察系55の観察領域において、ガラス等の透明な窓部16が設けられる。
 マクロ観察系54は、観察光学系54aと、観察光学系54aにより結像された対象物の像を撮影するCCDカメラ等の撮像装置54cとを有する。マクロ観察系54は、第1照明部51によりバックライト照明された培養容器10の上方からの全体観察画像を取得する。顕微観察系55は、対物レンズ、中間変倍レンズ、及び蛍光フィルタ等を含む観察光学系55aと、観察光学系55aにより結像された対象物の像を撮影する冷却CCDカメラ等の撮像装置55cとを有する。対物レンズ、及び中間変倍レンズは、それぞれが複数設けられてもよい。対物レンズ、及び中間変倍レンズについては、レンズの組み合わせを変化させることで、任意の観察倍率に設定可能に構成される。顕微観察系55は、第2照明部52が照明した対象物の透過像と、第3照明部53が照明した対象物の反射像と、第3照明部53が照明した対象物の蛍光像とを取得する。つまり、顕微観察系55は、培養容器10内の対象物を顕微鏡観察した顕微観察画像を取得する。
 制御ユニット6は、マクロ観察系54の撮像装置54c、及び顕微観察系55の撮像装置55cから入力された信号を処理し、全体観察画像、及び顕微観察画像等の画像を生成する。また、制御ユニット6は、全体観察画像、及び顕微観察画像に画像解析を施し、タイムラプス画像を生成する。制御ユニット6は、生成した画像を情報処理装置100に出力し、記憶装置110に格納させる。
 制御ユニット6は、CPU(Central Processing Unit)(プロセッサ)61と、ROM(Read Only Memory)62と、RAM(Random Access Memory)63とを有する。CPU61は、制御ユニット6を統括し、制御ユニット6において各種の処理を実行する。ROM62は、培養システムBSに関する制御プログラム、及び制御データ等を記憶する。RAM63は、ハードディスクやDVD(Digital Versatile Disc)等の補助記憶装置を含み、観察条件や画像データ等を一時記憶する。制御ユニット6には、培養室2、搬送ユニット4、観察装置5、及び操作盤7等の各構成機器が接続される(図3参照)。
 RAM63は、例えば、観察プログラムに応じた培養室2の環境条件、及び観察スケジュール、観察装置5における観察種別、観察位置、及び観察倍率等を記憶する。また、RAM63は、観察装置5が撮影した画像データを記憶する記憶領域を含み、該画像データと、培養容器10のコード番号や撮影日時等を含むインデックスデータとを対応付けて記憶する。操作盤7は、操作パネル(操作部、入力部)71と、表示パネル72とを有する。操作パネル71は、キーボード、マウス、及びスイッチ等の入出力機器(操作部、入力部)を含む。ユーザは、操作パネル71を操作し、観察プログラムの設定、条件の選択、及び動作指令等を入力する。通信部65は、有線又は無線の通信規格に準拠して構成され、観察装置5、培養システムBS、又は制御ユニット6に接続される外部の機器(例、サーバ、ユーザのクライアント端末等)との間でデータを送受信する。RAM63が記憶する各種の情報は、情報処理装置100を介して、適宜、記憶装置110に格納され得る。
 図5は、第1実施形態に係る情報処理装置の機能構成例を示すブロック図である。図5に示すように、情報処理装置100は、通信部131と、取得部132と、表示制御部133と、演算部134と、登録部135とを有する。また、情報処理装置100には、入力部121と、表示部122とが接続される。
 入力部121は、情報処理装置100のユーザによる各種操作を受け付け、ユーザ操作に応じた制御信号を出力する。入力部121は、例えば、マウス、及びキーボード等で構成される。表示部122は、入力部121に対するユーザ操作に応じた各種情報(画像を含む情報)を表示出力する。表示部122は、例えば、ディスプレイ等で構成される。なお、入力部121と表示部122とは、一体的に構成されてもよい。すなわち、入力部121と表示部122とは、表示部122に表示される各種情報に対して直接的に入力操作を実施するタッチパネルを有する携帯型端末(例、タブレット端末)等で構成されてもよい。
 通信部131は、ネットワークを介して、培養システムBS、及び記憶装置110と通信し、各種情報を送受信する。通信部131は、例えば、ネットワークを介して、観察条件及び観察結果に関する情報を培養システムBSから受信する。また、通信部131は、例えば、ネットワークを介して、観察条件及び観察結果に関する情報を記憶装置110との間で送受信する。
 取得部132は、複数の収容部を有する容器に収容された複数の対象物を所定の観察条件において撮像して得られた観察結果を取得する。例えば、取得部132は、ネットワーク又は通信部131を介して、記憶装置110が記憶する培養システムBSにおける種々の観察結果に関する情報を、記憶装置110から適宜取得する。また、取得部132は、観察結果に関する情報だけではなく、観察条件に関する情報についても記憶装置110から適宜取得することができる。
 図6は、第1実施形態に係る記憶装置が記憶する情報例を示す図である。図6に示すように、記憶装置110は、データ項目として、実験番号、実験名、実験責任者、実験担当者、観察開始日時、観察終了日時、顕微鏡名、倍率、容器製品、容器種別、判定結果、ステータス、アプリ番号、及びアプリ名を含む。実験番号は、実験毎に一意に割り当てられる識別番号を示す情報である。実験番号には、例えば、「Exp00001」等の情報が記憶される。実験名は、実験の名称を示す情報である。実験名には、例えば、「BS-T00001」等の情報が記憶される。実験責任者は、実験の責任者の氏名を示す情報である。実験責任者には、例えば、「責任者A」等の情報が記憶される。実験担当者は、実験の担当者の氏名を示す情報である。実験担当者には、例えば、「担当E」等の情報が記憶される。なお、実験番号、実験名、実験責任者、及び実験担当者のデータ項目は、単にそれぞれ、番号、名称、責任者、及び担当者のデータ項目としてもよい。例えば、実験工程に限らず、培養工程に利用される場合は、培養番号、培養名、培養責任者、及び培養担当者のデータ項目であってもよい。
 観察開始日時は、観察を開始した日時を示す情報である。観察開始日時には、例えば、「2019/08/25 09:00:00」等の情報が記憶される。観察終了日時は、観察を終了した日時を示す情報である。観察終了日時には、例えば、「2019/08/26 15:15:25」等の情報が記憶される。顕微鏡名は、観察で利用した顕微鏡の名称を示す情報である。顕微鏡名には、例えば、「顕微鏡H」等の情報が記憶される。倍率は、観察のときに設定した顕微鏡の倍率を示す情報である。倍率には、例えば、「8x」等の情報が記憶される。容器製品は、対象物を収容する収容部(例えば、ウェル、ディッシュ等)を複数有する容器(例えば、ウェルプレート等)のメーカ名を示す情報である。容器製品には、例えば、「製品タイプK」等の情報が記憶される。
 容器種別は、対象物を収容する収容部(例えば、ウェル等)を複数有する容器(例えば、ウェルプレート等)の種別を示す情報である。容器種別には、例えば、「6WP(Well Plate)」等の情報が記憶される。判定結果は、実験に対するユーザの判定を示す情報である。判定結果には、例えば、「OK」又は「NG」等の情報が記憶される。ステータスは、観察結果の解析の進捗を示す情報である。ステータスには、例えば、「完了」又は「60%」等の情報が記憶される。アプリ番号は、観察結果の解析で利用されるアプリケーションパッケージ毎に一意に割り当てられる識別番号を示す情報である。アプリ番号には、例えば、「App.00001」等の情報が記憶される。アプリ名は、アプリケーションパッケージの名称を示す情報である。アプリ名には、例えば、「AppX」等の情報が記憶される。なお、アプリケーションパッケージとしては、例えば、画像解析のアプリ、対象物の面積を算出するアプリ、対象物の数を算出するアプリ等が存在する。
 また、記憶装置110は、上記の情報のほかにも、実験番号及びコード番号等に対応付けて、対象物がそれぞれ収容される複数の収容部の観察画像を記憶する。観察画像は、例えば、上述した全体観察画像や顕微観察画像に相当する。従って、取得部132は、観察画像についても記憶装置110から適宜取得することができる。また、記憶装置110は、後述するグループ情報についても記憶する。
 図5の説明に戻る。表示制御部133は、表示部122に表示する表示画像を生成し、生成した表示画像を表示部122に表示する。表示制御部133は、表示部122に表示する種々の表示画像を生成し、生成した表示画像を表示部122に表示するが、本実施形態では主に、後述する登録部135で実行されるグループの登録に関わる表示画像を生成する。また、表示制御部133は、表示画像の生成に関して、演算を要する情報については演算部134から取得する。すなわち、演算部134は、観察結果に基づく演算を実行する。換言すると、表示制御部133は、観察条件及び観察結果等の生データについては記憶装置110から取得し、観察結果をもとにした演算処理結果の情報については演算部134から取得する。本実施形態に係る表示制御部133による処理の詳細については後述する。
 登録部135は、観察条件又は観察結果から得られる分類基準と、観察結果とに基づいて、2以上の収容部を同一のグループとして登録する。分類基準は、例えば、収容部に投入する培養液の種類及び量を含む観察条件の少なくとも1つである。分類基準は、例えば、収容部に投入する培養液に含まれる血清の種類、濃度及び量を含む観察条件の少なくとも1つである。分類基準は、例えば、収容部に投入する薬剤の種類、濃度、暴露期間、及び暴露タイミングを含む観察条件の少なくとも1つである。分類基準は、例えば、収容部に投入する対象物の種類及び数を含む観察条件の少なくとも1つである。分類基準は、例えば、顕微鏡名、倍率、容器が配置された空間(例えば、培養室2)における温度設定、湿度設定、雰囲気の供給設定、及び光の出力設定を含む観察条件の少なくとも1つである。分類基準は、例えば、対象物の数、数の経時変化、数の倍加時間、移動量、及び形態変化を含む観察結果の少なくとも1つである。分類基準は、例えば、対象物の専有面積、及び対象物の周囲長を含む観察結果の少なくとも1つである。分類基準は、例えば、観察結果(画像)の解析後の輝度値を用いてもよい。例えば、画像の解析後の輝度値を用いる場合は、コロニーの細胞密度(粗密)に対して輝度値の平均値を「5」等とし、平均値を基準値とした場合、基準値以上と基準値未満とで分類することができる。すなわち、登録部135は、上述した分類基準の1つ、又は分類基準の組み合わせと、観察結果とが、同一となった(類似する、関連する)2以上の収容部を同一のグループとして登録する。登録部135は、グループ情報について、記憶装置110に格納する。また、例えば、分類基準は、後述するグループ登録やグループ表示に用いる特徴又は指標を含む。
 グループ登録で利用される情報には、観察結果の1つである収容部を撮像した観察画像が含まれてもよい。すなわち、登録部135は、観察の任意の過程(期間)において、観察画像が同一となった(類似する、関連する)2以上の収容部を同一のグループとして登録する。また、グループ登録で利用される情報には、観察結果を視覚的に表現した情報が含まれてもよい。すなわち、登録部135は、観察結果をグラフ化した情報に基づいて、グラフ化した情報が同一となった(類似する、関連する)2以上の収容部を同一のグループとして登録する。
 なお、グループ登録に関しては、観察結果を利用せずに実施することができる。登録部135は、例えば、任意のタイミングで、観察結果を利用せずにグループ登録を実行する。任意のタイミングは、例えば、観察前、観察中、及び/又は観察後である。一例として、観察結果を利用しないグループ登録は、観察前に(観察条件に関する分類基準が設定されたタイミングで)行うことができる。すなわち、登録部135は、観察条件に関する分類基準に基づいて、2以上の収容部を同一のグループとして登録してもよい。観察条件に関する分類基準は、ユーザによって予め決定されればよい。
 図7から図16は、第1実施形態に係る分類基準を用いたグループ登録における画面例を示す図である。また、図7から図16の説明において、適宜、表示制御部133、演算部134、及び登録部135における処理を説明する。図7に示すように、表示制御部133は、観察結果の検索画面を示す表示画像を表示部122に表示する。観察結果の検索画面には、キーワード検索を行うテキスト入力部KSaと、予め決定された検索条件の中から選択することにより検索を行う条件検索部FSa、FSb、FSc、FSdと、検索を実行する検索ボタンSBとが含まれる。条件検索部FSaは、例えば、実験担当者の氏名を選択するプルダウンである。条件検索部FSbは、例えば、ステータスを選択するプルダウンである。条件検索部FScは、例えば、観察開始日と観察終了日とを選択するプルダウンである。条件検索部FSdは、例えば、アプリケーション名を選択するプルダウンである。なお、条件検索部FSa、FSb、FSc、FSdは、テキスト入力により実現してもよい。また、検索条件は、上記に限られない。
 ユーザは、入力部121を操作し、テキスト入力部KSaに対するテキスト入力、条件検索部FSa、FSb、FSc、FSdを用いた選択を行い、検索ボタンSBを押下する。又は、ユーザは、入力部121を操作し、テキスト入力や条件検索の選択を行わずに、検索ボタンSBを押下する。検索ボタンSBの押下に応じて、表示制御部133は、検索条件に該当する情報を記憶装置110から取得し、検索結果SRを示す表示画像を表示部122に表示する。つまり、表示制御部133は、検索条件に基づく観察結果の一覧、又は全ての観察結果の一覧を示す表示画像を表示部122に表示する。検索結果SRには、例えば、実験名、実験責任者、実験担当者、観察開始日時、観察終了日時、顕微鏡名、倍率、容器製品、容器種別、アプリ名、判定、及びステータスのデータ項目に対する情報が含まれる。なお、検索結果SRのデータ項目は、上記に限られない。また、検索結果SRは、データ項目の指示等によりソートすることができる。ユーザは、観察結果の確認のために、検索結果SRの中から選択する(指定する)操作を行う。
 次に、図8に示すように、表示制御部133は、検索結果SRの中から選択された観察結果を表示画像に示す。観察結果の表示画像には、例えば、観察に関する情報ExpI、撮影条件(観察条件)に関する情報ScI、観察画像を含むプレートマップPmI、及び観察におけるイベントに関する情報EvIが含まれる。これらのうち、プレートマップPmIには、観察画像OI、グループ名GN、時系列切替コンテンツTS、及び深さ切替コンテンツDPが含まれる。観察画像OIには、例えば、選択された観察結果に含まれる観察画像が表示される。グループ名GNには、例えば、登録済みのグループ名が表示される。時系列切替コンテンツTSには、例えば、観察画像を時系列で切り替えるコンテンツが表示される。深さ切替コンテンツDPには、例えば、収容部の深さに対応する観察画像を切り替えるコンテンツが表示される。
 時系列切替コンテンツTSは、例えば、一定期間ごとに区切られた複数の矩形で表現される。ユーザは、入力部121を操作し、時系列切替コンテンツTSの矩形を選択することができる。表示制御部133は、時系列切替コンテンツTSの矩形が選択されると、該当する期間に対応する観察画像を表示画像として、プレートマップPmIの表示を切り替える。このとき、表示制御部133は、選択された矩形における観察日時に関する情報を表示してもよい。なお、時系列切替コンテンツTSを用いた観察画像の切り替えは、矩形の選択に限られず、矩形の選択位置を移動させる時系列切替コンテンツTSaにより実現してもよい。
 深さ切替コンテンツDPは、例えば、収容部に対する一定の深さ(厚さ、Z方向)ごとに区切られた矩形で表現される。ユーザは、入力部121を操作し、深さ切替コンテンツDPの矩形を選択することができる。表示制御部133は、深さ切替コンテンツDPの矩形が選択されると、該当する収容部の深さに対応する観察画像を表示画像として、プレートマップPmIの表示を切り替える。なお、深さ切替コンテンツDPを用いた観察画像の切り替えは、矩形の選択に限られず、矩形の選択位置を移動させる深さ切替コンテンツDPaにより実現してもよい。
 つまり、表示制御部133は、ユーザによって選択されたグループの観察結果を、複数の収容部を有する容器に関する表示画像に対して示し、該表示画像を表示部122に表示する。また、表示制御部133は、検索条件が使用されない場合、一覧(全ての一覧)からユーザによって選択された観察結果を、複数の収容部を有する容器に関する表示画像に対して示し、該表示画像を表示部122に表示する。また、表示制御部133は、検索条件が使用される場合、検索条件に基づく一覧からユーザによって選択された観察結果を、複数の収容部を有する容器に関する表示画像に対して示し、該表示画像を表示部122に表示する。そして、表示制御部133は、観察結果に含まれる収容部の観察画像を、表示画像に対して示し、該表示画像を表示部122に表示する。
 次に、ユーザは、入力部121を操作し、グループ登録のために、編集ボタンEB(図9参照)を押下する。ここで、編集とは、新規のグループを登録することにより、グループ情報が編集されることを含む。図9に示すように、表示制御部133は、編集ボタンEBが押下されたことを示す信号を受け付ける。そして、図10に示すように、表示制御部133は、観察画像OI、及び新規のグループを追加するグループ追加ボタンAGを含む表示画像を表示する。続いて、図11に示すように、ユーザは、入力部121を操作し、新規のグループに追加したい収容部に対応する2以上の観察画像OIを選択し、グループ追加ボタンAGを押下する。ここで、表示制御部133は、観察画像OIの選択に応じて、観察画像OIを所定色で反転させた表示画像を表示する。これにより表示制御部133はグループ追加ボタンAGの押下を示す信号を受信し、図12に示すように、表示制御部133は、新規のグループのグループ名を入力(又は編集)するテキスト入力部KSbと、グループ登録を実行する登録ボタンRBとを含む表示画像を表示する。加えて、表示制御部133は、グループ登録の対象となる観察画像OIについて、色、枠や線等の強調情報により明示する。なお、テキスト入力部KSbの近傍には、観察結果等をグループごとに異なる色で表現するグループカラーコンテンツGCが配置される。
 次に、図13に示すように、ユーザは、入力部121を操作し、グループカラーコンテンツGCの選択と、テキスト入力部KSbへのグループ名の入力とを行い、登録ボタンRBを押下する。これにより表示制御部133は登録ボタンRBの押下を示す信号を受信し、図14に示すように、表示制御部133は、グループ登録の実行を確認する画像を示す確認画像CIを含む表示画像を表示する。ユーザは、分類基準を用いたグループ登録を実行させる場合に、入力部121を操作し、確認画像CIに含まれる登録ボタンを押下する。一方、ユーザは、グループ登録を実行させない場合に、入力部121を操作し、確認画像CIに含まれるキャンセルボタンを押下する。図15に示すように、表示制御部133は、登録ボタンが押下されると、グループ登録が完了したことを示す完了画像CSを含む表示画像を表示する。このとき、登録部135は、新規のグループに関するグループ情報を記憶装置110に格納する。その後、図16に示すように、表示制御部133は、プレートマップPmIのグループ名GNに、新規に登録されたグループ名を含む表示画像を表示する。情報処理装置100は、以上により、グループの登録を完了する。
 図17は、第1実施形態に係る情報処理装置における処理の流れの例を示すフローチャートである。ステップS101において、取得部132は、検索条件を設定した検索が実行されたかを判定する。例えば、取得部132は、テキスト入力部KSaにテキストを入力して検索ボタンSBが押下される検索、条件検索部FSa、FSb、FSc、FSdを用いた検索条件から選択して検索ボタンSBが押下される検索、及び検索ボタンSBが押下されるのみの検索のうちいずれであるかを判定する。このとき、取得部132は、テキスト入力部KSaにテキストを入力して検索ボタンSBが押下される検索、又は条件検索部FSa、FSb、FSc、FSdを用いた検索条件から選択して検索ボタンSBが押下される検索である場合(ステップS101:Yes)、ステップS102における処理を実行する。一方、取得部132は、検索ボタンSBが押下されるのみの検索である場合(ステップS101:No)、ステップS103における処理を実行する。
 ステップS102において、取得部132は、検索条件に基づく観察結果を取得する。例えば、取得部132は、通信部131を介して、検索条件に該当する観察結果を記憶装置110から取得する。ステップS103において、取得部132は、全ての観察結果を取得する。例えば、取得部132は、通信部131を介して、全ての観察結果を記憶装置110から取得する。ステップS104において、表示制御部133は、観察結果の一覧を表示する。例えば、表示制御部133は、取得部132が取得した観察結果の一覧を表示画像に示し、該表示画像を表示部122に表示する。
 ステップS105において、表示制御部133は、観察結果に対する選択を受け付ける。例えば、表示制御部133は、観察結果の一覧の表示画像において、観察結果に対するユーザによる選択を信号として受け付ける。ステップS106において、表示制御部133は、プレートマップを表示する。例えば、表示制御部133は、ユーザによって選択された観察結果を、複数の収容部を有する容器に関する表示画像に対して示し、該表示画像を表示部122に表示する。このとき、表示制御部133は、演算部134による演算の実行結果に基づいて、観察結果に対するグラフ等を表示画像に示し、該表示画像を表示部122に表示してもよい。また、表示制御部133は、時系列切替コンテンツTSや深さ切替コンテンツDP等を表示画像に示し、該表示画像を表示部122に表示してもよい。
 ステップS107において、表示制御部133は、観察画像に対する選択と、選択された観察画像に対応する収容部のグループ登録とを受け付ける。例えば、表示制御部133は、編集ボタンEBの押下を示す信号を受け付ける。そして、表示制御部133は、観察画像OI、及びグループ追加ボタンAGを含む表示画像を表示部122に表示する。続いて、表示制御部133は、観察画像OIの選択と、グループ追加ボタンAGの押下とを示す信号を受け付ける。このとき、表示制御部133は、選択された観察画像OIを所定色で反転させた表示画像を表示してもよい。その後、表示制御部133は、グループ名を入力するテキスト入力部KSbと、グループ登録を実行する登録ボタンRBとを含む表示画像を表示部122に表示する。このとき、グループ登録の対象となる観察画像OIについて、枠等により明示してもよい。そして、表示制御部133は、グループカラーコンテンツGCの選択、テキスト入力部KSbに入力されたグループ名、及び登録ボタンRBの押下を示す信号を受け付ける。
 ステップS108において、登録部135は、グループ登録を実行する。例えば、登録部135は、新規のグループの対象となる観察結果に対して、表示制御部133が受け付けたグループカラー及びグループ名に基づいて、グループ情報を記憶装置110に格納する。なお、グループ登録は、新規のグループ登録に限らない。例えば、図11に示すように、ユーザは、観察画像OIの選択後に、既存のグループ(ここでは「グループA」)を選択し、登録ボタンRBを押下してもよい。これにより、登録部135は、選択された収容部について、「グループA」に追加するグループ情報を記憶装置110に格納してもよい。
 図18は、第1実施形態に係る観察画像の表示切り替え処理の流れの例を示すフローチャートである。ステップS201において、表示制御部133は、プレートマップが表示されているかを判定する。このとき、表示制御部133は、プレートマップが表示されている場合に(ステップS201:Yes)、ステップS202における処理を実行する。一方、表示制御部133は、プレートマップが表示されていない場合に(ステップS201:No)、観察画像の表示切り替えを実行しなくてよいため、処理を終了する。
 ステップS202において、表示制御部133は、時系列の切り替え操作を受け付けたかを判定する。例えば、表示制御部133は、時系列切替コンテンツTSの矩形が選択されたかを判定する。なお、表示制御部133は、時系列切替コンテンツTSaに対して矩形の選択位置を移動させる操作が行われたかを判定してもよい。そして、表示制御部133は、時系列の切り替え操作を示す信号を受け付けた場合に(ステップS202:Yes)、ステップS203において、時系列に対応する観察画像を表示する。例えば、表示制御部133は、時系列切替コンテンツTSの矩形の位置に該当する期間に対応する観察画像を表示画像として、プレートマップPmIの表示を切り替える。一方、表示制御部133は、時系列の切り替え操作を受け付けていない場合に(ステップS202:No)、ステップS204における処理を実行する。
 ステップS204において、表示制御部133は、深さの切り替え操作を受け付けたかを判定する。例えば、表示制御部133は、深さ切替コンテンツDPの矩形が選択されたかを判定する。なお、表示制御部133は、深さ切替コンテンツDPaに対して矩形の選択位置を移動させる操作が行われたかを判定してもよい。そして、表示制御部133は、深さの切り替え操作を示す信号を受け付けた場合に(ステップS204:Yes)、ステップS205において、深さに対応する観察画像を表示する。例えば、表示制御部133は、深さ切替コンテンツDPの矩形が選択されると、該当する収容部の深さに対応する観察画像を表示画像として、プレートマップPmIの表示を切り替える。一方、表示制御部133は、深さの切り替え操作を受け付けていない場合に(ステップS204:No)、ステップS201における処理を実行する。つまり、表示制御部133は、プレートマップが表示されている間、時系列切替コンテンツTS又は深さ切替コンテンツDPに対する操作を示す信号を受け付けた場合に、該当する観察画像に切り替えて表示する処理を実行する。
[第2実施形態]
 次に、第2実施形態を説明する。本実施形態において、上述した実施形態と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する場合がある。
 図19は、第2実施形態に係る情報処理装置の機能構成例を示すブロック図である。図19に示すように、情報処理装置100aは、通信部131と、取得部132と、表示制御部133aと、演算部134aと、登録部135とを有する。また、情報処理装置100aには、入力部121と、表示部122とが接続される。表示制御部133aは、「制御部」に対応する。演算部134aは、「時間演算部」に対応する。
 取得部132は、対象物のタイムラプス画像から得られる観察結果を取得する。対象物のタイムラプス画像は、上述したように、全体観察画像、及び顕微観察画像に基づく画像であり、例えば制御ユニット6が生成する画像である。取得部132における処理は、上記実施形態と同様である。表示制御部133aは、観察結果を視覚的に表現した解析結果と、観察結果に基づいて算出される時間であり、対象物に関する所定値の増減に要する時間を示す増減時間とを表示画像に示す。また、表示制御部133aは、解析結果における時間の区間の設定(例、ユーザの入力を示す信号等)を受信すると、設定された区間に対応する増減時間を表示画像に示す。なお、本実施形態における上記区間は、例えば、ある時刻と他の時刻との間を含む、又は実数からなる点(この場合、時刻)の集合でその集合内の任意の少なくとも2点の間を含む。
 増減時間は、例えば、あるときの対象物の数が所定値まで増加又は減少するまでにかかる時間を示す情報であり、倍加時間を含む。所定値については、観察対象の対象物の種類等に応じてユーザが設定することができる。本実施形態では、増減時間として、倍加時間を例に挙げて説明する。倍加時間は、例えば、「TDT=ln・[(t-t)/(y-y)]」により求める。TDTは倍加時間を示し、lnは自然対数(log2)を示す。tは区間の開始位置における時間を示し、tは、区間の終了位置における時間を示す。yは区間の開始位置における対象物の数を示し、yは区間の終了位置における対象物の数を示す。
 つまり、表示制御部133aは、対象物の数を縦軸に、時間を横軸にとり、観察結果をグラフに描画して視覚的に表現した解析結果と、そのグラフにおける時間の区間(例、細胞培養後の時間T1から時間T20までの間、時間T5から時間T10までの間等)の設定に基づく対象物の倍加時間とをそれぞれ表示画像に示し、表示部122にその表示画像を表示する。グラフの縦軸は、対象物の数に限られない。表示制御部133aは、例えば、対象物の面積を縦軸にとり、観察結果をグラフに描画した解析結果を表示画像に示してもよい。また、表示制御部133aは、例えば、対象物の周囲長を縦軸にとり、観察結果をグラフに描画した解析結果を表示画像に示してもよい。そして、表示制御部133aは、視覚的に表現した情報のグラフにおける時間の区間の変更を示す信号を受信した場合、受信した区間に対応して算出された倍加時間を表示画像に示し、表示部122に区間が変更されたグラフとその変更された区間に対応する倍加時間とを含む表示画像を表示する。グラフにおける時間の区間の設定(例、初期設定、変更等)は、ユーザが表示画像の一部として表示されているグラフ(画像)を視認しながら、ユーザ操作によって実現する。つまり、表示制御部133aは、ユーザ操作のタイミングにおいて、グラフにおける時間の区間の変更を示す信号を受信した場合に、変更された該区間に対応する倍加時間を表示画像に示す。なお、本実施形態に係る表示画像の表示に関する詳細な処理は、以下、図面を用いて説明する。
 図20から図23は、第2実施形態に係る解析結果と倍加時間とを含む表示画像の例を示す図である。なお、図20では、一例として、グループ登録後の画面を用いて説明する。ユーザは、入力部121を操作し、プレートマップPmIにおいてグループ名GNから登録済みのグループを選択する。これにより、図20に示すように、表示制御部133aは、観察結果の一覧として表示された複数のグループ名から、ユーザによって選択されたグループに対応する解析結果を示す解析結果ARと、倍加時間を示す倍加時間DTとを含む表示画像を表示部122に表示する。表示制御部133aは、例えば、解析結果AR及び倍加時間DTの表示に際して、予め演算された倍加時間を記憶装置110から取得して表示する。すなわち、倍加時間は、観察結果を記憶装置110に格納するタイミングで、予め演算されてもよい。このように、本実施形態における倍加時間の算出は、観察結果を記憶装置110に格納するタイミングで事前に演算されてもよいし、上述した区間の変更を示す信号を受信したタイミングで演算されてもよい。
 また、表示制御部133aは、演算部134aから演算処理結果を受け付けて倍加時間を表示してもよい。すなわち、演算部134aは、解析結果ARを表示する際に、リアルタイムに倍加時間を演算してもよい。また、表示制御部133aは、ユーザによって他のグループが選択された場合、ユーザによる選択に応じて該当するグループの解析結果に切り替えた表示画像を示し、表示部122に表示画像を表示する。このとき、表示制御部133aは、倍加時間についても切り替えて表示する。なお、表示制御部133aは、グラフと倍加時間とが一画面(例、ブラウザの一画面等)に収まるように表示画像に示し、表示部122に表示画像を表示することが好ましい。図20に示す解析結果ARは、グループBに属する収容部の対象物の数の平均をエラーバーとともに視覚的に表現した例である。
 また、図20とは異なり、1つのグループに属する収容部のそれぞれにおける対象物の数を視覚的に表現してもよい。かかる場合、図21に示すように、解析結果ARは、収容部の数に対応する本数のグラフで表示される。また、倍加時間DTは、グラフのそれぞれに対して表示される。ユーザは、表示領域に収まらない倍加時間DTについて、スクロールバーを利用して確認することができる。
 また、図20及び図21とは異なり、複数のグループに属する収容部の対象物の数の平均をそれぞれ視覚的に表現してもよい。かかる場合、図22に示すように、解析結果ARは、選択された複数のグループのそれぞれに属する収容部の対象物の数の平均が各グラフで表示される。また、倍加時間DTは、グラフのそれぞれに対して表示される。すなわち、表示制御部133aは、観察結果の一覧として表示された複数のグループ名から、ユーザによって選択された複数のグループのそれぞれに対応する解析結果としてのグラフを表示画像に示し、表示部122に表示画像を表示する。
 また、解析結果における時間の区間は、区間設定コンテンツ(例、2本の移動バーのアイコン等)を用いて設定されてもよい。図23に示すように、表示制御部133aは、解析結果における時間の区間を設定する区間設定コンテンツTA、TBを表示画像のグラフ上等に示す。区間設定コンテンツTAは、区間の開始位置における時間を設定するコンテンツである。図23において、区間設定コンテンツTAは、「T0」で表している。また、T0は、倍加時間の演算で利用される「t」の時間に対応する。区間設定コンテンツTBは、区間の終了位置における時間を設定するコンテンツである。図23において、区間設定コンテンツTBは、「T1」で表している。また、T1は、倍加時間の演算で利用される「T」の時間に対応する。ユーザは、区間設定コンテンツTA、TBのそれぞれを時間軸の任意の位置に移動させることにより、区間を設定する。すなわち、表示制御部133aは、解析結果における時間軸の方向に移動可能に区間を設定する区間設定コンテンツを表示画像に示し、ユーザ操作によって区間設定コンテンツが移動された場合、区間の変更を受信し、受信した区間に対応する倍加時間を表示画像に示す。
 また、表示制御部133aは、区間の日時に関する情報を表示画像に示す。図23では、倍加時間DTの上方に、区間の開始位置における日時、及び終了位置における日時を表示する例を挙げている。すなわち、表示制御部133aは、ユーザ操作によって区間設定コンテンツTA、TBが移動された場合、移動に応じて、設定された区間の日時に関する情報を切り替えて表示画像に示し、表示部122に表示画像を表示する。また、表示制御部133aは、区間設定コンテンツTA、TBで設定された区間の内外で、異なる表現効果を表示画像に示す。図23では、区間外を隠す表現効果として、区間設定コンテンツTA、TBを移動させる操作を行うユーザが区間を明確に認識できるようにした例を挙げている。
 なお、本実施形態におけるグラフ(例、解析結果ARを表示する箇所)においては、該グラフの縦軸及び横軸のデータを一例として示している。例えば、横軸には、観察開始日時から観察終了日時までの期間における時間に関する情報が表示されてもよい。例えば、縦軸には、プレートマップPmIのプルダウンで選択された項目に対する情報が表示されてもよい。例えば、縦軸は、プルダウンで細胞の数が選択された場合、0から1.0の(×10)等で示される。例えば、縦軸は、プルダウンで細胞の専有面積率が選択された場合、0から100(又は、0から1.0)等の割合で示される。従って、グラフの縦軸及び横軸は、表示する内容に応じて変化する。
 図24は、第2実施形態に係る情報処理装置における処理の流れの例を示すフローチャートである。ステップS301において、取得部132は、各グループの観察結果に関する情報を記憶装置110から取得する。ステップS302において、表示制御部133aは、取得部132が取得した各グループの観察結果に関する情報を含む表示画像を表示部122に表示する。ここで、ユーザは、入力部121を操作し、任意のグループを選択する。ユーザは、複数のグループを選択してもよいし、1つのグループだけを選択してもよい。
 ステップS303において、取得部132は、ユーザによって選択されたグループに属する観察結果を記憶装置110から取得する。そして、表示制御部133aは、取得部132が取得した観察結果をグラフ化する。ステップS304において、演算部134aは、グラフの時間軸の区間における倍加時間を演算する。なお、表示制御部133aは、予め記憶装置110に記憶された倍加時間を利用してもよい。ステップS305において、表示制御部133aは、グラフと倍加時間とを含む表示画像を表示部122に表示する。
 図25は、第2実施形態に係る区間の設定に応じた倍加時間を表示する処理の流れの例を示すフローチャートである。ステップS401において、演算部134aは、グラフにおける区間の設定が変更されたかを判定する。このとき、演算部134aは、区間の設定が変更された場合に(ステップS401:Yes)、ステップS402において、設定された区間における倍加時間を演算する。なお、表示制御部133aは、予め記憶装置110に記憶された倍加時間(区間の設定の変更後に応じた倍加時間)を利用してもよい。一方、区間の設定が変更されていない場合には(ステップS401:No)、ステップS404における処理が実行される。
 ステップS403において、表示制御部133aは、演算部134aが演算した倍加時間を含む表示画像を表示部122に表示する。ステップS404において、表示制御部133aは、他のグループが選択されたかを判定する。このとき、表示制御部133aは、他のグループが選択された場合に(ステップS404:Yes)、表示されていた解析結果に対応する倍加時間を表示する処理を終了する。一方、他のグループが選択されていない場合は(ステップS404:No)、ステップS401における処理が実行される。
[第3実施形態]
 次に、第3実施形態を説明する。本実施形態において、上述した実施形態と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する場合がある。
 図26は、第3実施形態に係る情報処理装置の機能構成例を示すブロック図である。図26に示すように、情報処理装置100bは、通信部131と、取得部132と、表示制御部133bと、演算部134bと、登録部135とを有する。また、情報処理装置100bには、入力部121と、表示部122とが接続される。表示制御部133bは、「制御部」に対応する。演算部134bは、「時間演算部」、「正規化演算部」に対応する。
 表示制御部133bは、区間に基づいて正規化した解析結果を表示画像に示す。例えば、表示制御部133bは、区間設定コンテンツTA、TB等を用いた区間の設定に基づく解析結果を表示している状況において、ユーザ操作により解析結果を正規化する指示を受け付ける。そして、表示制御部133bは、正規化の指示を受け付けた場合、設定された区間に基づく正規化の演算結果を記憶装置110から取得する。続いて、表示制御部133bは、取得した演算結果に基づいて正規化した解析結果としてのグラフを表示画像に示し、表示部122に表示画像を表示する。なお、設定された区間に基づく正規化の演算結果は、適宜、演算部134bが演算してもよい。すなわち、演算部134bは、ユーザ操作により解析結果を正規化する指示を受け付けた場合、解析結果の正規化に関する演算を実行する。これにより、表示制御部133bは、演算部134bの演算結果に基づいて正規化した解析結果としてのグラフを表示画像に示し、表示部122に表示画像を表示する。なお、本実施形態に係る正規化した解析結果を含む表示画像の表示に関する詳細なsh理は、以下、図面を用いて説明する。
 図27は、第3実施形態に係る解析結果の正規化の例を説明する図である。なお、図27では、2つの収容部における対象物の数に対応する解析結果(グラフ)を例に挙げて説明する。図27の左方に示すように、観察結果に含まれる各収容部における対象物の数をグラフにプロットした場合は、設定された区間において、収容部Aと収容部Bとのどちらがよりよく培養できているか(例、細胞の成熟度の良否又は分化状態の良否)が分かりにくい。例えば、区間の開始と終了の中間付近までは収容部Bの対象物の数が、収容部Aの対象物の数よりも多いものの、区間の終了付近では収容部Aの対象物の数が、収容部Bの対象物の数よりも多くなっている。そこで、ユーザは、設定した区間に基づく正規化の実施を指示する。これにより、図27の右方に示すように、正規化した解析結果では、収容部Aと収容部Bとの対象物の数が逆転することなく表されている。つまり、図27に示す例では、収容部Aは、収容部Bよりもよりよく培養できていることが分かる。
 正規化は、一例として、以下のように演算することができる。例えば、区間の開始T0の値を「1.00」(基準)として、グラフ全体を正規化する。収容部AのT0における値(対象物の数)を「30」、次の値を「60」、さらにT1における値を「65」とする。演算部134bは、収容部Aの解析結果について、「60÷30=2.00」、「65÷30=2.17」等のように演算する。一方、収容部BのT0における値(対象物の数)を「15」、次の値を「50」、さらにT1における値を「70」とする。演算部134bは、収容部Bの解析結果について、「50÷15=3.33」、「70÷15=4.67」等のように演算する。演算部134bは、上記の演算を全ての値について実行する。なお、正規化後は、縦軸のスケールも変更される。これらの結果、ユーザは、収容部Bよりも収容部Aの方がよりよく培養できていることを容易に認識することができる。
 図28は、第3実施形態に係る解析結果の正規化を実施する操作の例を説明する図である。図29は、第3実施形態に係る解析結果の正規化の解除を実施する操作の例を説明する図である。図28に示すように、ユーザは、対象物の数がプロットされた解析結果が表示された状況において、区間設定コンテンツTA、TBにより設定された区間の外の領域Opのいずれかの位置において、例えば左クリック等の第1操作を行う。これにより、表示制御部133bは、表示されている解析結果の正規化を実行する。図29に示すように、ユーザは、ユーザは、正規化された解析結果が表示された状況において、区間設定コンテンツTA、TBにより設定された区間の外の領域Opのいずれかの位置において、例えば右クリック等の第2操作を行う。これにより、表示制御部133bは、表示されている解析結果(正規化された解析結果)の正規化を解除する。つまり、表示制御部133bは、領域Opの位置において第1操作及び第2操作が実施されることにより、図28に示す解析結果と図29に示す解析結果とを切り替えて表示部122に表示する。
 図30は、第3実施形態に係る情報処理装置における処理の流れの例を示すフローチャートである。ステップS501において、表示制御部133bは、正規化の指示を受け付けたかを判定する。例えば、表示制御部133bは、ユーザ操作により、区間設定コンテンツTA、TBにより設定された区間の外の領域Opの位置において、第1操作が実行されたことを受け付けたかを判定する。このとき、表示制御部133bは、正規化の指示を受け付けた場合に(ステップS501:Yes)、ステップS502において、設定された区間に基づいてグラフを正規化して表示画像に示し、表示部122に表示画像を表示する。例えば、表示制御部133bは、領域Opの位置において第1操作が実行されたことを受け付けた場合に、正規化に関する演算結果を記憶装置110から取得し、演算結果に基づいて正規化されたグラフを表示画像に示し、表示部122に表示画像を表示する。なお、正規化に関する演算結果は、演算部134bに実行させてもよい。一方、表示制御部133bは、正規化の指示を受け付けていない場合に(ステップS501:No)、ステップS503における処理を実行する。
 ステップS503において、表示制御部133bは、正規化を解除する指示を受け付けたかを判定する。例えば、表示制御部133bは、ユーザ操作により、区間設定コンテンツTA、TBにより設定された区間の外の領域Opの位置において、第2操作が実行されたことを受け付けたかを判定する。このとき、表示制御部133bは、正規化を解除する指示を受け付けた場合に(ステップS503:Yes)、ステップS504において、正規化を解除したグラフを表示画像に示し、表示部122に表示画像を表示する。例えば、表示制御部133bは、領域Opの位置において第2操作が実行されたことを受け付けた場合に、正規化を解除し、正規化前のグラフを表示画像に示し、表示部122に表示画像を表示する。一方、表示制御部133bは、正規化を解除する指示を受け付けていない場合に(ステップS503:No)、ステップS505における処理を実行する。
 ステップS505において、表示制御部133bは、他のグループが選択されたかを判定する。このとき、表示制御部133bは、他のグループが選択された場合に(ステップS505:Yes)、解析結果に対して正規化を実施する又は正規化を解除する処理を終了する。一方、表示制御部133bは、他のグループが選択されていない場合に(ステップS505:No)、ステップS501における処理を実行する。
[第4実施形態]
 次に、第4実施形態を説明する。本実施形態において、上述した実施形態と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する場合がある。
 図31は、第4実施形態に係る情報処理システムの構成例を示す図である。図31に示すように、情報処理システムSYSは、第1端末30と、第2端末40と、端末装置80と、情報処理装置100と、培養システムBSとを有する。第1端末30、第2端末40、端末装置80、及び情報処理装置100は、ネットワークNを介して、相互に通信可能に接続される。ネットワークNは、インターネット、移動体通信網、及びローカルネットワークのいずれであってもよく、これらの複数種類のネットワークが組み合わされたネットワークであってもよい。
 端末装置80は、複数のゲートウェイ装置80aで構成される。ゲートウェイ装置80aは、培養システムBSと有線又は無線により接続される。なお、情報処理システムSYSでは、複数の培養システムBSが端末装置80を介して情報処理装置100に接続される構成としているが、これに限られず、単数の培養システムBSが端末装置80を介して情報処理装置100に接続される構成でもよい。また、情報処理装置100は、情報処理システムSYSにおいて、複数設けられていてもよいし、単数であってもよい。また、各情報処理装置100には、上記実施形態で説明した各種の機能が、全て含まれてもよいし、分散的に含まれてもよい。つまり、本実施形態に係る情報処理装置100は、クラウドコンピューティングにより実現することができる。
 情報処理システムSYSでは、ユーザ側の端末(第1端末30、第2端末40等)から、情報処理装置100に接続し、その端末の表示部に表示されるブラウザを用いて観察結果を閲覧や操作することができる。情報処理装置100は、サーバとして、取得部において、対象物のタイムラプス画像から得られる観察結果を取得する。そして、情報処理装置100は、画像生成部において、観察結果を視覚的に表現した解析結果と、対象物に関する所定値の増減に要する時間を示す増減時間とを含む表示画像を生成する。また、情報処理装置100は、画像生成部において、解析結果における区間の設定を受信すると、設定された区間に対応する増減時間を表示画像に示す。続いて、情報処理装置100は、出力部において、ネットワークNを介して、画像生成部が生成した表示画像をユーザ端末に出力する。
 上述してきた実施形態において、情報処理装置100は、例えば、コンピュータシステムを含む。情報処理装置100は、メモリに記憶された情報処理プログラムを読み出し、読み出した情報処理プログラムに従って各種の処理を実行する。かかる情報処理プログラムは、例えば、コンピュータに、対象物のタイムラプス画像から得られる観察結果を取得することと、観察結果を視覚的に表現した解析結果と、対象物に関する所定値の増減に要する時間を示す増減時間とを表示画像に示すことと、解析結果における区間の設定を受信すると、設定された区間に対応する増減時間を表示画像に示すことと、を実行させる。情報処理プログラムは、コンピュータ読み取り可能な記憶媒体(例えば、非一時的な記憶媒体、non‐transitory tangible media)に記録されて提供されてもよい。また、上述した各実施形態において、情報処理装置100の演算部134は、解析結果を視覚的に表現した情報をグラフとして表示する場合に、該グラフに表示する1つのデータ(例、グラフの横軸のデータ等)を複数の観察画像から演算して(例、積算、平均)算出してもよい。
 なお、技術範囲は、上述した実施形態等で説明した態様に限定されるものではない。上述した実施形態等で説明した要件の1つ以上は、省略されることがある。また、上述した実施形態等で説明した要件は、適宜、組み合わせることができる。また、法令で許容される限りにおいて、上述した実施形態等で引用した全ての文献の開示を援用して本文の記載の一部とする。
100・・・情報処理装置、110・・・記憶装置、121・・・入力部、122・・・表示部、131・・・通信部、132・・・取得部、133・・・表示制御部、134・・・演算部、135・・・登録部

Claims (25)

  1.  対象物のタイムラプス画像から得られる観察結果を取得する取得部と、
     前記観察結果を視覚的に表現した解析結果と、前記対象物に関する所定値の増減に要する時間を示す増減時間とを表示画像に示す制御部と、
     を備え、
     前記制御部は、前記解析結果における区間の設定を受信すると、設定された前記区間に対応する前記増減時間を前記表示画像に示す、
     情報処理装置。
  2.  前記制御部は、前記表示画像に対する前記解析結果における時間の前記区間の変更を受信し、受信した前記区間に対応する前記増減時間を前記表示画像に示す、請求項1に記載の情報処理装置。
  3.  前記対象物は、細胞を含み、
     前記増減時間は、前記細胞の倍加時間である、請求項1又は請求項2に記載の情報処理装置。
  4.  前記増減時間を演算する時間演算部、を備える、請求項1から請求項3のいずれか一項に記載の情報処理装置。
  5.  前記制御部は、前記増減時間を記憶装置から取得する、請求項1から請求項3のいずれか一項に記載の情報処理装置。
  6.  前記制御部は、前記解析結果における時間の前記区間を設定する区間設定コンテンツを前記表示画像に示し、前記区間設定コンテンツによる前記区間の設定を受信する、請求項1から請求項5のいずれか一項に記載の情報処理装置。
  7.  前記制御部は、前記解析結果における時間軸の方向に移動可能に前記区間を設定する前記区間設定コンテンツを前記表示画像に示す、請求項6に記載の情報処理装置。
  8.  前記制御部は、前記区間に基づいて正規化した前記解析結果を前記表示画像に示す、請求項1から請求項7のいずれか一項に記載の情報処理装置。
  9.  前記解析結果の正規化に関する演算を実行する正規化演算部、を備え、
     前記制御部は、前記正規化演算部の演算結果に基づいて正規化した前記解析結果を前記表示画像に示す、請求項8に記載の情報処理装置。
  10.  前記制御部は、前記解析結果における前記区間に基づく正規化の演算結果を記憶装置から取得する、請求項8に記載の情報処理装置。
  11.  前記制御部は、第1操作に応じて正規化した前記解析結果を前記表示画像に示し、前記第1操作とは異なる第2操作に応じて正規化を解除した前記解析結果を前記表示画像に示す、請求項8から請求項10のいずれか一項に記載の情報処理装置。
  12.  前記制御部は、前記解析結果における前記区間の内外で異なる表現効果を前記表示画像に示す、請求項1から請求項11のいずれか一項に記載の情報処理装置。
  13.  前記制御部は、前記区間の日時に関する情報を前記表示画像に示す、請求項1から請求項12のいずれか一項に記載の情報処理装置。
  14.  前記制御部は、ユーザによって選択された前記観察結果に対する前記解析結果を前記表示画像に示す、請求項1から請求項13のいずれか一項に記載の情報処理装置。
  15.  前記制御部は、前記観察結果の一覧から前記ユーザによって選択された前記観察結果に対する前記解析結果を前記表示画像に示す、請求項14に記載の情報処理装置。
  16.  前記制御部は、ユーザによって選択された複数の前記観察結果に対する複数の前記解析結果を重ねて前記表示画像に示す、請求項1から請求項13のいずれか一項に記載の情報処理装置。
  17.  前記制御部は、前記ユーザによる選択に応じて前記解析結果を切り替えた前記表示画像を示す、請求項14から請求項16のいずれか一項に記載の情報処理装置。
  18.  前記制御部は、前記解析結果と前記増減時間とが一画面に収まるように前記表示画像に示す、請求項1から請求項17のいずれか一項に記載の情報処理装置。
  19.  前記制御部は、前記観察結果の情報をグラフに描画した前記解析結果を前記表示画像に示す、請求項1から請求項18のいずれか一項に記載の情報処理装置。
  20.  前記制御部は、前記対象物の数を、前記解析結果における時間軸とは異なる前記グラフの軸として前記表示画像に示す、請求項19に記載の情報処理装置。
  21.  前記制御部は、前記対象物の面積を、前記解析結果における時間軸とは異なる前記グラフの軸として前記表示画像に示す、請求項19に記載の情報処理装置。
  22.  前記制御部は、前記対象物の周囲長を、前記解析結果における時間軸とは異なる前記グラフの軸として前記表示画像に示す、請求項19に記載の情報処理装置。
  23.  対象物のタイムラプス画像から得られる観察結果を取得することと、
     前記観察結果を視覚的に表現した解析結果と、前記対象物に関する所定値の増減に要する時間を示す増減時間とを表示画像に示すことと、
     前記解析結果における区間の設定を受信すると、設定された前記区間に対応する前記増減時間を前記表示画像に示すことと、
     を含む、情報処理方法。
  24.  コンピュータに、
     対象物のタイムラプス画像から得られる観察結果を取得することと、
     前記観察結果を視覚的に表現した解析結果と、前記対象物に関する所定値の増減に要する時間を示す増減時間とを表示画像に示すことと、
     前記解析結果における区間の設定を受信すると、設定された前記区間に対応する前記増減時間を前記表示画像に示すことと、
     を実行させる、情報処理プログラム。
  25.  クラウドコンピューティングによりユーザ端末に表示画像を出力する情報処理システムであって、
     サーバを備え、
     前記サーバは、
     対象物のタイムラプス画像から得られる観察結果を取得する取得部と、
     前記観察結果を視覚的に表現した解析結果と、前記対象物に関する所定値の増減に要する時間を示す増減時間とを含む前記表示画像を生成する画像生成部と、
     ネットワークを介して、前記画像生成部が生成した前記表示画像を前記ユーザ端末に出力する出力部と、
     を備え、
     前記画像生成部は、前記解析結果における区間の設定を受信すると、設定された前記区間に対応する前記増減時間を前記表示画像に示す、
     情報処理システム。
PCT/JP2019/038164 2019-09-27 2019-09-27 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム WO2021059488A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2019/038164 WO2021059488A1 (ja) 2019-09-27 2019-09-27 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム
EP19947323.2A EP4043547A4 (en) 2019-09-27 2019-09-27 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM AND INFORMATION PROCESSING SYSTEM
US17/764,019 US20220398736A1 (en) 2019-09-27 2019-09-27 Information processing device, information processing method, information processing program, and information processing system
CN201980100800.1A CN114502713A (zh) 2019-09-27 2019-09-27 信息处理装置、信息处理方法、信息处理程序及信息处理系统
JP2021548122A JPWO2021059488A1 (ja) 2019-09-27 2019-09-27

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/038164 WO2021059488A1 (ja) 2019-09-27 2019-09-27 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム

Publications (1)

Publication Number Publication Date
WO2021059488A1 true WO2021059488A1 (ja) 2021-04-01

Family

ID=75166016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/038164 WO2021059488A1 (ja) 2019-09-27 2019-09-27 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム

Country Status (5)

Country Link
US (1) US20220398736A1 (ja)
EP (1) EP4043547A4 (ja)
JP (1) JPWO2021059488A1 (ja)
CN (1) CN114502713A (ja)
WO (1) WO2021059488A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009031283A1 (ja) * 2007-09-03 2009-03-12 Nikon Corporation 培養装置、培養情報管理方法およびプログラム
WO2012127879A1 (ja) * 2011-03-24 2012-09-27 株式会社ニコン 培養装置、培養装置システム、培養操作管理方法およびプログラム
WO2015193951A1 (ja) 2014-06-16 2015-12-23 株式会社ニコン 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
JP2017023055A (ja) * 2015-07-22 2017-02-02 大日本印刷株式会社 細胞管理システム、プログラム、及び、細胞管理方法
WO2018142702A1 (ja) * 2017-01-31 2018-08-09 株式会社ニコン 培養支援装置、観察装置、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007020422A (ja) * 2005-07-12 2007-02-01 Olympus Corp 生体試料培養観察装置、生体試料培養観察方法、および生体試料培養観察用プログラム
WO2009119330A1 (ja) * 2008-03-24 2009-10-01 株式会社ニコン 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
WO2018128080A1 (ja) * 2017-01-06 2018-07-12 オリンパス株式会社 細胞観察システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009031283A1 (ja) * 2007-09-03 2009-03-12 Nikon Corporation 培養装置、培養情報管理方法およびプログラム
WO2012127879A1 (ja) * 2011-03-24 2012-09-27 株式会社ニコン 培養装置、培養装置システム、培養操作管理方法およびプログラム
WO2015193951A1 (ja) 2014-06-16 2015-12-23 株式会社ニコン 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
JP2017023055A (ja) * 2015-07-22 2017-02-02 大日本印刷株式会社 細胞管理システム、プログラム、及び、細胞管理方法
WO2018142702A1 (ja) * 2017-01-31 2018-08-09 株式会社ニコン 培養支援装置、観察装置、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BUGGENTHIN, FELIX ET AL.: "An automatic method for robust and fast cell detection in bright field images from high-throughput microscopy", BMC BIOINFORMATICS, vol. 14, no. 297, 2013, pages 1 - 12, XP021162980 *
See also references of EP4043547A4

Also Published As

Publication number Publication date
US20220398736A1 (en) 2022-12-15
EP4043547A1 (en) 2022-08-17
EP4043547A4 (en) 2023-07-12
JPWO2021059488A1 (ja) 2021-04-01
CN114502713A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
JPWO2009031283A1 (ja) 培養装置、培養情報管理方法およびプログラム
US8588504B2 (en) Technique for determining the state of a cell aggregation image processing program and image processing device using the technique, and method for producing a cell aggregation
US20120134571A1 (en) Cell classification method, image processing program and image processing device using the method, and method for producing cell aggregation
WO2011013319A1 (ja) 細胞塊の成熟判定手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
WO2009119330A1 (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
EP2272971B1 (en) Method for analyzing image for cell observation, image processing program, and image processing device
US20120106822A1 (en) Method for determining the state of a cell aggregation, image processing program and image processing device using the method, and method for producing a cell aggregation
JP6898955B2 (ja) 情報処理装置
JP6355082B2 (ja) 病理診断支援装置及び病理診断支援方法
JP2009229274A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
WO2021059488A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム
JP7380695B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム
WO2021059489A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理システム
JP2009229276A (ja) 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
JP2022020559A (ja) 画像処理装置、画像処理方法、および、プログラム
US20170098033A1 (en) Cell observation information processing system, cell observation information processing method, cell observation information processing program, archive section provided for cell observation information processing system, and apparatuses provided for cell observation information processing system
JP6946807B2 (ja) 画像表示装置、プログラム及び制御方法
JP5917260B2 (ja) コロニー計数支援方法、及び、プログラム
US11348350B2 (en) Observation system and information management method
JP6939170B2 (ja) 画像表示装置、プログラム及び制御方法
JP2010220511A (ja) 培養観察装置及び情報管理方法
JP6996145B2 (ja) 画像表示装置、プログラム及び制御方法
WO2015146833A1 (ja) 細胞観察情報処理システム、細胞観察情報処理方法
CN114862748A (zh) 样本图像分析系统、样本图像展示设备及方法
JP2022131937A (ja) アノテーションを支援するシステム、方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19947323

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021548122

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019947323

Country of ref document: EP

Effective date: 20220428