WO2019030906A1 - 観察システム及び情報管理方法 - Google Patents

観察システム及び情報管理方法 Download PDF

Info

Publication number
WO2019030906A1
WO2019030906A1 PCT/JP2017/029155 JP2017029155W WO2019030906A1 WO 2019030906 A1 WO2019030906 A1 WO 2019030906A1 JP 2017029155 W JP2017029155 W JP 2017029155W WO 2019030906 A1 WO2019030906 A1 WO 2019030906A1
Authority
WO
WIPO (PCT)
Prior art keywords
comment
image
display
information
time
Prior art date
Application number
PCT/JP2017/029155
Other languages
English (en)
French (fr)
Inventor
真一 瀧本
洋平 谷川
峯　泰治
高之 中富
政和 藤井
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/029155 priority Critical patent/WO2019030906A1/ja
Priority to JP2019535547A priority patent/JP7242530B2/ja
Priority to CN201780093697.3A priority patent/CN110998645A/zh
Publication of WO2019030906A1 publication Critical patent/WO2019030906A1/ja
Priority to US16/785,714 priority patent/US11348350B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/66—Trinkets, e.g. shirt buttons or jewellery items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition

Definitions

  • the present invention relates to an observation system and an information management method.
  • Cell culture is performed in many biological related experiments. Cell culture is carried out based on a generally determined procedure (protocol), but often changes in cells occur during the culture process. Therefore, it is important for maintaining the quality of cells to always grasp the state of cells properly. Therefore, a worker conducting cell culture observes the cultured cells with a microscope every day to confirm the state of the cells. The task of observing the state of such cells is routine. Further, in such work, various judgments and the like on culture including grasping of the state of cells are often based on the experience or know-how of the worker. Since cell culture is always performed, it is rare for workers to constantly capture the state of cells and store them as image data.
  • Japanese Patent Application Laid-Open No. 2002-85054 discloses a technique relating to a culture apparatus with an observation device capable of remotely observing and recording the state of cells cultured in an incubator.
  • the state of the petri dish in the culture device can be recorded using a scanner in the culture device.
  • This device can record continuously or periodically according to a preset schedule.
  • This culture apparatus with an observation apparatus can record the number and condition of colonies, and the like.
  • An object of the present invention is to provide an observation system and an information management method capable of appropriately recording a user's opinion on an observation result.
  • the observation system includes an image management unit that manages a plurality of images acquired along a time series of a biological sample being cultured, and a comment in association with the image based on a user's instruction. And a comment management unit for recording
  • an information management method comprises: managing a plurality of images acquired along a time series of a biological sample being cultured; and associating a comment with the image based on a user's instruction. And recording.
  • the present invention it is possible to provide an observation system and an information management method capable of appropriately recording the user's opinion regarding the observation result.
  • FIG. 1 is a diagram showing an outline of a configuration example of an observation system.
  • FIG. 2 is a block diagram showing an outline of a configuration example of the observation system.
  • FIG. 3 is a diagram showing an outline of a configuration example of observation data handled by the observation system.
  • FIG. 4 is a flowchart showing an outline of an example of the recording process performed by the observation device.
  • FIG. 5 is a flowchart showing an outline of an example of observation data management processing performed in the observation system.
  • FIG. 6 is a diagram showing an outline of an example of the main screen displayed on the display device.
  • FIG. 7 is a flowchart showing an outline of an example of the image selection process performed in the observation system.
  • FIG. 8 is a flowchart showing an outline of an example of the image comment addition process performed in the observation system.
  • FIG. 9 is a diagram showing an outline of an example of a comment screen displayed on the display device.
  • FIG. 10 is a diagram showing an outline of an example of the RoI setting screen displayed on the display device.
  • FIG. 11 is a flowchart showing an outline of an example of graph time selection processing performed in the observation system.
  • FIG. 12 is a flowchart showing an outline of an example of the graph comment addition process performed in the observation system.
  • FIG. 13 is a diagram showing an outline of an example of a comment screen displayed on the display device.
  • FIG. 14 is a flowchart showing an outline of an example of comment confirmation processing performed in the observation system.
  • FIG. 15 is a diagram showing an outline of an example of the comment outline display screen displayed on the display device.
  • FIG. 16 is a flowchart showing an outline of an example of the detail confirmation process performed by the observation system.
  • FIG. 17 is a diagram showing an outline of an example of the comment detail screen displayed on the display device.
  • FIG. 18 is a flowchart showing an outline of an example of a moving image reproduction process performed by the observation system.
  • FIG. 19 is a diagram for describing an example of selection of related images performed in the observation system.
  • FIG. 20 is a flowchart showing an outline of an example of the screen information transmission process performed in the observation system.
  • FIG. 21 is a flowchart showing an outline of an example of the comment list process performed in the observation system.
  • the present embodiment relates to an observation system used to observe a state during culture of a biological sample such as a cell.
  • This observation system can, for example, image a biological sample in an incubator.
  • the cells to be observed may be derived from any organism or cultured by any method.
  • an image obtained by photographing may be stored on a server and viewed from a plurality of terminals.
  • RoI Region of Interest
  • the observation system 1 includes an observation device 110.
  • the observation device 110 is a device having a substantially rectangular outer shape as shown in FIG.
  • a transparent plate 111 is provided on the upper surface of the observation device 110, and a biological sample 190 to be observed is disposed on the transparent plate 111.
  • an imaging unit 112 having a photographing lens, an imaging device, etc. and photographing the transparent plate 111 side, and a moving mechanism 114 for moving the imaging unit 112 in a plane parallel to the transparent plate 111 are arranged. It is done.
  • the range in which the imaging unit 112 can acquire an image in one shooting is narrow.
  • the observation device 110 can acquire an image of a wide range of the biological sample 190 as the imaging unit 112 repeatedly performs imaging while the moving mechanism 114 moves the imaging unit 112.
  • the observation device 110 includes a control circuit 116 for controlling the operation of each unit including the imaging unit 112 and the moving mechanism 114.
  • the control circuit 116 includes, for example, one or more central processing units (CPUs), application specific integrated circuits (ASICs), or field programmable gate arrays (FPGAs).
  • the observation device 110 includes a storage device 118 in which an image or the like obtained by photographing is recorded. The program, various parameters, and the like used by the control circuit 116 are stored in the storage device 118 or a storage area of the control circuit 116.
  • the observation device 110 is provided with an input device 120 used by the user to input the start or end of the observation.
  • the observation device 110 is placed, for example, in an incubator, and photographs, for example, periodically or irregularly, the appearance of the biological sample 190 being cultured in the incubator, for example, under preset conditions.
  • the observation system 1 is connected to the observation apparatus 110, and includes a controller 130 that controls various operations of the observation apparatus 110, manages an image acquired by the observation apparatus 110, performs various analyzes based on the acquired image, and the like.
  • the controller 130 is located outside the incubator.
  • the connection between the observation device 110 and the controller 130 may be wired or wireless.
  • a personal computer (PC) or the like may be used as the controller 130.
  • controller 130 is, for example, a general PC, as shown in FIG. 2, a processor 132 such as a CPU, a memory 134 such as a DRAM, a storage device 136 such as a hard disk or a flash memory, a display device 138 such as a liquid crystal display And an input device 140 such as a keyboard, a mouse, a touch panel and the like.
  • a processor 132 such as a CPU
  • memory 134 such as a DRAM
  • storage device 136 such as a hard disk or a flash memory
  • display device 138 such as a liquid crystal display
  • an input device 140 such as a keyboard, a mouse, a touch panel and the like.
  • the controller 130 is connected to the network 180.
  • the observation system 1 further includes a browsing device 160 and a server 200 connected to each other via the network 180.
  • the server 200 includes a processor 202, a memory 204, a storage device 206, and the like.
  • An image or the like of the biological sample 190 acquired by the observation device 110 is uploaded to the server 200 via the controller 130 and recorded in the storage device 206.
  • the terminal as the browsing device 160 is not limited to a PC, and may be a tablet information terminal or the like. Moreover, the terminal as the browsing apparatus 160 may be any number.
  • the browsing device 160 is, for example, a PC, and as shown in FIG. 2, includes a processor 162, a memory 164, a storage device 166, a display device 168, an input device 170, and the like.
  • the browsing device 160 is used to browse an image or the like of the biological sample 190 recorded in the storage device 206 of the server 200.
  • the controller 130 or the browsing device 160 or the like can access the server 200 and register a comment on an image or the like recorded in the storage device 206. Comments to be registered may include various forms such as text and graphics.
  • the server 200 has a function as an arithmetic unit 210 realized by the processor 202 or the like.
  • the calculation unit 210 has a function as an information management unit 212 that integrally manages information such as an image of the biological sample 190 acquired by the observation device 110 and a comment registered by the controller 130 or the browsing device 160 or the like.
  • the computing unit 210 has a function as an image management unit 214 that manages image information.
  • the arithmetic unit 210 also has a function as an analysis result management unit 215 that manages the results of various analyzes performed based on, for example, an image.
  • the arithmetic unit 210 has a function as a comment management unit 216 that manages information such as a comment.
  • the arithmetic unit 210 has a function as a data analysis unit 218 that performs various analyzes based on, for example, an image.
  • the arithmetic unit 210 also has a function as a display control unit 220 that creates a screen to be displayed on the controller 130 or the browsing device 160 that has accessed the server 200.
  • a control program 242 and the like that are performed by the calculation unit 210 and pertain to various calculations are recorded. Further, in the storage device 206 of the server 200, a database 244 is recorded.
  • the database 244 includes observation data 300 including an image, a comment, an analysis result, and the like related to the biological sample 190. Further, the database 244 includes display data 250 which is information related to a screen displayed on the controller 130 or the browsing device 160 or the like.
  • the observation data 300 is created, for example, for each series of observations.
  • a configuration example of the observation data 300 is shown in FIG.
  • the observation data 300 includes imaging information 310, an image file group 330, a comment file group 360, and analysis information 390.
  • the imaging information 310 includes information on a series of observations including a plurality of imagings performed using the observation device 110.
  • the imaging information 310 includes container information 311, imaging position information 312, imaging time information 313, a comment 314, specific information 315, work information 317, and the like.
  • the container information 311 includes information related to the container of the biological sample 190 to be observed.
  • the container may be, for example, a petri dish, culture flasks of various sizes, multi-well dishes having various numbers of wells, and the like.
  • the imaging position information 312 includes information on the imaging position such as the imaging position of the imaging unit 112 moved by the moving mechanism 114. In order to acquire an image of a wide range of the biological sample 190, imaging is performed at a plurality of imaging positions.
  • the imaging time information 313 includes information related to the imaging time such as the start time of imaging performed by the imaging unit 112 which is repeated at regular intervals, for example.
  • the timing of shooting can be set arbitrarily.
  • the comment 314 includes, for example, information related to a comment registered by the controller 130 or the viewing device 160 or the like.
  • the comment 314 may include, for example, comment content related to the shooting information 310 among the registered comments, information for specifying a comment file related to the shooting information 310 among comment files to be described later, and the like.
  • the specific information 315 is information indicating one shooting specified by the relationship between the shooting position (for example, p1, p2, ..., pn in FIG. 3) and the shooting time (for example, t1, t2, ..., tn in FIG.
  • the work information 317 includes information related to various work contents such as medium replacement, passage work, work of adding a reagent, and the like, which are performed during a series of observation. In the work information 317, information on each work is associated with the time when the work was performed.
  • the image file group 330 includes a plurality of image files 331 created for each shooting performed by the imaging unit 112.
  • Each image file 331 includes an ID 341, image data 342, thumbnail image data 343, identification information 344, a photographing position 345, a photographing time 346, a photographing condition 347, a comment 348 and the like.
  • the ID 341 includes ID information attached to each image file 331.
  • the image data 342 includes the image data acquired by the imaging unit 112.
  • the thumbnail image data 343 includes data of thumbnail images created based on the image data 342.
  • the thumbnail image data 343 may be used, for example, for displaying a list of captured images included in a display screen displayed by the controller 130 or the viewing device 160 or the like.
  • the identification information 344 includes information (Inm or the like) which is managed by the identification information 315 included in the imaging information 310 and indicates imaging when the image data 342 is acquired. By using this information and the specific information 315 included in the photographing information 310, it is possible to specify the photographing position and the photographing time when the image data 342 is acquired.
  • the imaging position 345 includes information of the imaging position when the image data 342 is acquired.
  • the imaging time 346 includes information of the imaging time when the image data 342 is acquired. Since the specific information 344, the photographing position 345 and the photographing time 346 have the information obtained finally in common, either one or both may be recorded in the image file 331. If both are recorded, the convenient one can be used according to the application.
  • the imaging condition 347 includes information of imaging conditions such as setting of the imaging unit 112 when the image data 342 is acquired.
  • the shooting conditions 347 include, for example, information such as a focal length of a shooting lens, an in-focus position, an aperture, an exposure time, an illumination condition, and a filter condition.
  • the comment 348 includes, for example, information related to a comment registered by the controller 130 or the viewing device 160 or the like.
  • the comment 348 can include, for example, comment content related to the image file 331 among the registered comments, information specifying a comment file related to the image file 331 among comment files to be described later, and the like.
  • the comment file group 360 includes a plurality of comment files 361 related to comments registered by the controller 130 or the browsing device 160 or the like.
  • Each comment file 361 includes ID 371, comment type 372, comment data 373, RoI data 374, comment user 375, comment time 376, specific information 377, shooting position 378, shooting time 379 and the like.
  • the ID 371 includes ID information attached to each comment file 361.
  • the comment type 372 is a comment registered for an image, a comment registered for a graph indicating an analysis result, a comment registered for a time bar, or registered as a reply to a comment, as described later. It contains information such as whether it is a comment or not.
  • the comment data 373 includes, for example, text information of a comment registered by the controller 130 or the viewing device 160 or the like.
  • the RoI data 374 includes information related to figures, characters such as RoI, and the positions and sizes thereof registered by the controller 130 or the viewing device 160 or the like.
  • the comment user 375 includes information identifying the user who has registered the comment. The information for identifying the user may be based on, for example, login information or the like that is authenticated when the controller 130 that registers a comment, the viewing device 160, or the like operates.
  • the comment time 376 includes date and time information and the like when a comment is registered by the controller 130 or the viewing device 160 or the like.
  • the identification information 377 may include information (Inm or the like) indicating imaging when the commented image data 342 is acquired, which is managed by the identification information 315 included in the imaging information 310. By using this information and the specific information 315 included in the photographing information 310, it is possible to specify the photographing position and the photographing time when the image data 342 is acquired. Further, the specific information 377 may include information indicating a photographing time (tm or the like) commented in a graph or time bar, which is managed by the specific information 315 included in the photographing information 310.
  • the imaging position 378 includes information of the imaging position when the image data 342 with the comment is acquired.
  • the shooting time 379 includes information on the shooting time to which a comment is attached.
  • the analysis information 390 includes information related to the analysis result performed based on the image data 342 and the like.
  • the analysis information 390 includes cell number / density information 391, colony size / position information 394, and a comment 397.
  • the cell number / density information 391 includes, for example, for each well of the container of the biological sample 190, and for each imaging time, information on the cell number and the density obtained based on the image data 342.
  • cell number / density information 391 includes specific information indicating an image used in determining the cell number and density.
  • the colony size / position information 394 includes information such as the size of the colony included in the image, the position of the colony, etc. obtained for each imaging position and imaging time, that is, for each image data 342.
  • the comment 397 includes, for example, information related to a comment registered by the controller 130 or the viewing device 160 or the like.
  • the operation of the observation device 110 will be described.
  • the observation device 110 repeatedly captures the biological sample 190 according to a schedule preset by the user using, for example, the controller 130.
  • the period during which repeated photographing is performed may be, for example, several days to several weeks or several months.
  • the position of the biological sample 190 to be photographed at each photographing timing is also preset by the user using, for example, the controller 130.
  • work such as medium replacement and passaging operation is performed on the biological sample 190.
  • the user uses the input device 120 of the observation device 110 or the controller 130 to input information indicating that the task is to be performed.
  • step S101 the control circuit 116 of the observation apparatus 110 determines whether it is time to perform imaging. For example, based on a predetermined schedule, it is determined whether it is time to perform imaging. Also, based on the user's imaging instruction that may be input via the input device 120 or the controller 130 of the observation device 110, it may be determined that it is timing to perform imaging. If it is time to perform imaging, the process proceeds to step S102. At this time, imaging of the biological sample 190 using the imaging unit 112 is performed. That is, in step S102, the control circuit 116 instructs the moving mechanism 114 to move the imaging unit 112 to the imaging position.
  • step S103 the control circuit 116 instructs the imaging unit 112 moved to the imaging position to perform the imaging operation.
  • the control circuit 116 performs various processes on the image obtained by photographing, and causes the storage device 118 of the observation device 110 to record the image.
  • step S104 the control circuit 116 determines whether or not all shooting within the preset shooting range is completed. If all shooting has not been completed, the process returns to step S102. That is, the movement of the imaging unit 112, the photographing operation, and the recording of the photographing result are repeatedly performed until all the set photographing positions are finished. If it is determined in step S104 that all shooting has been completed, the process proceeds to step S107.
  • step S105 the control circuit 116 determines whether to record the work history. For example, when the culture medium exchange of the biological sample 190, a passage work, etc. are performed and the input device 120 grade
  • step S107 the control circuit 116 determines whether or not the scheduled series of imaging has been completed. If it is determined that the series of shooting has not ended, the process returns to step S101. That is, until the scheduled imaging is completed, imaging and recording of the result are performed at the imaging timing, and the operation history is recorded in the storage device 118 when an instruction to record the operation history is input. When neither the photographing timing nor the work history is recorded, the above process is repeated.
  • step S107 If it is determined in step S107 that the scheduled series of imaging has ended, the process ends.
  • Data related to the photographed image, the work history and the like recorded in the storage device 118 of the observation device 110 is read by the controller 130 and, after necessary processing is performed, the storage device 206 of the server 200 via the network 180.
  • An image file group 330 is generated by collecting a plurality of such image files.
  • the imaging information 310 is generated based on information of the imaging schedule, the work history, and the like. The creation of the imaging information 310, the image file group 330, and the like may be performed by the controller 130, or may be performed by the arithmetic unit 210 of the server 200.
  • analysis information 390 including cell number / density information 391 and colony size / position information 394 is created. These analyzes may be performed by the controller 130 or may be performed by the computing unit 210 of the server 200. The generated analysis information 390 is also recorded as part of the observation data 300.
  • FIG. 5 is a flowchart showing an outline of observation data management processing performed by the calculation unit 210 of the server 200. These processes are performed when the user accesses the server 200 using a terminal such as the controller 130 or the browsing device 160, and the server 200 responds to an instruction issued from the terminal to the server 200.
  • step S201 the computing unit 210 transmits information on the main screen to a terminal such as the controller 130 or the browsing device 160 accessing the server 200, and causes the display device of the terminal to display the main screen.
  • a terminal such as the controller 130 or the browsing device 160 that has received the information on the main screen displays the main screen on the display device. Further, the terminal receives a point selected by the user on the main screen by an input device such as a mouse.
  • the terminal transmits, to the server 200, information on a point on the main screen selected by the user.
  • the calculation unit 210 of the server 200 performs various processes based on the point selected by the user acquired from the terminal.
  • the main screen 500 includes an image display area 510, a sample information display area 530, a work information display area 540, a time bar 550, a moving image operation icon 560, and an analysis result display area 570.
  • thumbnail images 511 of the images acquired by the observation device 110 are displayed as a list.
  • each thumbnail image displayed in a list may be an image obtained at a different imaging position, and each thumbnail image may be a thumbnail image of an image acquired at an imaging time that can be regarded as the same.
  • the image displayed in the image display area 510 may also be changed when the designated photographing time is changed, such as by operating a time bar 550 described later. Also, when a specific image is selected, the selected image is displayed large in the image display area 510.
  • the selected image is highlighted 523.
  • the highlighted display 523 can be added to the thumbnail image corresponding to the corresponding imaging position even when the imaging position 534 displayed in the sample information display area 530 described later is selected, for example.
  • a comment icon 524 is superimposed and displayed on the thumbnail image 511 of the corresponding image.
  • a comment adding icon 525 selected by the user when a new comment is added is arranged.
  • the sample information display area 530 includes a container display 531 indicating the type of the container of the biological sample 190.
  • the example of FIG. 6 shows the case where the observation was performed in a 6-well dish.
  • the container display 531 is based on the container information 311 included in the imaging information 310 of the observation data 300.
  • the sample information display area 530 may include a well display 532.
  • the schematic view of the 6-well dish is displayed as the well display 532 to indicate that the 6-well dish is used.
  • the well display 532 indicates the currently selected well by making the display of the currently selected well different from the display of the other wells.
  • the well display 532 is indicated by a broken line to indicate that the lower right well is selected.
  • the sample information display area 530 includes a container map 533.
  • the container map 533 shows the imaging position 534 in the currently selected well or the like.
  • the example shown in FIG. 6 shows a plurality of imaging positions 534 set in the lower right well of the 6-well dish.
  • the shooting position 534 is displayed based on the shooting position information 312 included in the shooting information 310.
  • the thumbnail image of the image display area 510 corresponding to the selected shooting position is highlighted 523 as a selected image.
  • the container map 533 schematically shows the position of the colony and the size of the colony obtained as the analysis result based on the image.
  • the display of the position of the colony and the size of the colony is based on the colony size / position information 394 included in the analysis information 390.
  • the work information display area 540 displays a list of work information. This list is displayed based on the work information 317 included in the shooting information 310.
  • the displayed work information includes culture medium exchange information 541, passage work information 542, and the like. For each piece of information, for example, information on the date and time when the work was performed, the time required for the work, and the like are displayed.
  • the time bar 550 displays a series of observation schedules in the form of a bar.
  • the time bar 550 shows time series from left to right.
  • the time bar 550 includes a selected time display 553 indicating the currently selected time.
  • the currently selected time corresponds to the photographing time at which the image corresponding to the thumbnail image 511 displayed in the image display area 510 is photographed.
  • the user can select a time by selecting a point on the time bar 550.
  • the selected time is indicated by the selected time display 553.
  • a thumbnail image relating to an image obtained at a shooting time corresponding to the selected time is displayed in the image display area 510.
  • the time bar 550 displays work information.
  • the time bar 550 is provided with a medium replacement display 551 indicating the timing of medium replacement, and a passage work display 552 indicating the timing of passage work.
  • a reagent addition display or the like indicating the timing of reagent addition may be attached.
  • the culture medium change display 551, the passage work display 552, the reagent addition display, and the like are displayed based on the work information 317 of the imaging information 310.
  • the time bar 550 is provided with a comment display 554 indicating a point of time when a comment is attached. The comment display 554 is displayed based on the comment 314 of the shooting information 310.
  • the moving image operation icon 560 includes an icon used when the user changes the image displayed in the image display area 510.
  • the video operation icon 560 includes a reproduction icon 561, an oldest image selection icon 562, a latest image selection icon 563, a past selection icon 564, a future selection icon 565, and the like.
  • the reproduction icon 561 is selected, the image displayed in the image display area 510 is reproduced from the time-lapse moving image in which the images are sequentially displayed in chronological order starting from the time point currently selected.
  • the oldest image selection icon 562 is selected, the oldest acquired image is selected from the series of images and displayed in the image display area 510.
  • the latest image selection icon 563 is selected, the image acquired most recently out of the series of images is selected and displayed in the image display area 510.
  • past selection icon 564 When the past selection icon 564 is selected, past images are sequentially selected from the currently selected image and sequentially displayed in the image display area 510.
  • future selection icon 565 images of the future are sequentially selected from the currently selected image and sequentially displayed in the image display area 510.
  • the selected time display 553 of the time bar 550 moves in accordance with the time selected at that time.
  • the analysis result display area 570 displays the information included in the cell number / density information 391 of the analysis information 390 in the form of a graph.
  • the cell density 571 is shown in this graph.
  • the graph also includes a selected time display 573 indicating the currently selected time. The time indicated by the selected time display 573 corresponds to the selected time display 553 of the time bar 550.
  • a comment-presented icon 574 is displayed at a position indicating a time during which the comment is added.
  • a comment addition icon 575 selected by the user when a new comment is added is arranged.
  • the number of cells may be shown in the graph instead of the cell density or together with the cell density.
  • main screen 500 includes a share icon 582, which will be described later, a comment list icon 584, and a logout icon 586.
  • step S202 the computing unit 210 determines whether an image has been selected by the user. For example, when any of the thumbnail images in the image display area 510 is selected by the user, it is determined that the image is selected. When an image is not selected, the process proceeds to step S204. On the other hand, when an image is selected, the process proceeds to step S203. In step S203, the computing unit 210 performs an image selection process.
  • step S301 the computing unit 210 determines whether the type of click when an image is selected is a single click or a double click. If it is a single click, the process proceeds to step S302. In step S302, the computing unit 210 causes the display device to display a screen in which the highlighted display 523 is applied to the selected image, as shown in FIG. 6, for example. Thereafter, the process proceeds to step S304.
  • step S301 If it is determined in step S301 that a double click has been made, the process proceeds to step S303.
  • step S303 the computing unit 210 displays the large image of the selected image, for example, in the entire image display area 510. Thereafter, the process proceeds to step S304.
  • step S304 the computing unit 210 determines whether the comment adding icon 525 in the image display area 510 is selected. If the comment adding icon 525 is not selected, the process proceeds to step S306. When the comment adding icon 525 is selected, the process proceeds to step S305. In step S305, the computing unit 210 performs an image comment addition process for adding a comment to the image. Thereafter, the process proceeds to step S306.
  • step S306 the computing unit 210 determines whether the image selection process is ended and the process should return to the observation data management process, such as when the position other than the comment addition icon 525 is clicked. If the process does not return to the observation data management process, the process returns to step S304 and waits for the selection of the comment addition icon 525. On the other hand, when returning to the observation data management process, the image selection process is ended, and the process returns to the observation data management process.
  • step S305 The image comment addition process performed in step S305 when the comment addition icon 525 is selected will be described with reference to the flowchart illustrated in FIG.
  • step S401 the computing unit 210 causes the display device to display a comment screen for adding a comment to the image.
  • An example of the comment screen is shown in FIG.
  • the comment screen 610 includes a comment column 611, an OK icon 612, and an RoI setting icon 613.
  • information specifying the user such as the name or ID of the user who is currently performing the operation, that is, the name or ID of the user who is about to register the image comment is displayed in the user name display column 618.
  • the server 200 acquires information such as the user's name or ID by user authentication or the like performed when accessing the server 200.
  • the date and time when the user intends to give a comment that is, the current date and time is displayed in the date and time display column 619.
  • step S402 the computing unit 210 determines whether the comment field 611 is selected. If the comment field 611 is not selected, the process proceeds to step S404. On the other hand, when the comment column 611 is selected, the process proceeds to step S403. In step S403, the computing unit 210 executes a comment entry process in which the user writes a comment of text information, for example, in the comment field 611. Thereafter, the processing proceeds to step S404.
  • the comment entered here may be freely input by the user, may be a fixed phrase selected, or may be selected from a preset symbol, sign or the like.
  • step S404 the computing unit 210 determines whether the RoI setting icon 613 has been selected. If the RoI setting icon 613 is not selected, the process proceeds to step S407. On the other hand, when the RoI setting icon 613 is selected, the process proceeds to step S405. In step S405, the computing unit 210 performs RoI setting processing.
  • an RoI setting screen 620 as shown in FIG. 10 is displayed on the display device.
  • the RoI setting screen 620 includes an image display area 621, an RoI tool 622, and an OK icon 623.
  • the image display area 621 the currently selected image is displayed.
  • As the RoI tool 622 for example, as shown in FIG. 10, an arrow 6221, a circle 6222, a square 6223, and a text 6224 are prepared.
  • the arrow is displayed in the image display area 621 as shown by arrow display 6261 in FIG.
  • the user can change the position, the direction, and the like of the arrow display 6261 by performing a drag operation or the like. Also, when a point in the image display area 621 is selected in a state where the text 6224 of the RoI tool 622 is selected, the user can select an arbitrary text in the image display area 621 as in the text display 6264 of FIG. Can be filled out. Also, when a point in the image display area 621 is selected in a state where the circle 6222 of the RoI tool 622 is selected, a circle representing RoI is displayed in the image display area 621 as shown by a circle display 6262 in FIG. Be done. The user can change the position, size, and the like of the circle display 6262 by performing a drag operation or the like.
  • step S406 the computing unit 210 determines whether the OK icon 623 on the RoI setting screen 620 has been selected. If the OK icon 623 is not selected, the process returns to step S405 and continues the RoI setting process. When the OK icon 623 is selected, the RoI setting screen 620 is closed, and the process proceeds to step S407.
  • step S407 the comment screen 610 is displayed on the display device.
  • step S407 the calculation unit 210 determines whether the OK icon 612 on the comment screen 610 is selected. When the OK icon 612 is not selected, the process returns to step S402, and waits for comment entry or RoI setting to be performed. On the other hand, when the OK icon 612 is selected, the process proceeds to step S408.
  • step S ⁇ b> 408 the computing unit 210 creates the comment file 361 based on the comment and the like including the text / graphics entered and set as described above, and records the comment file 361 in the observation data 300.
  • step S409 the computing unit 210 records necessary information regarding the comment in the comment 348 of the image file 331 related to the corresponding image.
  • the computing unit 210 records necessary information regarding the comment in the comment 397 of the analysis information 390 which is the original data of the graph displayed in the analysis result display area 570.
  • the calculation unit 210 records necessary information regarding the comment in the comment 314 of the shooting information 310 which is the source of the comment display 554 of the time bar 550.
  • the necessary information regarding the comment recorded here may be all of the content of the comment or the like, or may be information for specifying the comment file 361 or the like.
  • the image comment attachment process ends, and the process returns to the image selection process described with reference to FIG.
  • a comment icon 524 is displayed on the selected image as shown in FIG.
  • the image commenting process it is possible to mark and record the focused portion of the image obtained by the user using the observation device 110, and to add the user's opinion on the focused portion as a comment. Can be recorded.
  • step S204 of the observation data management process the computing unit 210 determines whether or not any point in the graph of the analysis result display area 570 is selected by the user. When the time point in the graph is not selected, the process proceeds to step S206. On the other hand, when the time point in the graph is selected, the process proceeds to step S205. In step S205, the computing unit 210 performs graph time selection processing.
  • step S501 the computing unit 210 displays the selected time display 573 on the graph of the analysis result display area 570 of the main screen 500.
  • step S502 the computing unit 210 determines whether the comment adding icon 575 in the analysis result display area 570 is selected. If the comment adding icon 575 is not selected, the process proceeds to step S504. On the other hand, when the comment adding icon 575 is selected, the process proceeds to step S503. In step S503, the computing unit 210 executes a graph comment addition process for adding a comment to the graph. Thereafter, the processing proceeds to step S504.
  • step S504 the arithmetic operation unit 210 determines whether the graph time selection process is ended and the process should be returned to the observation data management process, for example, the position other than the comment addition icon 575 is clicked. If the process does not return to the observation data management process, the process returns to step S 502 and waits for the selection of the comment adding icon 575. On the other hand, when returning to the observation data management process, the graph time selection process is ended, and the process returns to the observation data management process.
  • step S601 the computing unit 210 causes the display device to display a comment screen for adding a comment to the graph.
  • An example of the comment screen is shown in FIG.
  • the comment screen 630 includes a comment column 631 and an OK icon 632.
  • information for specifying the user such as the name or ID of the user who is currently performing the operation, that is, the name or ID of the user who is about to register the graph comment is displayed in the user name display column 638.
  • the current date and time when the user intends to add a comment is displayed in the date and time display column 639.
  • step S602 the computing unit 210 determines whether the comment field 631 is selected. If the comment field 631 is not selected, the process proceeds to step S604. On the other hand, when the comment column 631 is selected, the process proceeds to step S603. In step S603, the computing unit 210 executes a comment entry process in which the user writes a comment, for example, text information, in the comment field 631. Thereafter, the processing proceeds to step S604.
  • step S604 the computing unit 210 determines whether the OK icon 632 on the comment screen 630 has been selected. If the OK icon 632 is not selected, the process returns to step S602 to wait for a comment to be entered. On the other hand, when the OK icon 632 is selected, the process proceeds to step S605.
  • step S 605 the computing unit 210 creates a comment file 361 based on the comment or the like entered and set as described above, and records the comment file 361 in the observation data 300.
  • step S 606 the computing unit 210 records necessary information regarding the comment in the comment 348 of the image file 331, the comment 397 of the analysis information 390, and the comment 314 of the shooting information 310 of the corresponding image.
  • the necessary information regarding the comment recorded here may be all of the content of the comment or the like, or may be information for specifying the comment file 361 or the like.
  • the graph commenting process it is possible to mark and record an analysis result based on an image obtained by the user using the observation device 110 at the time of attention, or the user's opinion on the time of attention It can be added and recorded as a comment.
  • a comment may be given for a time zone having a width specified by the user.
  • This time zone may be a time zone associated with the work, for example, between work and work such as culture medium exchange and passaging work based on the work information 317.
  • step S206 the computing unit 210 determines whether the user has selected the comment icon 524 in the image display area 510, the comment display 554 in the time bar 550, or the comment icon 574 in the analysis result display area. Determine if If no comment is selected, the process proceeds to step S208. On the other hand, when a comment is selected, the process proceeds to step S207. In step S207, the arithmetic unit 210 executes a comment confirmation process.
  • step S701 the computing unit 210 causes the display device to pop up a summary of the comment.
  • An example of this display is shown in FIG. FIG. 15 shows an example when the commented icon 524 in the image display area 510 is selected, but it is also displayed when the commented icon 554 in the time bar 550 or the commented icon 574 in the analysis result display area 570 is selected. But the same display is made.
  • the comment summary display screen 640 includes a comment column 641, a user name display column 648, a date and time display column 649, a reply icon 642, a share icon 643 and a detail icon 644.
  • Information of the user who has registered the selected comment is displayed in the user name display column 648, and the time when the comment is registered is displayed in the date and time display column 649.
  • the text information of the comment is displayed in the comment column 641. These contents are displayed based on the contents of the comment file 361 and the like.
  • the color of the characters on the comment summary display screen 640 may be different depending on, for example, the user who has registered the comment, so that who is the comment may be easily understood. Not only the color but also the difference of the font or the like may express the difference of the user.
  • step S702 the computing unit 210 determines whether the reply icon 642 has been selected. If the reply icon 642 is not selected, the process proceeds to step S704. On the other hand, when the reply icon 642 is selected, the process proceeds to step S703. In step S703, the computing unit 210 executes the image commenting process described with reference to FIG. That is, in association with a certain comment, the user who has registered the comment or another user can further register the comment. In the display of the added comment, RoI, etc., for example, the color may be displayed differently for each registration or each registered user. After the image comment assignment process, the process proceeds to step S704.
  • step S704 the computing unit 210 determines whether the detail icon 644 is selected. If the detail icon 644 is not selected, the process proceeds to step S706. On the other hand, when the detail icon 644 is selected, the processing proceeds to step S705.
  • step S705 the arithmetic unit 210 executes the detail confirmation process.
  • the detail confirmation processing will be described with reference to the flowchart shown in FIG.
  • the computing unit 210 causes the display device to display a comment detail screen.
  • An example of the comment detail screen is shown in FIG.
  • the comment detail screen 650 includes an image display area 651.
  • the image display area 651 displays the currently selected image.
  • RoI etc. which were provided to the said image are displayed on the image. That is, for example, a circle display 6512, an arrow display 6513, a text display 6514 and the like are superimposed and displayed on the image.
  • the comment detail screen 650 also includes a comment column 652, a user name display column 658, and a date and time display column 659. The full text of the added text information is displayed in the comment column 652, the information of the user who registered the comment, RoI, etc.
  • the comment detail screen 650 includes a comment icon 653, an RoI setting icon 654, a close icon 655, and a video playback icon 656.
  • the color of the characters, graphics, etc. on the comment detail screen 650 may be different depending on, for example, the user who has registered the comment, so that who is the comment or the like may be easily understood. Not only the color but also the difference of the font or the like may express the difference of the user.
  • step S802 the computing unit 210 determines whether the comment icon 653 has been selected. If the comment icon 653 is not selected, the process proceeds to step S804. On the other hand, when the comment icon 653 is selected, the process proceeds to step S803. In step S803, the computing unit 210 executes a comment entry process in which the user writes a comment in the newly displayed comment field. Thereafter, the processing proceeds to step S804.
  • step S804 the computing unit 210 determines whether the RoI setting icon 654 has been selected. If the RoI setting icon 654 is not selected, the process proceeds to step S807. On the other hand, when the RoI setting icon 654 is selected, the process proceeds to step S805. In step S805, the calculation unit 210 performs RoI setting processing using the RoI setting screen 620 similar to the processing described with reference to FIG. In step S806, the computing unit 210 determines whether the OK icon 623 on the RoI setting screen 620 has been selected. If the OK icon 623 is not selected, the process returns to step S805 to continue the RoI setting process. When the OK icon 623 is selected, the RoI setting screen 620 is closed, and the process proceeds to step S807.
  • step S 807 the arithmetic unit 210 determines whether the moving image reproduction icon 656 is selected. If the video playback icon 656 is not selected, the process proceeds to step S809. On the other hand, when the video playback icon 656 is selected, the process proceeds to step S808. In step S808, the computing unit 210 performs moving image reproduction processing to sequentially display images associated with the image to which the currently selected comment is added, in the order of shooting.
  • step S901 the computing unit 210 selects an image associated with the currently selected commented image.
  • FIG. 19 schematically shows a plurality of images taken along the time course.
  • One square in FIG. 19 indicates one image.
  • a plurality of images can be obtained by shooting according to the set timing, so there is a time-series image group 700. Since the observation time is generally long, the images included in the image group can be many. For example, if imaging is performed every hour, 720 images will be acquired in 30 days.
  • a series of images associated with the currently selected image is selected from among these large amounts of images.
  • the currently selected image is set as a selected image 701. At this time, an image immediately after performing a pass-through operation before the selected image 701 is selected as a start image 702.
  • the image immediately before the pass-through operation after the selected image 701 is selected as the end image 703.
  • a series of images from the start image 702 to the end image 703 is selected as the selected image 704.
  • the start image 702 and the end image 703 may not be related to the passaging operation, but may be related to the medium change, may be related to other operations such as addition of reagents, or are otherwise related to the observation It may be selected on the basis of Also, the starting image 702 may be the first taken image of a series of observations. The end image 703 may also be the latest image taken at the end of the series of observations. The start image 702 and the end image 703 may be appropriately selected according to the purpose.
  • step S902 the computing unit 210 causes the display device to perform moving image reproduction in which the selected image 704 selected in step S901 is sequentially displayed in time sequence. That is, the calculation unit 210 causes the display device to reproduce the time-lapse video.
  • the moving image reproduction processing ends, and the processing returns to the detail confirmation processing.
  • the process proceeds to step S809.
  • step S809 the calculation unit 210 determines whether the close icon 655 of the comment detail screen 650 is selected. If the close icon 655 is not selected, the process returns to step S802 to repeat the above-described process. On the other hand, when the close icon 655 is selected, the process proceeds to step S810.
  • step S 810 the computing unit 210 creates the comment file 361 based on the comment or the like entered and set as described above, and records the comment file 361 in the observation data 300.
  • the comment type 372 recorded in the comment file 361 also records that the reply is a reply to the comment, information indicating the original comment, and the like.
  • step S811 the computing unit 210 records necessary information regarding the comment in the comment 348 of the image file 331, the comment 397 of the analysis information 390, the comment 314 of the shooting information 310, and the like related to the corresponding image.
  • step S706 This is the end of the detail confirmation process, and the process returns to the comment confirmation process described with reference to FIG. After the detail confirmation process in step S705 of the comment confirmation process, the process proceeds to step S706.
  • step S706 the computing unit 210 determines whether the share icon 643 is selected. If the share icon 643 is not selected, the process proceeds to step S 708. On the other hand, when the share icon 643 is selected, the process proceeds to step S 707. In step S 707, the computing unit 210 performs screen information transmission processing.
  • the screen information transmission process is a process of transmitting information related to the screen to another user in order to have another user view the same screen as the currently displayed screen. The screen information transmission process will be described with reference to the flowchart shown in FIG.
  • the calculation unit 210 is configured to be able to specify the display screen by the URL.
  • the computing unit 210 creates a URL identifying the currently displayed screen.
  • the computing unit 210 selects a partner whose screen should be shared based on a user's instruction.
  • the computing unit 210 causes the terminal operated by the user to activate the e-mail software and cause the e-mail transmission screen to be activated.
  • the computing unit 210 pastes the e-mail address of the sharer selected in step S1002 to the destination of the transmission mail.
  • the computing unit 210 pastes the URL created in step S1001 to the content of the sent mail.
  • the user appropriately adds text and the like to the created e-mail, and sends the e-mail to the sharer using the e-mail software.
  • the sharer who receives the e-mail can view the screen that the sender of the e-mail wants to view.
  • the screen information transmission process ends, and the process returns to the comment confirmation process.
  • a screen to be browsed may be shared using a web browser, a dedicated information sharing application, or the like.
  • step S 707 the process proceeds to step S 708.
  • step S 708 the computing unit 210 determines whether or not an instruction to complete the comment confirmation process, which is performed, for example, by the user clicking an area other than the comment summary display screen 640 has been issued.
  • the process returns to step S702, and the above-described process is repeated.
  • completion of the comment confirmation processing is instructed, the comment confirmation processing ends, and the processing returns to the observation data management processing described with reference to FIG.
  • step S208 the computing unit 210 determines whether or not moving image reproduction has been selected, such as the reproduction icon 561 of the moving image operation icon 560 being selected. If movie reproduction is not selected, the process proceeds to step S210. On the other hand, when moving image reproduction is selected, the process proceeds to step S209.
  • step S209 the calculation unit 210 performs the moving image reproduction process described with reference to FIG. That is, an image associated with the currently selected time point is selected, and the selected image is reproduced as a time-lapse movie. For example, as shown in FIG. 6, when a plurality of thumbnail images are displayed side by side in the image display area 510, display is made such that each thumbnail image is sequentially switched as a time-lapse moving image. After the video playback process, the process proceeds to step S210.
  • step S210 the computing unit 210 determines whether or not the time is selected by the time bar 550. If no time is selected, the process proceeds to step S212. On the other hand, when the time is selected, the process proceeds to step S211.
  • step S211 the calculation unit 210 updates the image displayed in the image display area 510 according to the selected time. That is, the image acquired at the selected time is displayed on the image display area 510. Thereafter, the processing proceeds to step S212.
  • step S212 the computing unit 210 determines whether the share icon 582 in the main screen 500 is selected. If the share icon 582 is not selected, the process proceeds to step S214. On the other hand, when the share icon 582 is selected, the process proceeds to step S213.
  • step S213 the computing unit 210 performs the screen information transmission process described with reference to FIG. That is, the calculation unit 210 performs processing relating to transmitting the URL representing the currently displayed screen to the sharer selected by the user, for example, by e-mail. After the screen information transmission process, the process proceeds to step S214.
  • step S214 the computing unit 210 determines whether the comment list icon 584 on the main screen 500 is selected. If the comment list icon 584 is not selected, the process proceeds to step S216. On the other hand, when the comment list icon 584 is selected, the process proceeds to step S215. In step S215, the computing unit 210 performs a comment list process.
  • step S1101 the computing unit 210 causes the display device to display a comment list.
  • the comment list displays a list of comments of the comment file 361 included in the observation data 300. Further, in the comment list, for example, the display color or the text color may be displayed so as to be different so that the comment already checked by the user who is browsing and the unconfirmed comment can be distinguished.
  • step S1102 the computing unit 210 determines whether any comment in the comment list is selected. If no comment is selected, the process proceeds to step S1104. On the other hand, when a comment is selected, the process proceeds to step S1103. In step S1103, the computing unit 210 performs the detail confirmation process described with reference to FIG. That is, for the selected comment, for example, the comment detail screen 650 shown in FIG. 17 is displayed on the display device, and details of the comment are browsed, and various processing regarding the comment is performed. After the detail confirmation process, the process proceeds to step S1104.
  • step S1104 the computing unit 210 determines whether a comment search instruction has been issued. If the comment retrieval instruction has not been issued, the process proceeds to step S1106. On the other hand, when a comment search instruction is issued, the process proceeds to step S1105. In step S1105, the computing unit 210 performs a comment search process. That is, the computing unit 210 makes a comment based on, for example, a keyword included in a comment, a photographing time of an image with a comment, information of a user who has made a comment, a time when a comment is registered, etc. A corresponding comment is selected from the comment file 361 included in the file group 360. The calculation unit 210 displays the corresponding comments in a list on the display device, and when selected by the user, displays a comment detail screen 650 for the selected comment. After the comment search process, the process proceeds to step S1106.
  • step S1106 the computing unit 210 determines whether to end the comment list process and return to the observation data management process. When the comment list process is not ended, the process returns to step S1102, and the above-described process is repeated. On the other hand, when the comment list process is ended, the process returns to the observation data management process.
  • step S216 the computing unit 210 determines whether the logout icon 586 is selected. When the logout icon 586 is not selected, the process returns to step S202, and the above-described process is repeated. On the other hand, when the logout icon 586 is selected, the observation data management process ends.
  • the observation system 1 the user is interested in an image obtained by the observation device 110, an analysis result obtained based on the image, an area, time, content, judgment, opinion, etc. Comments on can be given. According to the observation system 1, these comments are recorded in association with facts such as images and analysis results. Therefore, such comments are recorded while being appropriately and meaningfully organized. In addition, the time and effort involved in this recording is less than that of the conventional method such as recording on a notebook. Cell culture can be long lasting, for example, several weeks. If you repeat shooting for a long time or record comments, the images and comments become huge. According to the observation system 1 according to the present embodiment, the time for recording for the user and the time for arranging the recording may be small. Further, according to the observation system 1, the image and the comment are organized and displayed, so that the user can easily browse the image and the comment.
  • these comments can be browsed by users other than the user who has given the comment. Because of this, the provided comments can be easily shared by many users. Further, at this time, since the comments are recorded in a properly organized state along the time series, it is possible to confirm the comments while confirming the culture process even for the user who is not performing the culture operation. it can. Even if the given comment is a comment made based on the culture process or a comment based on the subjectivity of the user who has given the comment, it is easy for other users to grasp the contents.
  • the observation system 1 since the user can further add a comment in association with the comment given by the other person, communication such as a report, consultation, discussion, instruction and the like on the cultured cell can be smoothly performed. In this way, according to the observation system 1, comments that have conventionally been spoken orally and that were not included in the record can be easily recorded in an appropriately organized form. Moreover, according to the observation system 1, these communication can be performed without making a place and time the same.
  • the controller 130 may not be connected to the network, and the series of observation data management processing described above may be performed by the controller 130.
  • observation data 300 for example, the imaging position, the imaging time, the specific information, the comment, and the like are redundantly held, but some of them may be omitted.
  • the observation data management process shown in FIG. 5 shows an example including various processes, but among the processes shown here, some processes can be deleted and other processes are added. The order of processing may be changed as appropriate.
  • the technology related to artificial intelligence may be used for the above-described processing, various judgments, and the like.

Abstract

観察システム（１）は、画像管理部（２１４）と、コメント管理部（２１６）とを備える。画像管理部（２１４）は、培養中の生体試料について時系列に沿って取得された複数の画像を管理する。コメント管理部（２１６）は、ユーザの指示に基づいて前記画像と関連付けてコメントを記録する。

Description

観察システム及び情報管理方法
　本発明は、観察システム及び情報管理方法に関する。
　多くの生物関連実験において、細胞培養が行われている。細胞培養は、通常決められた手順（プロトコール）に基づいて実施されるが、培養過程で細胞に変化が生じることはしばしば起きる。そのため、細胞の状態を常に的確に把握することが細胞の品質を維持するためには重要である。そのため細胞培養を行っている作業者は、日々顕微鏡で培養している細胞を観察し、細胞の状態を確認している。このような細胞の状態を観察する作業は、ルーチン作業となっている。また、このような作業において、細胞の状態の把握を含む培養に関する各種判断等は、作業者の経験又はノウハウに基づくことが多い。細胞培養は常に行われているため、作業者が、細胞の状態を常に撮影し、画像データとして保存することはまれである。また、撮影を行ったとしても画像数が膨大となるため、それら画像を適切に整理して管理することは、作業者にとって負担が大きい。また、これら画像を印刷して実験ノートに貼付しつつ、当該実験ノートに作業者の意見等を記載することがあるが、このような記録の仕方は、作業者にとっての負担をさらに大きくする。このため、上述の培養に関する各種判断等が作業者の経験又はノウハウに基づくことにさらに拍車がかかる。
　インキュベータ内で培養している細胞の状態を遠隔的に観察、記録することができる観察装置付き培養装置に係る技術が例えば日本国特開２００２－８５０５４号公報に開示されている。この装置では、培養装置内のスキャナを用いて培養装置内のシャーレの状態を記録することができる。この装置は、予め設定したスケジュールに従って連続的又は定期的に記録を行うことができる。この観察装置付き培養装置は、コロニーの数や状態等を記録することができる。
　日本国特開２００２－８５０５４号公報に開示されている装置では、画像データやコロニーの数等のデータは取得可能である。一方で、作業者の判断や意見を記録することについては、考慮されていない。
　本発明は、観察結果に係るユーザの見解を適切に記録できる観察システム及び情報管理方法を提供することを目的とする。
　本発明の一態様によれば、観察システムは、培養中の生体試料について時系列に沿って取得された複数の画像を管理する画像管理部と、ユーザの指示に基づいて前記画像と関連付けてコメントを記録するコメント管理部とを備える。
　本発明の一態様によれば、情報管理方法は、培養中の生体試料について時系列に沿って取得された複数の画像を管理することと、ユーザの指示に基づいて前記画像と関連付けてコメントを記録することとを含む。
　本発明によれば、観察結果に係るユーザの見解を適切に記録できる観察システム及び情報管理方法を提供できる。
図１は、観察システムの構成例の概要を示す図である。 図２は、観察システムの構成例の概要を示すブロック図である。 図３は、観察システムで扱われる観察データの構成例の概要を示す図である。 図４は、観察装置で行われる記録処理の一例の概要を示すフローチャートである。 図５は、観察システムで行われる観察データ管理処理の一例の概要を示すフローチャートである。 図６は、表示装置に表示されるメイン画面の一例の概要を示す図である。 図７は、観察システムで行われる画像選択処理の一例の概要を示すフローチャートである。 図８は、観察システムで行われる画像コメント付与処理の一例の概要を示すフローチャートである。 図９は、表示装置に表示されるコメント画面の一例の概要を示す図である。 図１０は、表示装置に表示されるＲｏＩ設定画面の一例の概要を示す図である。 図１１は、観察システムで行われるグラフ時間選択処理の一例の概要を示すフローチャートである。 図１２は、観察システムで行われるグラフコメント付与処理の一例の概要を示すフローチャートである。 図１３は、表示装置に表示されるコメント画面の一例の概要を示す図である。 図１４は、観察システムで行われるコメント確認処理の一例の概要を示すフローチャートである。 図１５は、表示装置に表示されるコメント概要表示画面の一例の概要を示す図である。 図１６は、観察システムで行われる詳細確認処理の一例の概要を示すフローチャートである。 図１７は、表示装置に表示されるコメント詳細画面の一例の概要を示す図である。 図１８は、観察システムで行われる動画再生処理の一例の概要を示すフローチャートである。 図１９は、観察システムで行われる関連画像の選択の一例について説明するための図である。 図２０は、観察システムで行われる画面情報送信処理の一例の概要を示すフローチャートである。 図２１は、観察システムで行われるコメントリスト処理の一例の概要を示すフローチャートである。
　本発明の一実施形態について図面を参照して説明する。本実施形態は、例えば細胞といった生体試料の培養中の様子の観察に用いられる観察システムに関する。この観察システムは、例えばインキュベータ内の生体試料を撮影することができる。観察対象の細胞等は、どのような生物に由来するものでも、どのような方法で培養するものでもよい。また、この観察システムでは、撮影により得られた画像は、サーバ上に保存され、複数の端末から閲覧され得る。また、この観察システムでは、画像にテキストやRegion of Interest（ＲｏＩ）等の画像に係るコメント等を付すことができる。複数の端末から、画像にコメント等を付したり、付されたコメント付きの画像を閲覧したりすることができるので、複数のユーザで画像についての情報を共有したり、意見交換を行ったりできる。
　［撮影システムの構成］
　本実施形態に係る観察システム１の構成例の概略を図１及び図２に示す。観察システム１は、観察装置１１０を備える。観察装置１１０は、図１に示すようにおおよそ直方体の外形を有する装置である。観察装置１１０の上面には、透明板１１１が設けられており、観察対象である生体試料１９０は、この透明板１１１の上に配置される。透明板の下には、撮影レンズ及び撮像素子等を有して透明板１１１側を撮影する撮像ユニット１１２と、撮像ユニット１１２を透明板１１１と平行な平面内で移動させる移動機構１１４とが配置されている。撮像ユニット１１２が１回の撮影で画像を取得できる範囲は狭い。移動機構１１４が撮像ユニット１１２を移動させながら撮像ユニット１１２が繰り返し撮影を行うことで、観察装置１１０は生体試料１９０の広い範囲の画像を取得することができる。
　図２に示すように、観察装置１１０は、撮像ユニット１１２及び移動機構１１４を含む各部の動作を制御するための制御回路１１６を備える。制御回路１１６は、例えば１つ又は複数のCentral Processing Unit（ＣＰＵ）、Application Specific Integrated Circuit（ＡＳＩＣ）、又はField Programmable Gate Array（ＦＰＧＡ）等を含む。また、観察装置１１０は、撮影により得られた画像等が記録される記憶装置１１８を備える。また、制御回路１１６で用いられるプログラム、各種パラメータ等は、記憶装置１１８又は制御回路１１６の記憶領域等に記憶されている。また、観察装置１１０には、ユーザが観察の開始又は終了等を入力するために用いる入力装置１２０が設けられている。
　観察装置１１０は、例えばインキュベータ内に配置され、インキュベータ内で培養中の生体試料１９０の様子を、例えば予め設定した条件で、例えば定期的或いは不定期に撮影する。観察システム１は、観察装置１１０に接続され、観察装置１１０の各種動作の制御、観察装置１１０が取得した画像の管理、取得した画像に基づく各種解析等を行うコントローラ１３０を備える。コントローラ１３０は、インキュベータの外部に配置される。観察装置１１０とコントローラ１３０との接続は、有線であっても無線であってもよい。コントローラ１３０には、例えばパーソナルコンピュータ（ＰＣ）等が用いられ得る。
　コントローラ１３０は、例えば一般的なＰＣであるので、図２に示すように、例えばＣＰＵといったプロセッサ１３２、例えばＤＲＡＭといったメモリ１３４、例えばハードディスク又はフラッシュメモリ等といった記憶装置１３６、例えば液晶ディスプレイといった表示装置１３８、及び例えばキーボード、マウス、タッチパネル等といった入力装置１４０等を備える。
　コントローラ１３０は、ネットワーク１８０に接続されている。観察システム１は、ネットワーク１８０を介して互いに接続された、閲覧装置１６０と、サーバ２００とをさらに含む。図１に示すように、サーバ２００は、プロセッサ２０２、メモリ２０４、記憶装置２０６等を含む。サーバ２００には、観察装置１１０で取得された生体試料１９０の画像等が、コントローラ１３０を介してアップロードされ、記憶装置２０６に記録される。
　図１には、閲覧装置１６０の一例としての第１のＰＣ１５２と第２のＰＣ１５４とが描かれている。閲覧装置１６０としての端末は、ＰＣに限らずタブレット型の情報端末等でもよい。また、閲覧装置１６０としての端末は、いくつであってもよい。閲覧装置１６０は、例えばＰＣであるので、図２に示すように、プロセッサ１６２、メモリ１６４、記憶装置１６６、表示装置１６８、入力装置１７０等を含む。閲覧装置１６０は、サーバ２００の記憶装置２０６に記録された生体試料１９０の画像等を閲覧するために用いられる。また、コントローラ１３０又は閲覧装置１６０等は、サーバ２００にアクセスして、記憶装置２０６に記録された画像等に関するコメントを登録することができる。登録されるコメントは、テキスト及び図形等、各種の形態を含み得る。
　図２に示すように、サーバ２００は、プロセッサ２０２等によって実現される演算部２１０としての機能を有する。演算部２１０は、観察装置１１０によって取得された生体試料１９０の画像、コントローラ１３０又は閲覧装置１６０等によって登録されたコメント等の情報を統合的に管理する情報管理部２１２としての機能を有する。また、演算部２１０は、画像情報を管理する画像管理部２１４としての機能を有する。また、演算部２１０は、例えば画像に基づいて行われる各種解析の結果を管理する解析結果管理部２１５としての機能を有する。また、演算部２１０は、コメント等の情報を管理するコメント管理部２１６としての機能を有する。また、演算部２１０は、例えば画像に基づく各種解析を行うデータ解析部２１８としての機能を有する。また、演算部２１０は、サーバ２００にアクセスしたコントローラ１３０又は閲覧装置１６０等に表示させる画面を作成等する表示制御部２２０としての機能を有する。
　サーバ２００の記憶装置２０６には、演算部２１０で行われ各種演算に係る制御プログラム２４２等が記録されている。また、サーバ２００の記憶装置２０６には、データベース２４４が記録されている。このデータベース２４４には、生体試料１９０に係る画像、コメント及び解析結果等を含む観察データ３００が含まれる。また、データベース２４４には、コントローラ１３０又は閲覧装置１６０等に表示される画面に係る情報である表示データ２５０が含まれる。
　［観察データの構成］
　観察データ３００は、例えば一連の観察毎に作成される。ここで、一連の観察には、観察装置１１０の透明板１１１上に配置された生体試料１９０について行われる複数の位置における撮影と、時間経過に伴って順次に行われる複数のタイミングで行われる撮影とが含まれる。観察データ３００の構成例を図３に示す。観察データ３００は、撮影情報３１０と、画像ファイル群３３０と、コメントファイル群３６０と、解析情報３９０とを含む。
　撮影情報３１０は、観察装置１１０を用いて行われる複数回の撮影を含む一連の観察に関する情報を有する。撮影情報３１０は、容器情報３１１、撮影位置情報３１２、撮影時間情報３１３、コメント３１４、特定情報３１５、作業情報３１７等を含む。容器情報３１１は、観察対象である生体試料１９０の容器に係る情報を含む。容器は、例えば、シャーレ、各種サイズの培養フラスコ、各種ウェル数を有するマルチウェルディッシュ等であり得る。撮影位置情報３１２は、移動機構１１４によって移動させられる撮像ユニット１１２の撮影時の位置といった撮影位置に係る情報を含む。生体試料１９０の広い範囲の画像を取得するためには、複数の撮影位置で撮影が行われる。撮影時間情報３１３は、例えば定期的になど間隔をあけて繰り返される撮像ユニット１１２によって行われる撮影の開始時刻といった撮影時間に係る情報を含む。撮影のタイミングは、任意に設定され得る。コメント３１４は、例えばコントローラ１３０又は閲覧装置１６０等によって登録されるコメントに係る情報を含む。コメント３１４は、例えば、登録されたコメントのうち撮影情報３１０に関係するコメント内容、後述するコメントファイルのうち撮影情報３１０に関係するコメントファイルを特定する情報等を含み得る。特定情報３１５は、撮影位置（例えば図３のｐ１，ｐ２，…，ｐｎ）と撮影時間（例えば図３のｔ１，ｔ２，…，ｔｎ）との関係によって特定される１回の撮影を示す情報（例えば図３のＩ１１，Ｉ１２，…，Ｉｎｍ）を含む。作業情報３１７は、一連の観察中に行われる生体試料１９０に関する培地交換、継代作業、試薬を添加する作業等といった各種作業内容に関する情報を含む。作業情報３１７において、各作業に関する情報は、その作業が行われた時間と関連付けられている。
　画像ファイル群３３０は、撮像ユニット１１２によって行われる撮影毎に作成される複数の画像ファイル３３１を含む。各々の画像ファイル３３１は、ＩＤ３４１、画像データ３４２、サムネイル画像データ３４３、特定情報３４４、撮影位置３４５、撮影時間３４６、撮影条件３４７、コメント３４８等を含む。ＩＤ３４１は、画像ファイル３３１毎に付されるＩＤ情報を含む。画像データ３４２は、撮像ユニット１１２によって取得された画像データを含む。サムネイル画像データ３４３は、画像データ３４２に基づいて作成された、サムネイル画像のデータを含む。サムネイル画像データ３４３は、例えばコントローラ１３０又は閲覧装置１６０等によって表示される表示画面に含まれる撮影画像の一覧表示等に用いられ得る。特定情報３４４は、撮影情報３１０に含まれる特定情報３１５によって管理されている、当該画像データ３４２が取得された際の撮影を示す情報（Ｉｎｍ等）を含む。この情報と、撮影情報３１０に含まれる特定情報３１５とを用いれば、当該画像データ３４２が取得された際の撮影位置と撮影時間とを特定できる。撮影位置３４５は、当該画像データ３４２が取得された際の撮影位置の情報を含む。撮影時間３４６は、当該画像データ３４２が取得された際の撮影時間の情報を含む。特定情報３４４と、撮影位置３４５及び撮影時間３４６とは、最終的に得られる情報が共通するので、一方のみが画像ファイル３３１に記録されても、両方が記録されてもよい。両方記録されていれば、用途に応じて便利な方を使用することができる。撮影条件３４７は、当該画像データ３４２が取得された際の撮像ユニット１１２の設定など撮影条件の情報を含む。撮影条件３４７は、例えば、撮影レンズの焦点距離、合焦位置、絞り、露光時間、照明条件、フィルタ条件等の情報を含む。コメント３４８は、例えばコントローラ１３０又は閲覧装置１６０等によって登録されるコメントに係る情報を含む。コメント３４８は、例えば、登録されたコメントのうち画像ファイル３３１に関係するコメント内容、後述するコメントファイルのうち画像ファイル３３１に関係するコメントファイルを特定する情報等を含み得る。
　コメントファイル群３６０は、コントローラ１３０又は閲覧装置１６０等によって登録されるコメントに係る複数のコメントファイル３６１を含む。各々のコメントファイル３６１は、ＩＤ３７１、コメント種類３７２、コメントデータ３７３、ＲｏＩデータ３７４、コメントユーザ３７５、コメント時間３７６、特定情報３７７、撮影位置３７８、撮影時間３７９等を含む。ＩＤ３７１は、コメントファイル３６１毎に付されるＩＤ情報を含む。コメント種類３７２は、後述するように、画像について登録されたコメントであるか、解析結果を示すグラフについて登録されたコメントであるか、タイムバーについて登録されたコメントであるか、コメントに対するリプライとして登録されたコメントであるか等といった情報を含む。コメントデータ３７３は、コントローラ１３０又は閲覧装置１６０等によって登録されたコメントの例えばテキスト情報を含む。ＲｏＩデータ３７４は、コントローラ１３０又は閲覧装置１６０等によって登録された例えばＲｏＩ等といった図形、文字、それらの位置及び大きさ等に係る情報を含む。コメントユーザ３７５は、コメントを登録したユーザを特定する情報を含む。ユーザを特定する情報は、例えばコメントを登録するコントローラ１３０又は閲覧装置１６０等の操作時に認証されるログイン情報等に基づき得る。コメント時間３７６は、コントローラ１３０又は閲覧装置１６０等によってコメントが登録された日時情報等を含む。特定情報３７７は、撮影情報３１０に含まれる特定情報３１５によって管理されている、コメントが付された画像データ３４２が取得された際の撮影を示す情報（Ｉｎｍ等）を含み得る。この情報と、撮影情報３１０に含まれる特定情報３１５とを用いれば、当該画像データ３４２が取得された際の撮影位置と撮影時間とを特定できる。また、特定情報３７７は、撮影情報３１０に含まれる特定情報３１５によって管理されている、グラフやタイムバーにおいてコメントが付された撮影時間（ｔｍ等）を示す情報を含み得る。撮影位置３７８は、コメントが付された画像データ３４２が取得された際の撮影位置の情報を含む。撮影時間３７９は、コメントが付された撮影時間の情報を含む。
　解析情報３９０は、画像データ３４２等に基づいて行われた解析結果に係る情報を含む。解析情報３９０は、細胞数・密度情報３９１と、コロニーサイズ・位置情報３９４と、コメント３９７とを含む。細胞数・密度情報３９１は、例えば生体試料１９０の容器のウェル毎に、また撮影時間毎に、画像データ３４２に基づいて求められた細胞数と密度との情報を含む。また、細胞数・密度情報３９１は、細胞数及び密度を求める際に使用された画像を示す特定情報を含む。また、コロニーサイズ・位置情報３９４は、撮影位置及び撮影時間毎に、すなわち画像データ３４２毎に求められる当該画像に含まれるコロニーのサイズ、コロニーの位置等の情報を含む。コメント３９７は、例えばコントローラ１３０又は閲覧装置１６０等によって登録されるコメントに係る情報を含む。
　［観察装置の動作］
　観察装置１１０の動作について説明する。観察装置１１０は、例えばコントローラ１３０を用いてユーザによって予め設定されたスケジュールに従って、繰り返し生体試料１９０の撮影を行う。繰り返し撮影が行われる期間は、例えば数日から数週間又は数か月であってもよい。各撮影タイミングにおいて、生体試料１９０のどの位置の撮影を行うかについても、例えばコントローラ１３０を用いてユーザによって予め設定される。また、長期にわたって生体試料１９０の撮影が行われるとき、生体試料１９０について、培地交換、継代作業等の作業が行われる。これらの作業が行われるとき、ユーザは、観察装置１１０の入力装置１２０、又は、コントローラ１３０を用いて、作業を行う旨の情報を入力する。
　観察装置１１０で行われる記録処理に係る動作について、図４に示すフローチャートを参照して説明する。ステップＳ１０１において、観察装置１１０の制御回路１１６は、撮影を行うタイミングであるか否かを判定する。例えば予め定められたスケジュールに基づいて、撮影を行うタイミングであるか否かが判定される。また、観察装置１１０の入力装置１２０又はコントローラ１３０を介して入力され得るユーザの撮影指示に基づいて、撮影を行うタイミングであると判定されてもよい。撮影を行うタイミングであるとき、処理はステップＳ１０２に進む。このとき、撮像ユニット１１２を用いた生体試料１９０の撮影が行われる。すなわち、ステップＳ１０２において、制御回路１１６は、移動機構１１４に指令して、撮像ユニット１１２を撮影位置に移動させる。ステップＳ１０３において、制御回路１１６は、撮影位置に移動した撮像ユニット１１２に指令して、撮影動作を行わせる。制御回路１１６は、撮影により得られた画像に各種処理を施し、観察装置１１０の記憶装置１１８に記録させる。ステップＳ１０４において、制御回路１１６は、予め設定された撮影範囲内の撮影が全て完了したか否かを判定する。撮影が全て完了していないとき、処理はステップＳ１０２に戻る。すなわち、撮像ユニット１１２の移動、撮影動作、撮影結果の記録が、設定された撮影位置の全てで終わるまで繰り返し実行される。ステップＳ１０４において、撮影が全て完了したと判定されたとき、処理はステップＳ１０７に進む。
　ステップＳ１０１で撮影を行うタイミングでないと判定されたとき、処理はステップＳ１０５に進む。ステップＳ１０５において、制御回路１１６は、作業履歴を記録するか否かを判定する。例えば、生体試料１９０の培地交換、継代作業等が行われ、観察装置１１０の入力装置１２０等が操作されたとき、作業履歴を記録すると判定される。作業履歴を記録するとき、処理はステップＳ１０６に進む。ステップＳ１０６において、制御回路１１６は、作業履歴を記憶装置１１８に記録させる。この作業履歴は、サーバ２００に記録される観察データ３００の、作業時間と作業内容とを含む作業情報３１７の元データとなる。その後、処理はステップＳ１０７に進む。ステップＳ１０５において、作業履歴を記録しないと判定されたとき、処理はステップＳ１０７に進む。
　ステップＳ１０７において、制御回路１１６は、スケジュールされた一連の撮影が終了したか否かを判定する。一連の撮影が終了していないと判定されたとき、処理はステップＳ１０１に戻る。すなわち、スケジュールされた撮影が終わるまで、撮影タイミングになれば撮影とその結果の記録が行われ、作業履歴を記録する旨の指示が入力されたとき作業履歴が記憶装置１１８に記録される。撮影タイミングでも作業履歴を記録するときでもないとき、上述の処理が繰り返される。
　ステップＳ１０７において、スケジュールされた一連の撮影が終了したと判定されたとき、当該処理は終了する。
　観察装置１１０の記憶装置１１８に記録された撮影画像、作業履歴等に係るデータは、コントローラ１３０によって読み出され、必要な処理が行われた後、ネットワーク１８０を介して、サーバ２００の記憶装置２０６に観察データ３００として記録される。すなわち、画像データ３４２を含み必要な情報が付加された画像ファイル３３１が作成される。このような画像ファイルが複数集まることで画像ファイル群３３０が生成される。また、撮影のスケジュールの情報、作業履歴等に基づいて、撮影情報３１０が生成される。撮影情報３１０、画像ファイル群３３０等の作成は、コントローラ１３０で行われてもよいし、サーバ２００の演算部２１０で行われてもよい。
　さらに、画像ファイル群３３０に含まれる画像データ３４２に基づいて、各種解析が行われる。その結果、細胞数・密度情報３９１と、コロニーサイズ・位置情報３９４とを含む解析情報３９０が作成される。これらの解析は、コントローラ１３０で行われてもよいし、サーバ２００の演算部２１０で行われてもよい。作成された解析情報３９０も、観察データ３００の一部として記録される。
　［観察データの管理］
　サーバ２００の記憶装置２０６にデータベース２４４として記録された観察データ３００の閲覧及びコメントの登録などの観察データ３００の管理について説明する。図５は、サーバ２００の演算部２１０によって行われる観察データ管理処理の概略を示すフローチャートである。これらの処理は、ユーザがコントローラ１３０又は閲覧装置１６０といった端末を用いてサーバ２００にアクセスし、当該端末からサーバ２００へと行われる指示に対して、サーバ２００が応答することで行われる。
　ステップＳ２０１において、演算部２１０は、サーバ２００にアクセスしているコントローラ１３０又は閲覧装置１６０といった端末に対してメイン画面の情報を送信し、当該端末の表示装置にメイン画面を表示させる。メイン画面の情報を受信したコントローラ１３０又は閲覧装置１６０といった端末は、その表示装置にメイン画面を表示する。また、端末は、例えばマウスといった入力装置によって、当該メイン画面上において、ユーザが選択した点を受け付ける。端末は、ユーザが選択したメイン画面上の点に係る情報をサーバ２００に送信する。サーバ２００の演算部２１０は、端末から取得したユーザが選択した点に基づいて、各種処理を行う。
　メイン画面５００の一例を図６に示す。メイン画面５００は、画像表示エリア５１０と、試料情報表示エリア５３０と、作業情報表示エリア５４０と、タイムバー５５０と、動画操作アイコン５６０と、解析結果表示エリア５７０とを含む。
　画像表示エリア５１０には、例えば観察装置１１０で取得された画像のサムネイル画像５１１が一覧表示される。例えば、一覧表示される各サムネイル画像は、異なる撮影位置で得られた画像であり、各サムネイル画像は、同一とみなせる撮影時間に取得された画像のサムネイル画像であり得る。後述するタイムバー５５０を操作することなどによって、指定された撮影時間が変更されたとき、画像表示エリア５１０に表示される画像も変更され得る。また、特定の画像が選択されたとき、選択された画像が画像表示エリア５１０に大きく表示される。
　また、複数あるサムネイル画像のうち何れかがユーザによって選択されたとき、選択された画像は、強調表示５２３が施される。強調表示５２３は、例えば、後述する試料情報表示エリア５３０に表示された撮影位置５３４が選択されることでも、該当する撮影位置に対応するサムネイル画像に対して付され得る。
　また、画像表示エリア５１０に表示された複数のサムネイル画像が示す画像のうち、コメントが付与された画像が存在するとき、該当する画像のサムネイル画像５１１には、コメント有アイコン５２４が重畳表示される。また、画像表示エリア５１０には、新たなコメントを付与するときにユーザが選択するコメント付与アイコン５２５が配置されている。
　試料情報表示エリア５３０には、生体試料１９０の容器の種類を示す容器表示５３１が含まれる。図６の例は、６ウェルディッシュにおいて観察が行われた場合を示している。この容器表示５３１は、観察データ３００の撮影情報３１０に含まれる容器情報３１１に基づく。容器がマルチウェルディッシュの場合等には、試料情報表示エリア５３０には、ウェル表示５３２が含まれ得る。図６に示す例では、６ウェルディッシュの模式図がウェル表示５３２として表示されることで、６ウェルディッシュが用いられたことが示されている。さらに、ウェル表示５３２は、現在選択されているウェルの表示を他のウェルの表示と異ならせることで、現在選択されているウェルを示す。図６に示す例では、ウェル表示５３２は、破線で表すことで、右下のウェルが選択されていることを示す。
　試料情報表示エリア５３０は、容器マップ５３３を含む。容器マップ５３３は、現在選択されているウェル等における撮影位置５３４を示す。図６に示す例では、６ウェルディッシュの右下のウェルにおいて設定された複数の撮影位置５３４を示す。撮影位置５３４は、撮影情報３１０に含まれる撮影位置情報３１２に基づいて表示される。複数ある撮影位置５３４の何れかが選択されたとき、選択された撮影位置に該当する画像表示エリア５１０のサムネイル画像は、選択画像として強調表示５２３が施される。
　また、容器マップ５３３には、画像に基づく解析結果として得られたコロニーの位置及びコロニーのサイズが、図として模式的に示される。このコロニーの位置及びコロニーのサイズの表示は、解析情報３９０に含まれるコロニーサイズ・位置情報３９４に基づく。
　作業情報表示エリア５４０は、作業情報の一覧を表示する。この一覧は、撮影情報３１０に含まれる作業情報３１７に基づいて表示される。表示される作業情報には、培地交換情報５４１、継代作業情報５４２等が含まれる。各情報について、例えば作業が行われた日時の情報、当該作業に要した時間等が表示される。
　タイムバー５５０は、一連の観察スケジュールをバー形式で表示する。タイムバー５５０は、左から右に向けて時系列を示す。タイムバー５５０には、現在選択されている時間を示す選択時間表示５５３が含まれる。現在選択されている時間は、画像表示エリア５１０に表示されているサムネイル画像５１１に対応する画像が撮影された撮影時間に対応する。例えばユーザは、タイムバー５５０上の点を選択することで、時間を選択することができる。ユーザによって時間が選択されたとき、選択された時間は選択時間表示５５３によって示される。また、選択された時間に該当する撮影時間に得られた画像に係るサムネイル画像が、画像表示エリア５１０に表示される。
　タイムバー５５０には、作業情報が表示される。例えば、タイムバー５５０には、培地交換のタイミングを示す培地交換表示５５１、継代作業のタイミングを示す継代作業表示５５２が付される。試薬添加等のタイミングを示す試薬添加表示等が付されてもよい。培地交換表示５５１、継代作業表示５５２、試薬添加表示等は、撮影情報３１０の作業情報３１７に基づいて表示される。さらに、タイムバー５５０には、コメントが付されている時点を示すコメント表示５５４が付される。コメント表示５５４は、撮影情報３１０のコメント３１４に基づいて表示される。
　動画操作アイコン５６０は、ユーザが画像表示エリア５１０に表示された画像を変更する際に用いられるアイコンを含む。動画操作アイコン５６０は、再生アイコン５６１、最古画像選択アイコン５６２、最新画像選択アイコン５６３、過去選択アイコン５６４、未来選択アイコン５６５等を含む。再生アイコン５６１が選択されたとき、画像表示エリア５１０に表示された画像は、現在選択されている時点から開始して時系列順に順次画像が表示されるタイムラプス動画の再生が行われる。最古画像選択アイコン５６２が選択されたとき、一連の画像のうち、最古に取得された画像が選択され、画像表示エリア５１０に表示される。最新画像選択アイコン５６３が選択されたとき、一連の画像のうち、最新に取得された画像が選択され、画像表示エリア５１０に表示される。過去選択アイコン５６４が選択されたとき、現在選択されている画像よりも過去の画像が順次選択され、画像表示エリア５１０に順次表示される。未来選択アイコン５６５が選択されたとき、現在選択されている画像よりも未来の画像が順次選択され、画像表示エリア５１０に順次表示される。その時々に選択されている時刻に応じて、タイムバー５５０の選択時間表示５５３は移動する。
　解析結果表示エリア５７０は、解析情報３９０の細胞数・密度情報３９１に含まれる情報をグラフ形式で表示する。このグラフには、細胞密度５７１が示されている。また、グラフ中には、現在選択されている時間を示す選択時間表示５７３が含まれている。選択時間表示５７３が示す時間は、タイムバー５５０の選択時間表示５５３に対応する。また、解析結果表示エリア５７０には、グラフにコメントが付与されているとき、コメントが付与されている時間を示す位置にコメント有アイコン５７４が表示される。また、解析結果表示エリア５７０には、新たなコメントを付与するときにユーザが選択するコメント付与アイコン５７５が配置されている。なお、グラフには、細胞密度に代えて、又は、細胞密度と共に、細胞数が示されてもよい。
　また、メイン画面５００は、後述するシェアアイコン５８２と、コメントリストアイコン５８４と、ログアウトアイコン５８６とを含む。
　図５に戻って観察データ管理処理の説明を続ける。ステップＳ２０２において、演算部２１０は、ユーザによって画像が選択されたか否かを判定する。例えば、画像表示エリア５１０内のサムネイル画像の何れかがユーザによって選択されたとき、画像が選択されたと判定される。画像が選択されていないとき、処理はステップＳ２０４に進む。一方、画像が選択されたとき、処理はステップＳ２０３に進む。ステップＳ２０３において、演算部２１０は、画像選択処理を行う。
　画像選択処理について、図７に示すフローチャートを参照して説明する。
　ステップＳ３０１において、演算部２１０は、画像が選択された際のクリックの種類はシングルクリックであったかダブルクリックであったかを判定する。シングルクリックであったとき、処理はステップＳ３０２に進む。ステップＳ３０２において、演算部２１０は、例えば図６に示すように、選択された画像に強調表示５２３が施された画面を表示装置に表示させる。その後、処理はステップＳ３０４に進む。
　ステップＳ３０１において、ダブルクリックがされたと判定されたとき、処理はステップＳ３０３に進む。ステップＳ３０３において、演算部２１０は、選択された画像の大画像を例えば画像表示エリア５１０いっぱいに表示させる。その後、処理はステップＳ３０４に進む。
　ステップＳ３０４の処理を実行するときには、何れかの画像が選択されており、その画像が強調表示５２３又は大きく表示されている場合である。ステップＳ３０４において、演算部２１０は、画像表示エリア５１０のコメント付与アイコン５２５が選択されたか否かを判定する。コメント付与アイコン５２５が選択されていないとき、処理はステップＳ３０６に進む。コメント付与アイコン５２５が選択されたとき、処理はステップＳ３０５に進む。ステップＳ３０５において、演算部２１０は、画像にコメントを付与する画像コメント付与処理を行う。その後、処理はステップＳ３０６に進む。
　ステップＳ３０６において、演算部２１０は、コメント付与アイコン５２５以外の位置がクリックされるなど、画像選択処理を終了して処理が観察データ管理処理に戻るべきか否かを判定する。観察データ管理処理に戻らないとき、処理はステップＳ３０４に戻り、コメント付与アイコン５２５の選択を待つ。一方、観察データ管理処理に戻るときには、画像選択処理を終了して、処理は観察データ管理処理に戻る。
　コメント付与アイコン５２５が選択されたときにステップＳ３０５で行われる画像コメント付与処理について、図８に示すフローチャートを参照して説明する。
　ステップＳ４０１において、演算部２１０は、表示装置に画像にコメントを付与するためのコメント画面を表示させる。コメント画面の一例を図９に示す。図９に示すように、コメント画面６１０は、コメント欄６１１と、ＯＫアイコン６１２と、ＲｏＩ設定アイコン６１３とを含む。また、コメント画面６１０には、現在操作を行っているユーザ、すなわち、画像コメントを登録しようとしているユーザの名前又はＩＤなどユーザを特定する情報がユーザ名表示欄６１８に表示される。ユーザの名前又はＩＤなどの情報は、サーバ２００にアクセスするときに行われるユーザ認証等によってサーバ２００が取得する。また、コメント画面６１０には、ユーザがコメントを付与しようとする日時、すなわち現在の日時が日時表示欄６１９に表示される。
　ステップＳ４０２において、演算部２１０は、コメント欄６１１が選択されたか否かを判定する。コメント欄６１１が選択されていないとき、処理はステップＳ４０４に進む。一方、コメント欄６１１が選択されたとき、処理はステップＳ４０３に進む。ステップＳ４０３において、演算部２１０は、ユーザがコメント欄６１１に例えばテキスト情報のコメントを記載するコメント記入処理を実行する。その後、処理はステップＳ４０４に進む。ここで記入されるコメントは、ユーザが自由に入力してもよいし、定型文を選択するものであってもよいし、予め設定された記号・サイン等から選択するものであってもよい。
　ステップＳ４０４において、演算部２１０は、ＲｏＩ設定アイコン６１３が選択されたか否かを判定する。ＲｏＩ設定アイコン６１３が選択されていないとき、処理はステップＳ４０７に進む。一方、ＲｏＩ設定アイコン６１３が選択されたとき、処理はステップＳ４０５に進む。ステップＳ４０５において、演算部２１０は、ＲｏＩ設定処理を行う。
　ＲｏＩ設定処理では、図１０に示すようなＲｏＩ設定画面６２０が表示装置に表示される。ＲｏＩ設定画面６２０は、画像表示エリア６２１と、ＲｏＩツール６２２と、ＯＫアイコン６２３とを含む。画像表示エリア６２１には、現在選択されている画像が表示される。ＲｏＩツール６２２としては、例えば図１０に示すように、矢印６２２１、円６２２２、四角６２２３、テキスト６２２４が用意されている。ＲｏＩツール６２２の矢印６２２１が選択された状態で、画像表示エリア６２１内の点が選択されたとき、図１０の矢印表示６２６１のように、画像表示エリア６２１内に矢印が表示される。ユーザは、ドラッグ操作等することで、矢印表示６２６１の位置、向き等を変更することができる。また、ＲｏＩツール６２２のテキスト６２２４が選択された状態で、画像表示エリア６２１内の点が選択されたとき、図１０のテキスト表示６２６４のように、ユーザは画像表示エリア６２１内に任意のテキストを記入することができる。また、ＲｏＩツール６２２の円６２２２が選択された状態で、画像表示エリア６２１内の点が選択されたとき、図１０の円表示６２６２のように、画像表示エリア６２１内にＲｏＩを表す円が表示される。ユーザは、ドラッグ操作等することで、円表示６２６２の位置、大きさ等を変更することができる。同様に、ＲｏＩツール６２２の四角６２２３が選択された状態で、画像表示エリア６２１内の点が選択されたとき、画像表示エリア６２１内にＲｏＩを表す四角が表示される。
ユーザは、ＲｏＩツール６２２を選択しながら、画像に対してＲｏＩ等を設定することができる。
　ステップＳ４０６において、演算部２１０は、ＲｏＩ設定画面６２０のＯＫアイコン６２３が選択されたか否かを判定する。ＯＫアイコン６２３が選択されていなければ、処理はステップＳ４０５に戻り、ＲｏＩ設定処理を継続する。ＯＫアイコン６２３が選択されたとき、ＲｏＩ設定画面６２０を閉じて、処理はステップＳ４０７に進む。
　ステップＳ４０７において、表示装置にはコメント画面６１０が表示されている。ステップＳ４０７において、演算部２１０は、コメント画面６１０のＯＫアイコン６１２が選択されたか否かを判定する。ＯＫアイコン６１２が選択されていないとき、処理はステップＳ４０２に戻り、コメントの記入又はＲｏＩの設定が行われるのを待つ。一方、ＯＫアイコン６１２が選択されたとき、処理はステップＳ４０８に進む。
　ステップＳ４０８において、演算部２１０は、上述のとおり記入・設定されたテキスト・図形等を含むコメント等に基づいてコメントファイル３６１を作成し、観察データ３００に記録する。また、ステップＳ４０９において、演算部２１０は、当該コメントに関する必要な情報を、該当する画像に係る画像ファイル３３１のコメント３４８に記録する。同様に、演算部２１０は、当該コメントに関する必要な情報を、解析結果表示エリア５７０に表示されるグラフの元データとなる解析情報３９０のコメント３９７に記録する。また、演算部２１０は、当該コメントに関する必要な情報を、タイムバー５５０のコメント表示５５４の元となる撮影情報３１０のコメント３１４に記録する。ここで記録されるコメントに関する必要な情報は、コメントの内容の全て等であってもよいし、コメントファイル３６１を特定するための情報などであってもよい。以上で画像コメント付与処理は終了し、処理は図７を参照して説明した画像選択処理に戻る。画像コメント付与処理が終了すると、図６に示すように、選択画像にコメント有アイコン５２４が表示されるようになる。
　画像コメント付与処理によれば、ユーザが観察装置１１０を用いて得られた画像について、注目した箇所に目印をつけて記録することができるし、注目した箇所についてのユーザの意見をコメントとして付与して記録することができる。
　図５に示す観察データ管理処理の説明に戻る。ステップＳ２０３の画像選択処理の後、処理はステップＳ２０４に進む。観察データ管理処理のステップＳ２０４において、演算部２１０は、ユーザによって解析結果表示エリア５７０のグラフ内の何れかの時点が選択されたか否かを判定する。グラフ内の時点が選択されていないとき、処理はステップＳ２０６に進む。一方、グラフ内の時点が選択されたとき、処理はステップＳ２０５に進む。ステップＳ２０５において、演算部２１０は、グラフ時間選択処理を行う。
　グラフ時間選択処理について、図１１に示すフローチャートを参照して説明する。ステップＳ５０１において、演算部２１０は、メイン画面５００の解析結果表示エリア５７０のグラフに選択時間表示５７３を示す。
　ステップＳ５０２において、演算部２１０は、解析結果表示エリア５７０のコメント付与アイコン５７５が選択されたか否かを判定する。コメント付与アイコン５７５が選択されていないとき、処理はステップＳ５０４に進む。一方、コメント付与アイコン５７５が選択されたとき、処理はステップＳ５０３に進む。ステップＳ５０３において、演算部２１０は、グラフにコメントを付与するグラフコメント付与処理を実行する。その後、処理はステップＳ５０４に進む。
　ステップＳ５０４において、演算部２１０は、コメント付与アイコン５７５以外の位置がクリックされるなど、グラフ時間選択処理を終了して処理が観察データ管理処理に戻るべきか否かを判定する。観察データ管理処理に戻らないとき、処理はステップＳ５０２に戻り、コメント付与アイコン５７５の選択を待つ。一方、観察データ管理処理に戻るときには、グラフ時間選択処理を終了して、処理は観察データ管理処理に戻る。
　コメント付与アイコン５７５が選択されたときにステップＳ５０３で行われるグラフコメント付与処理について、図１２に示すフローチャートを参照して説明する。
　ステップＳ６０１において、演算部２１０は、表示装置にグラフにコメントを付与するためのコメント画面を表示させる。コメント画面の一例を図１３に示す。図１３に示すように、コメント画面６３０は、コメント欄６３１と、ＯＫアイコン６３２とを含む。また、コメント画面６３０には、現在操作を行っているユーザ、すなわち、グラフコメントを登録しようとしているユーザの名前又はＩＤなどユーザを特定する情報がユーザ名表示欄６３８に表示される。また、コメント画面６３０には、ユーザがコメントを付与しようとする現在の日時が日時表示欄６３９に表示される。
　ステップＳ６０２において、演算部２１０は、コメント欄６３１が選択されたか否かを判定する。コメント欄６３１が選択されていないとき、処理はステップＳ６０４に進む。一方、コメント欄６３１が選択されたとき、処理はステップＳ６０３に進む。ステップＳ６０３において、演算部２１０は、ユーザがコメント欄６３１に例えばテキスト情報であるコメントを記載するコメント記入処理を実行する。その後、処理はステップＳ６０４に進む。
　ステップＳ６０４において、演算部２１０は、コメント画面６３０のＯＫアイコン６３２が選択されたか否かを判定する。ＯＫアイコン６３２が選択されていないとき、処理はステップＳ６０２に戻り、コメントの記入が行われるのを待つ。一方、ＯＫアイコン６３２が選択されたとき、処理はステップＳ６０５に進む。
　ステップＳ６０５において、演算部２１０は、上述のとおり記入・設定されたコメント等に基づいてコメントファイル３６１を作成し、観察データ３００に記録する。また、ステップＳ６０６において、演算部２１０は、当該コメントに関する必要な情報を、該当する画像に係る画像ファイル３３１のコメント３４８、解析情報３９０のコメント３９７、撮影情報３１０のコメント３１４に記録する。ここで記録されるコメントに関する必要な情報は、コメントの内容の全て等であってもよいし、コメントファイル３６１を特定するための情報などであってもよい。以上でグラフコメント付与処理は終了し、処理は図１１を参照して説明したグラフ時間選択処理に戻る。
　グラフコメント付与処理によれば、ユーザが観察装置１１０を用いて得られた画像に基づく解析結果について、注目した時点に目印をつけて記録することができるし、注目した時点についてのユーザの意見をコメントとして付与して記録することができる。
　上述の例では、グラフ中で選択された時点についてコメントが付与される例を示したが、ユーザが指定した幅を有する時間帯に対してコメントが付与されてもよい。この時間帯は、例えば作業情報３１７に基づいて、培地交換、継代作業等の作業と作業との間といった、作業に関連付けられた時間帯であってもよい。
　図５に示す観察データ管理処理の説明に戻る。ステップＳ２０５のグラフ時間選択処理の後、処理はステップＳ２０６に進む。観察データ管理処理のステップＳ２０６において、演算部２１０は、ユーザによって、画像表示エリア５１０のコメント有アイコン５２４、タイムバー５５０のコメント表示５５４、又は解析結果表示エリアのコメント有アイコン５７４が選択されたか否かを判定する。コメントが選択されていないとき、処理はステップＳ２０８に進む。一方、コメントが選択されたとき、処理はステップＳ２０７に進む。ステップＳ２０７において、演算部２１０は、コメント確認処理を実行する。
　コメント確認処理について図１４に示すフローチャートを参照して説明する。
　ステップＳ７０１において、演算部２１０は、表示装置にコメントの概要をポップアップ表示させる。この表示の一例を図１５に示す。図１５は、画像表示エリア５１０のコメント有アイコン５２４が選択された場合の例を示すが、タイムバー５５０のコメント表示５５４又は解析結果表示エリア５７０のコメント有アイコン５７４が選択された場合も表示される位置が異なるが同様の表示がなされる。以降、画像表示エリアのコメント有アイコン５２４が選択された場合の例を説明する。図１５に示すように、コメント概要表示画面６４０は、コメント欄６４１と、ユーザ名表示欄６４８と、日時表示欄６４９と、リプライアイコン６４２と、シェアアイコン６４３と、詳細アイコン６４４とを含む。選択されたコメントを登録したユーザの情報がユーザ名表示欄６４８に表示され、当該コメントが登録された時間が日時表示欄６４９に表示される。当該コメントのテキスト情報がコメント欄６４１に表示される。これらの内容は、コメントファイル３６１等の内容に基づいて表示される。コメント概要表示画面６４０の文字等の色は、例えばコメントを登録したユーザによって異なるものとし、誰のコメントなのかが分かりやすいようにしてもよい。色に限らず、フォント等の違いによってユーザの差異が表現されてもよい。
　ステップＳ７０２において、演算部２１０は、リプライアイコン６４２が選択されたか否かを判定する。リプライアイコン６４２が選択されていないとき、処理はステップＳ７０４に進む。一方、リプライアイコン６４２が選択されたとき、処理はステップＳ７０３に進む。ステップＳ７０３において、演算部２１０は、図８を参照して説明した画像コメント付与処理を実行する。すなわち、あるコメントと関連付けて、そのコメントを登録したユーザ又は異なるユーザがさらにコメントを登録することができる。追加されたコメント・ＲｏＩ等の表示においては、登録ごと或いは登録したユーザ毎に例えば色が異なるように表示されるなどしてもよい。画像コメント付与処理の後、処理はステップＳ７０４に進む。
　ステップＳ７０４において、演算部２１０は、詳細アイコン６４４が選択されたか否かを判定する。詳細アイコン６４４が選択されていないとき、処理はステップＳ７０６に進む。一方、詳細アイコン６４４が選択されたとき、処理はステップＳ７０５に進む。
　ステップＳ７０５において、演算部２１０は、詳細確認処理を実行する。詳細確認処理について、図１６に示すフローチャートを参照して説明する。
　ステップＳ８０１において、演算部２１０は、表示装置にコメント詳細画面を表示させる。コメント詳細画面の一例を図１７に示す。コメント詳細画面６５０は、画像表示エリア６５１を含む。画像表示エリア６５１には、現在選択されている画像が表示される。また、画像には、当該画像に付与されたＲｏＩ等が表示される。すなわち、例えば、円表示６５１２、矢印表示６５１３、テキスト表示６５１４等が、画像に重畳表示される。また、コメント詳細画面６５０は、コメント欄６５２と、ユーザ名表示欄６５８と、日時表示欄６５９とを含む。コメント欄６５２には付与されたテキスト情報の全文が表示され、ユーザ名表示欄６４８にはコメント・ＲｏＩ等を登録したユーザの情報が表示され、日時表示欄６４９にはコメント・ＲｏＩ等が登録された日時が表示される。さらに、コメント詳細画面６５０は、コメントアイコン６５３と、ＲｏＩ設定アイコン６５４と、クローズアイコン６５５と、動画再生アイコン６５６とを含む。コメント詳細画面６５０の文字・図形等の色は、例えばコメントを登録したユーザによって異なるものとし、誰のコメント等なのかが分かりやすいようにしてもよい。色に限らず、フォント等の違いによってユーザの差異が表現されてもよい。
　ステップＳ８０２において、演算部２１０は、コメントアイコン６５３が選択されたか否かを判定する。コメントアイコン６５３が選択されていないとき、処理はステップＳ８０４に進む。一方、コメントアイコン６５３が選択されたとき、処理はステップＳ８０３に進む。ステップＳ８０３において、演算部２１０は、ユーザが新たに表示されたコメント欄にコメントを記載するコメント記入処理を実行する。その後、処理はステップＳ８０４に進む。
　ステップＳ８０４において、演算部２１０は、ＲｏＩ設定アイコン６５４が選択されたか否かを判定する。ＲｏＩ設定アイコン６５４が選択されていないとき、処理はステップＳ８０７に進む。一方、ＲｏＩ設定アイコン６５４が選択されたとき、処理はステップＳ８０５に進む。ステップＳ８０５において、演算部２１０は、図１０を参照して説明した処理と同様のＲｏＩ設定画面６２０を用いたＲｏＩ設定処理を行う。ステップＳ８０６において、演算部２１０は、ＲｏＩ設定画面６２０のＯＫアイコン６２３が選択されたか否かを判定する。ＯＫアイコン６２３が選択されていなければ、処理はステップＳ８０５に戻り、ＲｏＩ設定処理を継続する。ＯＫアイコン６２３が選択されたとき、ＲｏＩ設定画面６２０を閉じて、処理はステップＳ８０７に進む。
　ステップＳ８０７において、演算部２１０は、動画再生アイコン６５６が選択されたか否かを判定する。動画再生アイコン６５６が選択されていないとき、処理はステップＳ８０９に進む。一方、動画再生アイコン６５６が選択されたとき、処理はステップＳ８０８に進む。ステップＳ８０８において、演算部２１０は、現在選択されているコメントが付された画像と関連する画像を撮影順に順次表示する動画再生処理を行う。
　動画再生処理について図１８に示すフローチャートを参照して説明する。ステップＳ９０１において、演算部２１０は、現在選択されているコメントが付された画像と関連する画像を選択する。
　図１９に時間経過に沿って撮影された複数の画像を模式的に示す。図１９において１つの四角は１枚の画像を示す。上述のとおり１つの撮影位置について、設定されたタイミングに応じて複数の画像が撮影によって得られるので、時系列に沿った画像群７００が存在する。一般に観察時間は長いので、画像群に含まれる画像は、多数になり得る。例えば、１時間毎に撮影が行われる場合、３０日間で７２０枚の画像が取得されることになる。本実施形態では、これらの大量の画像の中から現在選択されている画像と関連する一連の画像を選択する。例えば、現在選択されている画像を選択画像７０１とする。このとき、選択画像７０１より前の継代作業を行った直後の画像を開始画像７０２として選択する。また、選択画像７０１より後の継代作業を行った直前の画像を終了画像７０３として選択する。開始画像７０２から終了画像７０３までの一連の画像を選択画像７０４として選択する。開始画像７０２及び終了画像７０３は、継代作業に関連するものでなく、培地交換と関連するものでもよいし、試薬添加などその他の作業に関連するものでもよいし、その他観察と関連する何れかの基準で選択されるものでもよい。また、開始画像７０２は、一連の観察の最初に撮られた画像であってもよい。また、終了画像７０３は、一連の観察の最後に撮られた最新の画像であってもよい。開始画像７０２及び終了画像７０３は、目的に応じて適宜に選択され得る。
　ステップＳ９０２において、演算部２１０は、表示装置に、ステップＳ９０１で選択された選択画像７０４を時間順に順次に表示させる動画再生を行わせる。すなわち、演算部２１０は、表示装置にタイムラプス動画を再生させる。以上で動画再生処理は終了し、処理は詳細確認処理に戻る。詳細確認処理において、ステップＳ８０８の動画再生処理の後、処理はステップＳ８０９に進む。
　ステップＳ８０９において、演算部２１０は、コメント詳細画面６５０のクローズアイコン６５５が選択されたか否かを判定する。クローズアイコン６５５が選択されていないとき、処理はステップＳ８０２に戻って上述の処理を繰り返す。一方、クローズアイコン６５５が選択されたとき、処理はステップＳ８１０に進む。
　ステップＳ８１０において、演算部２１０は、演算部２１０は、上述のとおり記入・設定されたコメント等に基づいてコメントファイル３６１を作成し、観察データ３００に記録する。このとき、コメントファイル３６１に記録されるコメント種類３７２には、コメントに対するリプライである旨、元のコメントを示す情報等も記録される。また、ステップＳ８１１において、演算部２１０は、当該コメントに関する必要な情報を、該当する画像に係る画像ファイル３３１のコメント３４８、解析情報３９０のコメント３９７、撮影情報３１０のコメント３１４等に記録する。
　以上で詳細確認処理は終了し、処理は図１４を参照して説明しているコメント確認処理に戻る。コメント確認処理のステップＳ７０５の詳細確認処理の後、処理はステップＳ７０６に進む。
　ステップＳ７０６において、演算部２１０は、シェアアイコン６４３が選択されたか否かを判定する。シェアアイコン６４３が選択されていないとき、処理はステップＳ７０８に進む。一方、シェアアイコン６４３が選択されたとき、処理はステップＳ７０７に進む。ステップＳ７０７において、演算部２１０は、画面情報送信処理を行う。画面情報送信処理は、現在表示されている画面と同じ画面を他のユーザに見てもらうため、他のユーザに当該画面に関する情報を送信する処理である。画面情報送信処理について、図２０に示すフローチャートを参照して説明する。
　演算部２１０は、ＵＲＬによって表示画面を特定することができるように構成されている。ステップＳ１００１において、演算部２１０は、現在表示されている画面を特定するＵＲＬを作成する。ステップＳ１００２において、演算部２１０は、画面を共有すべき相手をユーザの指示に基づいて選択する。ステップＳ１００３において、演算部２１０は、ユーザが操作している端末に、電子メールソフトウェアを起動させ、電子メールの送信画面を立ち上げさせる。ステップＳ１００４において、演算部２１０は、送信メールの宛先にステップＳ１００２で選択した共有者の電子メールアドレスを貼付する。ステップＳ１００５において、演算部２１０は、送信メールの内容にステップＳ１００１で作成したＵＲＬを貼付する。
　ユーザは、作成された電子メールに適宜に文章等を追加し、電子メールソフトウェアを用いて電子メールを共有者宛に送信する。この電子メールを受信した共有者は、電子メールに記載されたＵＲＬを選択することで、当該電子メールの送信者が閲覧を希望した画面を見ることができる。以上で画面情報送信処理は終了し、処理はコメント確認処理に戻る。
　ここでは、電子メールを用いて閲覧画面の情報を共有する方法を一例として示したが、電子メールを用いなくてもよい。例えば、ウェブブラウザ、又は専用の情報共有アプリケーション等を用いて閲覧すべき画面を共有してもよい。
　図１４に示すコメント確認処理について説明を続ける。ステップＳ７０７の画面情報送信処理の後、処理はステップＳ７０８に進む。
　ステップＳ７０８において、演算部２１０は、例えばユーザがコメント概要表示画面６４０以外の領域をクリックする等によって行われる、コメント確認処理の完了を指示を行ったか否かを判定する。コメント確認処理の完了が指示されていないとき、処理はステップＳ７０２に戻り、上述の処理を繰り返す。一方、コメント確認処理の完了が指示されたとき、コメント確認処理は終了し、処理は図５を参照して説明している観察データ管理処理に戻る。
　図５に戻って観察データ管理処理の説明を続ける。ステップＳ２０７のコメント確認処理の後、処理はステップＳ２０８に進む。ステップＳ２０８において、演算部２１０は、動画操作アイコン５６０の再生アイコン５６１が選択される等、動画再生が選択されたか否かを判定する。動画再生が選択されていないとき、処理はステップＳ２１０に進む。一方、動画再生が選択されたとき、処理はステップＳ２０９に進む。
　ステップＳ２０９において、演算部２１０は、図１８を参照して説明した動画再生処理を行う。すなわち、現在選択されている時点と関連する画像が選択され、選択された画像がタイムラプス動画として再生される。例えば図６に示すように画像表示エリア５１０に複数のサムネイル画像が並べて表示されているとき、それぞれのサムネイル画像がタイムラプス動画として順次切り替わっていく表示がなされる。動画再生処理の後、処理はステップＳ２１０に進む。
　ステップＳ２１０において、演算部２１０は、タイムバー５５０で時間が選択されたか否かを判定する。時間が選択されていないとき、処理はステップＳ２１２に進む。一方、時間が選択されたとき、処理はステップＳ２１１に進む。
　ステップＳ２１１において、演算部２１０は、選択された時間に応じて画像表示エリア５１０に表示された画像を更新する。すなわち、選択された時間に取得された画像を画像表示エリア５１０に表示させる。その後、処理はステップＳ２１２に進む。
　ステップＳ２１２において、演算部２１０は、メイン画面５００内のシェアアイコン５８２が選択されたか否かを判定する。シェアアイコン５８２が選択されていないとき、処理はステップＳ２１４に進む。一方、シェアアイコン５８２が選択されたとき、処理はステップＳ２１３に進む。
　ステップＳ２１３において、演算部２１０は、図２０を参照して説明した画面情報送信処理を行う。すなわち、演算部２１０は、現在表示されている画面を表すＵＲＬを、ユーザが選択した共有者宛に例えば電子メール等で送信することに係る処理を行う。画面情報送信処理の後、処理はステップＳ２１４に進む。
　ステップＳ２１４において、演算部２１０は、メイン画面５００のコメントリストアイコン５８４が選択されたか否かを判定する。コメントリストアイコン５８４が選択されていないとき、処理はステップＳ２１６に進む。一方、コメントリストアイコン５８４が選択されたとき、処理はステップＳ２１５に進む。ステップＳ２１５において、演算部２１０は、コメントリスト処理を行う。
　コメントリスト処理について、図２１に示すフローチャートを参照して説明する。
　ステップＳ１１０１において、演算部２１０は、表示装置にコメントリストを表示させる。コメントリストは、観察データ３００に含まれるコメントファイル３６１のコメントを一覧表示するものである。また、このコメントリストにおいて、閲覧しているユーザが既に確認しているコメントと未確認のコメントとが区別され得るように、例えば表示色又は文字色等が異なるように表示されてもよい。
　ステップＳ１１０２において、演算部２１０は、コメントリストの中の何れかのコメントが選択されたか否かを判定する。コメントが選択されていないとき、処理はステップＳ１１０４に進む。一方、コメントが選択されたとき、処理はステップＳ１１０３に進む。ステップＳ１１０３において、演算部２１０は、図１６を参照して説明した詳細確認処理を行う。すなわち、選択されたコメントについて、例えば図１７に示したコメント詳細画面６５０が表示装置に表示され、コメントの詳細が閲覧されたり、コメントに関する各種処理が行われたりする。詳細確認処理の後、処理はステップＳ１１０４に進む。
　ステップＳ１１０４において、演算部２１０は、コメント検索の指示がされたか否かを判定する。コメント検索の指示がされていないとき、処理はステップＳ１１０６に進む。一方、コメント検索の指示がされたとき、処理はステップＳ１１０５に進む。ステップＳ１１０５において、演算部２１０は、コメント検索処理を行う。すなわち、演算部２１０は、例えばユーザによって入力された、コメントに含まれるキーワード、コメントが付された画像の撮影時間、コメントを付したユーザの情報、コメントが登録された時間等に基づいて、コメントファイル群３６０に含まれるコメントファイル３６１から該当するコメントを選択する。演算部２１０は、該当するコメントを表示装置に一覧表示させ、ユーザによって選択されたら選択されたコメントについてコメント詳細画面６５０を表示させる。コメント検索処理の後、処理はステップＳ１１０６に進む。
　ステップＳ１１０６において、演算部２１０は、コメントリスト処理を終了させて観察データ管理処理に戻るか否かを判定する。コメントリスト処理を終了しないとき、処理はステップＳ１１０２に戻り、上述の処理が繰り返される。一方、コメントリスト処理を終了する時には、処理は観察データ管理処理に戻る。
　図５に示す観察データ管理処理のステップＳ２１５のコメントリスト処理の後、処理はステップＳ２１６に進む。ステップＳ２１６において、演算部２１０は、ログアウトアイコン５８６が選択されたか否かを判定する。ログアウトアイコン５８６が選択されていないとき、処理はステップＳ２０２に戻り、上述の処理が繰り返される。一方、ログアウトアイコン５８６が選択されたとき、観察データ管理処理は終了する。
　［観察システムの特長］
　本実施形態に係る観察システム１の特長の一部を説明する。本実施形態に係る観察システム１によれば、ユーザは、観察装置１１０で得られた画像、その画像に基づいて得られた解析結果等に、関心のある領域、時点、内容、判断、意見等に関するコメントを付与することができる。観察システム１によれば、これらのコメントが画像、解析結果等の事実と関連付けられて記録される。したがって、このようなコメントが適切に有意義に整理されながら記録される。また、この記録に係る手間は、ノートに記録するなどの従来の手法に比べて少ない。細胞培養は例えば数週間など長期にわたることがある。長期にわたって撮影を繰り返したり、コメントを記録したりすると、画像及びコメントは大量になる。本実施形態に係る観察システム１によれば、ユーザにとって記録する手間も、記録を整理する手間もわずかでよい。また、観察システム１によれば、画像及びコメントが整理されて表示されるので、ユーザにとって画像及びコメントの閲覧が容易である。
　また、観察システム１によれば、これらのコメントを、コメントを付与したユーザ以外のユーザが閲覧することができる。このため、付与されたコメントは、多数のユーザによって容易に共有され得る。また、この際、時系列に沿って適切に整理された状態でコメントが記録されているので、培養作業を行っていないユーザにとっても、培養の過程を確認しながら、当該コメントを確認することができる。付与されたコメントが培養過程に基づいてなされたコメントであっても、コメントを付与したユーザの主観に基づくコメントであっても、他のユーザにとって内容を把握しやすい。
　また、観察システム１では、ユーザは、他者が付与したコメントに関連付けてさらにコメントを付与することができるので、培養細胞に関する報告、相談、議論、指示等のコミュニケーションを円滑に行うことができる。このように、観察システム１によれば、従来口頭で交わされ記録に残りにくかったコメントが、適切に整理された形で容易に記録され得る。また、観察システム１によれば、これらのコミュニケーションは、場所・時間を同一にすることなく行われ得る。
　また、観察システム１では、複数の画像が連続的に表示されるタイムラプス動画再生において、多くの蓄積された画像の中から例えばコメントなどに関連する画像のみが選択されて再生される。このため、ユーザは、培養細胞の状態をより的確に把握することができるし、不要な情報の閲覧の手間を省くことができる。
　なお、上述の実施形態では、観察データ管理処理がサーバ２００で行われる例を示したが、これに限らない。例えばコントローラ１３０はネットワークに接続されておらず、上述の一連の観察データ管理処理がコントローラ１３０で行われてもよい。
　上述の実施形態に示した複数のデータ、処理のうち一部が無くても、他のものが追加されてもよい。例えば、観察データ３００において、例えば撮影位置、撮影時間、特定情報及びコメント等は、重複して保持されている例を示したが、これらのうち一部は省略され得る。また、例えば図５に示した観察データ管理処理は、種々の処理を含む例を示したが、ここで示した処理のうち、一部の処理は削除され得るし、他の処理が追加されてもよいし、処理の順序は適宜に変更され得る。
　また、上述の処理、各種判断等には、人工知能に係る技術が活用されてもよい。

Claims (16)

  1. 　培養中の生体試料について時系列に沿って取得された複数の画像を管理する画像管理部と、
    　ユーザの指示に基づいて前記画像と関連付けてコメントを記録するコメント管理部と
    　を備える観察システム。
  2. 　前記画像に基づいて得られた解析結果を管理する解析結果管理部をさらに備え、
    　前記コメント管理部は、ユーザの指示に基づいて前記解析結果と関連付けてさらにコメントを記録する、
    　請求項１に記載の観察システム。
  3. 　前記コメント管理部は、前記画像と関連付けて記録されたコメントと、前記解析結果と関連付けて記録されたコメントとを、互いに関連付ける、請求項２に記載の観察システム。
  4. 　前記コメント管理部は、ユーザの指示に基づいて前記コメントと関連付けてさらに異なるコメントを記録する、請求項１乃至３のうち何れか１項に記載の観察システム。
  5. 　前記コメント管理部は、前記コメントの記録を指示したユーザを特定する情報を前記コメントと関連付けて記録する、請求項１乃至４のうち何れか１項に記載の観察システム。
  6. 　前記コメントの表示装置への表示を制御する表示制御部をさらに備え、
    　前記表示制御部は、異なるユーザの指示に基づいて記録されたコメントは異なる色で前記表示装置に表示させる、
    　請求項５に記載の観察システム。
  7. 　前記培養中に行われた作業の記録を管理する情報管理部と、
    　記録されたコメントのうちユーザによって選択されたコメントと前記作業の記録とに基づいて前記複数の画像のうちの一部である複数の画像を選択し、選択された前記複数の画像を順次連続的に表示装置に表示させる表示制御部と
    　をさらに備える、請求項１乃至６のうち何れか１項に記載の観察システム。
  8. 　前記画像管理部が管理する前記画像と、前記コメント管理部が管理する前記コメントとに、アクセス可能な複数の端末を備える、請求項１乃至７のうち何れか１項に記載の観察システム。
  9. 　前記複数の端末のうち一の端末である第１の端末の指示に基づいて、前記複数の端末のうち他の端末である第２の端末に、前記第１の端末が指定した前記画像及び前記コメントを特定する情報を送信する表示制御部をさらに備える、請求項８に記載の観察システム。
  10. 　　前記時系列を示すタイムバーと、
    　　前記時系列中の選択された時点を示す前記タイムバー上の選択時間表示と、
    　　前記複数の画像の中から前記選択された時点に対応する画像と
    　を表示装置に表示させる表示制御部をさらに備え、
    　前記コメント管理部は、前記選択された時点に対応する画像と関連付けて前記コメントを記録する、
    　請求項１乃至５のうち何れか１項に記載の観察システム。
  11. 　前記画像管理部は、前記生体試料の異なる位置で撮影された複数の前記画像を管理し、
    　　撮影が行われた前記生体試料の異なる位置を示す容器マップと、
    　　前記時系列の中で同一とみなせるタイミングで前記生体試料の異なる位置で撮影された前記複数の画像と、
    　　前記複数の画像の中から前記容器マップ中で選択された位置に対応する画像を示す強調表示と
    　を表示装置に表示させる表示制御部をさらに備え、
    　前記コメント管理部は、前記選択された位置に対応する画像と関連付けて前記コメントを記録する、
    　請求項１乃至５のうち何れか１項に記載の観察システム。
  12. 　前記画像管理部は、前記生体試料の異なる位置で撮影された複数の前記画像を管理し、
    　　前記時系列を示すタイムバーと、
    　　前記時系列中の選択された時点を示す前記タイムバー上の選択時間表示と、
    　　前記複数の画像の中から選択された、前記選択された時点と同一とみなせるタイミングで前記生体試料の異なる位置で撮影された前記複数の画像と、
    　　前記画像と関連付けて記録された前記コメントがあるとき、当該画像と関連付けて表示されるコメント有アイコンと
    　を表示装置に表示させる表示制御部をさらに備える、請求項１乃至５のうち何れか１項に記載の観察システム。
  13. 　前記時系列に沿った前記解析結果を示すグラフと、前記時系列中の選択された時点を示す選択時間表示とを表示装置に表示させる表示制御部をさらに備え、
    　前記コメント管理部は、前記選択された時点に対応する前記解析結果と関連付けてコメントを記録する、
    　請求項２又は３に記載の観察システム。
  14. 　前記時系列に沿った前記解析結果を示すグラフと、前記解析結果と関連付けて記録された前記コメントがあるとき、当該解析結果と関連付けて表示されるコメント有アイコンとを表示装置に表示させる表示制御部をさらに備える、請求項２又は３に記載の観察システム。
  15. 　前記表示制御部は、前記コメント有アイコンが選択されたとき、前記コメントの内容を前記表示装置に表示させる、請求項１２又は１４に記載の観察システム。
  16. 　培養中の生体試料について時系列に沿って取得された複数の画像を管理することと、
    　ユーザの指示に基づいて前記画像と関連付けてコメントを記録することと
    　を含む情報管理方法。
PCT/JP2017/029155 2017-08-10 2017-08-10 観察システム及び情報管理方法 WO2019030906A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2017/029155 WO2019030906A1 (ja) 2017-08-10 2017-08-10 観察システム及び情報管理方法
JP2019535547A JP7242530B2 (ja) 2017-08-10 2017-08-10 観察システム及び情報管理方法
CN201780093697.3A CN110998645A (zh) 2017-08-10 2017-08-10 观察系统及信息管理方法
US16/785,714 US11348350B2 (en) 2017-08-10 2020-02-10 Observation system and information management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/029155 WO2019030906A1 (ja) 2017-08-10 2017-08-10 観察システム及び情報管理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/785,714 Continuation US11348350B2 (en) 2017-08-10 2020-02-10 Observation system and information management method

Publications (1)

Publication Number Publication Date
WO2019030906A1 true WO2019030906A1 (ja) 2019-02-14

Family

ID=65271222

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/029155 WO2019030906A1 (ja) 2017-08-10 2017-08-10 観察システム及び情報管理方法

Country Status (4)

Country Link
US (1) US11348350B2 (ja)
JP (1) JP7242530B2 (ja)
CN (1) CN110998645A (ja)
WO (1) WO2019030906A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141513A (ja) * 2003-11-07 2005-06-02 Mitsubishi Electric Corp 監視システム
WO2009031283A1 (ja) * 2007-09-03 2009-03-12 Nikon Corporation 培養装置、培養情報管理方法およびプログラム
JP2009162708A (ja) * 2008-01-10 2009-07-23 Nikon Corp 画像処理装置
JP2011181137A (ja) * 2010-02-26 2011-09-15 Sharp Corp 記録再生装置、再生装置、記録方法、再生方法及びコンピュータプログラム
JP2012186834A (ja) * 2006-12-11 2012-09-27 Dowango:Kk コメント配信システム、端末装置、コメント配信方法、及びプログラム
JP2013238992A (ja) * 2012-05-14 2013-11-28 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム
JP2014210134A (ja) * 2013-04-22 2014-11-13 株式会社ハート・オーガナイゼーション 医用画像データ情報交換システム
JP2017084028A (ja) * 2015-10-27 2017-05-18 富士ゼロックス株式会社 情報処理装置およびプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143005A (ja) * 1999-11-16 2001-05-25 Nippon Koden Corp 医用画像表示システム
JP2002085054A (ja) 2000-09-19 2002-03-26 Sanyo Electric Co Ltd 観察装置付き培養装置
US20040246531A1 (en) * 2003-06-03 2004-12-09 Murata Kikai Kabushiki Kaisha Server device having electronic bulletin board function
JP2007233841A (ja) 2006-03-02 2007-09-13 Konica Minolta Medical & Graphic Inc 診断システム
JP2008119146A (ja) * 2006-11-09 2008-05-29 Olympus Medical Systems Corp 画像表示装置
JP2008136415A (ja) 2006-12-01 2008-06-19 Nikon Corp 観察装置
JP2009211358A (ja) * 2008-03-04 2009-09-17 Nikon Corp 顕微鏡用画像の情報処理装置
CN102547433A (zh) * 2010-12-07 2012-07-04 华录文化产业有限公司 一种基于播放时间点的互动评论方法和装置
JP2013117869A (ja) * 2011-12-02 2013-06-13 Sony Corp 表示制御装置、表示制御方法、およびプログラム
CN103914464B (zh) * 2012-12-31 2017-05-24 上海证大喜马拉雅网络科技有限公司 基于流媒体播放的伴随式评论的互动展示方法和系统
AU2014205388A1 (en) * 2013-01-11 2015-07-23 Zoll Medical Corporation Ems decision support interface, event history, and related tools
CN104239354A (zh) * 2013-06-20 2014-12-24 珠海扬智电子科技有限公司 影音内容的评价分享与播放方法以及影音分享系统
CN103414943B (zh) * 2013-07-12 2017-06-16 深圳Tcl新技术有限公司 电视节目评论信息处理方法和系统
JP6122768B2 (ja) * 2013-11-19 2017-04-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、表示方法およびコンピュータプログラム
JP6697743B2 (ja) * 2015-09-29 2020-05-27 パナソニックＩｐマネジメント株式会社 情報端末の制御方法及びプログラム
JP6971555B2 (ja) 2015-11-11 2021-11-24 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び超音波診断装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141513A (ja) * 2003-11-07 2005-06-02 Mitsubishi Electric Corp 監視システム
JP2012186834A (ja) * 2006-12-11 2012-09-27 Dowango:Kk コメント配信システム、端末装置、コメント配信方法、及びプログラム
WO2009031283A1 (ja) * 2007-09-03 2009-03-12 Nikon Corporation 培養装置、培養情報管理方法およびプログラム
JP2009162708A (ja) * 2008-01-10 2009-07-23 Nikon Corp 画像処理装置
JP2011181137A (ja) * 2010-02-26 2011-09-15 Sharp Corp 記録再生装置、再生装置、記録方法、再生方法及びコンピュータプログラム
JP2013238992A (ja) * 2012-05-14 2013-11-28 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム
JP2014210134A (ja) * 2013-04-22 2014-11-13 株式会社ハート・オーガナイゼーション 医用画像データ情報交換システム
JP2017084028A (ja) * 2015-10-27 2017-05-18 富士ゼロックス株式会社 情報処理装置およびプログラム

Also Published As

Publication number Publication date
JP7242530B2 (ja) 2023-03-20
US20200175254A1 (en) 2020-06-04
JPWO2019030906A1 (ja) 2020-04-23
US11348350B2 (en) 2022-05-31
CN110998645A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
US11847751B2 (en) Method and system for implementing augmented reality (AR)-based assistance within work environment
US8463741B2 (en) Digital pathology system
JP5132867B2 (ja) 仮想顕微鏡スライドを形成し使用する方法および装置、ならびにプログラム
JP6348504B2 (ja) 生体試料の分割画面表示及びその記録を取り込むためのシステム及び方法
US20160048013A1 (en) System and method for remote control of a microscope
CN102572276A (zh) 信息处理器、图像数据优化方法和程序
Chordia et al. Current status and future trends in telepathology and digital pathology
CN101957495A (zh) 虚拟远程显微镜
JP2013037684A (ja) 作業情報登録装置及び作業情報管理システム
US9185147B1 (en) System and methods for remote collaborative intelligence analysis
Teodorovic et al. TuBaFrost 6: virtual microscopy in virtual tumour banking
JP7242530B2 (ja) 観察システム及び情報管理方法
Smith et al. Automated imaging: data as far as the eye can see
US20230063161A1 (en) Data management system, data management method, and computer-readable medium
JP5416370B2 (ja) 文書管理システム
JP2007242004A (ja) 特許情報調査システム、特許情報調査方法、特許情報調査プログラム及び特許情報調査プログラムを記録した記録媒体
Visel et al. A gene expression map of the mouse brain: Genepaint. org—A database of gene expression patterns
Amin et al. Automated whole slide imaging
WO2021106968A1 (ja) 表示制御装置、表示制御方法および表示制御プログラム
WO2021106965A1 (ja) 提供装置、提供方法および提供プログラム
TWI836781B (zh) 病理影像標註及檢視系統
WO2024053633A1 (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム
Lam et al. UniTwain: A cost-effective solution for lean gross imaging
JP2016194897A (ja) 情報処理装置、制御方法、及びプログラム
JP6454910B2 (ja) コマ撮り連続画像作成システム並びにそれに用いるクラウドサーバ、オペレータ端末及びプログラム、並びにコマ撮り連続画像作成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17920926

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019535547

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17920926

Country of ref document: EP

Kind code of ref document: A1