WO2023038074A1 - 細胞画像の学習時におけるメモリ容量判定システムおよび細胞画像の学習時におけるメモリ容量判定方法 - Google Patents

細胞画像の学習時におけるメモリ容量判定システムおよび細胞画像の学習時におけるメモリ容量判定方法 Download PDF

Info

Publication number
WO2023038074A1
WO2023038074A1 PCT/JP2022/033650 JP2022033650W WO2023038074A1 WO 2023038074 A1 WO2023038074 A1 WO 2023038074A1 JP 2022033650 W JP2022033650 W JP 2022033650W WO 2023038074 A1 WO2023038074 A1 WO 2023038074A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
unit
memory
condition
capacity
Prior art date
Application number
PCT/JP2022/033650
Other languages
English (en)
French (fr)
Inventor
啓晃 津島
周平 山本
剛士 大野
隆二 澤田
Original Assignee
株式会社島津製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社島津製作所 filed Critical 株式会社島津製作所
Priority to CN202280055603.4A priority Critical patent/CN117859118A/zh
Priority to JP2023546977A priority patent/JPWO2023038074A1/ja
Publication of WO2023038074A1 publication Critical patent/WO2023038074A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a memory capacity determination system during cell image learning and a memory capacity determination method during cell image learning.
  • a learned model is generated by performing machine learning using learning data in which a cell image is used as an input image and a stained image obtained by staining the cytoskeleton is used as a correct image.
  • a configuration is disclosed.
  • machine learning is performed using a processor such as a GPU (Graphics Processing Unit) and a memory that serves as a work area during learning. If machine learning finishes successfully, a trained model is generated. On the other hand, when machine learning ends abnormally, the data used for learning, learning conditions, etc. are changed, and machine learning is performed again.
  • One of the causes of abnormal termination of machine learning is considered to be insufficient memory capacity during learning.
  • the user cannot recognize that machine learning has not been completed due to insufficient memory capacity. Therefore, there is a demand for a technology that allows a user to recognize that machine learning has not been completed due to insufficient memory capacity.
  • the present invention has been made to solve the problems described above, and one object of the present invention is to provide a method for a user to detect that machine learning has not been completed due to insufficient memory capacity. It is an object of the present invention to provide a memory capacity determination system during learning of cell images that can be grasped and a memory capacity determination method during cell image learning.
  • a memory capacity determination system during cell image learning in a first aspect of the present invention uses cell images a preset number of times to learn a learning model under a first learning condition. and a learning processing unit including a memory used as a work area for learning processing of the learning model, a learning mode for learning the learning model by performing learning processing by the learning processing unit, and learning by the learning processing unit A selection unit that selects a verification mode for verifying whether or not memory capacity is insufficient when performing processing; A determination unit and a notification unit that performs notification based on the determination result of the determination unit are provided.
  • a memory capacity determination method during cell image learning includes the steps of: performing learning of a learning model under a first learning condition using cell images a preset number of times; By performing the learning process, a learning mode for learning the learning model and a verification mode for verifying whether or not the memory capacity used for the work area when performing the learning process for the learning model is insufficient are selected. a step of determining whether or not the memory capacity is insufficient in the learning process of the learning model; and a step of notifying the determination result of whether or not the memory capacity is insufficient.
  • the verification mode for verifying whether or not the memory capacity is insufficient it is determined whether or not the memory capacity is insufficient.
  • the memory capacity secured as the work area is the same in both the learning mode and the verification mode. Therefore, by performing verification in the verification mode, it is possible to determine whether or not the memory capacity is insufficient in the learning mode. In addition, the determination result as to whether or not the memory capacity is insufficient is notified. Therefore, by performing verification in the verification mode before learning the learning model in the learning mode, the user can grasp whether or not the memory capacity is insufficient before performing the learning process in the learning mode. .
  • the user can understand that the machine learning was not completed due to insufficient memory capacity.
  • the learning model can be trained in the learning mode without performing the learning process in the verification mode. can be done. As a result, user convenience can be improved.
  • FIG. 1 is a block diagram showing a memory capacity determination system provided with an image processing device according to this embodiment
  • FIG. FIG. 4 is a schematic diagram for explaining work areas and memory capacities during learning
  • FIG. 4 is a functional block diagram for explaining functions of a second processor of the image processing apparatus
  • FIG. 10 is a diagram showing an example of a screen when the memory capacity is not insufficient when performing learning processing in verification mode in the image processing apparatus according to the present embodiment
  • FIG. 10 is a diagram showing an example of a screen when the memory capacity is not insufficient in the learning process in the verification mode
  • FIG. 10 is a diagram showing an example of a screen when memory capacity is insufficient when performing learning processing in verification mode in the image processing apparatus according to the present embodiment
  • FIG. 10 is a diagram showing an example of a screen when memory capacity is insufficient in learning processing in verification mode; 5 is a flowchart for explaining memory capacity verification processing in the image processing apparatus according to the present embodiment; 4 is a flow chart for explaining the process of optimizing the first learning condition while changing the batch size in the image processing apparatus according to the present embodiment; FIG. 11 is a block diagram showing a memory capacity determination system including an image processing device according to a modification;
  • FIGS. 1 to 7 With reference to FIGS. 1 to 7, the configuration of a memory capacity determination system 200 at the time of learning cell images 80 equipped with the image processing apparatus 100 according to the present embodiment and the memory capacity determination method at the time of learning of cell images 80 will be described. .
  • ⁇ Image processing system> The memory capacity determination system 200 at the time of learning the cell images 80 shown in FIG. A memory capacity determination system during learning capable of determining whether or not the capacity is insufficient.
  • a memory capacity determination system 200 for learning cell images 80 includes an image processing device 100 , a computer 120 , and an imaging device 130 .
  • FIG. 1 shows an example of a memory capacity determination system 200 constructed in a client-server model.
  • Computer 120 functions as a client terminal in memory capacity determination system 200 .
  • the image processing apparatus 100 functions as a server in the memory capacity determination system 200.
  • FIG. The image processing device 100, the computer 120, and the imaging device 130 are connected via a network 140 so as to be able to communicate with each other.
  • the image processing apparatus 100 performs various types of information processing in response to requests (processing requests) from a computer 120 operated by a user.
  • the image processing device 100 learns the learning model 21 for analyzing the cell image 80 in response to a request.
  • the image processing apparatus 100 causes the learning model 21 to learn to classify cells appearing in the cell image 80 .
  • the image processing device 100 classifies the learning model 21 as to whether or not the cells reflected in the cell image 80 are normal cells, and whether or not the cells reflected in the cell image 80 are aged. to learn
  • the image processing device 100 determines whether or not the memory 10b runs short when learning the learning model 21 for analyzing the cell image 80 in response to a request. Further, the image processing apparatus 100 transmits to the computer 120 the notification content 30 according to the determination result as to whether or not the memory 10b is insufficient. Acceptance of operations on the image processing apparatus 100, and display of analysis results and post-analysis images analyzed by the image processing apparatus 100 are performed on a GUI (graphical user interface) displayed on the display unit 121 of the computer 120. .
  • GUI graphical user interface
  • the network 140 connects the image processing device 100, the computer 120, and the imaging device 130 so that they can communicate with each other.
  • the network 140 can be, for example, a LAN (Local Area Network) constructed within a facility.
  • Network 140 may be, for example, the Internet.
  • the memory capacity determination system 200 during learning of the cell images 80 can be a system constructed in the form of cloud computing.
  • the computer 120 is a so-called personal computer and includes a processor and a storage unit.
  • a display unit 121 and an input unit 122 are connected to the computer 120 .
  • Display unit 121 is, for example, a liquid crystal display device.
  • the display unit 121 may be an electroluminescence display device, a projector, or a head-mounted display.
  • Input unit 122 is an input device including, for example, a mouse and a keyboard.
  • the input unit 122 may be a touch panel.
  • One or a plurality of computers 120 are provided in the memory capacity determination system 200 during learning of the cell images 80 .
  • the display unit 121 is configured to perform notification based on a first determination result 32 by a determination unit 12d (see FIG. 3), which will be described later.
  • the display unit 121 also displays a selection unit 45, which will be described later.
  • the display unit 121 is an example of the “notification unit” in the scope of claims.
  • the imaging device 130 generates a cell image 80 that captures cells. Imaging device 130 can transmit generated cell image 80 to computer 120 and/or image processing device 100 via network 140 .
  • the imaging device 130 captures microscopic images of cells.
  • the imaging device 130 performs imaging by imaging methods such as a bright field observation method, a dark field observation method, a phase contrast observation method, and a differential interference observation method. Depending on the imaging method, one or more types of imaging devices 130 are used.
  • One or a plurality of imaging devices 130 may be provided in the memory capacity determination system 200 during learning of the cell images 80 .
  • the image processing device 100 includes a learning processing unit 10, an estimating unit 11, a second processor 12, and a storage unit 13.
  • the learning processing unit 10 includes a first processor 10a and a memory 10b.
  • the first processor 10a is configured to perform learning of the learning model 21 according to the first learning condition 22 using the cell image 80 for a preset number of times.
  • the first processor 10a includes, for example, a GPU or an FPGA (Field-Programmable Gate Array) configured for image processing. In this embodiment, an example in which the first processor 10a is a GPU will be described.
  • the memory 10b is used as a work area for the learning process of the learning model 21.
  • the memory 10b includes, for example, RAM (Random Access Memory).
  • the estimation unit 11 is configured to perform estimation processing of the cell image 80 using the learned model 25 .
  • the estimation unit 11 includes, for example, a GPU or an FPGA configured for image processing.
  • the second processor 12 includes a CPU (Central Processing Unit), FPGA, ASIC (Application Specific Integrated Circuit), and the like. Arithmetic processing as the image processing apparatus 100 is performed by the second processor 12 executing a predetermined program 20 .
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate array
  • ASIC Application Specific Integrated Circuit
  • the storage unit 13 includes a nonvolatile storage device. Non-volatile storage devices are, for example, hard disk drives, solid state drives, and the like. Various programs 20 executed by the second processor 12 are stored in the storage unit 13 .
  • the storage unit 13 also stores an epoch number 23, which is the number of times the learning processing unit 10 repeats the learning process in the learning mode.
  • the storage unit 13 also stores a second learning condition 24 that is a learning condition when learning processing in the verification mode was performed in the past, and a second determination result 33 for the second learning condition 24 .
  • the storage unit 13 stores notification content 30 .
  • the storage unit 13 also stores a cell image 80 .
  • the selection unit 45 selects a learning mode for learning the learning model 21 and whether or not the capacity of the memory 10b is insufficient when performing the learning processing by the learning processing unit 10 by performing the learning processing by the learning processing unit 10. It is configured to select a verification mode in which verification is performed. Note that the selection unit 45 is a push button on the GUI displayed on the display unit 121 . Details of the selection unit 45 will be described later.
  • the image processing device 100 is configured to learn the learning model 21 using the cell images 80 stored in the storage unit 13 in response to a request from the computer 120 . Specifically, the learning processing unit 10 included in the image processing device 100 learns the learning model 21 .
  • the image processing device 100 learns the learning model 21 by performing learning processing in the learning mode in response to a request from the user. Specifically, in the learning mode, the learning processing unit 10 repeats the learning process based on the first learning condition 22 for a preset number of times (23 epochs). Learning processing in the learning mode is performed by the learning processing unit 10 .
  • the memory 10b when the learning processing unit 10 performs the learning processing of the learning model 21, the memory 10b is used as the work area 50.
  • the memory 10b includes a usable capacity 51 and an unusable capacity 52 that is used by other programs and cannot be used for learning processing. If the capacity secured as the work area 50 when the learning processing unit 10 learns the learning model 21 is larger than the usable capacity 51, the capacity shortage (out of memory) of the memory 10b occurs, and the learning model 21 learning ends abnormally.
  • the image processing apparatus 100 performs learning processing in a verification mode for determining whether or not the capacity of the memory 10b is insufficient when learning the learning model 21.
  • FIG. In the verification mode the learning process is performed a smaller number of times than the learning process in the learning mode. Specifically, one learning process is executed in the verification mode. Also, the image processing apparatus 100 acquires the notification content 30 (see FIG. 1) based on the determination result of whether or not the capacity of the memory 10b is insufficient. Also, the image processing apparatus 100 transmits the acquired notification content 30 to the computer 120 (see FIG. 1). The computer 120 that has received the notification content 30 displays the notification content 30 on the display unit 121 (see FIG. 1). Note that the learning process in the learning model 21 and the learning process in the verification mode are not performed in parallel. That is, the image processing apparatus 100 executes either learning processing in the learning mode or learning processing in the verification mode.
  • the second processor 12 includes, as functional blocks, a learning condition registering unit 12a, a learning condition changing unit 12b, an image size increasing unit 12c, a determining unit 12d, and a notification content acquiring unit 12e. .
  • the second processor 12 performs the learning condition registration unit 12a, the learning condition change unit 12b, the image size increase unit 12c, the determination unit 12d, and the notification content acquisition unit. 12e.
  • the learning condition registration unit 12a is configured to register the first learning condition 22. Note that registering the first learning condition 22 means that the learning condition registration unit 12 a acquires the first learning condition 22 input by the operator through the input unit 122 and stores the acquired first learning condition 22 in the storage unit 13 . means to Also, the learning condition registration unit 12 a outputs the first learning condition 22 to the learning processing unit 10 . Also, the learning condition registration unit 12a outputs the first learning condition 22 to the determination unit 12d.
  • the first learning condition 22 includes the type 22a of the learning model 21 (see FIG. 1), the batch size 22c of the cell images 80 used for learning the learning model 21 (see FIG. 1), and the size 22b of the cell image 80 (see FIG. 1 ) and the number 22d of discriminative classes to be learned by the learning model 21 (see FIG. 1).
  • the batch size 22 c means the number of cell images 80 used for learning the learning model 21 .
  • the type 22a of the learning model 21 means the classification of the algorithm of the learning model 21.
  • the number 22d of identification classes is the number of classes to be classified in the cell image 80.
  • the batch size 22c of the cell images 80 is an example of "the number of cell images" in the claims.
  • the learning condition changing unit 12b is configured to change the content of the first learning condition 22.
  • the learning condition changing unit 12b is configured to change the batch size 22c of the cell images 80 in the first learning condition 22.
  • FIG. The learning condition changing unit 12 b outputs the changed first learning condition 222 to the learning processing unit 10 .
  • the learning condition changing unit 12 b stores the changed first learning condition 222 in the storage unit 13 .
  • the learning condition changing unit 12b also outputs the changed first learning condition 222 to the determining unit 12d. Note that the change of the content of the first learning condition 22 by the learning condition changing unit 12b is executed when the first learning condition 22 is optimized, which will be described later. That is, when performing the first learning process in the verification mode, the content of the first learning condition 22 is not changed by the learning condition changing unit 12b.
  • the capacity to be secured as the work area 50 is increased. It is configured to perform the process of increasing the size 22b of 80.
  • the image size increasing unit 12c is configured, for example, to increase the size of the cell image 80 by 1.1 to 1.2 times.
  • the image size increasing unit 12 c outputs the cell image 80 a with the increased size to the learning processing unit 10 . Note that the process of increasing the size of the cell image 80 by the image size increasing unit 12c is performed only in the verification mode. That is, the process of increasing the size of the cell image 80 by the image size increasing section 12c is not performed in the learning mode.
  • the learning processing unit 10 verifies using the first learning condition 22 input from the learning condition registration unit 12a, the cell image 80a with the increased size input from the image size increasing unit 12c, and the learning model 21. Perform learning processing in the mode. That is, the learning processing unit 10 is configured to perform learning processing in the verification mode using the cell image 80a whose size has been increased by the image size increasing unit 12c. Note that, in the present embodiment, the learning processing unit 10 is configured to execute the learning process a smaller number of times in the verification mode than in the learning mode. Specifically, the learning processing unit 10 is configured to perform one learning process in the verification mode.
  • the learning processing unit 10 outputs information 31 indicating the end of the learning process when the learning process in the verification mode is performed to the determination unit 12d.
  • the learning processing end information 31 is status information when the learning processing in the verification mode ends. Specifically, when the learning process in the verification mode ends normally, the learning processing unit 10 sends the information of the status that the learning process in the verification mode has ended normally as the learning process end information 31 to the determination unit 12d. Output for Further, when the learning processing in the verification mode ends abnormally, the learning processing unit 10 sends the learning processing end information 31 indicating the abnormal termination status of the learning processing in the verification mode to the determination unit 12d. Output for Further, when the learning process in the verification mode ends abnormally, the learning processing unit 10 outputs log information of the abnormal end to the determination unit 12d.
  • the determination unit 12d is configured to determine whether or not the capacity of the memory 10b is insufficient in the learning process of the learning model 21 in the verification mode. Specifically, the determination unit 12d determines whether or not the capacity of the memory 10b is insufficient based on the information 31 indicating the end of the learning process input from the learning processing unit 10. FIG. That is, when information indicating the status that the learning process in the verification mode has been normally completed is input as the learning process end information 31, the determination unit 12d determines that the capacity of the memory 10b is sufficient.
  • the determination unit 12d determines whether or not the capacity of the memory 10b is insufficient based on whether or not information indicating that the capacity of the memory 10b is insufficient is included in the abnormal termination log information. judge.
  • the determination unit 12d outputs a first determination result 32, which is a determination result as to whether or not the capacity of the memory 10b is insufficient, to the notification content acquisition unit 12e.
  • the first determination result 32 includes status information indicating that the learning process in the verification mode has normally ended without an out-of-memory condition, and status information indicating that an out-of-memory condition has occurred and the learning processing in the verification mode has ended abnormally. information. Further, the determination of whether or not the capacity of the memory 10b is insufficient by the determination unit 12d is performed only in the verification mode, and not performed in the learning mode.
  • the notification content acquisition unit 12 e is configured to acquire the notification content 30 stored in the storage unit 13 based on the first determination result 32 .
  • the notification content 30 includes a message 30a (see FIG. 5) that the out-of-memory verification is successful and a message 30b (see FIG. 7) that the out-of-memory verification is unsuccessful.
  • the notification content acquisition unit 12e acquires, as the notification content 30, a message 30a to the effect that the verification of the out-of-memory is successful when the out-of-memory has not occurred. Further, when an out-of-memory occurs, the notification content acquisition unit 12e acquires, as the notification content 30, a message 30b to the effect that verification of the out-of-memory has failed.
  • the notification content acquisition unit 12 e outputs the notification content 30 to the display unit 121 .
  • the notification content acquisition unit 12e acquires, as the notification content 30, a message indicating whether the learning of the learning model 21 ended normally or abnormally. That is, in the learning mode, the notification content acquisition unit 12e does not acquire the notification content 30 indicating whether out of memory has occurred.
  • the display unit 121 notifies whether or not the capacity of the memory 10b is insufficient when performing the learning process in the verification mode based on the input notification content 30.
  • the display unit 121 is configured to display the notification content 30 input from the notification content acquisition unit 12e.
  • the determination unit 12d is configured to determine whether or not the storage unit 13 stores a second learning condition 24 that is the same as the first learning condition 22 .
  • the learning processing unit 10 is configured not to execute the learning process of the first learning condition 22 in the verification mode when the second learning condition 24 equal to the first learning condition 22 is stored in the storage unit 13. It is The second learning condition 24 is the first learning condition 22 verified in the past.
  • the second learning condition 24 includes the type of learning model 21, the type of cell image 80, the batch size, and the number of identification classes. Also, that the first learning condition 22 and the second learning condition 24 are equal means that the type of learning model 21, the type of cell image 80, the batch size, and the number of identification classes are all equal.
  • the notification content acquisition unit 12e acquires the second determination result 33 based on the second learning condition 24. Further, the notification content acquisition unit 12 e acquires the notification content 30 based on the second determination result 33 and outputs the acquired notification content 30 to the display unit 121 .
  • the second determination result 33 includes the same content as the first determination result 32 . That is, the notification content acquisition unit 12e acquires the notification content 30 based on the first determination result 32 when the second learning condition 24 equal to the first learning condition 22 is stored in the storage unit 13. With a similar configuration, the notification content 30 is acquired based on the second determination result 33 .
  • the display unit 121 is configured to notify the second determination result 33 based on the second learning condition 24 when the second learning condition 24 equal to the first learning condition 22 is stored in the storage unit 13. . Specifically, the display unit 121 displays the notification content 30 acquired by the notification content acquisition unit 12 e based on the second determination result 33 and input to the display unit 121 .
  • the estimating unit 11 when the learning processing unit 10 performs learning processing in the verification mode, the estimating unit 11 (see FIG. 1) performs the learning processing performed by the learning processing unit 10 in parallel with the learned
  • the cell image 80 is estimated using the model 25 (see FIG. 1) using the memory 10b.
  • the estimation process is also performed in the work area 50 used for the learning process in the verification mode. That is, the capacity of the memory 10b secured as the work area 50 includes the area of the memory 10b for performing the learning process in the verification mode and the area of the memory 10b for performing the estimation process. Further, in the present embodiment, a model having a large capacity of the memory 10b to be secured is selected as the learned model 25 to be used for the estimation process.
  • the estimation process is, for example, a process of classifying cells appearing in the cell image 80 and estimating which classification each pixel of the cell image 80 belongs to.
  • the capacity of the work area 50 (see FIG. 2) used when performing the learning process in the verification mode changes depending on the first learning condition 22.
  • FIG. Therefore, depending on the first learning condition 22, there are cases where the working area 50 does not occupy all of the usable capacity 51 of the memory 10b. That is, even when the first learning condition 22 is changed to increase the capacity of the memory 10b secured as the work area 50 and the learning process is performed in the verification mode, there is still a margin in the available capacity 51 of the memory 10b. Yes, out of memory may not occur.
  • the user when out-of-memory occurs in the memory 10b when performing the learning process in the verification mode, the user changes the first learning condition 22 so that the out-of-memory does not occur.
  • the first learning condition 22 is adjusted so that However, when the user changes the first learning condition 22 by manual input and obtains the optimum first learning condition 22 by repeatedly performing the learning process in the verification mode, the burden on the user increases.
  • the learning processing unit 10 is configured to repeatedly execute the learning process in the verification mode while changing the first learning condition 22 by the learning condition changing unit 12b. That is, in this embodiment, the learning processing unit 10 and the learning condition changing unit 12b can optimize the first learning condition 22.
  • the learning processing unit 10 is configured, for example, to repeatedly execute the learning process in the verification mode while changing the batch size 22c by the learning condition changing unit 12b.
  • the optimization of the first learning condition 22 is configured to be performed by the user's operation input.
  • the learning processing unit 10 When no out-of-memory occurs in the learning process in the verification mode, the learning processing unit 10 is configured to repeatedly execute the learning process in the verification mode while increasing the batch size 22c. Further, when an out-of-memory occurs in the learning process in the verification mode, the learning processing unit 10 is configured to repeatedly perform the learning process in the verification mode while reducing the batch size 22c.
  • the determination unit 12d is configured to acquire an optimal first learning condition 22 that does not cause the capacity of the memory 10b to run short based on the first determination result 32.
  • the determination unit 12d is configured to obtain, as the optimum first learning condition 22, the maximum batch size 22c of cell images 80 that does not cause the capacity of the memory 10b to run short.
  • FIG. 4 shows an example of the learning condition setting screen 111a displayed on the display unit 121 (see FIG. 1).
  • the learning condition setting screen 111a includes a learning name input field 40, a model selection field 41, a data set selection field 42, an epoch number input field 43, a batch size input field 44, a verification button 45a, and a learning start button. 45b and a cancel button 46 are displayed.
  • the learning name input field 40 is an input field for entering a learning name.
  • the model selection column 41 is a selection column for selecting the learning model 21 (see FIG. 1) to be learned.
  • the data set selection field 42 is a selection field for selecting a data set used for learning of the learning model 21 .
  • the epoch number input field 43 is an input field for inputting the epoch number 23 .
  • the batch size input field 44 is an input field for inputting the batch size 22c.
  • the verification button 45a is a push button on the GUI for starting learning processing in verification mode.
  • the learning start button 45b is a push button on the GUI for starting learning processing in the learning mode.
  • a cancel button 46 is a push button on the GUI for canceling the learning process.
  • the type 22a (see FIG. 1) of the learning model 21 in the first learning condition 22 is set.
  • the size 22b (see FIG. 1) of the cell image 80 (see FIG. 1) under the first learning condition 22 and the number of discriminated classes 22d (see FIG. 1 reference) is set.
  • the batch size 22c (see FIG. 1) in the first learning condition 22 is set according to the batch size value input in the batch size input field 44.
  • FIG. The number of epochs 23 (see FIG. 1) entered in the number-of-epochs input field 43 is set as the number of epochs during learning in the learning mode. That is, the epoch number 23 entered in the epoch number input field 43 is not used in the learning process in the verification mode.
  • the learning process in the verification mode is executed according to the set first learning condition 22.
  • the display unit 121 displays the verification result notification screen 111b shown in FIG. Specifically, the display unit 121 displays the notification content 30 transmitted from the image processing apparatus 100 as the verification result notification screen 111b. A message 30a indicating that the out-of-memory verification was successful is displayed on the verification result notification screen 111b. For example, when displaying the verification result notification screen 111b, the display unit 121 displays it as a pop-up screen on the learning condition setting screen 111a shown in FIG.
  • the learning condition setting screen 111c shown in FIG. 6 is similar to the learning condition setting screen 111a shown in FIG. 4, except that the batch size 22c entered in the batch size input field 44 is different.
  • "11" is input as an example of the batch size 22c when out of memory occurs in the learning process in the verification mode.
  • the display unit 121 displays the verification result notification screen 111d as shown in FIG. Specifically, the display unit 121 displays the notification content 30 transmitted from the image processing apparatus 100 as the verification result notification screen 111d. A message 30b indicating that the out-of-memory verification has failed is displayed on the verification result notification screen 111d.
  • the out-of-memory verification failure message 30b includes information 30c prompting to reduce the batch size 22c and information 30d prompting to reduce the size 22b of the cell image 80.
  • the display unit 121 is configured to notify the information 30c prompting to reduce the batch size 22c of the cell images 80 in the first learning condition 22 when the capacity of the memory 10b is insufficient. ing. Further, the display unit 121 is configured to further notify information 30d prompting to reduce the size 22b of the cell image 80 in the first learning condition 22 when the capacity of the memory 10b is insufficient.
  • the learning condition registration unit 12a registers the first learning condition 22. Specifically, the learning condition registration unit 12a stores the first learning condition 22 set on the learning condition setting screen 111a (see FIG. 4) in the storage unit 13 (see FIG. 1).
  • the learning mode is selected.
  • the second processor 12 performs the learning process of the learning model 21 (see FIG. 1) based on the input from the selection unit 45 (see FIG. 4).
  • a learning mode for learning and a verification mode for verifying whether or not the capacity of the memory 10b (see FIG. 1) used as a work area when performing the learning process of the learning model 21 is insufficient is selected. More specifically, the second processor 12 selects the verification mode when the verification button 45a (see FIG. 4) is pressed. Further, the second processor 12 selects the learning mode when the learning start button 45b (see FIG. 4) is pressed.
  • the second processor 12 determines whether or not the verification mode has been selected. If verification mode was not selected, processing proceeds to step 104 . If verification mode is selected, processing proceeds to step 105 .
  • the learning processing unit 10 performs learning processing in the learning mode. Specifically, the learning processing unit 10 performs learning of the learning model 21 based on the first learning condition 22 using the cell images 80 for a preset number of times (23 epochs). After that, the process ends.
  • the preset number of times (number of epochs 23) is the value entered in the number of epochs input field 43 of the learning condition setting screen 111a (see FIG. 4).
  • step 105 the determination unit 12d (see FIG. 3) determines whether verification has been performed under the same learning conditions in the past. Specifically, the determination unit 12d determines whether or not a second learning condition 24 (see FIG. 1) equal to the first learning condition 22 (see FIG. 1) is stored in the storage unit 13 (see FIG. 1). do. If the second learning condition 24 equal to the first learning condition 22 is stored in the storage unit 13 , the process proceeds to step 106 . If the second learning condition 24 equal to the first learning condition 22 is not stored in the storage unit 13 , the process proceeds to step 107 .
  • step 106 the display unit 121 notifies the second determination result 33 (see FIG. 1) based on the second learning condition 24. After that, the process ends.
  • step 107 the learning processing unit 10 executes learning processing in verification mode according to the first learning condition 22 .
  • the estimating process of the cell image 80 by the estimating unit 11 is executed.
  • the learning process in the verification mode is performed once regardless of the value entered in the epoch number input field 43 of the learning condition setting screen 111a (see FIG. 4).
  • the determination unit 12d determines whether or not the capacity of the memory 10b (see FIG. 1) is insufficient in the learning process of the learning model 21 in the verification mode. Specifically, the determination unit 12d determines whether or not the capacity of the memory 10b is insufficient, based on the learning process end information 31 (see FIG. 3). If the capacity of the memory 10b is insufficient, the process proceeds to step 109; If the capacity of the memory 10b is not insufficient, the process proceeds to step 110;
  • step 109 the display unit 121 notifies the first determination result 32 as to whether or not the capacity of the memory 10b is insufficient.
  • the display unit 121 notifies that the capacity of the memory 10b is insufficient. Specifically, the display unit 121 notifies that the capacity of the memory 10b is insufficient by displaying a verification result notification screen 111d (see FIG. 7). After that, the process ends.
  • step 110 the display unit 121 notifies that the capacity of the memory 10b is sufficient. Specifically, the display unit 121 notifies that the capacity of the memory 10b is sufficient by displaying the verification result notification screen 111b (see FIG. 5). After that, the process ends.
  • the determination unit 12d determines whether out of memory (memory out) of the memory 10b has occurred in the learning process in the verification mode. If out of memory has occurred, processing proceeds to step 202 . If out of memory has not occurred, processing proceeds to step 206 .
  • the learning condition changing unit 12b decreases the batch size 22c by one.
  • the learning processing unit 10 executes learning processing in the verification mode according to the first learning condition 222 (see FIG. 3) after the batch size 22c is decremented by one.
  • step 204 the determination unit 12d checks whether out of memory (memory out) of the memory 10b occurs in the learning process in the verification mode under the first learning condition 222 after the batch size 22c is decreased by one in step 203. determine whether or not If the memory 10b is out of memory, the process proceeds to step 202; If the out of memory of memory 10b has not occurred, the process proceeds to step 205;
  • the learning condition registration unit 12a (see FIG. 3) stores the first learning condition 222 in the storage unit 13 (see FIG. 1). After that, the process ends. That is, the processing of steps 202 to 205 is processing for acquiring the optimum batch size 22c by executing learning processing in the repeat verification mode while decreasing the batch size 22c.
  • step 206 the learning condition changing unit 12b (see FIG. 3) increases the batch size 22c by one.
  • the learning processing unit 10 executes learning processing in verification mode according to the first learning condition 222 (see FIG. 3) after the batch size 22c is incremented by one.
  • step 208 the determination unit 12d determines whether out of memory (memory out) of the memory 10b occurs in the learning process in the verification mode according to the first learning condition 222 after the batch size 22c is increased by one in step 207. determine whether or not If the memory 10b is out of memory, the process proceeds to step 209; If memory 10b out of memory has not occurred, processing proceeds to step 206 .
  • the learning condition changing unit 12b decreases the batch size 22c by one.
  • step 210 the learning condition registration unit 12a (see FIG. 3) stores the first learning condition 222 obtained by decreasing the batch size 22c by one in step 209 in the storage unit 13 (see FIG. 1). After that, the process ends. That is, the processing of steps 206 to 210 is processing for acquiring the optimum batch size 22c by executing learning processing in the repeated verification mode while increasing the batch size 22c.
  • the memory capacity determination system 200 during learning of the cell images 80 performs learning of the learning model 21 according to the first learning condition 22 using the cell images 80 a preset number of times.
  • a learning processing unit 10 including a processor (first processor 10a) that performs learning processing, and a memory 10b that is used as a work area for learning processing of the learning model 21, and learning processing by the learning processing unit 10.
  • a determination unit 12d that determines whether or not the capacity of the memory 10b is insufficient in processing, and a notification unit (display unit 121) that performs notification based on the determination result (first determination result 32) of the determination unit 12d.
  • the capacity of the memory 10b secured as the work area 50 is the same in both the learning mode and the verification mode. Therefore, by performing verification in the verification mode for verifying whether or not the capacity of the memory 10b used as the work area when performing the learning process of the learning model 21 is insufficient, it is possible to determine whether the capacity of the memory 10b is insufficient depending on the learning mode. It is possible to determine whether or not Also, the determination result (first determination result 32) as to whether or not the capacity of the memory 10b is insufficient is notified. Therefore, by performing verification in the verification mode before learning the learning model 21 in the learning mode, the user can grasp whether or not the capacity of the memory 10b is insufficient before performing the learning process in the learning mode. can be done.
  • the user can understand that the machine learning was not completed due to insufficient memory capacity.
  • the learning model 21 is trained in the learning mode without performing the learning process in the verification mode. be able to. As a result, user convenience can be improved.
  • the memory capacity determination method at the time of learning the cell images 80 uses the cell images 80 for a preset number of times to learn the learning model 21 under the first learning condition 22. and a learning mode for learning the learning model 21 by performing the learning process of the learning model 21, and whether or not the capacity of the memory 10b used as a work area when performing the learning process of the learning model 21 is insufficient. a step of selecting a verification mode for verifying whether or not; a step of determining whether or not the capacity of the memory 10b is insufficient in the learning process of the learning model 21 in the verification mode; and a step of notifying the determination result (first determination result 32) of whether or not.
  • the learning processing unit 10 is configured to execute the learning process less times in the verification mode than in the learning mode.
  • the time required for the learning process in the verification mode can be made shorter than the time required for the learning process in the learning mode.
  • the learning processing unit 10 is configured to perform one learning process in the verification mode. This makes it possible to further shorten the time required for the learning process in the verification mode. As a result, it is possible to further shorten the time required to determine whether the capacity of the memory 10b is insufficient.
  • the present embodiment further includes the image size increasing unit 12c that performs processing for increasing the size 22b of the cell image 80. It is configured to perform learning processing in the verification mode using the cell image 80a.
  • the capacity of the memory 10b secured as the work area 50 can be increased when performing the learning process in the verification mode. Therefore, since it is possible to perform the learning process in the verification mode with an extra capacity of the memory 10b secured as the work area 50, it is possible to tighten the condition for determining whether or not the capacity of the memory 10b is insufficient. . As a result, it becomes possible to perform the learning process of the learning model 21 in the verification mode under stricter conditions, so it is possible to easily suppress the shortage of the capacity of the memory 10b in the learning mode.
  • the second learning condition 24, which is the learning condition when the learning process in the verification mode was performed in the past, and the determination result (second determination result 33) under the second learning condition 24 and the determination unit 12d is configured to determine whether or not a second learning condition 24 equal to the first learning condition 22 is stored in the storage unit 13.
  • the processing unit 10 is configured not to execute the learning process in the verification mode when the second learning condition 24 equal to the first learning condition 22 is stored in the storage unit 13. 121) is configured to notify the determination result (second determination result 33) based on the second learning condition 24 when the second learning condition 24 equal to the first learning condition 22 is stored in the storage unit 13.
  • the second determination result 33 is notified without performing the learning process in the verification mode. Therefore, it is possible to inform the user whether or not the capacity of the memory 10b is insufficient without performing the learning process in the verification mode. As a result, redundant execution of the learning process in the verification mode due to the first learning condition 22 can be suppressed.
  • the notification unit reduces the number of cell images 80 (batch size 22c) in the first learning condition 22 when the capacity of the memory 10b is insufficient. It is configured to notify information 30c prompting to do so. This allows the user to understand that the number of cell images 80 (batch size 22c) in the first learning condition 22 should be reduced in order to avoid insufficient capacity of the memory 10b. As a result, it is possible to grasp the items of the first learning condition 22 for avoiding the shortage of the capacity of the memory 10b. can be easily done.
  • the notification unit provides information prompting to reduce the size 22b of the cell image 80 in the first learning condition 22. 30d is further notified. This allows the user to understand that the size 22b of the cell images 80 should be reduced in addition to the number of images (batch size 22c) of the cell images 80 being reduced. As a result, even if the user's skill level is low, it is possible to more easily adjust the first learning condition 22 to avoid a shortage of the capacity of the memory 10b.
  • the cell image by the trained model 25 that has already been learned It further includes an estimating unit 11 that executes the estimating process of 80 using the memory 10b.
  • the estimation processing of the cell image 80 by the trained model 25 is performed in parallel with the learning processing of the learning model 21, so the load on the memory 10b is reduced compared to the case where only the learning processing of the learning model 21 is performed. is increased, the learning process in the verification mode can be performed.
  • the estimation process by the trained model 25 is performed in parallel while the learning process of the learning model 21 is being performed in the learning mode, the lack of capacity of the memory 10b in the learning mode is suppressed. be able to.
  • the learning condition changing unit 12b that changes the content of the first learning condition 22 is further provided, and the learning processing unit 10 changes the first learning condition 22 by the learning condition changing unit 12b.
  • the determination unit 12d is configured to repeatedly execute the learning process in the verification mode, and the determination unit 12d determines, based on the determination result (first determination result 32), the optimum first learning condition that does not cause the capacity of the memory 10b to run short. 22. As a result, the optimum first learning condition 22 is obtained so that the capacity of the memory 10b does not run short. can be processed.
  • the learning condition changing unit 12b is configured to change the number of images (batch size 22c) of the cell images 80 in the first learning condition 22, and the determining unit 12d is configured to obtain, as the optimal first learning condition 22, the maximum number of cell images 80 (batch size 22c) for which the capacity of the memory 10b is sufficient.
  • the learning process of the learning model 21 can be performed with the maximum number of cell images 80 (batch size 22c) that does not cause the capacity of the memory 10b to run short.
  • the type 22a of the learning model 21, the number of images (batch size 22c) of the cell images 80 used for learning the learning model 21, the size 22b of the cell images 80, and the learning model A learning condition registration unit 12a for registering a first learning condition 22 including the number 22d of classification classes to be learned in 21 is further provided.
  • the type 22a of the registered learning model 21, the number of cell images 80 used for learning the learning model 21 (batch size 22c), the size 22b of the cell image 80, and the classification class to be learned by the learning model 21 It is possible to grasp whether or not the capacity of the memory 10b is insufficient when learning the learning model 21 from the number 22d of .
  • the image processing apparatus 100 functions as a server of the memory capacity determination system 200 during learning of the cell images 80 constructed in the client-server model, but the present invention is limited to this. do not have.
  • the present invention may be configured by an independent computer as shown in FIG. 10, for example.
  • the image processing apparatus 100 is configured by a computer 300 having a second processor 310 and a storage section 320 .
  • a display unit 330 and an input unit 340 are connected to the computer 300 .
  • the computer 300 is communicably connected to the imaging device 130 .
  • the second processor 310 of the computer 300 includes the learning condition registering unit 12a, the learning condition changing unit 12b, the image size increasing unit 12c, the determining unit 12d, and the notification content acquiring unit shown in the above embodiment (see FIG. 3). 12e and , as functional blocks.
  • the single second processor 12 controls the learning condition registering unit 12a, the learning condition changing unit 12b, the image size increasing unit 12c, the determining unit 12d, the notification
  • the present invention is not limited to this.
  • Each process of whether or not the capacity of the memory 10b is insufficient during learning of the cell image 80 may be shared and executed by a plurality of processors. Each process may be performed by a separate processor. Multiple processors may be provided in separate computers. In other words, the image processing apparatus 100 may be composed of a plurality of computers.
  • the learning processing unit 10 may be configured to execute the learning process in the verification mode the same number of times as the learning process in the learning mode or more times.
  • the learning processing unit 10 executes the same or more learning processes in the verification mode than the learning processes in the learning mode, the time required to verify whether the capacity of the memory 10b is insufficient increases. do. Therefore, it is preferable that the learning processing unit 10 is configured to perform the learning process less times in the verification mode than in the learning mode.
  • the learning processing unit 10 uses the cell image 80a whose size is increased by the image size increasing unit 12c to perform the learning process in the verification mode. It is not limited to this.
  • the learning processing unit 10 may be configured to perform learning processing in the verification mode using the cell image 80 instead of the cell image 80a whose size has been increased.
  • the second processor 12 does not have to include the image size increasing section 12c.
  • the learning processing unit 10 when the second learning condition 24 equal to the first learning condition 22 is stored in the storage unit 13, the learning processing unit 10 performs the learning process in the verification mode according to the first learning condition 22.
  • the learning processing unit 10 performs learning processing in the verification mode according to the first learning condition 22 even when the second learning condition 24 equal to the first learning condition 22 is stored in the storage unit 13. may be configured to However, even if the learning processing unit 10 stores the second learning condition 24 equal to the first learning condition 22 in the storage unit 13, the configuration is such that the learning process is executed in the verification mode according to the first learning condition 22.
  • the learning processing unit 10 is configured not to execute the learning process in the verification mode according to the first learning condition 22 when the second learning condition 24 equal to the first learning condition 22 is stored in the storage unit 13. preferably.
  • the memory capacity determination system 200 when the learning processing unit 10 performs learning processing in the verification mode, the memory capacity determination system 200 performs the learning processing by the learning processing unit 10 in parallel with the cell image 80 based on the trained model 25.
  • the estimation unit 11 that executes estimation processing using the memory 10b has been shown, the present invention is not limited to this.
  • the memory capacity determination system 200 may not include the estimation unit 11,
  • the memory capacity determination system 200 includes the learning condition changing unit 12b, and the learning processing unit 10 repeats the learning process in the verification mode while changing the first learning condition 22 by the learning condition changing unit 12b.
  • the learning processing unit 10 may be configured not to repeat the learning process in the verification mode while changing the first learning condition 22 by the learning condition changing unit 12b. In this case, the memory capacity determination system 200 does not have to include the learning condition changing unit 12b.
  • the determination unit 12d acquires the maximum batch size 22c of cell images 80 that does not cause the capacity of the memory 10b to run short as the optimum first learning condition 22 has been described. is not limited to this.
  • the determination unit 12d may be configured to obtain, as the optimum first learning condition 22, the maximum size of the cell image 80 that does not cause the capacity of the memory 10b to run short.
  • the present invention is not limited to this.
  • the first processor 10a and the estimation unit 11 may be configured by the same processor.
  • the image processing device 100 performs learning of the learning model 21 and analysis of the cell image 80 has been described, but the present invention is not limited to this.
  • the image processing device 100 may be configured as a learning device that only learns the learning model 21 .
  • the image processing device 100 shows the process of making the learning model 21 learn to classify the cells shown in the cell image 80, but the present invention is not limited to this.
  • the image processing device 100 may be configured to make the learning model learn to improve the resolution of cells appearing in the cell image 80 .
  • the content that the image processing apparatus 100 causes the learning model to learn can be arbitrarily set by the user.
  • a learning processing unit including a processor that performs learning of a learning model under a first learning condition using cell images for a preset number of times, and a memory that is used as a work area for learning processing of the learning model;
  • a memory capacity determination system during learning of cell images comprising: a notification unit that performs notification based on a determination result by the determination unit.
  • (Item 2) The memory capacity determination during cell image learning according to item 1, wherein in the verification mode, the learning processing unit is configured to execute the learning process a smaller number of times than the number of learning processes in the learning mode. system.
  • (Item 4) further comprising an image size increasing unit that performs processing to increase the size of the cell image, 4.
  • the learning processing unit according to any one of items 1 to 3, wherein the learning processing unit is configured to perform learning processing in the verification mode using the cell image whose size has been increased by the image size increasing unit. Memory capacity determination system during learning of cell images.
  • (Item 5) further comprising a storage unit that stores a second learning condition, which is a learning condition when learning processing in the verification mode was performed in the past, and the determination result of the second learning condition
  • the determination unit is configured to determine whether the second learning condition equal to the first learning condition is stored in the storage unit
  • the learning processing unit is configured not to execute learning processing in the verification mode when the second learning condition equal to the first learning condition is stored in the storage unit
  • the notifying unit is configured to notify the determination result based on the second learning condition when the second learning condition equal to the first learning condition is stored in the storage unit. 5.
  • the memory capacity determination system during learning of cell images according to any one of 1 to 4.
  • the learning processing unit is configured to repeatedly execute learning processing in the verification mode while changing the first learning condition by the learning condition changing unit, 9.
  • the learning condition changing unit is configured to change a batch size of the cell images among the first learning conditions, When learning cell images according to item 9, wherein the determination unit is configured to acquire, as the optimal first learning condition, a maximum batch size of the cell images that does not cause a shortage of the capacity of the memory. Memory capacity judgment system in.
  • a learning condition for registering the first learning condition including the type of learning model, the batch size of cell images used for learning the learning model, the size of the cell image, and the number of identification classes to be learned by the learning model.
  • the memory capacity determination system during cell image learning according to any one of items 1 to 10, further comprising a registration unit.
  • (Item 12) a step of learning a learning model under a first learning condition using cell images for a preset number of times; Verification for verifying whether or not the learning mode for learning the learning model and the capacity of the memory used for the work area when performing the learning process for the learning model run short by performing the learning process for the learning model. selecting a mode; a step of determining whether or not the capacity of the memory is insufficient in the learning process of the learning model in the verification mode; a memory capacity determination method during cell image learning, comprising the step of notifying a determination result as to whether or not the memory capacity is insufficient.
  • learning processing unit 10 10 learning processing unit 10a first processor 10b memory 12a learning condition registration unit 12b learning condition changing unit 12c image size increasing unit 12d determination unit 13 storage unit 21 learning model 22 first learning condition 22a type of learning model 22b size of cell image 22c Batch size (number of cell images) 22d number of discriminative classes 23 number of epochs (preset number of times) 24 Second learning condition 25 Trained model 32 First judgment result (judgment result) 33 Second judgment result (judgment result) 45 selection unit 45a verification button 45b learning start button 50 work area 80 cell image 80a cell image with increased size 121, 330 display unit (notification unit) 200 Memory Capacity Judgment System When Learning Cell Images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

この細胞画像（８０）の学習時におけるメモリ容量判定システム（２００）は、学習モデル（２１）の学習を行う第１プロセッサ（１０ａ）と、メモリ（１０ｂ）とを備える学習処理部（１０）と、学習モデルの学習を行う学習モードと、メモリの容量が不足するか否かの検証を行う検証モードと、を選択する選択部（４５）と、検証モードにおいてメモリの容量が不足したか否かを判定する判定部（１２ｄ）と、第１判定結果（３２）に基づく報知を行う表示部（１２１）と、を備える。

Description

細胞画像の学習時におけるメモリ容量判定システムおよび細胞画像の学習時におけるメモリ容量判定方法
　本発明は、細胞画像の学習時におけるメモリ容量判定システムおよび細胞画像の学習時におけるメモリ容量判定方法に関する。
　従来、細胞画像を解析するための学習モデルを生成する技術が開示されている。このような細胞画像を解析するための学習モデルを生成する技術は、たとえば、特開２０２１－６４１１５号公報に開示されている。
　特開２０２１－６４１１５号公報では、細胞画像を入力画像とし、細胞骨格を染色して得られた染色画像を正解画像とした学習データを用いて機械学習を行うことにより、学習済みモデルを生成する構成が開示されている。
特開２０２１－６４１１５号公報
　ここで、特開２０２１－６４１１５号公報には開示されていないが、機械学習は、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサと、学習時の作業領域となるメモリとを用いて行われる。機械学習が正常に終了した場合、学習済みモデルが生成される。一方、機械学習が異常終了した場合、学習に用いるデータや学習条件などを変更し、再度機械学習を行う。機械学習が異常終了する原因の１つには、学習時におけるメモリ容量が不足することが考えられる。しかしながら、特開２０２１－６４１１５号公報に開示されているような機械学習を行う構成では、メモリ容量が不足したことに起因して機械学習が完了しなかったことをユーザが把握することができない。そのため、メモリ容量が不足したことに起因して、機械学習が完了しなかったことをユーザが把握できるような技術が望まれている。
　この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、メモリ容量が不足したことに起因して、機械学習が完了しなかったことをユーザが把握することが可能な細胞画像の学習時におけるメモリ容量判定システムおよび細胞画像の学習時におけるメモリ容量判定方法を提供することである。
　上記目的を達成するために、この発明の第１の局面における細胞画像の学習時におけるメモリ容量判定システムは、予め設定された回数分、細胞画像を用いて、第１学習条件による学習モデルの学習を行うプロセッサと、学習モデルの学習処理の作業領域に用いるメモリとを備える学習処理部と、学習処理部による学習処理を行うことにより、学習モデルの学習を行う学習モードと、学習処理部による学習処理を行う際にメモリの容量が不足するか否かの検証を行う検証モードと、を選択する選択部と、検証モードにおける学習モデルの学習処理においてメモリの容量が不足したか否かを判定する判定部と、判定部による判定結果に基づく報知を行う報知部と、を備える。
　この発明の第２の局面における細胞画像の学習時におけるメモリ容量判定方法は、予め設定された回数分、細胞画像を用いて、第１学習条件による学習モデルの学習を行うステップと、学習モデルの学習処理を行うことにより、学習モデルの学習を行う学習モードと、学習モデルの学習処理を行う際に作業領域に用いるメモリの容量が不足するか否かの検証を行う検証モードと、を選択するステップと、学習モデルの学習処理において、メモリの容量が不足したか否かを判定するステップと、メモリの容量が不足したか否かの判定結果を報知するステップと、を備える。
　上記第１の局面における細胞画像の学習時におけるメモリ容量判定システム、および、上記第２の局面における細胞画像の学習時におけるメモリ容量判定方法では、学習モデルの学習処理を行う際に作業領域に用いるメモリの容量が不足するか否かの検証を行う検証モードにおいて、メモリの容量が不足したか否かの判定が行われる。ここで、学習モードにおいても検証モードにおいても、作業領域として確保されるメモリの容量は等しい。したがって、検証モードによって検証を行うことにより、学習モードによってメモリの容量が不足するか否かを判定することができる。また、メモリの容量が不足したか否かの判定結果が報知される。したがって、ユーザは、学習モードにおいて学習モデルの学習を行う前に検証モードによって検証を行うことにより、メモリの容量が不足するか否かを、学習モードによる学習処理を行う前に把握することができる。これらの結果、メモリ容量が不足したことに起因して、機械学習が完了しなかったことをユーザが把握することができる。また、学習モードと検証モードとを選択することが可能であるため、検証モードによって検証を行う必要がない場合には、検証モードによる学習処理を行うことなく、学習モードによって学習モデルを学習させることができる。その結果、ユーザの利便性を向上させることができる。
本実施形態による画像処理装置を備えたメモリ容量判定システムを示したブロック図である。 学習時の作業領域とメモリの容量とを説明するための模式図である。 画像処理装置の第２プロセッサの機能を説明するための機能ブロック図である。 本実施形態による画像処理装置において、検証モードにおける学習処理を行う際にメモリ容量が不足しなかった場合の画面例を示す図である。 検証モードにおける学習処理において、メモリ容量が不足しなかった場合の画面例を示す図である。 本実施形態による画像処理装置において、検証モードにおける学習処理を行う際にメモリ容量が不足した場合の画面例を示す図である。 検証モードにおける学習処理において、メモリ容量が不足した場合の画面例を示す図である。 本実施形態による画像処理装置において、メモリ容量検証処理を説明するためのフローチャートである。 本実施形態による画像処理装置において、バッチサイズを変更しながら第１学習条件を最適化する処理を説明するためのフローチャートである。 変形例による画像処理装置を備えたメモリ容量判定システムを示したブロック図である。
　以下、本発明を具体化した実施形態を図面に基づいて説明する。
　図１～図７を参照して、本実施形態による画像処理装置１００を備えた細胞画像８０の学習時におけるメモリ容量判定システム２００の構成および細胞画像８０の学習時におけるメモリ容量判定方法について説明する。
　〈画像処理システム〉
　図１に示す細胞画像８０の学習時におけるメモリ容量判定システム２００は、細胞培養などを行うユーザによって撮像された細胞画像８０に対する解析処理を行うための学習モデル２１を学習する際に、メモリ１０ｂの容量が不足するか否かを判定することが可能な学習時におけるメモリ容量判定システムである。
　〈メモリ容量判定システムの概要〉
　細胞画像８０の学習時におけるメモリ容量判定システム２００は、画像処理装置１００と、コンピュータ１２０と、撮像装置１３０と、を備える。
　図１では、クライアントサーバモデルで構築されたメモリ容量判定システム２００の例を示している。コンピュータ１２０は、メモリ容量判定システム２００におけるクライアント端末として機能する。画像処理装置１００は、メモリ容量判定システム２００においてサーバとして機能する。画像処理装置１００と、コンピュータ１２０と、撮像装置１３０とは、ネットワーク１４０を介して相互に通信可能に接続されている。画像処理装置１００は、ユーザが操作するコンピュータ１２０からのリクエスト（処理要求）に応じて、各種の情報処理を行う。画像処理装置１００は、リクエストに応じて、細胞画像８０を解析するための学習モデル２１の学習を行う。本実施形態では、画像処理装置１００は、学習モデル２１に対して、細胞画像８０に写る細胞の分類を行うことを学習させる。たとえば、画像処理装置１００は、学習モデル２１に対して、細胞画像８０に写る細胞が正常細胞であるか否かの分類、細胞画像８０に写る細胞が老化しているか否かの分類を行うことを学習させる。
　また、画像処理装置１００は、リクエストに応じて、細胞画像８０を解析するための学習モデル２１の学習を行う際に、メモリ１０ｂが不足するか否かを判定する。また、画像処理装置１００は、メモリ１０ｂが不足するか否かの判定結果に応じた報知内容３０をコンピュータ１２０に送信する。画像処理装置１００に対する操作の受け付け、および、画像処理装置１００で解析された解析結果および解析後の画像の表示は、コンピュータ１２０の表示部１２１に表示されるＧＵＩ（グラフィカルユーザーインターフェース）上で行われる。
　ネットワーク１４０は、画像処理装置１００と、コンピュータ１２０と、撮像装置１３０とを相互に通信可能に接続する。ネットワーク１４０は、たとえば施設内に構築されたＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）でありうる。ネットワーク１４０は、たとえばインターネットでありうる。ネットワーク１４０がインターネットである場合、細胞画像８０の学習時におけるメモリ容量判定システム２００は、クラウドコンピューティングの形態で構築されるシステムでありうる。
　コンピュータ１２０は、いわゆるパーソナルコンピュータであり、プロセッサおよび記憶部を備える。コンピュータ１２０には、表示部１２１および入力部１２２が接続されている。表示部１２１は、たとえば液晶表示装置である。表示部１２１は、エレクトロルミネッセンス表示装置、プロジェクタ、ヘッドマウントディスプレイであってもよい。入力部１２２は、たとえばマウスおよびキーボードを含む入力装置である。入力部１２２は、タッチパネルであってもよい。コンピュータ１２０は、細胞画像８０の学習時におけるメモリ容量判定システム２００において１つまたは複数設けられる。本実施形態では、表示部１２１は、後述する判定部１２ｄ（図３参照）による第１判定結果３２に基づく報知を行うように構成されている。また、表示部１２１には、後述する選択部４５が表示される。なお、表示部１２１は、請求の範囲の「報知部」の一例である。
　撮像装置１３０は、細胞を撮像した細胞画像８０を生成する。撮像装置１３０は、ネットワーク１４０を介して、コンピュータ１２０および／または画像処理装置１００に、生成した細胞画像８０を送信できる。撮像装置１３０は、細胞の顕微鏡画像を撮像する。撮像装置１３０は、明視野観察法、暗視野観察法、位相差観察法、微分干渉観察法などの撮像方法による画像化を行う。撮像方法に応じて、１種または複数種の撮像装置１３０が用いられる。細胞画像８０の学習時におけるメモリ容量判定システム２００には、１つまたは複数の撮像装置１３０が設けられ得る。
　画像処理装置１００は、学習処理部１０と、推定部１１と、第２プロセッサ１２と、記憶部１３と、を備える。
　学習処理部１０は、第１プロセッサ１０ａと、メモリ１０ｂとを備える。
　第１プロセッサ１０ａは、予め設定された回数分、細胞画像８０を用いて、第１学習条件２２による学習モデル２１の学習を行うように構成されている。第１プロセッサ１０ａは、たとえば、ＧＰＵ、または、画像処理用に構成されたＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を含む。本実施形態では、第１プロセッサ１０ａがＧＰＵである例を説明する。
　メモリ１０ｂは、学習モデル２１の学習処理の作業領域に用いられる。メモリ１０ｂは、たとえば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含む。
　推定部１１は、学習済みモデル２５による細胞画像８０の推定処理を行うように構成されている。推定部１１は、たとえば、ＧＰＵ、または、画像処理用に構成されたＦＰＧＡを含む。
　第２プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ、ＡＳＩＣ（Ａｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などを含む。第２プロセッサ１２が、所定のプログラム２０を実行することにより、画像処理装置１００としての演算処理が行われる。
　記憶部１３は、不揮発性記憶装置を含む。不揮発性記憶装置は、たとえば、ハードディスクドライブ、ソリッドステートドライブなどである。記憶部１３には、第２プロセッサ１２が実行する各種のプログラム２０が記憶されている。また、記憶部１３は、学習処理部１０が学習モードにおける学習処理を繰り返し行う際の回数であるエポック数２３を記憶する。また、記憶部１３は、過去に検証モードにおける学習処理を行った際の学習条件である第２学習条件２４と、第２学習条件２４における第２判定結果３３とを記憶する。また、記憶部１３は、報知内容３０を記憶する。また、記憶部１３は、細胞画像８０を記憶する。
　選択部４５は、学習処理部１０による学習処理を行うことにより、学習モデル２１の学習を行う学習モードと、学習処理部１０による学習処理を行う際にメモリ１０ｂの容量が不足するか否かの検証を行う検証モードと、を選択するように構成されている。なお、選択部４５は、表示部１２１に表示されるＧＵＩ上の押しボタンである。選択部４５の詳細については、後述する。
　画像処理装置１００は、コンピュータ１２０からのリクエストに応じて、記憶部１３に記憶された細胞画像８０を用いて学習モデル２１の学習を行うように構成されている。具体的には、画像処理装置１００が備える学習処理部１０が、学習モデル２１の学習を行う。
　画像処理装置１００は、ユーザからのリクエストに応じて、学習モードにおける学習処理を行うことにより、学習モデル２１の学習を行う。具体的には、学習処理部１０は、学習モードにおいて、予め設定された回数（エポック数２３）分、第１学習条件２２による学習処理を繰り返し行う。学習モードにおける学習処理は、学習処理部１０によって行われる。
　ここで、図２に示すように、学習処理部１０が学習モデル２１の学習処理を行う際には、作業領域５０として、メモリ１０ｂを用いる。メモリ１０ｂは、使用可能容量５１と、他のプロブラムなどにより使用されており、学習処理に使用することができない使用不可容量５２とを含む。学習処理部１０が学習モデル２１の学習を行う際に作業領域５０として確保される容量が、使用可能容量５１よりも大きい場合、メモリ１０ｂの容量不足（アウトオブメモリ）が発生し、学習モデル２１の学習が異常終了する。
　そこで、本実施形態では、画像処理装置１００は、学習モデル２１の学習を行う際に、メモリ１０ｂの容量が不足するか否かを判定するための検証モードによる学習処理を行う。検証モードでは、学習モードにおける学習処理の回数よりも少ない回数の学習処理が実行される。具体的には、検証モードでは、１回の学習処理が実行される。また、画像処理装置１００は、メモリ１０ｂの容量が不足するか否かの判定結果に基づいて報知内容３０（図１参照）を取得する。また、画像処理装置１００は、取得した報知内容３０をコンピュータ１２０（図１参照）へ送信する。報知内容３０を受信したコンピュータ１２０が、表示部１２１（図１参照）において、報知内容３０を表示させる。なお、学習モデル２１における学習処理と、検証モードにおける学習処理とは、並行して行われない。すなわち、画像処理装置１００は、学習モードにおける学習処理、または、検証モードにおける学習処理のどちらかを実行する。
　〈第２プロセッサによる判定処理〉
　図３に示すように、第２プロセッサ１２は、学習条件登録部１２ａと、学習条件変更部１２ｂと、画像サイズ増大部１２ｃと、判定部１２ｄと、報知内容取得部１２ｅとを機能ブロックとして備える。言い換えると、第２プロセッサ１２は、記憶部１３に記憶されたプログラム２０を実行することによって、学習条件登録部１２ａ、学習条件変更部１２ｂ、画像サイズ増大部１２ｃ、判定部１２ｄ、報知内容取得部１２ｅとして機能する。
　学習条件登録部１２ａは、第１学習条件２２を登録するように構成されている。なお、第１学習条件２２を登録するとは、学習条件登録部１２ａが、操作者が入力部１２２によって入力した第１学習条件２２を取得し、取得した第１学習条件２２を記憶部１３に記憶することを意味する。また、学習条件登録部１２ａは、第１学習条件２２を、学習処理部１０に対して出力する。また、学習条件登録部１２ａは、第１学習条件２２を、判定部１２ｄに対して出力する。
　第１学習条件２２は、学習モデル２１の種類２２ａ（図１参照）と、学習モデル２１の学習に用いる細胞画像８０のバッチサイズ２２ｃ（図１参照）と、細胞画像８０のサイズ２２ｂ（図１参照）と、学習モデル２１に学習させる識別クラスの数２２ｄ（図１参照）とを含む。バッチサイズ２２ｃとは、学習モデル２１の学習に用いる細胞画像８０の画像数を意味する。なお、学習モデル２１の種類２２ａとは、学習モデル２１のアルゴリズムの分類を意味する。また、識別クラスの数２２ｄとは、細胞画像８０において分類するクラスの数である。また、細胞画像８０のバッチサイズ２２ｃは、請求の範囲の、「細胞画像の画像数」の一例である。
　学習条件変更部１２ｂは、第１学習条件２２の内容を変更するように構成されている。本実施形態では、学習条件変更部１２ｂは、第１学習条件２２のうち、細胞画像８０のバッチサイズ２２ｃを変更するように構成されている。学習条件変更部１２ｂは、変更後の第１学習条件２２２を、学習処理部１０に対して出力する。また、学習条件変更部１２ｂは、変更後の第１学習条件２２２を、記憶部１３に記憶する。また、学習条件変更部１２ｂは、変更後の第１学習条件２２２を、判定部１２ｄに対して出力する。なお、学習条件変更部１２ｂによる第１学習条件２２の内容の変更は、後述する第１学習条件２２の最適化を行う際に実行される。すなわち、検証モードにおける１度目の学習処理を行う際には、学習条件変更部１２ｂによる第１学習条件２２の内容の変更は行われない。
　本実施形態では、検証モードにおける学習処理を行う際に、メモリ１０ｂの負荷を増大させるため、作業領域５０（図２参照）として確保する容量を増大させるため、画像サイズ増大部１２ｃは、細胞画像８０のサイズ２２ｂを増大する処理を行うように構成されている。画像サイズ増大部１２ｃは、たとえば、細胞画像８０のサイズを、１．１倍～１．２倍に増大させるように構成されている。画像サイズ増大部１２ｃは、サイズが増大された細胞画像８０ａを、学習処理部１０に対して出力する。なお、画像サイズ増大部１２ｃによって細胞画像８０のサイズを増大させる処理は、検証モードにおいてのみ行われる。すなわち、画像サイズ増大部１２ｃによって細胞画像８０のサイズを増大させる処理は、学習モードにおいては行われない。
　学習処理部１０は、学習条件登録部１２ａから入力された第１学習条件２２と、画像サイズ増大部１２ｃから入力されたサイズが増大された細胞画像８０ａと、学習モデル２１とを用いて、検証モードにおける学習処理を行う。すなわち、学習処理部１０は、画像サイズ増大部１２ｃによってサイズが増大された細胞画像８０ａを用いて、検証モードにおける学習処理を行うように構成されている。なお、本実施形態では、学習処理部１０は、検証モードにおいて、学習モードにおける学習処理の回数よりも少ない回数の学習処理を実行するように構成されている。具体的には、学習処理部１０は、検証モードにおいて、１回の学習処理を実行するように構成されている。
　また、学習処理部１０は、検証モードにおける学習処理を行った際の学習処理終了の情報３１を、判定部１２ｄに対して出力する。学習処理終了の情報３１は、検証モードにおける学習処理が終了した際のステータスの情報である。具体的には、学習処理部１０は、検証モードにおける学習処理が正常に終了した場合には、学習処理終了の情報３１として、検証モードにおける学習処理が正常終了したステータスの情報を判定部１２ｄに対して出力する。また、学習処理部１０は、検証モードにおける学習処理を行う際に、異常終了した場合には、学習処理終了の情報３１として、検証モードにおける学習処理が異常終了したステータスの情報を判定部１２ｄに対して出力する。また、学習処理部１０は、検証モードにおける学習処理が異常終了した場合には、異常終了のログ情報を判定部１２ｄに対して出力する。
　判定部１２ｄは、検証モードにおける学習モデル２１の学習処理においてメモリ１０ｂの容量が不足したか否かを判定するように構成されている。具体的には、判定部１２ｄは、学習処理部１０から入力された学習処理終了の情報３１に基づいて、メモリ１０ｂの容量が不足したか否かを判定する。すなわち、学習処理終了の情報３１として、検証モードにおける学習処理が正常終了したステータスの情報が入力された場合には、判定部１２ｄは、メモリ１０ｂの容量が不足しなかったと判定する。
　また、学習処理終了の情報３１として、検証モードにおける学習処理が異常終了したステータスの情報が入力された場合には、異常終了のログ情報に基づいて、メモリ１０ｂの容量が不足するか否かを取得する。具体的には、判定部１２ｄは、異常終了のログ情報にメモリ１０ｂの容量が不足したことを示す情報が含まれるか否かによって、判定部１２ｄは、メモリ１０ｂの容量が不足したか否かを判定する。判定部１２ｄは、メモリ１０ｂの容量が不足したか否かの判定結果である第１判定結果３２を、報知内容取得部１２ｅに対して出力する。なお、第１判定結果３２には、アウトオブメモリが発生せず、検証モードにおける学習処理が正常終了したステータスの情報と、アウトオブメモリが発生し、検証モードにおける学習処理が異常終了したステータスの情報とが含まれる。また、判定部１２ｄによるメモリ１０ｂの容量が不足したか否かの判定は、検証モードにおいてのみ実行され、学習モードでは実行されない。
　報知内容取得部１２ｅは、第１判定結果３２に基づいて、記憶部１３に記憶された報知内容３０を取得するように構成されている。報知内容３０は、アウトオブメモリの検証が成功である旨のメッセージ３０ａ（図５参照）と、アウトオブメモリの検証が失敗である旨のメッセージ３０ｂ（図７参照）とを含む。報知内容取得部１２ｅは、アウトオブメモリが発生しなかった場合には、報知内容３０として、アウトオブメモリの検証が成功である旨のメッセージ３０ａを取得する。また、報知内容取得部１２ｅは、アウトオブメモリが発生した場合には、報知内容３０として、アウトオブメモリの検証が失敗である旨のメッセージ３０ｂを取得する。報知内容取得部１２ｅは、報知内容３０を、表示部１２１に対して出力する。なお、報知内容取得部１２ｅは、学習モードにおいては、学習モデル２１の学習が正常終了したか異常終了したかのメッセージを、報知内容３０として取得する。すなわち、報知内容取得部１２ｅは、学習モードにおいては、アウトオブメモリが発生したか否かの報知内容３０は取得しない。
　表示部１２１は、入力された報知内容３０に基づいて、検証モードにおける学習処理を行う際に、メモリ１０ｂの容量が不足したか否かの報知を行う。具体的には、表示部１２１は、報知内容取得部１２ｅから入力された報知内容３０を表示するように構成されている。
　ここで、第１学習条件２２と等しい第２学習条件２４によって過去に検証モードにおける学習処理が実施されている場合、検証モードにおける学習処理においてメモリ１０ｂの容量が不足したか否かの判定結果は、同様の結果となると考えられる。そこで、本実施形態では、判定部１２ｄは、第１学習条件２２と等しい第２学習条件２４が記憶部１３に記憶されているか否かを判定するように構成されている。また、学習処理部１０は、第１学習条件２２と等しい第２学習条件２４が記憶部１３に記憶されている場合には、検証モードにおける第１学習条件２２の学習処理を実行しないように構成されている。なお、第２学習条件２４は、過去に検証された際の第１学習条件２２である。すなわち、第２学習条件２４は、学習モデル２１の種類と、細胞画像８０の種類と、バッチサイズと、識別クラスの数とを含む。また、第１学習条件２２と第２学習条件２４とが等しいとは、学習モデル２１の種類、細胞画像８０の種類、バッチサイズ、識別クラスの数の全てが等しいことを意味する。
　報知内容取得部１２ｅは、第１学習条件２２と等しい第２学習条件２４が記憶部１３に記憶されている場合には、第２学習条件２４による第２判定結果３３を取得する。また、報知内容取得部１２ｅは、第２判定結果３３に基づく報知内容３０を取得し、取得した報知内容３０を表示部１２１に対して出力する。なお、第２判定結果３３は、第１判定結果３２と同様の内容を含む。すなわち、報知内容取得部１２ｅは、第１学習条件２２と等しい第２学習条件２４が記憶部１３に記憶されている場合には、第１判定結果３２に基づいて報知内容３０を取得する構成と同様の構成によって、第２判定結果３３に基づいて報知内容３０を取得する。
　表示部１２１は、第１学習条件２２と等しい第２学習条件２４が記憶部１３に記憶されている場合には、第２学習条件２４による第２判定結果３３を報知するように構成されている。具体的には、表示部１２１は、第２判定結果３３に基づいて報知内容取得部１２ｅが取得し、表示部１２１に入力された報知内容３０を表示する。
　また、本実施形態では、推定部１１（図１参照）は、学習処理部１０による検証モードにおける学習処理を行う際に、学習処理部１０による学習処理と並行して、すでに学習された学習済みモデル２５（図１参照）による細胞画像８０の推定処理を、メモリ１０ｂを用いて実行するように構成されている。本実施形態では、検証モードにおける学習処理に用いる作業領域５０において、推定処理も行われる。すなわち、作業領域５０として確保されるメモリ１０ｂの容量には、検証モードにおける学習処理を行うメモリ１０ｂの領域と、推定処理を行うメモリ１０ｂの領域とが含まれる。また、本実施形態では、確保されるメモリ１０ｂの容量が大きいものが推定処理に用いる学習済みモデル２５として選択される。なお、推定処理とは、たとえば、細胞画像８０に写る細胞を分類し、細胞画像８０の画素ごとにどの分類であるかを推定する処理である。
　〈第１学習条件の最適化〉
　ここで、検証モードにおける学習処理を行う場合に使用される作業領域５０（図２参照）の容量は、第１学習条件２２によって変化する。したがって、第１学習条件２２によっては、作業領域５０として、メモリ１０ｂの使用可能容量５１の全てを確保しない場合がある。すなわち、作業領域５０として確保するメモリ１０ｂの容量が増加するような第１学習条件２２に変更し、検証モードにおける学習処理を行った場合でも、メモリ１０ｂの使用可能容量５１の残量に余裕があり、アウトオブメモリが発生しない場合がある。
　また、検証モードにおける学習処理を行った際に、メモリ１０ｂのアウトオブメモリが発生した場合には、ユーザが第１学習条件２２を変更することにより、アウトオブメモリが発生しない第１学習条件２２となるように、第１学習条件２２を調整する。しかしながら、ユーザが手入力によって第１学習条件２２を変更し、検証モードにおける学習処理を繰り返し行うことによって最適な第１学習条件２２を取得する場合、ユーザの負担が増加する。
　そこで、本実施形態では、学習処理部１０は、学習条件変更部１２ｂによって第１学習条件２２を変更しつつ、検証モードにおける学習処理を繰り返し実行するように構成されている。すなわち、本実施形態では、学習処理部１０と学習条件変更部１２ｂとによって、第１学習条件２２の最適化を行うことが可能である。本実施形態では、学習処理部１０は、たとえば、学習条件変更部１２ｂによって、バッチサイズ２２ｃを変更しつつ、検証モードにおける学習処理を繰り返し実行するように構成されている。なお、第１学習条件２２の最適化は、ユーザの操作入力によって行われるように構成されている。
　検証モードにおける学習処理においてアウトオブメモリが発生しなかった場合には、学習処理部１０は、バッチサイズ２２ｃを増加させながら、検証モードにおける学習処理を繰り返し実行するように構成されている。また、検証モードにおける学習処理においてアウトオブメモリが発生した場合には、学習処理部１０は、バッチサイズ２２ｃを減少させながら、検証モードにおける学習処理を繰り返し行うように構成されている。
　また、判定部１２ｄは、第１判定結果３２に基づいて、メモリ１０ｂの容量が不足しない最適な第１学習条件２２を取得するように構成されている。判定部１２ｄは、最適な第１学習条件２２として、メモリ１０ｂの容量が不足しない最大の細胞画像８０のバッチサイズ２２ｃを取得するように構成されている。
　〈検証モードにおける学習処理の画面表示〉
　次に、図４～図７を参照して、本実施形態の画像処理装置１００による検証モードにおける学習処理を行う構成について説明する。
　まず、図４および図５を参照して、検証モードにおける学習処理が成功した場合の画面例について説明する。
　図４は、表示部１２１（図１参照）に表示される学習条件設定画面１１１ａの例を示している。学習条件設定画面１１１ａには、学習名入力欄４０と、モデル選択欄４１と、データセット選択欄４２と、エポック数入力欄４３と、バッチサイズ入力欄４４と、検証ボタン４５ａと、学習開始ボタン４５ｂと、キャンセルボタン４６とが表示されている。
　学習名入力欄４０は、学習名を入力するための入力欄である。モデル選択欄４１は、学習を行う学習モデル２１（図１参照）を選択するための選択欄である。データセット選択欄４２は、学習モデル２１の学習に用いるデータセットを選択するための選択欄である。エポック数入力欄４３は、エポック数２３を入力するための入力欄である。バッチサイズ入力欄４４は、バッチサイズ２２ｃを入力するための入力欄である。検証ボタン４５ａは、検証モードにおける学習処理を開始するためのＧＵＩ上の押しボタンである。学習開始ボタン４５ｂは、学習モードにおける学習処理を開始するためのＧＵＩ上の押しボタンである。キャンセルボタン４６は、学習処理をキャンセルするためのＧＵＩ上の押しボタンである。
　モデル選択欄４１によって学習モデル２１が選択されることにより、第１学習条件２２（図１参照）における学習モデル２１の種類２２ａ（図１参照）が設定される。また、データセット選択欄４２によってデータセットが選択されることにより、第１学習条件２２における細胞画像８０（図１参照）のサイズ２２ｂ（図１参照）、および、識別クラスの数２２ｄ（図１参照）が設定される。また、バッチサイズ入力欄４４に入力されたバッチサイズの値によって、第１学習条件２２におけるバッチサイズ２２ｃ（図１参照）が設定される。なお、エポック数入力欄４３に入力されたエポック数２３（図１参照）は、学習モードにおける学習時におけるエポック数として設定される。すなわち、エポック数入力欄４３に入力されたエポック数２３は、検証モードにおける学習処理においては使用されない。
　検証ボタン４５ａが押下された場合、設定された第１学習条件２２によって、検証モードにおける学習処理が実行される。
　検証モードにおける学習処理において、アウトオブメモリが発生せずに正常に学習処理が終了した場合、表示部１２１は、図５に示す検証結果報知画面１１１ｂを表示する。具体的には、表示部１２１は、画像処理装置１００から送信された報知内容３０を、検証結果報知画面１１１ｂとして表示する。検証結果報知画面１１１ｂには、アウトオブメモリの検証が成功した旨のメッセージ３０ａが表示されている。なお、表示部１２１は、たとえば、検証結果報知画面１１１ｂを表示する際には、図４に示す学習条件設定画面１１１ａ上に、ポップアップ画面として表示する。
　次に、図６および図７を参照して、検証モードにおける学習処理が失敗した場合の画面例について説明する。
　図６に示す学習条件設定画面１１１ｃは、バッチサイズ入力欄４４に入力されているバッチサイズ２２ｃが異なる点以外は、図４に示した学習条件設定画面１１１ａと同様の画面である。なお、図６に示す例では、検証モードにおける学習処理において、アウトオブメモリが発生した際のバッチサイズ２２ｃの一例として、「１１」が入力されている。
　学習条件設定画面１１１ｃにおいて検証ボタン４５ａを押下した場合、表示部１２１は、図７に示すように、検証結果報知画面１１１ｄを表示する。具体的には、表示部１２１は、画像処理装置１００から送信された報知内容３０を、検証結果報知画面１１１ｄとして表示する。検証結果報知画面１１１ｄには、アウトオブメモリの検証が失敗である旨のメッセージ３０ｂが表示されている。アウトオブメモリの検証が失敗である旨のメッセージ３０ｂには、バッチサイズ２２ｃを小さくすることを促す情報３０ｃ、および、細胞画像８０のサイズ２２ｂを小さくすることを促す情報３０ｄを含む。すなわち、本実施形態では、表示部１２１は、メモリ１０ｂの容量が不足した場合に、第１学習条件２２における細胞画像８０のバッチサイズ２２ｃを小さくすることを促す情報３０ｃを報知するように構成されている。また、表示部１２１は、メモリ１０ｂの容量が不足した場合に、第１学習条件２２における細胞画像８０のサイズ２２ｂを小さくすることを促す情報３０ｄをさらに報知するように構成されている。
　次に、図８を参照して、本実施形態による細胞画像８０の学習時におけるメモリ容量判定方法におけるメモリ容量検証処理について説明する。
　ステップ１０１において、学習条件登録部１２ａ（図３参照）が、第１学習条件２２を登録する。具体的には、学習条件登録部１２ａは、学習条件設定画面１１１ａ（図４参照）によって設定された第１学習条件２２を記憶部１３（図１参照）に記憶する。
　ステップ１０２において、学習モードを選択する。具体的には、第２プロセッサ１２（図１参照）は、選択部４５（図４参照）による入力に基づいて、学習モデル２１の学習処理を行うことにより、学習モデル２１（図１参照）の学習を行う学習モードと、学習モデル２１の学習処理を行う際に作業領域に用いるメモリ１０ｂ（図１参照）の容量が不足するか否かの検証を行う検証モードと、を選択する。より具体的には、第２プロセッサ１２は、検証ボタン４５ａ（図４参照）が押下された場合には、検証モードを選択する。また、第２プロセッサ１２は、学習開始ボタン４５ｂ（図４参照）が押下された場合には、学習モードを選択する。
　ステップ１０３において、第２プロセッサ１２（図１参照）は、検証モードが選択されたか否かを判定する。検証モードが選択さなかった場合、処理は、ステップ１０４へ進む。検証モードが選択された場合、処理は、ステップ１０５へ進む。
　ステップ１０４において、学習処理部１０（図１参照）は、学習モードにおける学習処理を行う。具体的には、学習処理部１０は、予め設定された回数（エポック数２３）分、細胞画像８０を用いて、第１学習条件２２による学習モデル２１の学習を行う。その後、処理は、終了する。なお、予め設定された回数（エポック数２３）は、学習条件設定画面１１１ａ（図４参照）のエポック数入力欄４３に入力された値である。
　ステップ１０３からステップ１０５へ処理が進んだ場合、ステップ１０５において、判定部１２ｄ（図３参照）は、過去に同じ学習条件で検証行ったか否かを判定する。具体的には、判定部１２ｄは、第１学習条件２２（図１参照）と等しい第２学習条件２４（図１参照）が記憶部１３（図１参照）に記憶されているか否かを判定する。第１学習条件２２と等しい第２学習条件２４が記憶部１３に記憶されている場合、処理は、ステップ１０６へ進む。第１学習条件２２と等しい第２学習条件２４が記憶部１３に記憶されていない場合、処理は、ステップ１０７へ進む。
　ステップ１０６において、表示部１２１は、第２学習条件２４による第２判定結果３３（図１参照）を報知する。その後、処理は、終了する。
　ステップ１０５からステップ１０７へ処理が進んだ場合、ステップ１０７において、学習処理部１０は、第１学習条件２２により、検証モードにおける学習処理を実行する。なお、本実施形態では、ステップ１０７における検証モードにおける学習処理と並行して、推定部１１による細胞画像８０の推定処理が実行される。また、本実施形態では、検証モードにおける学習処理は、学習条件設定画面１１１ａ（図４参照）のエポック数入力欄４３に入力された値とは関係なく、１回の学習処理が行われる。
　ステップ１０８において、判定部１２ｄは、検証モードにおける学習モデル２１の学習処理において、メモリ１０ｂ（図１参照）の容量が不足したか否かを判定する。具体的には、判定部１２ｄは、学習処理終了の情報３１（図３参照）に基づいて、メモリ１０ｂの容量が不足したか否かを判定する。メモリ１０ｂの容量が不足した場合、処理は、ステップ１０９へ進む。メモリ１０ｂの容量が不足しなかった場合、処理は、ステップ１１０へ進む。
　ステップ１０９において、表示部１２１は、メモリ１０ｂの容量が不足したか否かの第１判定結果３２を報知する。ステップ１０９では、表示部１２１は、メモリ１０ｂの容量が不足したことを報知する。具体的には、表示部１２１は、検証結果報知画面１１１ｄ（図７参照）を表示することにより、メモリ１０ｂの容量が不足したことを報知する。その後、処理は、終了する。
　ステップ１０８からステップ１１０へ処理が進んだ場合、ステップ１１０において、表示部１２１は、メモリ１０ｂの容量が充分であることを報知する。具体的には、表示部１２１は、検証結果報知画面１１１ｂ（図５参照）を表示することにより、メモリ１０ｂの容量が充分であることを報知する。その後、処理は、終了する。
　次に、図９を参照して、本実施形態による画像処理装置１００が第１学習条件２２（図１参照）を最適化する処理について説明する。なお、図９に示す第１学習条件２２の最適化処理は、検証モードにおける学習処理が１度実行された後に行われる。
　ステップ２０１において、判定部１２ｄ（図３参照）は、検証モードにおける学習処理において、メモリ１０ｂのアウトオブメモリ（メモリアウト）が発生したか否かを判定する。アウトオブメモリが発生した場合、処理は、ステップ２０２へ進む。アウトオブメモリが発生しなかった場合、処理は、ステップ２０６へ進む。
　ステップ２０２において、学習条件変更部１２ｂ（図３参照）は、バッチサイズ２２ｃを１つ減少させる。
　ステップ２０３において、学習処理部１０は、バッチサイズ２２ｃが１つ減少された後の第１学習条件２２２（図３参照）によって、検証モードにおける学習処理を実行する。
　ステップ２０４において、判定部１２ｄは、ステップ２０３においてバッチサイズ２２ｃを１つ減少させた後の第１学習条件２２２による検証モードにおける学習処理において、メモリ１０ｂのアウトオブメモリ（メモリアウト）が発生したか否かを判定する。メモリ１０ｂのアウトオブメモリが発生した場合、処理は、ステップ２０２へ進む。メモリ１０ｂのアウトオブメモリが発生しなかった場合、処理は、ステップ２０５へ進む。
　ステップ２０５において、学習条件登録部１２ａ（図３参照）は、第１学習条件２２２を、記憶部１３（図１参照）に記憶する。その後、処理は、終了する。すなわち、ステップ２０２～ステップ２０５の処理は、バッチサイズ２２ｃを減少させながら繰り返し検証モードにおける学習処理を実行することにより、最適なバッチサイズ２２ｃを取得する処理である。
　また、ステップ２０１からステップ２０６へ処理が進んだ場合、ステップ２０６において、学習条件変更部１２ｂ（図３参照）は、バッチサイズ２２ｃを１つ増加させる。
　ステップ２０７において、学習処理部１０は、バッチサイズ２２ｃが１つ増加された後の第１学習条件２２２（図３参照）によって、検証モードにおける学習処理を実行する。
　ステップ２０８において、判定部１２ｄは、ステップ２０７においてバッチサイズ２２ｃを１つ増加させた後の第１学習条件２２２による検証モードにおける学習処理において、メモリ１０ｂのアウトオブメモリ（メモリアウト）が発生したか否かを判定する。メモリ１０ｂのアウトオブメモリが発生した場合、処理は、ステップ２０９へ進む。メモリ１０ｂのアウトオブメモリが発生しなかった場合、処理は、ステップ２０６へ進む。
　ステップ２０９において、学習条件変更部１２ｂ（図３参照）は、バッチサイズ２２ｃを１つ減少させる。
　ステップ２１０において、学習条件登録部１２ａ（図３参照）は、ステップ２０９においてバッチサイズ２２ｃを１つ減少させた第１学習条件２２２を、記憶部１３（図１参照）に記憶する。その後、処理は、終了する。すなわち、ステップ２０６～ステップ２１０の処理は、バッチサイズ２２ｃを増加させながら繰り返し検証モードにおける学習処理を実行することにより、最適なバッチサイズ２２ｃを取得する処理である。
　（本実施形態の効果）
　本実施形態では、以下のような効果を得ることができる。
　本実施形態では、上記のように、細胞画像８０の学習時におけるメモリ容量判定システム２００は、予め設定された回数分、細胞画像８０を用いて、第１学習条件２２による学習モデル２１の学習を行うプロセッサ（第１プロセッサ１０ａ）と、学習モデル２１の学習処理の作業領域に用いるメモリ１０ｂとを備える学習処理部１０と、学習処理部１０による学習処理を行うことにより、学習モデル２１の学習を行う学習モードと、学習処理部１０による学習処理を行う際にメモリ１０ｂの容量が不足するか否かの検証を行う検証モードと、を選択する選択部４５と、検証モードにおける学習モデル２１の学習処理においてメモリ１０ｂの容量が不足したか否かを判定する判定部１２ｄと、判定部１２ｄによる判定結果（第１判定結果３２）に基づく報知を行う報知部（表示部１２１）と、を備える。
　ここで、学習モードにおいても検証モードにおいても、作業領域５０として確保されるメモリ１０ｂの容量は等しい。したがって、学習モデル２１の学習処理を行う際に作業領域に用いるメモリ１０ｂの容量が不足するか否かの検証を行う検証モードにおいて検証を行うことにより、学習モードによってメモリ１０ｂの容量が不足するか否かを判定することができる。また、メモリ１０ｂの容量が不足したか否かの判定結果（第１判定結果３２）が報知される。したがって、ユーザは、学習モードにおいて学習モデル２１の学習を行う前に検証モードによって検証を行うことにより、メモリ１０ｂの容量が不足するか否かを、学習モードによる学習処理を行う前に把握することができる。これらの結果、メモリ容量が不足したことに起因して、機械学習が完了しなかったことをユーザが把握することができる。また、学習モードと検証モードとを選択することが可能であるため、検証モードによって検証を行う必要がない場合には、検証モードによる学習処理を行うことなく、学習モードによって学習モデル２１を学習させることができる。その結果、ユーザの利便性を向上させることができる。
　また、本実施形態では、上記のように、細胞画像８０の学習時におけるメモリ容量判定方法は、予め設定された回数分、細胞画像８０を用いて、第１学習条件２２による学習モデル２１の学習を行うステップと、学習モデル２１の学習処理を行うことにより、学習モデル２１の学習を行う学習モードと、学習モデル２１の学習処理を行う際に作業領域に用いるメモリ１０ｂの容量が不足するか否かの検証を行う検証モードと、を選択するステップと、検証モードにおける学習モデル２１の学習処理において、メモリ１０ｂの容量が不足したか否かを判定するステップと、メモリ１０ｂの容量が不足したか否かの判定結果（第１判定結果３２）を報知するステップと、を備える。
　これにより、上記細胞画像８０の学習時におけるメモリ容量判定システム２００と同様に、メモリ容量が不足したことに起因して、機械学習が完了しなかったことをユーザが把握することが可能な細胞画像８０の学習時におけるメモリ容量判定を提供することができる。
　また、上記実施形態では、以下のように構成したことによって、下記のような更なる効果が得られる。
　すなわち、本実施形態では、上記のように、学習処理部１０は、検証モードにおいて、学習モードにおける学習処理の回数よりも少ない回数の学習処理を実行するように構成されている。これにより、学習モードにおける学習処理に要する時間よりも検証モードにおける学習処理に要する時間を短縮することができる。その結果、メモリ１０ｂの容量が不足するか否かの判定に要する時間を短縮することができる。
　また、本実施形態では、上記のように、学習処理部１０は、検証モードにおいて、１回の学習処理を実行するように構成されている。これにより、検証モードにおける学習処理に要する時間をさらに短縮することができる。その結果、メモリ１０ｂの容量が不足するか否かの判定に要する時間をより短縮することができる。
　また、本実施形態では、上記のように、細胞画像８０のサイズ２２ｂを増大する処理を行う画像サイズ増大部１２ｃをさらに備え、学習処理部１０は、画像サイズ増大部１２ｃによってサイズが増大された細胞画像８０ａを用いて、検証モードにおける学習処理を行うように構成されている。これにより、検証モードにおける学習処理を行う際に、作業領域５０として確保するメモリ１０ｂの容量を増加させることができる。したがって、作業領域５０としてメモリ１０ｂの容量を余分に確保した状態で検証モードにおける学習処理を行うことが可能となるので、メモリ１０ｂの容量が不足するか否かの判定条件を厳しくすることができる。その結果、検証モードによる学習モデル２１の学習処理を、より厳しい条件で行うことが可能となるので、学習モードにおいてメモリ１０ｂの容量が不足することを容易に抑制することができる。
　また、本実施形態では、上記のように、過去に検証モードにおける学習処理を行った際の学習条件である第２学習条件２４と、第２学習条件２４における判定結果（第２判定結果３３）とを記憶する記憶部１３をさらに備え、判定部１２ｄは、第１学習条件２２と等しい第２学習条件２４が記憶部１３に記憶されているか否かを判定するように構成されており、学習処理部１０は、第１学習条件２２と等しい第２学習条件２４が記憶部１３に記憶されている場合には、検証モードにおける学習処理を実行しないように構成されており、報知部（表示部１２１）は、第１学習条件２２と等しい第２学習条件２４が記憶部１３に記憶されている場合には、第２学習条件２４による判定結果（第２判定結果３３）を報知するように構成されている。これにより、第１学習条件２２と等しい第２学習条件２４において既に検証が実施されている場合には、検証モードにおける学習処理を行うことなく、第２判定結果３３による報知が行われる。そのため、検証モードにおける学習処理を行うことなく、メモリ１０ｂの容量が不足するか否かを、ユーザに報知することができる。その結果、第１学習条件２２によって検証モードにおける学習処理を重複して実行することを抑制することができる。
　また、本実施形態では、上記のように、報知部（表示部１２１）は、メモリ１０ｂの容量が不足した場合に、第１学習条件２２における細胞画像８０の画像数（バッチサイズ２２ｃ）を小さくすることを促す情報３０ｃを報知するように構成されている。これにより、メモリ１０ｂの容量が不足することを回避するために第１学習条件２２における細胞画像８０の画像数（バッチサイズ２２ｃ）を小さくすることをユーザに把握させることができる。その結果、メモリ１０ｂの容量が不足することを回避するための第１学習条件２２の項目を把握することが可能となるので、ユーザの熟練度が低い場合でも、第１学習条件２２の調整を容易に行うことができる。
　また、本実施形態では、上記のように、報知部（表示部１２１）は、メモリ１０ｂの容量が不足した場合に、第１学習条件２２における細胞画像８０のサイズ２２ｂを小さくすることを促す情報３０ｄをさらに報知するように構成されている。これにより、細胞画像８０の画像数（バッチサイズ２２ｃ）を小さくすることに加えて、細胞画像８０のサイズ２２ｂを小さくすることをユーザに把握させることができる。その結果、ユーザの熟練度が低い場合でも、メモリ１０ｂの容量が不足することを回避するための第１学習条件２２の調整をより容易に行うことができる。
　また、本実施形態では、上記のように、学習処理部１０による検証モードにおける学習処理を行う際に、学習処理部１０による学習処理と並行して、すでに学習された学習済みモデル２５による細胞画像８０の推定処理を、メモリ１０ｂを用いて実行する推定部１１をさらに備える。これにより、学習モデル２１の学習処理と並行して、学習済みモデル２５による細胞画像８０の推定処理が実施されるので、学習モデル２１の学習処理のみを行う場合と比較して、メモリ１０ｂの負荷を増大させた状態で、検証モードにおける学習処理を行うことができる。その結果、学習モードによる学習モデル２１の学習処理を行っている際に、学習済みモデル２５による推定処理が並行して行われた場合でも、学習モードにおいてメモリ１０ｂの容量が不足することを抑制することができる。
　また、本実施形態では、上記のように、第１学習条件２２の内容を変更する学習条件変更部１２ｂをさらに備え、学習処理部１０は、学習条件変更部１２ｂによって第１学習条件２２を変更しつつ、検証モードにおける学習処理を繰り返し実行するように構成されており、判定部１２ｄは、判定結果（第１判定結果３２）に基づいて、メモリ１０ｂの容量が不足しない最適な第１学習条件２２を取得するように構成されている。これにより、メモリ１０ｂの容量が不足しない最適な第１学習条件２２が取得されるので、ユーザの熟練度に依存することなく、最適な第１学習条件２２によって、学習モードにおける学習モデル２１の学習処理を行うことができる。
　また、本実施形態では、上記のように、学習条件変更部１２ｂは、第１学習条件２２のうち、細胞画像８０の画像数（バッチサイズ２２ｃ）を変更するように構成されており、判定部１２ｄは、最適な第１学習条件２２として、メモリ１０ｂの容量が不足しない最大の細胞画像８０の画像数（バッチサイズ２２ｃ）を取得するように構成されている。これにより、メモリ１０ｂの容量が不足しない最大の細胞画像８０の画像数（バッチサイズ２２ｃ）によって、学習モデル２１の学習処理を行うことができる。その結果、メモリ１０ｂの容量が不足することを防止しつつ、学習モデル２１の学習精度を向上させることができる。
　また、本実施形態では、上記のように、学習モデル２１の種類２２ａと、学習モデル２１の学習に用いる細胞画像８０の画像数（バッチサイズ２２ｃ）と、細胞画像８０のサイズ２２ｂと、学習モデル２１に学習させる識別クラスの数２２ｄとを含む第１学習条件２２を登録する学習条件登録部１２ａをさらに備える。これにより、登録された学習モデル２１の種類２２ａと、学習モデル２１の学習に用いる細胞画像８０の画像数（バッチサイズ２２ｃ）と、細胞画像８０のサイズ２２ｂと、学習モデル２１に学習させる識別クラスの数２２ｄとによって学習モデル２１を学習する際に、メモリ１０ｂの容量が不足するか否かを把握することができる。
　［変形例］
　なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。
　たとえば、上記実施形態では、画像処理装置１００が、クライアントサーバモデルで構築された細胞画像８０の学習時におけるメモリ容量判定システム２００のサーバとして機能する例を示したが、本発明はこれに限られない。本発明では、たとえば図１０に示すように、独立したコンピュータにより構成されていてもよい。図１０の例では、画像処理装置１００は、第２プロセッサ３１０および記憶部３２０を備えたコンピュータ３００により構成されている。コンピュータ３００には、表示部３３０および入力部３４０が接続されている。コンピュータ３００は、撮像装置１３０と通信可能に接続されている。コンピュータ３００の第２プロセッサ３１０が、上記実施形態（図３参照）で示した学習条件登録部１２ａと、学習条件変更部１２ｂと、画像サイズ増大部１２ｃと、判定部１２ｄと、報知内容取得部１２ｅと、を機能ブロックとして含む。
　また、上記実施形態および図１０に示した変形例では、単一の第２プロセッサ１２（３１０）により、学習条件登録部１２ａ、学習条件変更部１２ｂ、画像サイズ増大部１２ｃ、判定部１２ｄ、報知内容取得部１２ｅとしての各処理を実行する例を示したが、本発明はこれに限られない。細胞画像８０の学習時におけるメモリ１０ｂの容量が不足するか否かの各処理は、複数のプロセッサによって分担して実行されてもよい。１つ１つの処理が別々のプロセッサによって実行されてもよい。複数のプロセッサは、別々のコンピュータに設けられていてもよい。つまり、画像処理装置１００が、複数台のコンピュータによって構成されていてもよい。
　また、上記実施形態では、学習処理部１０が、検証モードにおいて、学習モードにおける学習処理よりも少ない回数の学習処理を実行する構成の例を示したが、本発明はこれに限られない。たとえば、学習処理部１０は、検証モードにおいて、学習モードにおける学習処理と同じか、それ以上の回数の学習処理を実行するように構成されていてもよい。しかしながら、学習処理部１０が、検証モードにおいて、学習モードにおける学習処理と同じか、それ以上の回数の学習処理を実行する場合、メモリ１０ｂの容量が不足するか否かの検証に要する時間が増加する。したがって、学習処理部１０は、検証モードにおいて、学習モードにおける学習処理よりも少ない回数の学習処理を実行するように構成されることが好ましい。
　また、上記実施形態では、学習処理部１０が、画像サイズ増大部１２ｃによってサイズが増加された細胞画像８０ａを用いて、検証モードにおける学習処理を実行する構成の例を示したが、本発明はこれに限られない。たとえば、学習処理部１０は、サイズが増加された細胞画像８０ａではなく、細胞画像８０を用いて検証モードにおける学習処理を実行するように構成されていてもよい。この場合、第２プロセッサ１２は、画像サイズ増大部１２ｃを備えていなくてもよい。
　また、上記実施形態では、第１学習条件２２と等しい第２学習条件２４が記憶部１３に記憶されている場合には、学習処理部１０が、第１学習条件２２によって検証モードにおける学習処理を実行しない構成の例を示したが、本発明はこれに限られない。たとえば、学習処理部１０は、第１学習条件２２と等しい第２学習条件２４が記憶部１３に記憶されている場合であっても、第１学習条件２２による検証モードにおける学習処理を実行するように構成されていてもよい。しかしながら、学習処理部１０が、第１学習条件２２と等しい第２学習条件２４が記憶部１３に記憶されている場合であっても、第１学習条件２２による検証モードにおける学習処理を実行する構成の場合、本来不要な検証モードにおける学習処理を行うことになる。したがって、学習処理部１０は、第１学習条件２２と等しい第２学習条件２４が記憶部１３に記憶されている場合には、第１学習条件２２によって検証モードにおける学習処理を実行しないように構成されることが好ましい。
　また、上記実施形態では、メモリ容量判定システム２００が、学習処理部１０が検証モードにおける学習処理を行う際に、学習処理部１０による学習処理と並行して、学習済みモデル２５による細胞画像８０の推定処理を、メモリ１０ｂを用いて実行する推定部１１を備える構成の例を示したが、本発明はこれに限られない。メモリ容量判定システム２００は、推定部１１を備えていなくてもよい、
　また、上記実施形態では、メモリ容量判定システム２００が学習条件変更部１２ｂを備え、学習処理部１０が、学習条件変更部１２ｂによって第１学習条件２２を変更しつつ、検証モードにおける学習処理を繰り返し実行する構成の例を示したが、本発明はこれに限られない。たとえば、学習処理部１０は、学習条件変更部１２ｂによって第１学習条件２２を変更しつつ、検証モードにおける学習処理を繰り返し実行しないように構成されていてもよい。この場合、メモリ容量判定システム２００は、学習条件変更部１２ｂを備えていなくてもよい。
　また、上記実施形態では、判定部１２ｄが、最適な第１学習条件２２として、メモリ１０ｂの容量が不足しない最大の細胞画像８０のバッチサイズ２２ｃを取得する構成の例を示したが、本発明はこれに限られない。たとえば、判定部１２ｄは、最適な第１学習条件２２として、メモリ１０ｂの容量が不足しない最大の細胞画像８０のサイズを取得するように構成されていてもよい。
　また、上記実施形態では、第１プロセッサ１０ａと、推定部１１とを、異なるプロセッサとする構成の例を示したが、本発明はこれに限られない。たとえば、第１プロセッサ１０ａと推定部１１とは、同一のプロセッサによって構成されていてもよい。
　また、上記実施形態では、画像処理装置１００が、学習モデル２１の学習と、細胞画像８０の解析とを行う構成の例を示したが、本発明はこれに限られない。たとえば、画像処理装置１００は、学習モデル２１の学習のみを行う学習装置として構成されていてもよい。
　また、上記実施形態では、画像処理装置１００が、細胞画像８０に写る細胞の分類を行うことを、学習モデル２１に学習させる構成の処理を示したが、本発明はこれに限られない。たとえば、画像処理装置１００は、細胞画像８０に写る細胞の解像度を向上させることを学習モデルに学習させるように構成されていてもよい。画像処理装置１００が学習モデルに学習させる内容は、ユーザが任意に設定し得る。
　［態様］
　上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
（項目１）
　予め設定された回数分、細胞画像を用いて、第１学習条件による学習モデルの学習を行うプロセッサと、前記学習モデルの学習処理の作業領域に用いるメモリとを備える学習処理部と、
　前記学習処理部による学習処理を行うことにより、前記学習モデルの学習を行う学習モードと、前記学習処理部による学習処理を行う際に前記メモリの容量が不足するか否かの検証を行う検証モードと、を選択する選択部と、
　前記検証モードにおける前記学習モデルの学習処理において前記メモリの容量が不足したか否かを判定する判定部と、
　前記判定部による判定結果に基づく報知を行う報知部と、を備える、細胞画像の学習時におけるメモリ容量判定システム。
（項目２）
　前記学習処理部は、前記検証モードにおいて、前記学習モードにおける学習処理の回数よりも少ない回数の学習処理を実行するように構成されている、項目１に記載の細胞画像の学習時におけるメモリ容量判定システム。
（項目３）
　前記学習処理部は、前記検証モードにおいて、１回の学習処理を実行するように構成されている、項目２に記載の細胞画像の学習時におけるメモリ容量判定システム。
（項目４）
　前記細胞画像のサイズを増大する処理を行う画像サイズ増大部をさらに備え、
　前記学習処理部は、前記画像サイズ増大部によってサイズが増大された前記細胞画像を用いて、前記検証モードにおける学習処理を行うように構成されている、項目１～３のいずれか１項に記載の細胞画像の学習時におけるメモリ容量判定システム。
（項目５）
　過去に前記検証モードにおける学習処理を行った際の学習条件である第２学習条件と、前記第２学習条件における前記判定結果とを記憶する記憶部をさらに備え、
　前記判定部は、前記第１学習条件と等しい前記第２学習条件が前記記憶部に記憶されているか否かを判定するように構成されており、
　前記学習処理部は、前記第１学習条件と等しい前記第２学習条件が前記記憶部に記憶されている場合には、前記検証モードにおける学習処理を実行しないように構成されており、
　前記報知部は、前記第１学習条件と等しい前記第２学習条件が前記記憶部に記憶されている場合には、前記第２学習条件による前記判定結果を報知するように構成されている、項目１～４のいずれか１項に記載の細胞画像の学習時におけるメモリ容量判定システム。
（項目６）
　前記報知部は、前記メモリの容量が不足した場合に、前記第１学習条件における前記細胞画像のバッチサイズを小さくすることを促す情報を報知するように構成されている、項目１～５のいずれか１項に記載の細胞画像の学習時におけるメモリ容量判定システム。
（項目７）
　前記報知部は、前記メモリの容量が不足した場合に、前記第１学習条件における前記細胞画像のサイズを小さくすることを促す情報をさらに報知するように構成されている、項目６に記載の細胞画像の学習時におけるメモリ容量判定システム。
（項目８）
　前記学習処理部による前記検証モードにおける学習処理を行う際に、前記学習処理部による学習処理と並行して、すでに学習された学習済みモデルによる前記細胞画像の推定処理を、前記メモリを用いて実行する推定部をさらに備える、項目１～７のいずれか１項に記載の細胞画像の学習時におけるメモリ容量判定システム。
（項目９）
　前記第１学習条件の内容を変更する学習条件変更部をさらに備え、
　前記学習処理部は、前記学習条件変更部によって前記第１学習条件を変更しつつ、前記検証モードにおける学習処理を繰り返し実行するように構成されており、
　前記判定部は、前記判定結果に基づいて、前記メモリの容量が不足しない最適な前記第１学習条件を取得するように構成されている、項目１～８のいずれか１項に記載の細胞画像の学習時におけるメモリ容量判定システム。
（項目１０）
　前記学習条件変更部は、前記第１学習条件のうち、前記細胞画像のバッチサイズを変更するように構成されており、
　前記判定部は、前記最適な前記第１学習条件として、前記メモリの容量が不足しない最大の前記細胞画像のバッチサイズを取得するように構成されている、項目９に記載の細胞画像の学習時におけるメモリ容量判定システム。
（項目１１）
　学習モデルの種類と、前記学習モデルの学習に用いる細胞画像のバッチサイズと、前記細胞画像のサイズと、前記学習モデルに学習させる識別クラスの数とを含む前記第１学習条件を登録する学習条件登録部をさらに備える、項目１～１０のいずれか１項に記載の細胞画像の学習時におけるメモリ容量判定システム。
（項目１２）
　予め設定された回数分、細胞画像を用いて、第１学習条件による学習モデルの学習を行うステップと、
　前記学習モデルの学習処理を行うことにより、前記学習モデルの学習を行う学習モードと、前記学習モデルの学習処理を行う際に作業領域に用いるメモリの容量が不足するか否かの検証を行う検証モードと、を選択するステップと、
　前記検証モードにおける前記学習モデルの学習処理において、前記メモリの容量が不足したか否かを判定するステップと、
　前記メモリの容量が不足したか否かの判定結果を報知するステップと、を備える、細胞画像の学習時におけるメモリ容量判定方法。
　１０　学習処理部
　１０ａ　第１プロセッサ
　１０ｂ　メモリ
　１２ａ　学習条件登録部
　１２ｂ　学習条件変更部
　１２ｃ　画像サイズ増大部
　１２ｄ　判定部
　１３　記憶部
　２１　学習モデル
　２２　第１学習条件
　２２ａ　学習モデルの種類
　２２ｂ　細胞画像のサイズ
　２２ｃ　バッチサイズ（細胞画像の画像数）
　２２ｄ　識別クラスの数
　２３　エポック数（予め設定された回数れ）
　２４　第２学習条件
　２５　学習済みモデル
　３２　第１判定結果（判定結果）
　３３　第２判定結果（判定結果）
　４５　選択部
　４５ａ　検証ボタン
　４５ｂ　学習開始ボタン
　５０　作業領域
　８０　細胞画像
　８０ａ　サイズが増加された細胞画像
　１２１、３３０　表示部（報知部）
　２００　細胞画像の学習時におけるメモリ容量判定システム

Claims (12)

  1. 　予め設定された回数分、細胞画像を用いて、第１学習条件による学習モデルの学習を行うプロセッサと、前記学習モデルの学習処理の作業領域に用いるメモリとを備える学習処理部と、
    　前記学習処理部による学習処理を行うことにより、前記学習モデルの学習を行う学習モードと、前記学習処理部による学習処理を行う際に前記メモリの容量が不足するか否かの検証を行う検証モードと、を選択する選択部と、
    　前記検証モードにおける前記学習モデルの学習処理において前記メモリの容量が不足したか否かを判定する判定部と、
    　前記判定部による判定結果に基づく報知を行う報知部と、を備える、細胞画像の学習時におけるメモリ容量判定システム。
  2. 　前記学習処理部は、前記検証モードにおいて、前記学習モードにおける学習処理の回数よりも少ない回数の学習処理を実行するように構成されている、請求項１に記載の細胞画像の学習時におけるメモリ容量判定システム。
  3. 　前記学習処理部は、前記検証モードにおいて、１回の学習処理を実行するように構成されている、請求項２に記載の細胞画像の学習時におけるメモリ容量判定システム。
  4. 　前記細胞画像のサイズを増大する処理を行う画像サイズ増大部をさらに備え、
    　前記学習処理部は、前記画像サイズ増大部によってサイズが増大された前記細胞画像を用いて、前記検証モードにおける学習処理を行うように構成されている、請求項１に記載の細胞画像の学習時におけるメモリ容量判定システム。
  5. 　過去に前記検証モードにおける学習処理を行った際の学習条件である第２学習条件と、前記第２学習条件における前記判定結果とを記憶する記憶部をさらに備え、
    　前記判定部は、前記第１学習条件と等しい前記第２学習条件が前記記憶部に記憶されているか否かを判定するように構成されており、
    　前記学習処理部は、前記第１学習条件と等しい前記第２学習条件が前記記憶部に記憶されている場合には、前記検証モードにおける学習処理を実行しないように構成されており、
    　前記報知部は、前記第１学習条件と等しい前記第２学習条件が前記記憶部に記憶されている場合には、前記第２学習条件による前記判定結果を報知するように構成されている、請求項１に記載の細胞画像の学習時におけるメモリ容量判定システム。
  6. 　前記報知部は、前記メモリの容量が不足した場合に、前記第１学習条件における前記細胞画像の画像数を小さくすることを促す情報を報知するように構成されている、請求項１に記載の細胞画像の学習時におけるメモリ容量判定システム。
  7. 　前記報知部は、前記メモリの容量が不足した場合に、前記第１学習条件における前記細胞画像のサイズを小さくすることを促す情報をさらに報知するように構成されている、請求項６に記載の細胞画像の学習時におけるメモリ容量判定システム。
  8. 　前記学習処理部による前記検証モードにおける学習処理を行う際に、前記学習処理部による学習処理と並行して、すでに学習された学習済みモデルによる前記細胞画像の推定処理を、前記メモリを用いて実行する推定部をさらに備える、請求項１に記載の細胞画像の学習時におけるメモリ容量判定システム。
  9. 　前記第１学習条件の内容を変更する学習条件変更部をさらに備え、
    　前記学習処理部は、前記学習条件変更部によって前記第１学習条件を変更しつつ、前記検証モードにおける学習処理を繰り返し実行するように構成されており、
    　前記判定部は、前記判定結果に基づいて、前記メモリの容量が不足しない最適な前記第１学習条件を取得するように構成されている、請求項１に記載の細胞画像の学習時におけるメモリ容量判定システム。
  10. 　前記学習条件変更部は、前記第１学習条件のうち、前記細胞画像の画像数を変更するように構成されており、
    　前記判定部は、前記最適な前記第１学習条件として、前記メモリの容量が不足しない最大の前記細胞画像の画像数を取得するように構成されている、請求項９に記載の細胞画像の学習時におけるメモリ容量判定システム。
  11. 　学習モデルの種類と、前記学習モデルの学習に用いる細胞画像の画像数と、前記細胞画像のサイズと、前記学習モデルに学習させる識別クラスの数とを含む前記第１学習条件を登録する学習条件登録部をさらに備える、請求項１に記載の細胞画像の学習時におけるメモリ容量判定システム。
  12. 　予め設定された回数分、細胞画像を用いて、第１学習条件による学習モデルの学習を行うステップと、
    　前記学習モデルの学習処理を行うことにより、前記学習モデルの学習を行う学習モードと、前記学習モデルの学習処理を行う際に作業領域に用いるメモリの容量が不足するか否かの検証を行う検証モードと、を選択するステップと、
    　前記検証モードにおける前記学習モデルの学習処理において、前記メモリの容量が不足したか否かを判定するステップと、
    　前記メモリの容量が不足したか否かの判定結果を報知するステップと、を備える、細胞画像の学習時におけるメモリ容量判定方法。
PCT/JP2022/033650 2021-09-13 2022-09-08 細胞画像の学習時におけるメモリ容量判定システムおよび細胞画像の学習時におけるメモリ容量判定方法 WO2023038074A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280055603.4A CN117859118A (zh) 2021-09-13 2022-09-08 进行细胞图像的学习时的存储器容量判定系统和进行细胞图像的学习时的存储器容量判定方法
JP2023546977A JPWO2023038074A1 (ja) 2021-09-13 2022-09-08

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-148567 2021-09-13
JP2021148567 2021-09-13

Publications (1)

Publication Number Publication Date
WO2023038074A1 true WO2023038074A1 (ja) 2023-03-16

Family

ID=85506417

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/033650 WO2023038074A1 (ja) 2021-09-13 2022-09-08 細胞画像の学習時におけるメモリ容量判定システムおよび細胞画像の学習時におけるメモリ容量判定方法

Country Status (3)

Country Link
JP (1) JPWO2023038074A1 (ja)
CN (1) CN117859118A (ja)
WO (1) WO2023038074A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117048A (ja) * 2015-12-22 2017-06-29 富士通株式会社 制御プログラム、制御装置、および制御方法
JP2018018451A (ja) * 2016-07-29 2018-02-01 富士通株式会社 機械学習方法、機械学習プログラム及び情報処理装置
WO2020003434A1 (ja) * 2018-06-28 2020-01-02 株式会社島津製作所 機械学習方法、機械学習装置、及び機械学習プログラム
JP2020127148A (ja) * 2019-02-05 2020-08-20 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
JP2020197861A (ja) * 2019-05-31 2020-12-10 株式会社沖データ 画像形成システムおよび異常対処方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117048A (ja) * 2015-12-22 2017-06-29 富士通株式会社 制御プログラム、制御装置、および制御方法
JP2018018451A (ja) * 2016-07-29 2018-02-01 富士通株式会社 機械学習方法、機械学習プログラム及び情報処理装置
WO2020003434A1 (ja) * 2018-06-28 2020-01-02 株式会社島津製作所 機械学習方法、機械学習装置、及び機械学習プログラム
JP2020127148A (ja) * 2019-02-05 2020-08-20 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
JP2020197861A (ja) * 2019-05-31 2020-12-10 株式会社沖データ 画像形成システムおよび異常対処方法

Also Published As

Publication number Publication date
JPWO2023038074A1 (ja) 2023-03-16
CN117859118A (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
US20220413839A1 (en) Software component defect prediction using classification models that generate hierarchical component classifications
US10262233B2 (en) Image processing apparatus, image processing method, program, and storage medium for using learning data
JP6090327B2 (ja) ボトルネック検出装置、方法及びプログラム
US7043400B2 (en) Testing using policy-based processing of test results
US7092571B2 (en) Method and apparatus for regional image quantification verification
RU2013134325A (ru) Устройство и способ распознавания жестов на основе анализа множества возможных границ раздела
JP2020030692A (ja) 判別装置及び機械学習方法
US20200279359A1 (en) Inspection apparatus, inspection method, and non-volatile storage medium
WO2020255224A1 (ja) 異常検知装置、学習装置、異常検知方法、学習方法、異常検知プログラム、及び学習プログラム
WO2023038074A1 (ja) 細胞画像の学習時におけるメモリ容量判定システムおよび細胞画像の学習時におけるメモリ容量判定方法
JP5231159B2 (ja) 人物検出装置及び方法、学習モデル作成装置及び方法、並びにプログラム
Clark et al. Performance characterization in computer vision a tutorial
JP2001043367A (ja) 外観検査シミュレーションシステムおよびその方法
US20220351533A1 (en) Methods and systems for the automated quality assurance of annotated images
Chan et al. PAT: A pattern classification approach to automatic reference oracles for the testing of mesh simplification programs
US20200167908A1 (en) Determination device and determining method thereof
JP2022003446A (ja) 情報処理装置
US20230267727A1 (en) Image analysis apparatus, image analysis method, and storage medium
JP5812941B2 (ja) プログラム試験装置
WO2024095721A1 (ja) 画像処理装置および画像処理方法
JP7073806B2 (ja) スクラッチ判定プログラム、スクラッチ判定装置およびスクラッチ判定方法
JP2018112959A (ja) ソフトウェア性能測定システム及びプログラム
US8775558B1 (en) Device and method for automation via image-based user interfaces
CN113094291B (zh) 锁屏界面的匹配验证方法、装置、设备及存储介质
JP7309134B2 (ja) 可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22867395

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023546977

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280055603.4

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE