WO2022259429A1 - 情報処理装置、情報処理方法、医療映像識別装置及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

情報処理装置、情報処理方法、医療映像識別装置及びプログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2022259429A1
WO2022259429A1 PCT/JP2021/021954 JP2021021954W WO2022259429A1 WO 2022259429 A1 WO2022259429 A1 WO 2022259429A1 JP 2021021954 W JP2021021954 W JP 2021021954W WO 2022259429 A1 WO2022259429 A1 WO 2022259429A1
Authority
WO
WIPO (PCT)
Prior art keywords
index
elements
series data
information processing
classes
Prior art date
Application number
PCT/JP2021/021954
Other languages
English (en)
French (fr)
Inventor
和浩 渡邉
章記 海老原
大輝 宮川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/021954 priority Critical patent/WO2022259429A1/ja
Priority to US18/567,102 priority patent/US20240265536A1/en
Priority to JP2023526731A priority patent/JPWO2022259429A5/ja
Priority to EP21945105.1A priority patent/EP4354322A4/en
Publication of WO2022259429A1 publication Critical patent/WO2022259429A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an information processing device, an information processing method, a medical image identification device, and a non-transitory computer-readable medium storing a program.
  • Patent Documents 1 to 4 disclose information processing techniques using a sequential probability ratio test (SPRT).
  • SPRT is a type of technique for determining to which of a plurality of predetermined classes serial data that is sequentially input belongs.
  • JP 2009-245314 A JP 2008-299589 A Japanese Patent Publication No. 2001-523824 International Publication No. 2020/194497
  • the present disclosure has been made to solve such problems, and stores an information processing device, an information processing method, a medical image identification device, and a program that can accurately classify series data.
  • the purpose is to provide a non-transitory computer-readable medium.
  • the information processing apparatus includes acquisition means for sequentially acquiring a plurality of elements included in series data, and indicating to which of a plurality of classes each of the plurality of elements should belong.
  • first calculating means for calculating an index based on two or more of the plurality of elements;
  • second calculating means for calculating a weight indicating the importance of the index for each of the plurality of elements;
  • a third calculation for calculating an integrated index indicating to which of the plurality of classes the series data should appropriately belong, by weighting the respective indices of the plurality of elements with the corresponding weights and integrating them.
  • means, and classification means for classifying the series data into one of the classes based on the integrated index.
  • An information processing method includes a step of sequentially acquiring a plurality of elements included in series data, and an index indicating to which of a plurality of classes each of the plurality of elements should belong. based on two or more of the plurality of elements; calculating a weight indicating the importance of the index for each of the plurality of elements; and a step of weighting the indexes with the corresponding weights and integrating them to calculate an integrated index indicating to which of the plurality of classes the series data should belong, based on the integrated index; and classifying the series data into one of the classes.
  • the non-transitory computer-readable medium includes a step of sequentially obtaining a plurality of elements included in series data, and determining which of a plurality of classes each of the plurality of elements belongs to.
  • an information processing device an information processing method, a medical image identification device, and a non-temporary computer-readable medium storing a program, which are capable of classifying series data with high accuracy.
  • FIG. 1 is a schematic diagram showing the overall configuration of a series data classification system according to a first embodiment
  • FIG. 3 is a functional block diagram of an information processing device provided in the series data classification system according to the first embodiment
  • FIG. 6 is a flowchart showing an example of classification processing performed by the information processing apparatus according to the first embodiment
  • FIG. 10 is a functional block diagram of a medical image identification device that is an application example of the information processing device according to the second embodiment
  • FIG. 11 is a functional block diagram of an information processing device according to a third embodiment
  • a sequence data classification system according to this embodiment will be described.
  • the series data classification system of the present embodiment sequentially acquires and analyzes a plurality of elements included in the series data, thereby classifying the series data into one of a plurality of predetermined classes. System.
  • series data means a data string that can be broken down into multiple elements.
  • the series data may be time series data or non-time series data.
  • time-series data include moving image data, audio data, and the like.
  • non-time-series data include vegetation data sampled from multiple locations, inspection data of multiple locations on a product, and multiple biometric data for biometric authentication.
  • the plurality of elements included in the series data may be a plurality of images (frames) forming the moving image.
  • the multiple elements included in the series data may be inspection data of each part of the product. Note that series data and elements to which the classification processing of this embodiment can be applied are not limited to these.
  • the classes classified by the series data classification system of the present embodiment are, for example, the first class indicating that the product is non-defective and the product is defective. It can be a second class indicating that When the series data are a plurality of images (frames) constituting medical data, the class classified by the series data classification system of the present embodiment is, for example, the first class indicating that the image contains a cancerous site. and a second class indicating that no cancerous site is included. Note that the number of classes may be three or more.
  • FIG. 1 is a schematic diagram showing the overall configuration of the series data classification system according to this embodiment.
  • FIG. 1 shows the configuration of hardware included in the series data classification system.
  • the series data classification system includes an information processing device 100 , a data acquisition device 201 , an input device 202 and a display device 203 .
  • the information processing device 100 is a computer such as a mobile phone, a smart phone, a desktop PC (Personal Computer), a laptop PC, or a server.
  • the information processing apparatus 100 includes a processor 101 , a memory 102 , a storage 103 , an input/output I/F (Interface) 104 and a communication I/F 105 .
  • Each unit of the information processing apparatus 100 is connected to each other via a bus, wiring, driving device, etc., and can mutually transmit and receive control signals and data.
  • the processor 101 is, for example, an arithmetic processing device such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the memory 102 is, for example, a volatile or nonvolatile storage medium such as RAM (Random Access Memory) or ROM (Read Only Memory).
  • the storage 103 is a nonvolatile storage medium such as an HDD (Hard Disk Drive), SSD (Solid State Drive), memory card, or the like.
  • the memory 102 or storage 103 stores programs for realizing the information processing functions of the information processing apparatus 100 .
  • the processor 101 may execute the program after reading it onto the memory 102 or may execute it without reading it onto the memory 102 .
  • Non-transitory computer readable media includes various types of forms of storage media.
  • Non-transitory computer-readable media include, for example, magnetic storage media, magneto-optical storage media, optical storage media, and semiconductor memory.
  • Examples of magnetic storage media include flexible disks, magnetic tapes, and hard disk drives.
  • An example of a magneto-optical storage medium is a magneto-optical disk.
  • Examples of optical storage media include CD-ROM (Compact Disc Read Only Memory), CD-R (Compact Disc Recordable), and CD-R/W (Compact Disc Rewritable).
  • Examples of semiconductor memory include mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, and RAM.
  • the program may be supplied to the information processing apparatus 100 by various types of temporary computer-readable media.
  • Transitory computer-readable media include, for example, electrical signals, optical signals, and electromagnetic waves.
  • a temporary computer-readable medium can supply a program to the information processing apparatus 100 via a wired communication path such as an electric wire, an optical fiber, or a wireless communication path.
  • the input/output I/F 104 is a communication interface for communicating with peripheral devices based on standards such as USB (Universal Serial Bus) and DVI (Digital Visual Interface).
  • the input/output I/F 104 can communicate with the data acquisition device 201, the input device 202, and the display device 203 by wire or wirelessly. Accordingly, the information processing device 100 can transmit and receive data and control signals to and from the data acquisition device 201 , the input device 202 and the display device 203 .
  • the communication I/F 105 is a communication interface based on standards such as Bluetooth (registered trademark), Wi-Fi (registered trademark), and 4G.
  • the communication I/F 105 can establish a wired or wireless communication connection with an external device. Thereby, the information processing device 100 can transmit and receive data to and from an external device.
  • the data acquisition device 201 is a device for acquiring series data.
  • the data acquisition device 201 may be an inspection device provided in a factory or the like.
  • the data acquisition device 201 may be a biometric information acquisition device such as a digital camera, a microphone, or a fingerprint scanner.
  • the data acquisition device 201 is an endoscope system, an MRI (Magnetic Resonance Imaging) system, a CT (Computed Tomography) system, or other device for acquiring medical information.
  • the data acquisition device 201 includes a device that acquires analog signals such as a sensor
  • the data acquisition device 201 may include an AD conversion (Analog-to-Digital Conversion) device that converts analog signals into digital data.
  • the series data acquired by the data acquisition device 201 is input to the information processing device 100 .
  • the input device 202 is a user interface for accepting user's operation of the information processing device 100 .
  • Examples of the input device 202 include a keyboard, mouse, trackball, touch sensor, pen tablet, and buttons.
  • the display device 203 is a device that displays a screen based on drawing data processed by the processor 101 .
  • Examples of the display device 203 include LCD (Liquid Crystal Display), CRT (Cathode Ray Tube) display, OLED (Organic Light Emitting Diode) display, and the like.
  • the input device 202 and the display device 203 may be integrally formed as a touch panel.
  • the hardware configuration shown in FIG. 1 is an example, and devices other than these may be added, and some devices may not be provided. Also, some devices may be replaced by other devices having similar functions. Furthermore, part of the functions of this embodiment may be provided by another device via a network, and the functions of this embodiment may be implemented by being distributed to a plurality of devices.
  • the storage 103 may be replaced with cloud storage outside the information processing apparatus 100 .
  • the data acquisition device 201 can be omitted if the acquisition of series data is performed by a system different from the series data classification system. Alternatively, the data acquisition device 201 , the input device 202 or the display device 203 may be provided within the information processing device 100 . Thus, the hardware configuration shown in FIG. 1 can be changed as appropriate.
  • FIG. 2 is a functional block diagram of the information processing device 100 according to this embodiment.
  • the information processing apparatus 100 includes an acquisition unit 110 , a first calculation unit 120 , a second calculation unit 130 , a third calculation unit 140 and a classification unit 150 .
  • the first calculator 120 includes an index calculator 121 and a first storage 122 .
  • the second calculator 130 includes a weight calculator 131 and a second storage 132 .
  • the third calculator 140 includes an integrated index calculator 141 and a third storage 142 .
  • the processor 101 implements the functions of the acquisition unit 110, the index calculation unit 121, the weight calculation unit 131, the integrated index calculation unit 141, and the classification unit 150 by executing programs stored in the memory 102, storage 103, or the like. Also, the processor 101 realizes the functions of the first storage unit 122, the second storage unit 132, and the third storage unit 142 by controlling the storage 103 based on the program. Specific processing performed by each of these units will be described later.
  • FIG. 3 is a flowchart showing an example of classification processing performed by the information processing apparatus 100 according to this embodiment.
  • the classification process shown in FIG. 3 is a process of classifying input series data into one of a plurality of predetermined classes.
  • the classification process of FIG. 3 includes a loop process (steps S101 to S107) of acquiring elements one by one from series data including a plurality of elements and sequentially calculating integrated indices. This loop processing is repeated until the class into which the series data is to be classified is determined based on the integrated index.
  • the processing in FIG. 3 may be started, for example, when a predetermined user operation is performed on the input device 202 .
  • the processing start timing is not limited to this.
  • the process of FIG. 3 may be executed when series data is input from the data acquisition device 201 .
  • the processing in FIG. 3 may be repeated at predetermined time intervals. good.
  • step S101 the acquisition unit 110 acquires one element of series data.
  • the acquisition process at this time may directly acquire data from the data acquisition device 201, or may read data acquired in advance from the data acquisition device 201 and stored in the storage 103 or the like. After that, the process proceeds to step S102.
  • the index calculation unit 121 refers to the first storage unit 122 and determines whether or not there is past data.
  • the past data is a processing result (index, for example, likelihood ratio) by the index calculation unit 121 for an element obtained in the past, and one or more elements obtained in the past including the element.
  • step S103 the index calculation unit 121 calculates an index indicating to which of a plurality of classes the input element should belong, considering the first element of the series data.
  • the first calculation unit 120 outputs the calculated index to the second calculation unit 130, and stores the processing result in the first storage unit 122 as necessary.
  • the index can be, for example, a likelihood ratio indicating the likelihood that a given element belongs to a given class among a plurality of classes.
  • the index may be a function containing the likelihood ratio as a variable. In the following description, it is assumed that the index is the likelihood ratio. Note that the likelihood ratio calculated in step S103 is used as an integrated score. After that, the process proceeds to step S108. The processing of step S108 will be described later.
  • step S104 the index calculation unit 121 reads past data stored in the first storage unit 122 .
  • the first storage unit 122 stores a processing result and an input element each time the index calculation unit 121 performs processing. This storage process may overwrite previously stored information with new information, or may add new information while retaining previously stored information. After that, the process proceeds to step S105.
  • the index calculation unit 121 indicates to which of a plurality of classes the input element should belong, considering two or more elements among the plurality of elements included in the series data. Calculate the index (likelihood ratio). Two or more elements include newly acquired elements and previously processed elements included in past data.
  • the first calculation unit 120 outputs the calculated index to the second calculation unit 130, and stores the processing result in the first storage unit 122 as necessary.
  • the index calculation unit 121 extracts features from the elements input from the series data. At this time, the index calculation unit 121 performs feature extraction in consideration of the input element when past data does not exist, and considers the relationship between the input element and the past data when past data exists. feature extraction.
  • a convolutional neural network CNN
  • LSTM Long Short Term Memory
  • the probability that element x i (here, i is an arbitrary integer from 1 to N) belongs to class C 1 is p(x i
  • these likelihood ratios are represented by the following formula (1).
  • the likelihood ratio in Equation (1 ) indicates the likelihood ratio between the probability that element x i belongs to class C1 and the probability that element x i belongs to class C2 . For example, if the likelihood ratio exceeds 1, p(x i
  • the index calculation unit 121 performs calculation taking into account the relationship between a plurality of elements, that is, the input elements and the past data as described above. be able to.
  • the likelihood ratio calculated considering two elements x i and x j (i and j are arbitrary integers from 1 to N, where i ⁇ j) is given by the following equation (2): shall be written as
  • step S106 the weight calculation unit 131 reads the likelihood ratio calculated in the past from the first storage unit 122 .
  • the weight calculation unit 131 uses the likelihood ratio calculated this time and the likelihood ratio calculated in the past by the index calculation unit 121 to calculate the likelihood ratio calculated this time and the likelihood ratio calculated in the past.
  • a weight corresponding to each of the degree ratios is calculated.
  • the second storage unit 132 stores the weights calculated by the weight calculation unit 131 .
  • the “weight” here is a value for adjusting the degree of influence of the likelihood ratio calculated this time and the likelihood ratio calculated in the past on the newly calculated integrated index. It is calculated according to the reliability of the selected element. “Reliability” is the degree of reliability related to the calculation of the likelihood ratio. degree becomes lower.
  • the weight is, for example, a vector V ij whose elements are the probabilities that the input data belongs to each class, calculated considering the elements from the element x i to the element x j among the elements constituting the series data. and the inner product V ij V of the vector V iN whose element is the probability that the input data belongs to each class, calculated considering the elements from the element x i to the element x N among the elements constituting the series data iN .
  • Both i and j are arbitrary integers from 1 to N. However, i ⁇ j.
  • the weight is obtained by the inner product.
  • the calculation of the weight is not limited to the inner product.
  • an integrated index calculated in the past may be read from the third storage unit 142 and used to calculate the weight. After that, the process proceeds to step S107.
  • step S107 the integrated index calculation unit 141 integrates the likelihood ratio calculated this time by the index calculation unit 121, the likelihood ratio calculated in the past, and the weight calculated this time by the weight calculation unit 131. Calculate a new integrated index.
  • the integrated index indicates to which of multiple classes it is appropriate for the entire series data to belong.
  • the past integrated index means the integrated index calculated by the integrated index calculation unit 141 for the element prior to the j-th element when this processing is for the j-th element of series data.
  • the past likelihood ratio means the likelihood ratio calculated by the index calculation unit 121 for elements prior to the j-th element when this process is for the j-th element of series data.
  • the third storage unit 142 stores the integrated index each time the integrated index calculation unit 141 performs processing. This memory processing may update the value of the integrated index by overwriting the previously stored integrated index with the new integrated index. An index may be added.
  • the integrated index can be, for example, the sum of the values obtained by multiplying all the calculated likelihood ratios, including the past likelihood ratios, by the weight corresponding to each likelihood ratio.
  • the integrated index may be a function including the integrated score as a variable. In the following description, it is assumed that the integrated index is the integrated score.
  • the N elements are expressed as x 1 , . . . , x N .
  • the probability that all the data including the elements from the i-th element to the N-th element of the sequence data belong to the class C 1 is expressed as p(x i , . . . , x N
  • the probability that the entire data including the elements from the i-th element to the N-th element of the series data belongs to class C2 is expressed as p(x i , . . . , x N
  • the integrated score is represented by the following formula (4) be.
  • the integrated score is calculated by considering the importance of all the calculated likelihood ratios including the past likelihood ratios. Therefore, instead of using only one likelihood ratio as the integrated score as in Equation (4), the integrated score is calculated by different calculation formulas according to the number of all calculated likelihood ratios including past likelihood ratios. is calculated.
  • the integrated score can be calculated using the following equation (5).
  • i is an integer of 1 or more and N or less
  • j is an integer of i or more and N or less.
  • w ij is a weight calculated by the weight calculator 131 and indicating the importance of each likelihood ratio.
  • i is an integer of 1 or more and N or less
  • j is an integer of i or more and N or less.
  • the probability that data containing only the i-th element belongs to class C 1 is p(x i
  • the probability that data containing only the i-th element belongs to class C 2 Let be p(x i
  • V ij be a vector whose elements are p(x i, . . . , x j
  • w ij is the inner product V ij ⁇ V iN of V ij and V iN .
  • the weight corresponding to the likelihood ratio when considering the i-th element to the j-th element of the sequence data considers the i-th element to the latest N-th element of the sequence data.
  • the more similar the classification result is between the i-th element to the j-th element of the series data the larger the value.
  • the likelihood ratio calculated taking into account the data inappropriate for discrimination is integrated as described above. The influence on the score can be reduced, and the discrimination accuracy can be improved.
  • V N be a vector whose elements are probabilities p(x N
  • C 2 ) are used as the weights w ij can also In this case, the most important weighting is the latest element x N of the series data.
  • a process of normalizing the weights may be included.
  • a normalization method for example, there is a method using the Softmax function.
  • the likelihood ratio calculated in advance by the index calculation unit 121 in step S103 can be used as the likelihood ratio shown in Equation (5).
  • Equation (5) shows an example of two-class classification in which the likelihood ratio between class C1 and class C2 is calculated, but the number of classes may be three or more.
  • the formula (5) is extended so that the integrated score between the a-th class and all classes other than the a-th class among the M classes can be calculated. can be used.
  • An example of such an extension is to use the maximum likelihood of all classes except the a-th class, as in Equation (6) below.
  • the m-th class (m is an arbitrary integer from 1 to M) is C m
  • a is an arbitrary integer from 1 to M
  • b is an integer from 1 to M other than a.
  • Equation (7) Another example is to use the sum of the likelihoods of all classes other than the a-th class, as in Equation (7) below.
  • the m-th class (m is an arbitrary integer from 1 to M) is C m
  • a is an arbitrary integer from 1 to M
  • b is an integer from 1 to M other than a.
  • Expressions (5) to (7) exemplify the case of using all of the input series data from the 1st element to the Nth element, but the number of elements to be considered may be arbitrary. For example, a maximum number P of elements to be used may be set in advance, and when the number of elements of input series data exceeds P, only the last P elements of the series data may be considered. This can prevent the calculation load from becoming too large.
  • an integrated index may be calculated by a method using LSTM or a deep neural network.
  • step S108 the classification unit 150 determines whether or not the series data can be classified into any class based on the integrated index calculated by the third calculation unit 140 .
  • the classification unit 150 determines whether the class can be classified, for example, based on whether there is a class whose integrated score exceeds a predetermined threshold. If the classification is not possible (NO in step S108), the process proceeds to step S101, and the acquisition unit 110 acquires the next element. If the classification is possible (YES in step S108), the process proceeds to step S109.
  • step S109 the classification unit 150 classifies the series data into one of the classes based on the integrated index. For example, if the integrated index is an integrated score, the series data is classified as belonging to a class whose integrated score exceeds a predetermined threshold.
  • steps S108 and S109 will be described in more detail with a specific example.
  • the classification process of this example is assumed to be a two -class classification into class C1 or class C2, and the threshold values used to determine class C1 and class C2 are T1 and T2, respectively .
  • L be the integrated score.
  • the classifying unit 150 classifies the series data into class C1, and the process ends. If L>T2, the classification unit 150 classifies the sequence data into class C2 , and the process ends. If L ⁇ T1 and L ⁇ T2, the classification unit 150 determines that classification is not possible, and the acquisition unit 110 acquires the next element.
  • M thresholds are prepared in the same manner as described above, and the magnitude relationship between each of the M integrated scores and the corresponding threshold is determined.
  • a similar classification process can be performed by At this time, the classification unit 150 classifies the series data into the class whose integrated score first exceeds the threshold. If the integrated score does not exceed any threshold, the classification unit 150 determines that classification is not possible, and the acquisition unit 110 acquires the next element.
  • the above classification method is an example and is not limited to this. For example, if the number of elements input in steps S107 and S108 is greater than a predetermined value (maximum number of elements), even if there is no class whose integrated score exceeds the threshold, the series data is forced to either
  • the procedure may be modified so as to end the processing after classifying the class. This can prevent the calculation time from becoming too long. In this example, it is desirable to make the criteria mutually exclusive to ensure classification into either class.
  • series data is classified using a plurality of elements of series data and an integrated index that considers the importance of each element.
  • classification can be performed according to the correlation length of the sequence data in consideration of the characteristics of the sequence data, so that the information processing apparatus 100 is provided that can classify the sequence data with high accuracy.
  • a medical image identification device 300 will be described as one application example of the information processing device 100 of the first embodiment. Differences from the first embodiment will be mainly described below, and descriptions of common parts will be omitted or simplified.
  • FIG. 4 is a functional block diagram of the medical image identification device 300 according to the second embodiment.
  • the medical image identification device 300 includes a classification device 301 , a medical information acquisition unit 302 and a medical information storage unit 303 .
  • the medical image identification device 300 can be configured including a computer, like the information processing device 100 shown in FIG. Therefore, description of the hardware configuration of the medical image identification device 300 is omitted.
  • the medical image identification device 300 is, for example, a device that detects cancer from medical information such as endoscopic images, CT images, and MRI images.
  • the medical image identification device 300 includes a device (such as an endoscope system) for acquiring medical information, and may operate standalone, and acquires medical information from other devices in the cancer detection system. cancer detection may be performed.
  • the medical image identification device 300 may be composed of a plurality of devices that are communicatively connected to each other.
  • the medical image identification device 300 can be, for example, an examination device for cancer examination. Alternatively, the medical image identification device 300 can be an inspection device for aneurysm inspection.
  • the medical information acquisition unit 302 is a device that acquires medical information, and can be, for example, an endoscope system capable of capturing moving images.
  • identifying medical information there is a case where a feature amount for matching is extracted from an image or the like acquired by the medical information acquisition unit 302 .
  • This feature amount extraction processing may be performed in the classification device 301, may be performed in the medical information acquisition unit 302 when medical information is acquired, or may be performed by another device.
  • the image itself acquired by the medical information acquisition unit 302 and the feature amount extracted therefrom may be collectively referred to as medical information.
  • the medical information storage unit 303 stores information necessary for processing in the classification device 301 such as medical information.
  • the information processing device 100 of the first embodiment is used for the classification device 301 .
  • the classification device 301 acquires series data whose elements are medical information as the series data described in the first embodiment.
  • the classification device 301 classifies the series data into one of a plurality of predetermined classes while referring to the information stored in the medical information storage unit 303 .
  • the multiple classes may be, for example, classes indicating the presence or absence of cancer.
  • the plurality of classes can include, for example, a class indicating that the input series data has a cancerous site and a class indicating that the input series data does not have a cancerous site.
  • the medical image identification device 300 of this embodiment includes a classification device 301 capable of classifying series data with high accuracy. This provides the medical image identification device 300 that can detect cancer more appropriately.
  • an example of cancer detection will be described as one example in which the feature of the information processing device 100 of the first embodiment, that is, the high accuracy of classification of series data is more utilized.
  • machine learning is used to calculate the degree of certainty that cancer is included in each image (frame) included in the image, and the degree of certainty corresponding to one input image.
  • a weighted sum of certainty factors corresponding to a predetermined number of fixed-length sheets is used as a classification score, and if the classification score exceeds a preset threshold, the image contains a cancerous site.
  • a time-series image extracted from a medical video is input as series data, and the luminance value of the image is used as a feature value to perform class classification indicating the presence or absence of cancerous sites in the series data. Therefore, cancer detection is possible.
  • a specific example of actually detecting cancer from an endoscopic image in the classification device 301 of this embodiment is shown below.
  • the data at a certain point in the endoscopic image is regarded as the first element of the series data, and the elements up to N frames ahead are regarded as one series data. It should be classified as whether it is a non-cancerous site.
  • N is an integer of 1 or more.
  • step S101 one frame included in the endoscopic video is read from the medical information acquisition unit 302 or the medical information storage unit 303.
  • step S102 it is checked whether there is a past element of the series data.
  • step S103 calculate the likelihood ratio considering only the elements of the input series data, and set it as an integrated score.
  • step S104 If there is a past element, proceed to step S104, read the past element, calculate the likelihood ratio considering the past data and the weight corresponding to the likelihood ratio in the procedure from step S104 to step S107, and calculate the integrated score Calculate
  • step S108 the integrated score is compared with a threshold value for class discrimination, and if the integrated score exceeds the threshold value for discriminating cancerous sites, in step S109 the series data is treated as an image of cancerous sites. Classify. If the integrated score exceeds the threshold for discriminating non-cancerous sites, the series data is classified as non-cancerous site images in step S109. If the integrated score does not exceed the threshold value of any class, the process returns to step S101, and one frame included in the endoscopic video is newly acquired from the medical information acquisition unit 302 or the medical information storage unit 303. .
  • the input sequence data includes cancerous sites that are easy to distinguish, cancerous sites that are difficult to distinguish, and non-cancerous sites.
  • a cancerous site that can be easily identified is, for example, a cancerous site that protrudes like a lump.
  • a difficult-to-distinguish cancerous site is, for example, a flat cancerous site with no protrusions or depressions. It is effective to detect cancerous sites that are difficult to distinguish using a plurality of images.
  • the sequence data is long, there are cases where cancerous sites and non-cancerous sites are mixed in the sequence data.
  • some of the elements of the series data that should be classified into different classes than the currently acquired elements are included. It is effective to set the weights so that the importance of the likelihood ratios calculated from the series data obtained is small, and to reduce the influence of the likelihood ratios on the integrated score for classification. Therefore, when classifying cancer detection, it is effective to use the classification processing of the information processing apparatus 100 of the first embodiment that uses one or more elements of series data while considering the importance of each element. is.
  • the device or system described in the above embodiments can also be configured as in the following third embodiment.
  • FIG. 5 is a functional block diagram of an information processing device 400 according to the third embodiment.
  • the information processing apparatus 400 includes an acquisition unit 410 , a first calculation unit 420 , a second calculation unit 430 , a third calculation unit 440 and a classification unit 450 .
  • Acquisition unit 410 sequentially acquires a plurality of elements included in series data.
  • the first calculation unit 420 calculates, for each of the plurality of elements, an index indicating to which of the plurality of classes it is appropriate to belong, considering two or more of the plurality of elements.
  • the second calculator 430 calculates a weight indicating the importance of each index of the plurality of elements.
  • the third calculation unit 440 weights and integrates the respective indices of the plurality of elements with the corresponding weights, and calculates an integrated index indicating to which of the plurality of classes the series data should belong. do.
  • the classification unit 450 classifies series data into one of classes based on the integrated index.
  • an information processing device 400 that can classify series data with high accuracy.
  • the present invention is not limited to the above-described embodiments, and can be modified as appropriate without departing from the gist of the present invention.
  • an example in which a part of the configuration of one of the embodiments is added to another embodiment, or an example in which a part of the configuration of another embodiment is replaced is also an embodiment of the present invention.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD (Compact Disk)-ROM, magnetic tape, nonvolatile memory card, and ROM can be used as the storage medium. Also, it is not limited to the one that executes the processing by the program recorded in the storage medium alone, but the one that operates on the OS (Operating System) and executes the processing in cooperation with other software and the functions of the expansion board. are also included in the scope of each embodiment.
  • SaaS Software as a Service
  • (Appendix 1) Acquisition means for sequentially acquiring a plurality of elements included in series data; a first calculation means for calculating, based on two or more of the plurality of elements, an index indicating which of the plurality of classes each of the plurality of elements should belong to; a second calculation means for calculating a weight indicating the importance of the index for each of the plurality of elements; a third step of calculating an integrated index indicating to which of the plurality of classes the series data should belong, by weighting the indexes of the plurality of elements with the corresponding weights and integrating them; calculating means; Classifying means for classifying the series data into one of the classes based on the integrated index; Information processing device.
  • the second calculation means calculates a weight indicating the degree of importance of the index for each of the plurality of elements, one or more of the indicators including the index corresponding to the weight calculated by the first calculation means. calculated using The information processing device according to appendix 1.
  • the second calculation means calculates a weight indicating the degree of importance of the index for each of the plurality of elements, the two or more indicators including the index corresponding to the weight calculated by the first calculation means. calculated using The information processing device according to appendix 1 or 2.
  • the index includes a likelihood ratio that indicates the likelihood that each of the plurality of elements belongs to a certain class among the plurality of classes, 4.
  • the information processing apparatus according to any one of Appendices 1 to 3.
  • the integrated index includes an integrated score that indicates the likelihood that the series data belongs to a class among the plurality of classes, 5.
  • the information processing apparatus according to any one of Appendices 1 to 4.
  • the first calculation means is a first storage means for storing at least the elements acquired in the past by the acquisition means; When an element of the series data is newly acquired by the acquisition means, based on the newly acquired element and the previously acquired element stored in the first storage means, index calculation means for calculating the index for the newly acquired element; comprising The information processing apparatus according to any one of Appendices 1 to 8.
  • the second calculation means is a second storage means for storing the index calculated in the past by the first calculation means; By using the index newly calculated by the first calculation means and the index calculated in the past stored in the second storage means, weight calculation means for calculating the weight; comprising The information processing device according to appendix 9.
  • the third calculation means is The index newly calculated by the first calculation means, the previously calculated index stored in the second storage means, and the newly calculated index calculated by the weight calculation means and a weight for each of the indices calculated in the past; integrated index calculation means for calculating the integrated index; comprising 11.
  • the series data is time series data, 12.
  • the information processing apparatus according to any one of appendices 1 to 11.
  • Appendix 13 medical information acquisition means for acquiring medical information of a subject;
  • the information processing device according to any one of Appendices 1 to 12; with The information processing device classifies the series data containing the medical information as the element into one of the classes.
  • Medical image identification device Medical image identification device.
  • the information processing device classifies the series data into one of the classes indicating the presence or absence of cancerous sites in the medical information. 14.
  • the medical image identification device according to appendix 13.
  • (Appendix 15) a step of sequentially obtaining a plurality of elements included in the series data; calculating, based on two or more of the plurality of elements, an index indicating which of the plurality of classes each of the plurality of elements should belong to; calculating a weight indicating the importance of the index for each of the plurality of elements; a step of weighting the indexes of the plurality of elements with the corresponding weights and integrating them to calculate an integrated index indicating to which of the plurality of classes the series data appropriately belongs; , classifying the series data into one of the classes based on the integrated index;
  • An information processing method comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

一実施形態によれば、情報処理装置（１００）は、系列データに含まれる複数の要素を逐次的に取得する取得部（１１０）と、複数の要素の各々について、複数のクラスのいずれに属することが妥当であるかを示す指標を、複数の要素のうちの２以上の要素に基づいて算出する第１算出部（１２０）と、複数の要素の各々の指標の重要度を示す重みを算出する第２算出部（１３０）と、複数の要素のそれぞれの指標を対応する重みで重み付けしたうえで統合して、系列データが複数のクラスのいずれに属することが妥当であるかを示す統合指標を算出する第３算出部（１４０）と、統合指標に基づいて、系列データをいずれかのクラスに分類する分類部（１５０）と、を備える。

Description

情報処理装置、情報処理方法、医療映像識別装置及びプログラムが格納された非一時的なコンピュータ可読媒体
　本発明は、情報処理装置、情報処理方法、医療映像識別装置、及び、プログラムが格納された非一時的なコンピュータ可読媒体に関する。
　特許文献１乃至４には、逐次確率比検定(Sequential Probability Ratio Test; SPRT)を用いた情報処理技術が開示されている。ＳＰＲＴは、逐次的に入力される系列データがあらかじめ定められた複数のクラスのうちのいずれに属するかを判定する手法の一種である。
特開２００９－２４５３１４号公報 特開２００８－２９９５８９号公報 特表２００１－５２３８２４号公報 国際公開第２０２０／１９４４９７号公報
　特許文献１乃至４に開示されているようなＳＰＲＴに用いられる数学公式においては、判別のための重要度が、入力された系列データのすべての要素において等しいものとして扱われていたため、系列データの性質によっては十分な精度が得られない場合があった。
　本開示は、このような課題を解決するためになされたものであり、精度良く系列データの分類を行うことが可能な情報処理装置、情報処理方法、医療映像識別装置、及び、プログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
　本開示にかかる情報処理装置は、系列データに含まれる複数の要素を逐次的に取得する取得手段と、前記複数の要素の各々について、複数のクラスのいずれに属することが妥当であるかを示す指標を、前記複数の要素のうちの２以上の要素に基づいて算出する第１算出手段と、前記複数の要素の各々の前記指標の重要度を示す重みを算出する第２算出手段と、前記複数の要素のそれぞれの前記指標を対応する前記重みで重み付けしたうえで統合して、前記系列データが前記複数のクラスのいずれに属することが妥当であるかを示す統合指標を算出する第３算出手段と、前記統合指標に基づいて、前記系列データをいずれかのクラスに分類する分類手段と、を備える。
　本開示にかかる情報処理方法は、系列データに含まれる複数の要素を逐次的に取得するステップと、前記複数の要素の各々について、複数のクラスのいずれに属することが妥当であるかを示す指標を、前記複数の要素のうちの２以上の要素に基づいて算出するステップと、前記複数の要素の各々の前記指標の重要度を示す重みを算出するステップと、前記複数の要素のそれぞれの前記指標を対応する前記重みで重み付けしたうえで統合して、前記系列データが前記複数のクラスのいずれに属することが妥当であるかを示す統合指標を算出するステップと、前記統合指標に基づいて、前記系列データをいずれかのクラスに分類するステップと、を備える。
　本開示にかかる非一時的なコンピュータ可読媒体には、コンピュータに、系列データに含まれる複数の要素を逐次的に取得するステップと、前記複数の要素の各々について、複数のクラスのいずれに属することが妥当であるかを示す指標を、前記複数の要素のうちの２以上の要素に基づいて算出するステップと、前記複数の要素の各々の前記指標の重要度を示す重みを算出するステップと、前記複数の要素のそれぞれの前記指標を対応する前記重みで重み付けしたうえで統合して、前記系列データが前記複数のクラスのいずれに属することが妥当であるかを示す統合指標を算出するステップと、前記統合指標に基づいて、前記系列データをいずれかのクラスに分類するステップと、を備える情報処理方法を実行させるためのプログラムが格納されている。
　本開示により、精度良く系列データの分類を行うことが可能な情報処理装置、情報処理方法、医療映像識別装置、及び、プログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
第１実施形態に係る系列データ分類システムの全体構成を示す模式図である。 第１実施形態に係る系列データ分類システムに設けられた情報処理装置の機能ブロック図である。 第１実施形態に係る情報処理装置により行われる分類処理の一例を示すフローチャートである。 第２実施形態に係る情報処理装置の適用例である医療映像識別装置の機能ブロック図である。 第３実施形態に係る情報処理装置の機能ブロック図である。
　以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
＜第１実施形態＞
　本実施形態に係る系列データ分類システムについて説明する。本実施形態の系列データ分類システムは、系列データに含まれる複数の要素を逐次的に取得して解析することにより、系列データをあらかじめ定められた複数のクラスのうちのいずれかに分類するためのシステムである。
　ここで系列データとは、複数の要素に分解可能なデータ列を意味する。系列データは時系列データであってもよく、非時系列データであってもよい。時系列データの具体例としては、動画データ、音声データ等が挙げられる。非時系列データの具体例としては、複数の箇所からサンプルした植生データ、製品の複数箇所の検査データ、生体認証用の複数の生体データ等が挙げられる。系列データが動画データである場合には、系列データに含まれる複数の要素とは、動画を構成する複数の画像（フレーム）であり得る。系列データが製品の複数箇所の検査データである場合には、系列データに含まれる複数の要素とは、製品の各箇所の検査データであり得る。なお、本実施形態の分類処理が適用可能な系列データ及び要素はこれらに限られるものではない。
　系列データが製品の複数箇所の検査データである場合、本実施形態の系列データ分類システムによる分類されるクラスとは、例えば、製品が良品であることを示す第１クラス及び製品が不良品であることを示す第２クラスであり得る。系列データが医療データを構成する複数の画像（フレーム）である場合、本実施形態の系列データ分類システムによる分類されるクラスとは、例えば、画像に癌化部位が含まれることを示す第１クラス及び癌化部位が含まれないことを示す第２クラスであり得る。なお、クラスの数は３以上であってもよい。
　図１は、本実施形態に係る系列データ分類システムの全体構成を示す模式図である。図１は、系列データ分類システムに含まれるハードウェアの構成を示している。系列データ分類システムは、情報処理装置１００と、データ取得装置２０１と、入力装置２０２と、表示装置２０３とを備える。
　情報処理装置１００は、携帯電話機、スマートフォン、デスクトップＰＣ（Personal Computer）、ラップトップＰＣ、サーバ等のコンピュータである。情報処理装置１００は、プロセッサ１０１、メモリ１０２、ストレージ１０３、入出力Ｉ／Ｆ（Interface）１０４及び通信Ｉ／Ｆ１０５を備える。情報処理装置１００の各部は、バス、配線、駆動装置等を介して相互に接続されており、制御信号及びデータを相互に送受信することができる。
　プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置である。メモリ１０２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等の揮発性又は不揮発性の記憶媒体である。ストレージ１０３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード等の不揮発性の記憶媒体である。
　メモリ１０２又はストレージ１０３は、情報処理装置１００の情報処理機能を実現するためのプログラムを記憶している。プロセッサ１０１は、上述のプログラムを実行する際、プログラムをメモリ１０２上に読み出してから実行してもよく、メモリ１０２上に読み出さずに実行してもよい。
　また、上述のプログラムは、様々な種類の非一時的なコンピュータ可読媒体を用いて格納され、情報処理装置１００に供給され得る。非一時的なコンピュータ可読媒体とは、様々な種類の形態の記憶媒体を含む。非一時的なコンピュータ可読媒体は、例えば、磁気記憶媒体、光磁気記憶媒体、光記憶媒体及び半導体メモリを含む。
　磁気記憶媒体の例としては、フレキシブルディスク、磁気テープ、ハードディスクドライブ等が挙げられる。光磁気記憶媒体の例としては、光磁気ディスクが挙げられる。光記憶媒体の例としては、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ(Compact Disc Recordable)、ＣＤ－Ｒ／Ｗ(Compact Disc Rewritable)が挙げられる。 半導体メモリの例としては、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭが挙げられる。
　また、プログラムは、様々な種類の一時的なコンピュータ可読媒体によって情報処理装置１００に供給されてもよい。一時的なコンピュータ可読媒体は、例えば、電気信号、光信号及び電磁波を含む。一時的なコンピュータ可読媒体は、電線、光ファイバ等の有線通信路又は無線通信路を介してプログラムを情報処理装置１００に供給され得る。
　入出力Ｉ／Ｆ１０４は、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）等の規格に基づく周辺機器との通信を行うための通信インターフェースである。入出力Ｉ／Ｆ１０４は、データ取得装置２０１、入力装置２０２及び表示装置２０３に対して有線又は無線により通信接続を行うことができる。これにより、情報処理装置１００は、データ取得装置２０１、入力装置２０２及び表示装置２０３に対してデータ及び制御信号の送受信を行うことができる。
　通信Ｉ／Ｆ１０５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースである。通信Ｉ／Ｆ１０５は、外部の装置に対して有線又は無線により通信接続を行うことができる。これにより、情報処理装置１００は、外部の装置に対してデータの送受信を行うことができる。
　データ取得装置２０１は、系列データを取得するための装置である。例えば、系列データが製品の検査データである場合には、データ取得装置２０１は、工場等に設けられた検査装置であり得る。例えば、系列データが生体認証用の生体データである場合には、データ取得装置２０１は、デジタルカメラ、マイクロホン、指紋採取用スキャナ等の生体情報取得用の装置であり得る。例えば、系列データが病変検知用の医療データである場合には、データ取得装置２０１は、内視鏡システム、MRI(Magnetic Resonance Imaging)システム、CT(Computed Tomography)システム等の医療情報取得用の装置であり得る。データ取得装置２０１がセンサ等のアナログ信号を取得する装置を含んでいる場合には、データ取得装置２０１は、アナログ信号をデジタルデータに変換するＡＤ変換（Analog-to-Digital Conversion）装置を含み得る。データ取得装置２０１による取得された系列データは、情報処理装置１００に入力される。
　入力装置２０２は、ユーザによる情報処理装置１００の操作を受け付けるためのユーザインターフェースである。入力装置２０２の例としては、キーボード、マウス、トラックボール、タッチセンサ、ペンタブレット、ボタン等が挙げられる。表示装置２０３は、プロセッサ１０１により処理された描画データに基づく画面を表示する装置である。表示装置２０３の例としては、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ(Cathode Ray Tube)ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等が挙げられる。入力装置２０２及び表示装置２０３は、タッチパネルとして一体に形成されていてもよい。
　なお、図１に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ストレージ１０３は、情報処理装置１００の外部のクラウドストレージに置換されていてもよい。また、系列データの取得が系列データ分類システムとは別のシステムで行われる場合には、データ取得装置２０１は省略され得る。あるいは、データ取得装置２０１、入力装置２０２又は表示装置２０３が情報処理装置１００内に設けられていてもよい。このように、図１に示されているハードウェア構成は適宜変更可能である。
　図２は、本実施形態に係る情報処理装置１００の機能ブロック図である。情報処理装置１００は、取得部１１０、第１算出部１２０、第２算出部１３０、第３算出部１４０及び分類部１５０を備える。第１算出部１２０は、指標算出部１２１及び第１記憶部１２２を備える。第２算出部１３０は、重み算出部１３１及び第２記憶部１３２を備える。第３算出部１４０は、統合指標算出部１４１及び第３記憶部１４２を備える。
　プロセッサ１０１は、メモリ１０２又はストレージ１０３等に記憶されたプログラムを実行することにより、取得部１１０、指標算出部１２１、重み算出部１３１、統合指標算出部１４１及び分類部１５０の機能を実現する。また、プロセッサ１０１は、当該プログラムに基づいてストレージ１０３を制御することにより第１記憶部１２２、第２記憶部１３２及び第３記憶部１４２の機能を実現する。これらの各部で行われる具体的な処理については後述する。
　図３は、本実施形態に係る情報処理装置１００により行われる分類処理の一例を示すフローチャートである。図３に示されている分類処理は、入力された系列データをあらかじめ定められた複数のクラスのうちのいずれかに分類する処理である。図３の分類処理は、複数の要素を含む系列データから１つずつ要素を取得して統合指標を順次算出するループ処理（ステップＳ１０１からステップＳ１０７）を含む。このループ処理は、統合指標に基づいて系列データの分類先のクラスが確定するまで繰り返し行われる。
　図３の処理は、例えば、入力装置２０２に対して所定のユーザ操作があったときに開始されるものであり得る。しかしながら、処理の開始タイミングはこれに限られるものではない。例えば、図３の処理は、データ取得装置２０１から系列データが入力されたときに実行されるものであってもよい。また、データ取得装置２０１が監視カメラである場合のように系列データが連続的に入力されている場合には、図３の処理は、所定の時間間隔ごとに繰り返し実行されるものであってもよい。
　ステップＳ１０１において、取得部１１０は、系列データのうちの１つの要素を取得する。このときの取得処理は、データ取得装置２０１からデータを直接取得するものであってもよく、あらかじめデータ取得装置２０１から取得されストレージ１０３等に記憶されているデータを読み出すものであってもよい。その後、ステップＳ１０２に処理を進める。
　ステップＳ１０２において、指標算出部１２１は、第１記憶部１２２を参照し、過去データの有無を判断する。過去データとは、過去に取得された要素、及び、当該要素を含む過去に取得された１つ以上の要素に対する指標算出部１２１による処理結果（指標、例えば尤度比）などである。
　例えば、ステップＳ１０２において、過去データが存在しない場合（ステップＳ１０２のＮＯ）には、ステップＳ１０３に処理を進める。ステップＳ１０３において、指標算出部１２１は、系列データの最初の要素を考慮して、入力された要素が複数のクラスのいずれに属することが妥当であるかを示す指標を算出する。第１算出部１２０は、算出した指標を第２算出部１３０に出力するとともに、必要に応じて処理結果を第１記憶部１２２に記憶させる。ここで、指標とは、例えば、ある要素が複数のクラスのうちのあるクラスに属することの尤もらしさを示す尤度比であり得る。あるいは、指標は尤度比を変数として含む関数であってもよい。以下の説明では、指標は尤度比であるものとする。なお、ステップＳ１０３において算出された尤度比は、統合スコアとして用いられる。その後、ステップＳ１０８に処理を進める。ステップＳ１０８の処理については後述する。
　それに対し、ステップＳ１０２において、過去データが存在する場合（ステップＳ１０２のＹＥＳ）には、ステップＳ１０４に処理を進める。ステップＳ１０４において、指標算出部１２１は、第１記憶部１２２に記憶されている過去データを読み出す。なお、第１記憶部１２２は、指標算出部１２１によって処理が行われるごとに処理結果及び入力された要素を記憶する。この記憶処理は、過去に記憶された情報に新たな情報を上書きするものであってもよく、過去に記憶された情報を残しつつ新たな情報を追加するものであってもよい。その後、ステップＳ１０５に処理を進める。
　ステップＳ１０５において、指標算出部１２１は、系列データに含まれる複数の要素のうちの２以上の要素を考慮して、入力された要素が複数のクラスのいずれに属することが妥当であるかを示す指標（尤度比）を算出する。２以上の要素とは、新たに取得された要素と、過去データに含まれている過去に処理された要素とを含む。第１算出部１２０は、算出した指標を第２算出部１３０に出力するとともに、必要に応じて処理結果を第１記憶部１２２に記憶させる。
　なお、指標算出部１２１は、系列データから入力された要素から特徴を抽出する。このとき、指標算出部１２１は、過去データが存在しない場合は入力された要素を考慮して特徴抽出を行い、過去データが存在する場合は入力された要素と過去データとの関連性を考慮して特徴抽出を行う。特徴抽出の具体的な手法としては、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network; CNN）を用いることができるがこれに限られるものでない。また、過去データを記憶し、現在の入力データとの関係性を算出する具体的な手法としては、例えば、ＬＳＴＭ（Long Short Term Memory）を用いることができるがこれに限られるものでない。
　尤度比の具体例を説明する。系列データを構成するＮ（Ｎは１以上の整数）個の要素を、ｘ１，・・・，ｘＮとし、複数のクラスをＣ１，Ｃ２とする。すなわち、本例では、簡略化のため、クラスの数が２である２クラス分類であるものとする。
　ここで、過去データが存在しない場合（ステップＳ１０２のＮＯ）等では、要素ｘｉ（ここでは、ｉは１～Ｎの任意の整数）がクラスＣ１に属する確率をｐ（ｘｉ｜Ｃ１）と表記し、また、要素ｘｉがクラスＣ２に属する確率をｐ（ｘｉ｜Ｃ２）と表記する。このとき、これらの尤度比は、以下の式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
　式（１）の尤度比は、要素ｘｉがクラスＣ１に属する確率と要素ｘｉがクラスＣ２に属する確率との尤もらしさの比を示している。例えば、尤度比が１を超えている場合には、ｐ（ｘｉ｜Ｃ１）＞ｐ（ｘｉ｜Ｃ２）であるため、要素ｘｉはクラスＣ２よりもクラスＣ１に分類する方が妥当である。このように、式（１）の尤度比は、入力された要素がクラスＣ１とクラスＣ２のいずれに属することが妥当であるかを示す指標として機能する。
　また、指標算出部１２１は、過去データが存在する場合（ステップＳ１０２のＹＥＳ）等では、上述のように複数の要素、すなわち、入力された要素と過去データとの関連性を考慮して算出することができる。このとき、例えば、２つの要素ｘｉ，ｘｊ（ｉ，ｊは１～Ｎの任意の整数、但しｉ≦ｊ）を考慮して算出された尤度比は、以下の式（２）のように表記されるものとする。
Figure JPOXMLDOC01-appb-M000002
　ステップＳ１０５の処理の後、ステップＳ１０６に処理を進める。ステップＳ１０６において、重み算出部１３１は、第１記憶部１２２から過去に算出された尤度比を読み出す。重み算出部１３１は、指標算出部１２１によって今回計算された尤度比と、過去に算出された尤度比と、を使用して、今回計算された尤度比と、過去に算出された尤度比の各々に対応する重みを算出する。第２記憶部１３２は、重み算出部１３１によって算出された重みを記憶する。ここでの「重み」は今回計算された尤度比と、過去に算出された尤度比とが、新たに算出される統合指標に与える影響度を調整するための値であり、新たに取得された要素の信頼度に応じて算出される。「信頼度」は、尤度比の算出に係る信頼性の度合いであり、例えば適切な尤度比が算出される要素の信頼度は高くなり、適切でない尤度比が算出される要素の信頼度は低くなる。
　ここで、重みとは、例えば、系列データを構成する要素のうち、要素ｘｉから要素ｘｊまでの要素を考慮して計算した、入力データが各クラスに属する確率を要素とするベクトルＶｉｊと、系列データを構成する要素のうち、要素ｘｉから要素ｘＮまでの要素を考慮して計算した、入力データが各クラスに属する確率を要素とするベクトルＶｉＮとの内積Ｖｉｊ・ＶｉＮであり得る。なお、ｉ，ｊは何れも１～Ｎの任意の整数である。但し、ｉ≦ｊである。以下の説明では、重みは、前記内積によって求められるものとする。
　なお、前記重みの算出は前記内積によって求められる場合に限られない。例えば、第３記憶部１４２から過去に算出された統合指標を読み出し、前記重みの算出に使用してもよい。その後、ステップＳ１０７に処理を進める。
　ステップＳ１０７において、統合指標算出部１４１は、指標算出部１２１によって今回計算された尤度比と、過去に算出された尤度比と、重み算出部１３１によって今回計算された重みとを統合して新たな統合指標を算出する。
　統合指標とは、系列データの全体が複数のクラスのいずれに属することが妥当であるかを示すものである。過去の統合指標とは、本処理が系列データのｊ番目の要素に対する処理である場合には、ｊ番目よりも前の要素に対して統合指標算出部１４１で算出された統合指標を意味する。過去の尤度比とは、本処理が系列データのｊ番目の要素に対する処理である場合には、ｊ番目よりも前の要素に対して指標算出部１２１で算出された尤度比を意味する。なお、第３記憶部１４２は、統合指標算出部１４１によって処理が行われるごとに統合指標を記憶する。この記憶処理は、過去に記憶された統合指標に新たな統合指標を上書きすることにより統合指標の値を更新するものであってもよく、過去に記憶された統合指標を残したまま新たな統合指標を追加するものであってもよい。
　統合指標は、例えば、過去の尤度比を含む算出されたすべての尤度比に、各々の尤度比に対応する重みを乗じた値の和であり得る。以下の説明では、前記の各々の尤度比に対応する重みを乗じた値の和を統合スコアと呼ぶ。あるいは、統合指標は統合スコアを変数として含む関数であってもよい。以下の説明では、統合指標は統合スコアであるものとする。
　クラスの数が２である場合について、統合スコアの具体例を説明する。統合スコアの算出時点において、Ｎ個の要素が入力されている場合、このＮ個の要素は、ｘ１，・・・，ｘＮと表される。ここで、系列データのｉ番目の要素から、Ｎ番目の要素までの要素を含むデータ全体がクラスＣ１に属する確率をｐ（ｘｉ，・・・，ｘＮ｜Ｃ１）と表記する。また、系列データのｉ番目の要素から、Ｎ番目の要素までの要素を含むデータ全体がクラスＣ２に属する確率をｐ（ｘｉ，・・・，ｘＮ｜Ｃ２）と表記する。なお、１≦ｉ≦Ｎであり、ｉ＝Ｎのとき、Ｎ番目の要素のみが含まれるデータがクラスＣ１に属する確率はｐ（ｘＮ｜Ｃ１）およびＮ番目の要素のみが含まれるデータがクラスＣ２に属する確率はｐ（ｘＮ｜Ｃ２）である。このとき、これらの尤度比は以下の式（３）で表される。
Figure JPOXMLDOC01-appb-M000003
　従来のＳＰＲＴのように、系列データの１番目の要素から、Ｎ番目の要素までを含む尤度比のみを統合スコアとして使用する場合には、統合スコアは、以下の式（４）で表される。
Figure JPOXMLDOC01-appb-M000004
　しかしながら、上述したように本実施形態では、過去の尤度比を含む算出されたすべての尤度比を各々の重要度を考慮して統合スコアを計算する。したがって、式（４）のように一つの尤度比のみを統合スコアとすること代わりに、過去の尤度比を含む算出されたすべての尤度比の数に応じて異なる計算式により統合スコアの計算が行われる。
　例えば、系列データのＮ番目の要素まで入力された場合、以下の式（５）を用いて統合スコアを算出することができる。なお、ｉは１以上Ｎ以下の整数であり、ｊはｉ以上Ｎ以下の整数である。また、ｉ＝ｊのとき、ｉ番目の要素のみが含まれるデータがクラスＣ１に属する確率はｐ（ｘｉ｜Ｃ１）およびｉ番目の要素のみが含まれるデータがクラスＣ２に属する確率はｐ（ｘｉ｜Ｃ２）である。また、ｗｉｊは重み算出部１３１によって算出される、各尤度比の重要度を示す重みである。
Figure JPOXMLDOC01-appb-M000005
　重みの具体例を説明する。系列データを構成する要素のうち、１番目からＮ番目の要素ｘ１，・・・，ｘＮまで入力されたとし、複数のクラスをＣ１，Ｃ２とする。すなわち、本例では、簡略化のため、クラスの数が２である２クラス分類であるものとする。ここで、要素ｘｉから要素ｘｊまでの要素が含まれる系列データがクラスＣ１に属する確率をｐ（ｘｉ，　．．．　，ｘｊ｜Ｃ１）と表記する。また、要素ｘｉから要素ｘｊまでの要素が含まれる系列データがクラスＣ２に属する確率をｐ（ｘｉ，　．．．　，ｘｊ｜Ｃ２）と表記する。なお、ｉは１以上Ｎ以下の整数であり、ｊはｉ以上Ｎ以下の整数である。また、ｉ＝ｊのとき、ｉ番目の要素のみが含まれるデータがクラスＣ１に属する確率はｐ（ｘｉ｜Ｃ１）およびｉ番目の要素のみが含まれるデータがクラスＣ２に属する確率はｐ（ｘｉ｜Ｃ２）であるものとする。ｐ（ｘｉ，　．．．　，ｘｊ｜Ｃ１）およびｐ（ｘｉ，　．．．　，ｘｊ｜Ｃ２）を要素とするベクトルをＶｉｊとしたとき、前記式（５）における重みｗｉｊはＶｉｊとＶｉＮの内積Ｖｉｊ・ＶｉＮとなる。これにより、前記系列データのｉ番目の要素からｊ番目の要素を考慮した場合の尤度比に対応する重みは、前記系列データのｉ番目の要素から最新の要素であるＮ番目要素までを考慮した場合と、前記系列データのｉ番目の要素からｊ番目の要素を考慮した場合の分類結果が類似しているほど大きくなる。これにより、過去に取得した系列データに、異なるクラスのデータなどの判別に不適切なデータが混入していた場合でも、判別に不適切なデータを考慮して計算された尤度比が前記統合スコアに与える影響を小さくすることができ、判別精度を向上させることができる。
　なお、重みの算出方法は上述のものに限られない。例えば、系列データの最新の要素ｘＮのみを考慮した確率ｐ（ｘＮ｜Ｃ１）およびｐ（ｘＮ｜Ｃ２）を要素とするベクトルをＶＮとし、ｐ（ｘｉ，　．．．　，ｘｊ｜Ｃ１）およびｐ（ｘｉ，　．．．　，ｘｊ｜Ｃ２）を要素とするベクトルＶｉｊと前記ＶＮとの内積を前記式（５）における重みｗｉｊとして使用することもできる。この場合、系列データの最新の要素ｘＮが最も重要視された重み付けとなる。また、別の例としては、前記ベクトルＶｉｊと、ｐ（ｘｉ，　．．．　，ｘｊ－１｜Ｃ１）およびｐ（ｘｉ，　．．．　，ｘｊ－１｜Ｃ２）を要素とするベクトルＶｉｊ－１との差Ｖｉｊ　－Ｖｉｊ－１を計算し、Ｖｉｊ　－Ｖｉｊ－１の絶対値を前記式（５）における重みｗｉｊとして使用することもできる。この場合、新たに入力された系列データが、１時刻前の系列データと比較して大きく変化した場合のデータを重要視する重み付けとなる。なお、重みの算出方法はこれらに限られるものではない。
　計算可能な重みすべてを計算したのち、重みを正規化する処理をいれてもよい。正規化の手法として、例えば、Softmax関数を使用する方法がある。
　なお、式（５）に示されている尤度比には、ステップＳ１０３においてあらかじめ指標算出部１２１により算出された尤度比を用いることができる。
　式（５）では、クラスＣ１とクラスＣ２との尤度比を算出する２クラス分類の場合の例を示しているが、クラスの数は３以上であってもよい。例えば、クラスの数がＭ個である場合には、Ｍ個のクラスのうちのａ番目のクラスとａ番目以外のすべてのクラスとの間の統合スコアを算出できるように式（５）を拡張したものを用いることができる。そのような拡張の例としては、以下の式（６）のようにａ番目以外のすべてのクラスのうちの最大尤度を用いるものが挙げられる。なお、式（６）において、ｍ番目（ｍは１～Ｍの任意の整数）のクラスをＣｍとし、ａは１～Ｍの任意の整数、ｂは１～Ｍのａ以外の整数すべてを取りうる。
Figure JPOXMLDOC01-appb-M000006
　また、別の例としては、以下の式（７）のように、ａ番目以外のすべてのクラスの尤度の和を用いるものが挙げられる。なお、式（７）において、ｍ番目（ｍは１～Ｍの任意の整数）のクラスをＣｍとし、ａは１～Ｍの任意の整数、ｂは１～Ｍのａ以外の整数すべてを取りうる。なお、クラスの数が３以上である場合における統合スコアの算出方法はこれらに限られるものではない。
Figure JPOXMLDOC01-appb-M000007
　式（５）から式（７）では入力された系列データの１番目の要素からＮ番目の要素まですべてを使用する場合について例示しているが、考慮する要素数は任意でよい。例えば、使用する最大要素数Ｐをあらかじめ設定しておき、入力された系列データの要素数がＰを超えた場合には系列データの後半Ｐ個のみを考慮するようにしてもよい。これにより、計算負荷が大きくなりすぎることを防ぐことができる。
　なお、統合指標の算出方法は上述のものに限られない。例えば、ＬＳＴＭ又は深層ニューラルネットワークを用いた方法により統合指標を算出してもよい。
　ステップＳ１０７の処理の後、ステップＳ１０８に処理を進める。ステップＳ１０８において、分類部１５０は、第３算出部１４０で算出された統合指標に基づいて系列データをいずれかのクラスに分類可能か否かを判定する。統合指標が統合スコアである場合には、分類部１５０は、例えば、統合スコアが所定の閾値を超えているクラスが存在するか否かに基づいてクラスの分類可否を判定する。分類可能でない場合（ステップＳ１０８のＮＯ）には、処理はステップＳ１０１に移行し、取得部１１０は次の要素を取得する。分類可能である場合（ステップＳ１０８のＹＥＳ）には、処理はステップＳ１０９に移行する。
　ステップＳ１０９において、分類部１５０は、統合指標に基づいて系列データをいずれかのクラスに分類する。例えば、統合指標が統合スコアである場合には、系列データは、統合スコアが所定の閾値を超えているクラスに属するものとして分類される。
　ステップＳ１０８とステップＳ１０９の処理について具体例を挙げてより詳細に説明する。本例の分類処理は、クラスＣ１又はクラスＣ２への２クラス分類であるものとし、クラスＣ１とクラスＣ２の判定に用いる閾値をそれぞれＴ１、Ｔ２とする。また、統合スコアをＬ、とする。
　この場合、Ｌ＞Ｔ１である場合には、分類部１５０は、系列データをクラスＣ１に分類し、本処理は終了する。Ｌ＞Ｔ２である場合には、分類部１５０は、系列データをクラスＣ２に分類し、本処理は終了する。Ｌ≦Ｔ１かつＬ≦Ｔ２である場合には、分類部１５０は、分類可能でないと判定し、取得部１１０は次の要素を取得する。
　なお、クラスの数が３以上のＭ個である場合には、上述と同様にＭ個の閾値を準備しておき、Ｍ個の統合スコアのそれぞれに対して対応する閾値との大小関係を判定することにより同様の分類処理が行われ得る。このとき、分類部１５０は、統合スコアが最初に閾値を超えたクラスに系列データを分類する。統合スコアがいずれの閾値も超えない場合には、分類部１５０は、分類可能でないと判定し、取得部１１０は次の要素を取得する。
　上述の分類手法は例示であり、これに限られない。例えば、ステップＳ１０７、Ｓ１０８において入力された要素数が所定値（最大要素数）よりも多い場合には、統合スコアが閾値を超えているクラスが存在しなくても系列データを強制的にいずれかのクラスに分類して処理を終了するように手順を変形してもよい。これにより、計算時間が長くなりすぎることを防ぐことができる。この例では、いずれかのクラスに確実に分類されるように判定基準を相互排他的なものとすることが望ましい。
　相互排他的な判定基準の具体例を説明する。２クラス分類の場合には、要素数が最大要素数を超えた場合には、統合スコアＬの値が０以上であるか否かにより系列データを２つのクラスのいずれかに分類するという手法を用いることができる。また、Ｍクラス分類の場合には、各クラスに対応する総合尤度比のうち、値が最大であるクラスに系列データを分類するという手法を用いることができる。
　以上のように、本実施形態によれば、系列データの複数の要素と、各要素の重要度が考慮された統合指標を用いて系列データの分類が行われる。これにより、系列データの性質が考慮された系列データの相関長に応じた分類が行われ得るため、精度良く系列データの分類を行うことができる情報処理装置１００が提供される。
＜第２実施形態＞
　本実施形態では、第１実施形態の情報処理装置１００の適用例の１つとして、医療映像識別装置３００を説明する。以下では主として第１実施形態との相違点について説明するものとし、共通部分については説明を省略又は簡略化する。
　図４は、第２実施形態に係る医療映像識別装置３００の機能ブロック図である。医療映像識別装置３００は、分類装置３０１、医療情報取得部３０２及び医療情報記憶部３０３を備える。医療映像識別装置３００は、図１に示した情報処理装置１００と同様にコンピュータを含んで構成され得る。そのため、医療映像識別装置３００のハードウェア構成の説明は省略する。
　医療映像識別装置３００は、例えば、内視鏡画像、CT画像、MRI画像等の医療情報から癌を検知する装置である。医療映像識別装置３００は、医療情報を取得するための装置（内視鏡システム等）を備え、スタンドアローンで動作するものであってもよく、癌検知システム内の他の装置から医療情報を取得して癌検知を行うものであってもよい。また、医療映像識別装置３００は互いに通信接続された複数の装置により構成されていてもよい。
　医療映像識別装置３００は、例えば、癌検査用の検査装置であり得る。あるいは、医療映像識別装置３００は、動脈瘤検査用の検査装置であり得る。
　医療情報取得部３０２は、医療情報を取得する装置であり、例えば動画を撮影可能な内視鏡システムであり得る。なお、医療情報の識別において、医療情報取得部３０２で取得された画像等から照合用の特徴量を抽出する場合がある。この特徴量抽出処理は、分類装置３０１内で行われてもよく、医療情報取得部３０２内で医療情報取得時に行われてもよく、その他の装置により行われてもよい。本明細書において、医療情報取得部３０２で取得された画像等そのものと、これから抽出された特徴量とをまとめて医療情報と表記することがある。
　医療情報記憶部３０３は、医療情報等の分類装置３０１での処理に必要な情報を記憶する。分類装置３０１には、第１実施形態の情報処理装置１００が用いられる。分類装置３０１は、医療情報を要素とする系列データを第１実施形態で述べた系列データとして取得する。分類装置３０１は、医療情報記憶部３０３に記憶された情報を参照しつつ、この系列データをあらかじめ定められた複数のクラスのうちのいずれかに分類する。ここで、複数のクラスとは、例えば、癌の有無を示すクラスであり得る。言い換えると、複数のクラスは、例えば、入力された系列データに癌化部位が存在することを示すクラス及び入力された系列データに癌化部位が存在しないことを示すクラスを含み得る。
　本実施形態の医療映像識別装置３００は、精度良く系列データの分類を行うことができる分類装置３０１を備える。これにより、より適切に癌検知を行い得る医療映像識別装置３００が提供される。
　本実施形態の医療映像識別装置３００において、系列データの分類精度が高いという第１実施形態の情報処理装置１００の特徴がより活かされる例の１つとして、癌検知の例を説明する。内視鏡映像等の医療映像から癌を検知する手法として、映像に含まれる画像（フレーム）ごとに癌が含まれる確信度を機械学習で計算し、入力された1つの画像に対応する確信度、または、事前に決定された固定長の枚数に対応する確信度の重み付き和を分類用のスコアとし、分類用スコアが事前に設定した閾値を超えた場合に前記画像に癌化部位が含まれていると判定する手法がある。本実施形態の分類装置３０１において、系列データとして医療映像から一部を抽出した時系列画像を入力し、画像の輝度値を特徴量として、系列データの癌化部位の有無を示すクラス分類を行うことにより癌検知が可能である。
　本実施形態の分類装置３０１において実際に内視鏡映像から癌検知を行う具体例を以下に示す。本具体例では、内視鏡映像のある時点でのデータを系列データの１番目の要素とし、そこから最大Ｎフレーム先までの要素を１つの系列データとみなし、本系列データが癌化部位か非癌化部位かを分類するものとする。なお、Ｎは１以上の整数である。
　まず、ステップＳ１０１において医療情報取得部３０２または医療情報記憶部３０３から内視鏡映像に含まれる１フレームを読み出す。
　次にステップＳ１０２において、系列データの過去の要素が存在するか確認を行う。
　過去の要素が存在しない場合、ステップＳ１０３へと進み、入力された系列データの要素のみを考慮して尤度比を計算し統合スコアとする。
　過去の要素が存在した場合、ステップＳ１０４へと進み、過去の要素を読み出し、ステップＳ１０４からステップＳ１０７の手順で過去データを考慮した尤度比と尤度比に対応した重みを計算し、統合スコアを算出する。
　ステップＳ１０８において、前記統合スコアをクラス判別のための閾値と比較し、前記統合スコアが癌化部位と判別するための閾値を超えていた場合は、ステップＳ１０９において系列データを癌化部位の映像と分類する。また、前記統合スコアが非癌化部位と判別するための閾値を超えていた場合は、ステップＳ１０９において系列データを非癌化部位の映像と分類する。上述の統合スコアがいずれのクラスの閾値も超えていなかった場合はステップＳ１０１に処理を戻し、医療情報取得部３０２または医療情報記憶部３０３から新たに内視鏡映像に含まれる１フレームを取得する。
　この手法では、入力される系列データには、判別が容易な癌化部位、判別が困難な癌化部位、癌化していない部位が含まれ、また、癌の大きさが医療映像ごとに異なる場合が多い。判別が容易な癌化部位とは、例えば、瘤状に隆起した癌化部位である。判別が困難な癌化部位とは、例えば、隆起、陥没が見られない平坦な癌化部位である。判別が困難な癌化部位に対しては、複数枚の画像を使用して検知を行うことが効果的である。また、系列データを長くとると、系列データに癌化部位と非癌化部位が混在する場合がある。系列データ内に異なるクラスに分類されるべきデータが混在することで検知精度が悪化することを防ぐため、系列データの要素のうち、現在取得した要素とは異なるクラスに分類されるべき要素が含まれる系列データから算出された尤度比の重要度が小さくなるように重みを設定し、前記尤度比が分類のための統合スコアに与える影響を小さくすることが効果的である。そのため、癌検知の分類を行う場合においては、１以上の系列データの要素を、要素ごとの重要度を考慮しながら使用する第１実施形態の情報処理装置１００の分類処理を用いることが効果的である。
　上述の実施形態において説明した装置又はシステムは以下の第３実施形態のようにも構成することができる。
＜第３実施形態＞
　図５は、第３実施形態に係る情報処理装置４００の機能ブロック図である。情報処理装置４００は、取得部４１０、第１算出部４２０、第２算出部４３０、第３算出部４４０、及び分類部４５０を備える。取得部４１０は、系列データに含まれる複数の要素を逐次的に取得する。第１算出部４２０は、複数の要素の各々について、複数のクラスのいずれに属することが妥当であるかを示す指標を、複数の要素のうちの２以上の要素を考慮して算出する。第２算出部４３０は、複数の要素の各々の指標の重要度を示す重みを算出する。第３算出部４４０は、複数の要素のそれぞれの指標を対応する前記重みで重み付けしたうえで統合して、系列データが複数のクラスのいずれに属することが妥当であるかを示す統合指標を算出する。分類部４５０は、統合指標に基づいて、系列データをいずれかのクラスに分類する。
　本実施形態によれば、精度良く系列データの分類を行うことができる情報処理装置４００が提供される。
＜その他の実施形態＞
　本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
　上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field Programmable Gate Array)等の回路であってもよい。
　該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ(Compact Disk)－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ(Operating System)上で動作して処理を実行するものも各実施形態の範疇に含まれる。
　上述の各実施形態の機能により実現されるサービスは、ＳａａＳ(Software as a Service)の形態でユーザに対して提供することもできる。
　なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
　また、上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　系列データに含まれる複数の要素を逐次的に取得する取得手段と、
　前記複数の要素の各々について、複数のクラスのいずれに属することが妥当であるかを示す指標を、前記複数の要素のうちの２以上の要素に基づいて算出する第１算出手段と、
　前記複数の要素の各々の前記指標の重要度を示す重みを算出する第２算出手段と、
　前記複数の要素のそれぞれの前記指標を対応する前記重みで重み付けしたうえで統合して、前記系列データが前記複数のクラスのいずれに属することが妥当であるかを示す統合指標を算出する第３算出手段と、
　前記統合指標に基づいて、前記系列データをいずれかのクラスに分類する分類手段と、
　を備える情報処理装置。
（付記２）
　前記第２算出手段は、前記複数の要素の各々の前記指標の重要度を示す重みを、前記第１算出手段によって算出された、当該重みに対応する前記指標を含む１以上の前記指標、を用いて算出する、
　付記１に記載の情報処理装置。
（付記３）
　前記第２算出手段は、前記複数の要素の各々の前記指標の重要度を示す重みを、前記第１算出手段によって算出された、当該重みに対応する前記指標を含む２以上の前記指標、を用いて算出する、
　付記１又は２に記載の情報処理装置。
（付記４）
　前記指標は、前記複数の要素の各々が前記複数のクラスのうちのあるクラスに属することの尤もらしさを示す尤度比を含む、
　付記１乃至３の何れか一項に記載の情報処理装置。
（付記５）
　前記統合指標は、前記系列データが前記複数のクラスのうちのあるクラスに属することの尤もらしさを示す統合スコアを含む、
　付記１乃至４の何れか一項に記載の情報処理装置。
（付記６）
　前記分類手段は、前記統合スコアが所定の閾値を超えているクラスが存在する場合に、前記系列データを前記統合スコアが前記閾値を超えているクラスに分類する、
　付記５に記載の情報処理装置。
（付記７）
　前記統合スコアが所定の閾値を超えているクラスが存在しない場合に、前記分類手段は、前記系列データをいずれかのクラスにも分類せず、前記取得手段は、更に要素を取得する、
　付記５又は６に記載の情報処理装置。
（付記８）
　前記分類手段は、前記統合スコアが所定の閾値を超えているクラスが存在せず、かつ、前記取得手段によって取得された要素の数が所定値よりも多い場合に、前記統合スコアに基づいて前記系列データをいずれかのクラスに分類する、
　付記５乃至７の何れか一項に記載の情報処理装置。
（付記９）
　前記第１算出手段は、
　　前記取得手段によって過去に取得された前記要素を少なくとも記憶する第１記憶手段と、
　　前記取得手段によって前記系列データの要素が新たに取得されたときに、前記新たに取得された要素と、前記第１記憶手段に記憶されている過去に取得された前記要素と、に基づいて、前記新たに取得された要素に対する前記指標を算出する指標算出手段と、
　を備える、
　付記１乃至８の何れか一項に記載の情報処理装置。
（付記１０）
　前記第２算出手段は、
　　前記第１算出手段によって過去に算出された前記指標を記憶する第２記憶手段と、
　　前記第１算出手段によって新たに算出された前記指標と、前記第２記憶手段に記憶されている過去に算出された前記指標と、を使用することにより、使用された複数の前記指標の各々に対する前記重みを算出する重み算出手段と、
　を備える、
　付記９に記載の情報処理装置。
（付記１１）
　前記第３算出手段は、
　　前記第１算出手段によって新たに算出された前記指標と、前記第２記憶手段に記憶されている過去に算出された前記指標と、前記重み算出手段によって算出された、前記新たに算出された指標及び前記過去に算出された指標の各々に対する重みと、に基づいて、前記統合指標を算出する統合指標算出手段と、
　を備える、
　付記１０に記載の情報処理装置。
（付記１２）
　前記系列データは、時系列データである、
　付記１乃至１１のいずれか１項に記載の情報処理装置。
（付記１３）
　対象者の医療情報を取得する医療情報取得手段と、
　付記１乃至１２のいずれか１項に記載の情報処理装置と、
　を備え、
　前記情報処理装置は、前記医療情報を前記要素として含む前記系列データをいずれかのクラスに分類する、
　医療映像識別装置。
（付記１４）
　前記情報処理装置は、前記系列データを前記医療情報の癌化部位の有無を示すいずれかのクラスに分類する、
　付記１３に記載の医療映像識別装置。
（付記１５）
　系列データに含まれる複数の要素を逐次的に取得するステップと、
　前記複数の要素の各々について、複数のクラスのいずれに属することが妥当であるかを示す指標を、前記複数の要素のうちの２以上の要素に基づいて算出するステップと、
　前記複数の要素の各々の前記指標の重要度を示す重みを算出するステップと、
　前記複数の要素のそれぞれの前記指標を対応する前記重みで重み付けしたうえで統合して、前記系列データが前記複数のクラスのいずれに属することが妥当であるかを示す統合指標を算出するステップと、
　前記統合指標に基づいて、前記系列データをいずれかのクラスに分類するステップと、
　を備える情報処理方法。
（付記１６）
　コンピュータに、
　系列データに含まれる複数の要素を逐次的に取得するステップと、
　前記複数の要素の各々について、複数のクラスのいずれに属することが妥当であるかを示す指標を、前記複数の要素のうちの２以上の要素に基づいて算出するステップと、
　前記複数の要素の各々の前記指標の重要度を示す重みを算出するステップと、
　前記複数の要素のそれぞれの前記指標を対応する前記重みで重み付けしたうえで統合して、前記系列データが前記複数のクラスのいずれに属することが妥当であるかを示す統合指標を算出するステップと、
　前記統合指標に基づいて、前記系列データをいずれかのクラスに分類するステップと、
　を備える情報処理方法を実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１００、４００　　　情報処理装置
　１０１　　　　　　　プロセッサ
　１０２　　　　　　　メモリ
　１０３　　　　　　　ストレージ
　１０４　　　　　　　入出力Ｉ／Ｆ
　１０５　　　　　　　通信Ｉ／Ｆ
　１１０、４１０　　　取得部
　１２０、４２０　　　第１算出部
　１２１　　　　　　　指標算出部
　１２２　　　　　　　第１記憶部
　１３０、４３０　　　第２算出部
　１３１　　　　　　　重み算出部
　１３２　　　　　　　第２記憶部
　１４０、４４０　　　第３算出部
　１４１　　　　　　　統合指標算出部
　１４２　　　　　　　第３記憶部
　１５０、４５０　　　分類部
　２０１　　　　　　　データ取得装置
　２０２　　　　　　　入力装置
　２０３　　　　　　　表示装置
　３００　　　　　　　医療映像識別装置
　３０１　　　　　　　分類装置
　３０２　　　　　　　医療情報取得部
　３０３　　　　　　　医療情報記憶部

Claims (16)

  1. 　系列データに含まれる複数の要素を逐次的に取得する取得手段と、
    　前記複数の要素の各々について、複数のクラスのいずれに属することが妥当であるかを示す指標を、前記複数の要素のうちの２以上の要素に基づいて算出する第１算出手段と、
    　前記複数の要素の各々の前記指標の重要度を示す重みを算出する第２算出手段と、
    　前記複数の要素のそれぞれの前記指標を対応する前記重みで重み付けしたうえで統合して、前記系列データが前記複数のクラスのいずれに属することが妥当であるかを示す統合指標を算出する第３算出手段と、
    　前記統合指標に基づいて、前記系列データをいずれかのクラスに分類する分類手段と、
    　を備える情報処理装置。
  2. 　前記第２算出手段は、前記複数の要素の各々の前記指標の重要度を示す重みを、前記第１算出手段によって算出された、当該重みに対応する前記指標を含む１以上の前記指標、を用いて算出する、
    　請求項１に記載の情報処理装置。
  3. 　前記第２算出手段は、前記複数の要素の各々の前記指標の重要度を示す重みを、前記第１算出手段によって算出された、当該重みに対応する前記指標を含む２以上の前記指標、を用いて算出する、
    　請求項１又は２に記載の情報処理装置。
  4. 　前記指標は、前記複数の要素の各々が前記複数のクラスのうちのあるクラスに属することの尤もらしさを示す尤度比を含む、
    　請求項１乃至３の何れか一項に記載の情報処理装置。
  5. 　前記統合指標は、前記系列データが前記複数のクラスのうちのあるクラスに属することの尤もらしさを示す統合スコアを含む、
    　請求項１乃至４の何れか一項に記載の情報処理装置。
  6. 　前記分類手段は、前記統合スコアが所定の閾値を超えているクラスが存在する場合に、前記系列データを前記統合スコアが前記閾値を超えているクラスに分類する、
    　請求項５に記載の情報処理装置。
  7. 　前記統合スコアが所定の閾値を超えているクラスが存在しない場合に、前記分類手段は、前記系列データをいずれかのクラスにも分類せず、前記取得手段は、更に要素を取得する、
    　請求項５又は６に記載の情報処理装置。
  8. 　前記分類手段は、前記統合スコアが所定の閾値を超えているクラスが存在せず、かつ、前記取得手段によって取得された要素の数が所定値よりも多い場合に、前記統合スコアに基づいて前記系列データをいずれかのクラスに分類する、
    　請求項５乃至７の何れか一項に記載の情報処理装置。
  9. 　前記第１算出手段は、
    　　前記取得手段によって過去に取得された前記要素を少なくとも記憶する第１記憶手段と、
    　　前記取得手段によって前記系列データの要素が新たに取得されたときに、前記新たに取得された要素と、前記第１記憶手段に記憶されている過去に取得された前記要素と、に基づいて、前記新たに取得された要素に対する前記指標を算出する指標算出手段と、
    　を備える、
    　請求項１乃至８の何れか一項に記載の情報処理装置。
  10. 　前記第２算出手段は、
    　　前記第１算出手段によって過去に算出された前記指標を記憶する第２記憶手段と、
    　　前記第１算出手段によって新たに算出された前記指標と、前記第２記憶手段に記憶されている過去に算出された前記指標と、を使用することにより、使用された複数の前記指標の各々に対する前記重みを算出する重み算出手段と、
    　を備える、
    　請求項９に記載の情報処理装置。
  11. 　前記第３算出手段は、
    　　前記第１算出手段によって新たに算出された前記指標と、前記第２記憶手段に記憶されている過去に算出された前記指標と、前記重み算出手段によって算出された、前記新たに算出された指標及び前記過去に算出された指標の各々に対する重みと、に基づいて、前記統合指標を算出する統合指標算出手段と、
    　を備える、
    　請求項１０に記載の情報処理装置。
  12. 　前記系列データは、時系列データである、
    　請求項１乃至１１のいずれか１項に記載の情報処理装置。
  13. 　対象者の医療情報を取得する医療情報取得手段と、
    　請求項１乃至１２のいずれか１項に記載の情報処理装置と、
    　を備え、
    　前記情報処理装置は、前記医療情報を前記要素として含む前記系列データをいずれかのクラスに分類する、
    　医療映像識別装置。
  14. 　前記情報処理装置は、前記系列データを前記医療情報の癌化部位の有無を示すいずれかのクラスに分類する、
    　請求項１３に記載の医療映像識別装置。
  15. 　系列データに含まれる複数の要素を逐次的に取得するステップと、
    　前記複数の要素の各々について、複数のクラスのいずれに属することが妥当であるかを示す指標を、前記複数の要素のうちの２以上の要素に基づいて算出するステップと、
    　前記複数の要素の各々の前記指標の重要度を示す重みを算出するステップと、
    　前記複数の要素のそれぞれの前記指標を対応する前記重みで重み付けしたうえで統合して、前記系列データが前記複数のクラスのいずれに属することが妥当であるかを示す統合指標を算出するステップと、
    　前記統合指標に基づいて、前記系列データをいずれかのクラスに分類するステップと、
    　を備える情報処理方法。
  16. 　コンピュータに、
    　系列データに含まれる複数の要素を逐次的に取得するステップと、
    　前記複数の要素の各々について、複数のクラスのいずれに属することが妥当であるかを示す指標を、前記複数の要素のうちの２以上の要素に基づいて算出するステップと、
    　前記複数の要素の各々の前記指標の重要度を示す重みを算出するステップと、
    　前記複数の要素のそれぞれの前記指標を対応する前記重みで重み付けしたうえで統合して、前記系列データが前記複数のクラスのいずれに属することが妥当であるかを示す統合指標を算出するステップと、
    　前記統合指標に基づいて、前記系列データをいずれかのクラスに分類するステップと、
    　を備える情報処理方法を実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2021/021954 2021-06-09 2021-06-09 情報処理装置、情報処理方法、医療映像識別装置及びプログラムが格納された非一時的なコンピュータ可読媒体 WO2022259429A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2021/021954 WO2022259429A1 (ja) 2021-06-09 2021-06-09 情報処理装置、情報処理方法、医療映像識別装置及びプログラムが格納された非一時的なコンピュータ可読媒体
US18/567,102 US20240265536A1 (en) 2021-06-09 2021-06-09 Information processing apparatus, information processing method, medical image identification device, and non-transitory computer readable medium storing program
JP2023526731A JPWO2022259429A5 (ja) 2021-06-09 情報処理装置、情報処理方法、医療映像識別装置及びプログラム
EP21945105.1A EP4354322A4 (en) 2021-06-09 2021-06-09 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, MEDICAL IMAGE IDENTIFICATION DEVICE, AND NON-TRANSIENT COMPUTER-READABLE MEDIUM IN WHICH A PROGRAM IS STORED

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/021954 WO2022259429A1 (ja) 2021-06-09 2021-06-09 情報処理装置、情報処理方法、医療映像識別装置及びプログラムが格納された非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2022259429A1 true WO2022259429A1 (ja) 2022-12-15

Family

ID=84425925

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021954 WO2022259429A1 (ja) 2021-06-09 2021-06-09 情報処理装置、情報処理方法、医療映像識別装置及びプログラムが格納された非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20240265536A1 (ja)
EP (1) EP4354322A4 (ja)
WO (1) WO2022259429A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024154230A1 (ja) * 2023-01-17 2024-07-25 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2024189833A1 (ja) * 2023-03-15 2024-09-19 日本電気株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001523824A (ja) 1997-11-14 2001-11-27 アーチ・デヴェロップメント・コーポレイション スペクトル信号監視システム
JP2008299589A (ja) 2007-05-31 2008-12-11 Hitachi Ltd 生体認証システム
JP2009245314A (ja) 2008-03-31 2009-10-22 Kddi Corp 時系列データの識別装置および動画像への人物メタ情報付与装置
JP2010170280A (ja) * 2009-01-21 2010-08-05 Nippon Telegr & Teleph Corp <Ntt> データ分類装置
WO2020194497A1 (ja) 2019-03-26 2020-10-01 日本電気株式会社 情報処理装置、個人識別装置、情報処理方法及び記憶媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527323B2 (en) * 2019-05-14 2022-12-13 Tempus Labs, Inc. Systems and methods for multi-label cancer classification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001523824A (ja) 1997-11-14 2001-11-27 アーチ・デヴェロップメント・コーポレイション スペクトル信号監視システム
JP2008299589A (ja) 2007-05-31 2008-12-11 Hitachi Ltd 生体認証システム
JP2009245314A (ja) 2008-03-31 2009-10-22 Kddi Corp 時系列データの識別装置および動画像への人物メタ情報付与装置
JP2010170280A (ja) * 2009-01-21 2010-08-05 Nippon Telegr & Teleph Corp <Ntt> データ分類装置
WO2020194497A1 (ja) 2019-03-26 2020-10-01 日本電気株式会社 情報処理装置、個人識別装置、情報処理方法及び記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4354322A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024154230A1 (ja) * 2023-01-17 2024-07-25 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2024189833A1 (ja) * 2023-03-15 2024-09-19 日本電気株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
US20240265536A1 (en) 2024-08-08
EP4354322A4 (en) 2024-06-12
EP4354322A1 (en) 2024-04-17
JPWO2022259429A1 (ja) 2022-12-15

Similar Documents

Publication Publication Date Title
JP7248102B2 (ja) 情報処理装置、個人識別装置、情報処理方法及び記憶媒体
US11954852B2 (en) Medical image classification method, model training method, computing device, and storage medium
US8290280B2 (en) Image processing device, image processing method, and computer readable storage medium storing image processing program
WO2022259429A1 (ja) 情報処理装置、情報処理方法、医療映像識別装置及びプログラムが格納された非一時的なコンピュータ可読媒体
US9070041B2 (en) Image processing apparatus and image processing method with calculation of variance for composited partial features
EP3998579A1 (en) Medical image processing method, apparatus and device, medium and endoscope
WO2020232374A1 (en) Automated anatomic and regional location of disease features in colonoscopy videos
US20220036140A1 (en) Classification device, classification method, program, and information recording medium
US20140064563A1 (en) Image processing apparatus, method of controlling image processing apparatus and storage medium
US20210407637A1 (en) Method to display lesion readings result
US20140270499A1 (en) Image processing apparatus, image processing method, and computer-readable recording device
US9201902B2 (en) Techniques for medical image retrieval
CN110399907B (zh) 基于诱导注意力的胸腔病症检测方法及装置、存储介质
US9208173B1 (en) Techniques for medical image retreival
US20220222820A1 (en) Image processing apparatus, image processing method, and program
CN113827240B (zh) 情绪分类方法和情绪分类模型的训练方法、装置及设备
JP6425868B1 (ja) 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法
US12087035B2 (en) Information processing system, information processing method, and computer program
US20200167587A1 (en) Detection apparatus and method and image processing apparatus and system, and storage medium
KR20230099995A (ko) 자궁 경부암의 진단에 대한 정보 제공 방법 및 이를 이용한 자궁 경부암의 진단에 대한 정보 제공용 디바이스
US20230401289A1 (en) Information processing device, personal identification device, information processing method, and storage medium
US20230394117A1 (en) Information processing device, personal identification device, information processing method, and storage medium
JP2022516139A (ja) 残存がん細胞検出のための閾値化のためのシステムおよび方法
JP2017152790A (ja) 符号化装置、符号化方法、プログラム、及び画像処理システム
US20240119588A1 (en) Image diagnosis support device, image diagnosis support method, remote diagnosis support system, and net contract service system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21945105

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023526731

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2021945105

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021945105

Country of ref document: EP

Effective date: 20240109