WO2020080556A1 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
WO2020080556A1
WO2020080556A1 PCT/JP2019/042082 JP2019042082W WO2020080556A1 WO 2020080556 A1 WO2020080556 A1 WO 2020080556A1 JP 2019042082 W JP2019042082 W JP 2019042082W WO 2020080556 A1 WO2020080556 A1 WO 2020080556A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
learning
information processing
text
Prior art date
Application number
PCT/JP2019/042082
Other languages
English (en)
French (fr)
Inventor
仁志 田淵
浩司 新見
Original Assignee
株式会社シンクアウト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社シンクアウト filed Critical 株式会社シンクアウト
Publication of WO2020080556A1 publication Critical patent/WO2020080556A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Definitions

  • the present invention relates to an information processing system.
  • the information processing system includes a first reading unit, a second reading unit, and a learning unit.
  • the first reading unit reads the first data from a first database that stores a plurality of first data.
  • the second reading unit reads the second data from a second database that stores a plurality of second data.
  • the learning unit performs machine learning by using the first data read from the first database (first data of the first database) and the first identifier, which is one of the plurality of identifiers, as learning data.
  • the learning unit further performs machine learning using the second data (second data of the second database) read from the second database and the second identifier, which is one of the plurality of identifiers, as learning data. .
  • machine learning is performed using the first data of the first database and the first identifier, which is one of the plurality of identifiers, as learning data. Further, machine learning is performed using the second data of the second database and the second identifier, which is one of the plurality of identifiers, as learning data.
  • two machine learning processes using a common identifier as learning data are performed in cooperation with two databases. As a result, it is not necessary to redesign the data format and data association in each database in order to link the two databases. Moreover, it is possible to change the data format and the association of data in each database without disturbing the cooperation of the two databases during the operation.
  • FIG. 1 It is a figure showing an example of the functional block of the information processing system concerning one embodiment of the present invention. It is a figure showing an example of the hardware constitutions of the information processing system of FIG. It is a figure showing an example of the text data memorize
  • FIG. 1 illustrates an example of functional blocks of the information processing system 100.
  • the information processing system 100 is a device that enables cooperation between systems having different specifications.
  • the “specification” refers to, for example, the format or association of data.
  • “cooperation between systems” means, for example, associating data of one system with data of the other system.
  • the system specifications are different from each other, it is difficult to use the data of the other system.
  • the information processing system 100 can communicate with, for example, two systems having different specifications (image information database 200, text information database 300), and two systems having different specifications (image information database 200, text information database).
  • 300 is a device that enables cooperation between each other. “Coordination between two systems (image information database 200, text information database 300)” means, for example, data of one system (text information database 300) and data of the other system (image information database 200). Refers to associating.
  • the information processing system 100 includes, for example, a GUI (Graphical User Interface) 110, an image data IF (Interface) 120, an image classification learning program 130, a GUI (Graphical User Interface) 140, a text data IF (Interface) 150, a text classification learning program. 160, an integrated information database 170 and an information processing section 180.
  • FIG. 2 shows an example of the hardware configuration of the information processing system 100.
  • the information processing system 100 is connected to two systems (information processing systems 2000 and 3000) via a network 4000.
  • the network 4000 is, for example, a network that performs communication using a communication protocol (TCP / IP) that is standardly used on the Internet.
  • the network 4000 may be, for example, a secure network that communicates using a communication protocol unique to the network.
  • the network 4000 is, for example, the Internet, an intranet, or a local area network.
  • the connection between the network 4000 and the information processing system 100, the information processing system 2000, or the information processing system 3000 may be, for example, a wired LAN (Local Area Network) such as Ethernet, or a wireless LAN such as Wi-Fi. It may be a mobile phone line or the like.
  • the information processing system 2000 is configured to include, for example, a CPU (Central Processing Unit) 2100, a memory 2200, and a network IF (Interface) 2300.
  • the CPU 2100 executes, for example, a web server program stored in the memory 2200, an operating system, or the like.
  • the network IF 2300 is a communication interface for communicating with the information processing system 100 via the network 4000.
  • the memory 2200 stores a program (for example, a web server program or an operating system) executed by the CPU 2100.
  • the memory 2200 includes a RAM (Random Access Memory), a ROM (Read Only Memory), an auxiliary storage device (hard disk, etc.), and the like.
  • the memory 2200 is configured to include the image information database 200.
  • the information processing system 3000 is configured to include, for example, a CPU 3100, a memory 3200, and a network IF 3300.
  • the CPU 3100 executes, for example, a web server program stored in the memory 3200, an operating system, or the like.
  • the network IF 3300 is a communication interface for communicating with the information processing system 100 via the network 4000.
  • the memory 3200 stores a program (for example, a web server program or an operating system) executed by the CPU 3100.
  • the memory 3200 includes a RAM, a ROM, an auxiliary storage device (hard disk, etc.), and the like.
  • the memory 3200 is configured to include the text information database 300.
  • the information processing system 100 is configured to include, for example, a CPU 1100, a memory 1200, a network IF 1300, an input device 1400, and an output device 1500.
  • the CPU 1100 executes, for example, a web browser program stored in the memory 1200 and an operating system.
  • the network IF 1300 is a communication interface for communicating with the information processing systems 2000 and 3000 via the network 4000.
  • the memory 1200 stores a program executed by the CPU 1100 (for example, a web browser program or an operating system).
  • the memory 1200 includes a RAM, a ROM, an auxiliary storage device (hard disk, etc.), and the like.
  • the input device 1400 is composed of a keyboard, a touch panel, and the like.
  • the output device 1500 includes a display and the like.
  • the memory 1200 is configured to include an integrated information database 170, an image classification learning program 130, and a text classification learning program 160.
  • the GUI 110, the image data IF 120, the GUI 140, and the text data IF 150 are configured by the CPU 1100, the network IF 1300, the input device 1400, and the output device 1500.
  • the text information database 300 stores a plurality of text data 10.
  • the text data 10 is, for example, surgery data composed of a plurality of column data 11 as shown in FIG.
  • the column data 11 is composed of a tag 12 and concrete contents 13 corresponding to the tag 12.
  • the tag 12 include a patient name, a patient ID (Identification), a doctor in charge, a disease name, an operation start date, an operation start time, an operation eye, or an operation method.
  • Examples of the content 13 of the patient name in the tag 12 include the name of the patient to be operated on (eg, Taro Yamada).
  • An example of the content 13 of the patient ID of the tag 12 is an identifier (for example, an identification number such as 012345) given to the patient undergoing the surgery.
  • Examples of the content 13 of the doctor in charge of the tag 12 include the name of the doctor who performs the surgery (for example, doctor A).
  • Examples of the content 13 of the disease name in the tag 12 include the name of the disease that caused the operation (for example, cataract).
  • Examples of the content 13 of the tag 12 for the start of surgery include the date on which the surgery is performed (for example, September 10, 2018).
  • Examples of the content 13 of the operation start time of the tag 12 include the time when the operation is performed (for example, 10:30 am).
  • the content 13 of the tag 12 as the surgical eye includes the position (for example, right (R)) of the eye on which the surgery is performed among the pair of eyes.
  • An example of the content 13 of the surgical operation method using the tag 12 is the name of the operation (for example, PEA + IOL).
  • one or more designated column data 11 constitutes the column data set 11s. That is, it can be said that the text data 10 includes the column data set 11s, and the text information database 300 stores a plurality of column data sets 11s (second data).
  • the column data set 11s may be designated in advance or may be designated by the user.
  • the column data set 11s is composed of one or a plurality of column data 11.
  • the column data 11 included in the column data set 11s will be referred to as designated column data 11-1 for convenience.
  • the designated column data 11-1 is the column data 11 useful for classifying the image data 20.
  • the tag 12 includes patient ID column data 11
  • the tag 12 includes surgical eye column data 11
  • the tag 12 includes surgical technique column data 11.
  • the column data set 11s is The tag 12 may include the column data 11 of the doctor in charge.
  • the column data 11 in which the tag 12 is the doctor in charge is referred to as customized column data 11c.
  • the image information database 200 stores a plurality of image data 20 (first data).
  • the plurality of image data 20 stored in the image information database 200 includes, for example, a plurality of learning image data 21, a plurality of test image data 22, and a plurality of image data 23, as shown in FIG. .
  • the learning image data 21 is sample data used in the later-described machine learning.
  • the test image data 22 is sample data used in a test for confirming the results of machine learning described later.
  • the image data 23 is data obtained by photographing a patient undergoing surgery during an examination.
  • the integrated information database 170 is a database used to link two systems (image information database 200 and text information database 300) with each other.
  • the integrated information database 170 stores, for example, a plurality of image data 20 read from the image information database 200 and a plurality of text data 10 or column data sets 11s read from the text information database 300.
  • the integrated information database 170 further stores the image data 20 and the feature amount data 24 obtained by processing the image data 20 by a predetermined algorithm.
  • the feature amount data 24 is, for example, data representing features of organs (for example, eyes, heart, lungs, liver, etc.) included in the image data 20, and machine learning in the image classification learning model 130 and key image acquisition described later. This is the data used in the case.
  • the image classification name list 30 is further stored in the integrated information database 170.
  • the image classification name list 30 includes a plurality of image classification names 31, as shown in FIG. 6, for example.
  • the image classification name 31 is an identifier for distinguishing each image data 20 by classification when the plurality of image data 20 are classified from a predetermined viewpoint (for example, an inspection device used for imaging, an operating eye, etc.).
  • the image classification name 31 is configured to include, for example, a name for classifying the type of each image data 20 or a character string or a numerical sequence corresponding to the name.
  • the integrated information database 170 further stores learning results obtained by machine learning in the image classification learning program 130 and the text classification learning program 160.
  • FIG. 7 shows an example of the learning image data 21.
  • “slit (light right)”, “slit (dark left)”, “slit (blue left)”, “optos (left)”, and “specular (right)” are assigned as the image classification name 31.
  • a plurality of learning image data 21 to be obtained is illustrated.
  • the term “slit” refers to image data obtained by photographing a patient's eye with a slit lamp microscope.
  • Optos refers to image data obtained by photographing with a fundus examination device manufactured by Optos.
  • Specular refers to image data obtained by photographing with a corneal endothelial cell test device.
  • “Bright” refers to image data obtained by shooting in a bright state.
  • Dark refers to image data obtained by shooting in a dark state.
  • Blue refers to image data obtained by shooting with blue light applied to the eye.
  • Light refers to image data obtained by photographing the right eye.
  • Left refers to image data obtained by photographing the left eye.
  • the image data IF 120 is an interface for communicating between the information processing system 100 and the image information database 200.
  • the image data IF 120 reads the plurality of image data 20 and the like from the image information database 200 and outputs them to the GUI 110 and the integrated information database 170, for example, under the control of the GUI 110.
  • the text data IF 150 is an interface for communicating between the information processing system 100 and the text information database 300.
  • the text data IF 150 reads a plurality of text data 10 (or the column data set 11s) and the like from the text information database 300 and outputs them to the GUI 140 and the integrated information database 170 under the control of the GUI 140, for example.
  • the text classification learning program 160 is loaded into the information processing unit 180 to machine-learn the input data as learning data and store the learning result obtained thereby in the integrated information database 170.
  • the input data input to the text classification learning program 160 is, for example, a set of column data set 11s and image classification name 31 as shown in FIG. 8C.
  • the information processing unit 180 loaded with the text classification learning program 160 creates a text classification model in the machine learning process. Specifically, in the machine learning process, the information processing unit 180 loaded with the text classification learning program 160, the text data 10 (or the column data set 11s) read from the text information database 300, and a plurality of image classifications. Machine learning is performed using the image classification name 31 (second identifier), which is one of the names 31 (identifiers), as learning data. As a result, the information processing unit 180 generates information about the correspondence between the text data 10 (or the column data set 11s) and the image classification name 31 as a learning result.
  • the information processing unit 180 loaded with the text classification learning program 160 is input based on the learning result, for example.
  • the most appropriate image classification name 31 (31x) for the extracted text data 10 (10x) (or column data set 11s) is extracted from the integrated information database 170.
  • the information processing unit 180 loaded with the text classification learning program 160 compares, for example, the text data 10x (or column data set 11s) with various text data 10y (or column data set 11s), and as a result, various The image classification name 31x corresponding to the text data 10y (or column data set 11s) closest to the text data 10x (or column data set 11s) in the text data 10y (or column data set 11s) is extracted from the integrated information database 170. To do.
  • the image classification learning program 130 is loaded into the information processing unit 180, machine-learns the input data as learning data, and stores the learning result obtained thereby in the integrated information database 170.
  • the input data input to the image classification learning program 130 is, for example, as shown in FIG. 8A, a set of learning image data 21 and an image classification name 31.
  • the input data input to the image classification learning program 130 may be, for example, a set of feature amount data 24 and an image classification name 31 as shown in FIG. 8B.
  • the information processing unit 180 loaded with the image classification learning program 130 performs machine learning without using the text even if text such as a file name or a meta tag is attached to the image data 20.
  • the information processing unit 180 loaded with the image classification learning program 130 creates an image classification model in the machine learning process. Specifically, in the machine learning process, the information processing unit 180 loaded with the image classification learning program 130 selects the image data 20 read from the image information database 200 and the plurality of image classification names 31 (identifiers). Machine learning is performed using the image classification name 31 (first identifier) that is one of the above as learning data. As a result, the information processing unit 180 generates information about the correspondence between the image data 20 and the image classification name 31 as a learning result.
  • the information processing unit 180 loaded with the image classification learning program 130 for example, adds the input image classification name 31x based on the learning result.
  • the most appropriate image data 20 (key image 20x) is extracted from the integrated information database 170 from the corresponding many image data 20.
  • GUI110 The GUI 110 provides a screen for a user to input data to the information processing system 100 or to present data to the user from the information processing system 100.
  • the GUI 110 provides a screen 111 for creating an image classification model, as shown in FIG. 9, for example.
  • an image classification name list 30 necessary for executing machine learning and a test for confirming the results of machine learning is displayed.
  • the screen 111 further displays, for example, learning image data 21 that has been machine-learned and test image data 22 that has been tested.
  • a button 113 for adding or deleting the image classification name 31 a button 114 for adding or deleting the learning image data 21, and a button 115 for executing machine learning.
  • a button 116 for adding or deleting the test image data 22 and a button 117 for executing the test are displayed.
  • the GUI 110 further provides a screen 112 for setting the image classification model 40, for example, as shown in FIG.
  • the image classification model 40 refers to a model regarding a hierarchical structure of a plurality of image classification names 31 included in the image classification name list 30.
  • On the screen 112 for example, a model in which all registered image classification names 31 are listed without a hierarchy is displayed in the list window 118.
  • the screen 112 further displays a button 119 for setting the hierarchical structure of the image classification model 40, for example.
  • FIG. 10 illustrates an example in which the image classification model 40 is configured by three image classification models 40A, 40B, and 40C, and two image classification models 40B and 40C are set in the lower layer of the image classification model 40A. ing.
  • the uppermost image classification model 40A is composed of six image classification names 31A-1 to 31A-6, and the lower image classification model 40B is connected to the image classification name 31A-2 to obtain the image classification model.
  • 130B is composed of two image classification names 31B-1 and 31B-2, an image classification name 31A-5 is connected to an image classification model 40C in the lower layer, and the image classification model 40C is divided into three image classification names 31C-1 to 31C-1. 31C-3.
  • the image classification model 40 has such a hierarchical structure, in the list window 118, the image classification name 31A-2 is replaced with the image classification names 31B-1 and 31B-2 in the image classification model 40A, and the image classification name is changed.
  • a display in which 31A-5 is replaced with the image classification names 31C-1, 31C-2, 31C-3 is displayed.
  • the GUI 140 provides a screen for a user to input data to the information processing system 100 or to present data to the user from the information processing system 100.
  • the GUI 140 provides a screen 141 for creating the tag set 12s as shown in FIG. 11, for example.
  • all the designated tags 12 are displayed in a list.
  • a button 143 for adding the tag 12 to the tag set 12s and a button for selecting the image classification model 40 associated with the tag set 12s from the plurality of image classification models 40. 144 is displayed.
  • the image classification model 40 selected as the image classification model 40 associated with the tag set 12s (a model in which all the image classification names 31 are listed without hierarchy) is displayed on the screen 141. It is illustrated.
  • the GUI 140 provides a screen 142 for creating a text classification model, as shown in FIG. 12, for example.
  • a list of a plurality of text data 10 (10A) necessary to execute machine learning, and a plurality of text data necessary to execute a test for confirming the results of machine learning ( A list of 10B) is displayed.
  • the set tag set 12s and the image classification name list 30 including the set image classification name 31 are displayed.
  • the screen 142 further displays, for example, a button 145 for executing machine learning and a button 146 for executing a test.
  • Image data acquisition 13 and 14 show an example of a data acquisition procedure in the information processing system 100.
  • the user acquires the data (image data 20) in the image information database 200.
  • the user instructs the GUI 110 to display a screen for acquiring the data (image data 20) in the image information database 200.
  • image acquisition is started.
  • the GUI 110 displays a screen for acquiring the data (image data 20) in the image information database 200.
  • the user specifies a condition for acquiring the image data 20 on the GUI 110.
  • the information processing unit 180 outputs an image acquisition request according to the condition designated by the GUI 110 to the image data IF 120.
  • the image acquisition request includes, for example, the transmission destination of the acquired image (specifically, the integrated information database 170).
  • the image data IF 120 outputs the input image acquisition request to the image information database 200.
  • the image information database 200 reads out the image data 20 that matches the conditions included in the input image acquisition request, and transmits the image data 20 to the image data IF 120.
  • the image data IF 120 transmits the received image data 20 to the destination of the image included in the image acquisition request (specifically, the integrated information database 170).
  • the integrated information database 170 stores the received image data 20. Thus, the acquisition of the image data 20 is completed.
  • the user acquires the text data 10 (or the column data set 11s) of the text information database 300. Specifically, the user instructs the GUI 140 to display a screen for acquiring the text data 10 (or the column data set 11s) of the text information database 300. This starts the text acquisition. Then, the GUI 140 displays a screen for acquiring the text data 10 (or the column data set 11s) of the text information database 300. Next, the user specifies, on the GUI 140, a condition for acquiring the text data 10 (or the column data set 11s). Then, the information processing section 180 outputs a text acquisition request according to the condition designated by the GUI 140 to the text data IF 150.
  • the text acquisition request includes, for example, the transmission destination (specifically, the integrated information database 170) of the acquired text data 10 (or the column data set 11s).
  • the text data IF 150 outputs the input text acquisition request to the text information database 300.
  • the text information database 300 reads the text data 10 (or the column data set 11s) that matches the conditions included in the input text acquisition request, and transmits the text data 10 to the text data IF 150.
  • the text data IF 150 receives the text data 10 (or the column data set 11s) from the text information database 300, the text data 10 (or the column data set 11s) includes the text data 10 (or the column data set 11s) included in the text acquisition request.
  • the column data set 11s is transmitted to the transmission destination (specifically, the integrated information database 170).
  • the integrated information database 170 Upon receiving the text data 10 (or the column data set 11s) from the text data IF 150, the integrated information database 170 stores the received text data 10 (or the column data set 11s). In this way, the acquisition of the text data 10 (or the column data set 11s) of the text information database 300 is completed.
  • FIG. 15 shows an example of a machine learning procedure for the image data 20.
  • the user instructs the GUI 110 to display a screen 112 for setting the image classification model 40.
  • the GUI 110 displays a screen 112 for setting the image classification model 40.
  • the user sets the hierarchical structure of the image classification model 40 as needed.
  • the user configures the uppermost layer image classification model 40A with six image classification names 31A-1 to 31A-6, connects the lower layer image classification model 40B to the image classification name 31A-2, and 40B is composed of two image classification names 31B-1 and 31B-2, the image classification name 31A-5 is connected to the lower image classification model 40C, and the image classification model 40C is divided into three image classification names 31C-1 to 31C-1. 31C-3.
  • the information processing unit 180 transmits the setting information about the hierarchical structure of the image classification model 40, which is input via the GUI 110, to the integrated information database 170.
  • the integrated information database 170 stores the received setting information.
  • the user instructs the GUI 110 to display the screen 111 of the image classification model creation UI.
  • the GUI 110 displays the screen 111 of the image classification model creation UI.
  • the user instructs the GUI 110 to read out the plurality of image data 20 by pressing the button 114 on the screen 111, for example.
  • the information processing unit 180 receives a read instruction (image acquisition request) for the plurality of image data 20 via the GUI 110, the information processing unit 180 starts machine learning for the image data 20.
  • the information processing unit 180 outputs the image acquisition request to the integrated information database 170.
  • the image acquisition request includes, for example, the transmission destination of the acquired image (specifically, the GUI 110).
  • the integrated information database 170 reads the plurality of image data 20 and sends the image data 20 to the GUI 110.
  • the GUI 110 displays the received plurality of image data 20 on the screen 111.
  • the user selects one suitable for machine learning from the plurality of image data 20 displayed on the screen 111.
  • the user classifies the image classification name 31 suitable for the selected image data 20 by pressing the button 113 on the screen 111 and inputting the image classification name 31 suitable for the selected image data 20. Add to name list 30.
  • the image classification name 31 suitable for the selected image data 20 is already displayed on the screen 111, the user selects the image classification name 31 suitable for the selected image data 20.
  • the information processing unit 180 generates the data of the screen 111 so that the selected image data 20 and the image classification name 31 suitable for the input or selected image data 20 are paired and transferred to the GUI 110. To do. To display. The GUI 110 displays the screen 111 based on the data of the screen 111 from the information processing unit 180.
  • the GUI 110 first sends the image classification name list 30 to the transmission destination associated with the button 115 (specifically, the integrated information database 170).
  • the integrated information database 170 stores the received image classification name list 30.
  • the GUI 110 further uses, as learning data, the image data 20 (learning image data 21) and the image classification name 31 suitable for the image data 20 (learning image data 21), as a destination associated with the button 115 ( Specifically, it is sent to the integrated information database 170 and the information processing unit 180).
  • the integrated information database 170 stores the received set of image data 20 (learning image data 21) and the image classification name 31 as learning data.
  • the information processing unit 180 converts the image data 20 into the feature amount data 24, and uses the feature amount data 24 obtained by the conversion and the image classification name 31 suitable for the image data 20 before the conversion as learning data.
  • Machine learning is performed and the learning result is sent to the integrated information database 170.
  • the integrated information database 170 stores the received learning result. In this way, the machine learning for the image data 20 ends.
  • the user instructs the GUI 140 to display the screen 141 of the tag set creation UI.
  • the GUI 140 displays the screen 141 of the tag set creation UI.
  • the user instructs the GUI 140 to create the tag set 12s by pressing the button 143 on the screen 141, for example.
  • the creation of the tag set 12s is started.
  • the information processing unit 180 receives the acquisition request for the text data 10 via the GUI 140, the information processing unit 180 outputs the received acquisition request for the text data 10 to the integrated information database 170.
  • the acquisition request for the text data 10 includes, for example, the transmission destination (specifically, the GUI 140) of the acquired text data 10.
  • the integrated information database 170 reads the text data 10 and sends it to the destination (specifically, the GUI 140) included in the acquisition request for the text data 10.
  • the GUI 140 displays the received text data 10 on the screen 141.
  • the user selects one or more tags 12 from the displayed text data 10.
  • the information processing section 180 generates the tag set 12s having the one or more tags 12 selected by the user as the designated tags (for example, 12-1, 12-2, 12-3), and the integrated information database 170. Send to.
  • the integrated information database 170 stores the received tag set 12s. In this way, the setting of the tag set 12s is completed.
  • the user further instructs the GUI 140 to select the image classification model 40 by pressing the button 144 on the screen 141, for example.
  • selection of the image classification model 40 is started.
  • the information processing unit 180 receives the selection instruction of the image classification model 40 via the GUI 140
  • the information processing unit 180 reads the setting information about the hierarchical structure of the image classification model 40 from the integrated information database 170 and sends it to the GUI 140.
  • the GUI 140 displays the received setting information about the hierarchical structure of the image classification model 40 on the screen 141. The user selects one structure from the setting information about the hierarchical structure of the displayed image classification model 40.
  • the GUI 140 displays the image classification model 40 of the selected structure.
  • the information processing unit 180 sends information about the image classification model 40 selected by the user to the integrated information database 170.
  • the integrated information database 170 stores the received selection information about the image classification model 40. In this way, the selection of the image classification model 40 is completed.
  • FIG. 16 shows an example of a machine learning procedure for the text data 10 (or the column data set 11s).
  • the user instructs the GUI 140 to display the screen 142 of the text classification model creation UI.
  • machine learning on the text data 10 (or the column data set 11s) is started.
  • the information processing unit 180 receives a display instruction of the screen 142 of the text classification model creation UI via the GUI 140, the information processing unit 180 creates data of the screen 142 of the text classification model creation UI and sends it to the GUI 140.
  • the GUI 140 displays the screen 142 based on the data of the screen 142 received from the information processing unit 180.
  • the information processing unit 180 further requests the integrated information database 170 to acquire the plurality of learning text data 10A (or the column data set 11s).
  • the acquisition request includes, for example, the transmission destinations (specifically, the GUI 140) of the plurality of read text data 10 (or the column data set 11s).
  • the integrated information database 170 receives the acquisition request for the plurality of learning text data 10A (or the column data set 11s)
  • the integrated information database 170 reads the plurality of text data 10 (or the column data set 11s) and transmits the data included in the acquisition request. It is sent to the destination (specifically, GUI 140).
  • the GUI 140 When the GUI 140 receives the plurality of text data 10 (or the column data set 11s), the GUI 140 converts the received plurality of text data 10 (or the column data set 11s) into a plurality of learning text data 10A (or the column data set 11s). Is displayed on the screen 142.
  • the information processing section 180 further requests the integrated information database 170 to acquire the image classification name list 30.
  • the acquisition request includes, for example, the transmission destinations (specifically, the GUI 140) of the plurality of read text data 10 (or the column data set 11s).
  • the integrated information database 170 Upon receiving the acquisition request for the image classification name list 30, the integrated information database 170 reads the image classification name list 30 and sends it to the destination (specifically, the GUI 140) included in the acquisition request.
  • the GUI 140 Upon receiving the image classification name list 30, the GUI 140 displays the received image classification name list 30 on the screen 142.
  • the user selects one text data 10A (for example, text data 10A-1) (or column data) from the plurality of learning text data 10A (or column data set 11s) displayed on the screen 142. Select the set 11s) and press the button 145 on the screen 142.
  • the GUI 140 displays the selected text data 10A (for example, text data 10A-1) or the column data set 11s included in the selected text data 10A (for example, text data 10A-1) and the image classification name list. And are transmitted as learning data to the transmission destination (specifically, the integrated information database 170) associated with the button 145.
  • the integrated information database 170 stores the received data as learning data.
  • the GUI 140 selects the selected text data 10A (for example, text data 10A-1) or the column data set 11s included in the selected text data 10A (for example, text data 10A-1) and the image classification name.
  • the list and the learning data are sent to the transmission destination (specifically, the information processing unit 180) associated with the button 145.
  • the GUI 140 may send the selected column data set 11s and the image classification name list to the integrated information database 170 as learning data.
  • the GUI 140 may send the selected column data set 11s and the image classification name list as learning data to the information processing unit 180.
  • the information processing unit 180 performs machine learning by using the received data as learning data and sends the learning result to the integrated information database 170.
  • the integrated information database 170 stores the received learning result. In this way, the learning ends.
  • FIG. 17 shows an example of a test procedure for confirming the machine learning result of the image data 20.
  • the user instructs the GUI 110 to display the screen 111 of the image classification model creation UI.
  • the information processing unit 180 receives a display instruction of the screen 111 of the image classification model creation UI via the GUI 110, the information processing unit 180 generates data of the screen 111 of the image classification model creation UI and sends it to the GUI 110.
  • the GUI 110 displays the screen 111 based on the data of the screen 111 received from the information processing unit 180.
  • the information processing unit 180 further outputs an acquisition request for the image classification name list 30 to the integrated information database 170.
  • the acquisition request of the image classification name list 30 includes, for example, the transmission destination (specifically, the GUI 110) of the read image classification name list 30.
  • the integrated information database 170 reads the image classification name list 30 and sends it to the transmission destination (specifically, the GUI 110) included in the acquisition request for the image classification name list 30.
  • the GUI 110 displays the received image classification name list 30 on the screen 111.
  • the user instructs the GUI 110 to acquire the plurality of image data 20 by pressing the button 116 on the screen 111, for example.
  • the test using the image data 20 is started.
  • the information processing unit 180 receives an acquisition request for a plurality of image data 20 (image acquisition request) via the GUI 110, the information processing unit 180 outputs the received image acquisition request to the integrated information database 170.
  • the image acquisition request includes, for example, the transmission destination (specifically, the GUI 110) of the acquired plurality of image data 20.
  • the integrated information database 170 reads out the plurality of image data 20 and sends it to the destination (specifically, the GUI 110) included in the image acquisition request.
  • the GUI 110 Upon receiving the plurality of image data 20, the GUI 110 displays the received plurality of image data 20 on the screen 111. The user selects one suitable for the test image data 22 from the plurality of image data 20 displayed on the screen 111. Then, the GUI 110 displays the plurality of selected image data 20 as the test image data 22 on the screen 111.
  • the GUI 110 sends the selected image data 20 (test image data 22) to the information processing unit 180.
  • the information processing unit 180 estimates the image classification name 31 of the image data 20 (test image data 22) from the received image data 20 (test image data 22).
  • the information processing unit 180 for example, converts the received image data 20 (test image data 22) into feature amount data 24, and based on the feature amount data 24 obtained thereby, the image data 20 (test The image classification name 31 of the use image data 22) is estimated.
  • the GUI 110 sends the image classification name 31 obtained by the estimation to the GUI 110.
  • the GUI 110 displays the received image classification name 31 on the screen 111 as the image classification name 31 of the selected image data 20 (test image data 22). Note that the GUI 110 may display the selected image data 20 (test image data 22) at a position adjacent to a position where the same image classification name 31 as the received image classification name 31 is displayed.
  • the user determines that the image classification name 31 presented by the information processing unit 180 (image classification learning program 130) is not suitable as the image classification name 31 of the selected image data 20 (test image data 22).
  • the user corrects the image classification name 31 presented by the information processing unit 180 (image classification learning program 130) to an appropriate image classification name 31.
  • the GUI 110 displays the selected image data 20 (test image data 22) at a position adjacent to the position where the same image classification name 31 as the received image classification name 31 is displayed, May move the selected image data 20 (test image data 22) to a location adjacent to the location where the appropriate image classification name 31 is displayed.
  • the GUI 110 sends the selected image data 20 (test image data 22) and the appropriate image classification name 31 to the integrated information database 170 as learning data.
  • the integrated information database 170 stores the received pair of image data 20 (test image data 22) and the image classification name 31 as learning data.
  • the GUI 110 converts the selected image data 20 (test image data 22) into feature amount data 24, and the feature amount data 24 obtained by the conversion and the pre-conversion image data 20 (test image data).
  • the image classification name 31 suitable for 22) is sent to the information processing unit 180 as learning data.
  • the information processing unit 180 performs machine learning with the received pair of feature amount data 24 and the image classification name 31 as the first learning data, and sends the learning result to the integrated information database 170.
  • the integrated information database 170 stores the received learning result.
  • FIG. 18 shows an example of a test procedure for confirming the machine learning results for the text data 10 (or the column data set 11s).
  • the user instructs the GUI 140 to display the screen 142 of the text classification model creation UI.
  • the information processing unit 180 receives a display instruction of the screen 142 of the text classification model creation UI via the GUI 140, the information processing unit 180 creates data of the screen 142 of the text classification model creation UI and sends it to the GUI 140.
  • the GUI 140 displays the screen 142 based on the data of the screen 142 received from the information processing unit 180.
  • the information processing unit 180 further outputs an acquisition request for the text data 10 (or the column data set 11s) to the integrated information database 170.
  • the acquisition request includes, for example, the transmission destination (specifically, the GUI 140) of the read text data 10 (or the column data set 11s).
  • the integrated information database 170 reads out the plurality of text data 10 (or the column data set 11s) and includes the text data 10 included in the acquisition request. (Or the column data set 11s) is sent to the destination (GUI 140).
  • the information processing unit 180 further displays a list of the received plurality of text data 10 (or column data set 11s) on the screen 142 as a plurality of test text data 10B (or column data set 11s).
  • the information processing unit 180 further outputs an acquisition request for the image classification name list 30 to the integrated information database 170.
  • the acquisition request for the image classification name list 30 includes, for example, the transmission destination of the image classification name list 30 (specifically, the GUI 140).
  • the integrated information database 170 reads the image classification name list 30 and sends it to the destination (specifically, the GUI 140) included in the acquisition request for the image classification name list 30. .
  • the GUI 140 displays a list of the received image classification name list 30 on the screen 142.
  • the user selects one text data 10B (or column data set 11s) from the plurality of text data 10B (or column data set 11s) displayed on the screen 142 and presses the button 146.
  • the GUI 140 transmits the column data set 11s in the selected text data 10B or the selected column data set 11s to the information processing unit 180.
  • the information processing unit 180 estimates the most appropriate image classification name 31 for the received column data set 11s and transmits the image classification name 31 obtained thereby to the GUI 140.
  • the GUI 140 displays the received image classification name 31 on the screen 142.
  • the GUI 140 displays The same image classification name 31 as the received image classification name 31 in the name list 30 may be highlighted.
  • the user determines that the image classification name 31 presented by the information processing unit 180 (text classification learning program 160) is not suitable as the image classification name 31 of the selected text data 10B (or column data set 11s).
  • the user corrects the image classification name 31 presented by the text classification learning program 160 to an appropriate image classification name 31.
  • the GUI 140 uses the selected text data 10B (or column data set 11s) and the appropriate image classification name 31 as learning data, and the integrated information database. Send to 170.
  • the integrated information database 170 stores the received pair of text data 10B (or column data set 11s) and the image classification name 31 as learning data.
  • the GUI 140 sends the column data set 11s of the selected text data 10B and the appropriate image classification name 31 as learning data to the information processing section 180 loaded with the text classification learning program 160.
  • the information processing unit 180 loaded with the text classification learning program 160 performs machine learning using the received pair of column data sets 11s and the image classification name 31 as learning data, and sends the learning result to the integrated information database 170.
  • the integrated information database 170 stores the received learning result.
  • FIG. 19 shows an example of a key image extraction procedure.
  • the GUI 140 applies the learning result of the image classification learning program 130 and the text classification learning program 160 to the text data 10 (or the column data set 11s) read from the text information database 300 in the key image extraction process.
  • the image data 20 related to the text data 10 (or the column data set 11s) is acquired.
  • the user instructs the GUI 140 to display the surgery list screen 147.
  • the information processing unit 180 receives the display instruction of the surgery list screen 147 via the GUI 140
  • the information processing unit 180 generates data of the surgery list screen 147 and sends the data to the GUI 140.
  • the GUI 140 displays the screen 147 based on the data of the screen 147 received from the information processing unit 180.
  • the information processing unit 180 further outputs an acquisition request for the text data 10 (or the column data set 11s) that matches a predetermined condition to the integrated information database 170.
  • the "text data 10 that matches a predetermined condition” refers to, for example, the text data 10 (or the column data set 11s) of the patient scheduled to undergo surgery today.
  • the acquisition request for the text data 10 (or the column data set 11s) includes, for example, the transmission destination (specifically, the GUI 140, the information processing unit 180) of the read text data 10 (or the column data set 11s). .
  • the integrated information database 170 reads a plurality of text data 10 (or the column data set 11s) that matches the predetermined condition, and the text data 10 (or The column data set 11s) is sent to the destination (specifically, the GUI 140) included in the acquisition request.
  • the GUI 140 associates the contents included in the received plurality of text data 10 (or the column data set 11s) with the display format of the surgery list and displays the screen 147. Is displayed in a list (see FIG. 20).
  • the GUI 140 for example, displays the contents included in the plurality of received text data 10 (or the column data set 11s) in a list on the screen 147 in order of earliest operation start time.
  • the integrated information database 170 further transmits a plurality of text data 10 (or column data set 11s) that matches a predetermined condition to the information processing unit 180.
  • the information processing unit 180 estimates the most appropriate image classification name 31 for each of the received text data 10 (or column data set 11s) for each text data 10 (or column data set 11s) and obtains it.
  • the most appropriate image data 20 (key image 20x) for a plurality of image classification names 31 is estimated.
  • the information processing unit 180 reads the corresponding plurality of image data 20 (key image 20x) from the integrated information database 170 based on the estimation result.
  • the information processing unit 180 transmits the plurality of read image data 20 (key image 20x) to the GUI 140.
  • the GUI 140 displays the plurality of received image data 20 (key image 20x) on the screen 147.
  • the GUI 140 allocates the plurality of received image data 20 (key images 20x) to the corresponding text data 10 (or column data set 11s) and displays them on the screen 147.
  • the GUI 140 performs an operation in which all or part of the data included in the text data 10 (or the column data set 11s) is associated with the image data 20 related to the text data 10 (or the column data set 11s).
  • a list is generated and displayed on the screen 147.
  • the user determines that the image data 20 (key image 20x) presented by the information processing unit 180 (image classification learning program 130) is not suitable in relation to the corresponding text data 10 (or column data set 11s).
  • the user corrects the image data 20 (key image 20x) presented by the image classification learning program 130 into appropriate image data 20.
  • the user presses the "wrong" button on the right side of the surgery list.
  • the GUI 140 sends an image list acquisition request to the information processing unit 180.
  • the information processing unit 180 sends the image list acquisition request to the integrated information database 170.
  • the image list acquisition request includes, for example, the transmission destination of the read image data 20 (specifically, the GUI 140).
  • the integrated information database 170 When the integrated information database 170 receives the image list acquisition request, the integrated information database 170 reads out the plurality of image data 20 relating to the patient whose “wrong” button has been pressed, and transmits the image data 20 to the GUI 140.
  • the GUI 140 displays the received plurality of image data 20 on the screen 147.
  • the user selects appropriate image data 20 from the plurality of image data 20 displayed on the screen 147.
  • the GUI 140 replaces the original image data 20 with the selected image data 20 and displays it on the screen 147.
  • the GUI 140 further sends the image data 20 after replacement and the image classification name 31 corresponding to the image data 20 before replacement as learning data to the integrated information database 170.
  • the integrated information database 170 stores the received pair of image data 20 (test image data 22) and the image classification name 31 as learning data.
  • the GUI 140 sends the image data 20 after replacement and the image classification name 31 corresponding to the image data 20 before replacement as learning data to the information processing unit 180.
  • the information processing unit 180 performs machine learning using the image data 20 after replacement and the image classification name 31 corresponding to the image data 20 before replacement as learning data, and sends the learning result to the integrated information database 170.
  • the integrated information database 170 stores the received learning result.
  • the information processing unit 180 loaded with the image classification learning program 130 replaces the image data 20.
  • Machine learning is performed using the subsequent image data 20 and the image classification name 31 corresponding to the image data 20 before replacement as learning data.
  • the image data 20 in the image information database 200 and the image classification name 31 that is one of the plurality of image classification names 31 that distinguish the type of each image data 20 are used as learning data.
  • Machine learning is performed in the information processing unit 180 loaded with the image classification learning program 130.
  • the column data set 11s included in the text data 10 of the text information database 300, or the column data set 11s of the text information database 300 and the image classification name 31 that is one of the plurality of image classification names 31 is set.
  • machine learning is performed in the information processing unit 180 loaded with the text classification learning program 160.
  • two machine learnings using the common identifier (image classification name 31) as learning data are performed in cooperation with the two databases (image information database 200, text information database 300). Therefore, in order to link the two databases (the image information database 200 and the text information database 300), it is necessary to redesign the data format and the data association in each database (the image information database 200 and the text information database 300). Absent. Moreover, during the operation, the data formats and the data associations in the two databases (image information database 200, text information database 300) can be performed without hindering the cooperation of the two databases (image information database 200, text information database 300). You can also change the. Therefore, while utilizing the current system, it is possible to perform the cooperation between the systems by a simple and flexible method.
  • two learning results by machine learning are applied to the column data set 11s included in the text data 10 of the text information database 300 or the column data set 11s of the text information database 300.
  • the image data 20 key image data
  • the image data 20 is acquired. Therefore, in order to link the two databases (the image information database 200 and the text information database 300), it is necessary to redesign the data format and the data association in each database (the image information database 200 and the text information database 300). Absent.
  • the data formats and the data associations in the two databases can be performed without hindering the cooperation of the two databases (image information database 200, text information database 300). You can also change the. Therefore, while utilizing the current system, it is possible to perform the cooperation between the systems by a simple and flexible method.
  • the column data set 11s included in the text data 10 of the text information database 300 or the column data set 11s of the text information database 300 is stored in the integrated information database 170. As a result, it is not necessary to frequently access an external database (image information database 200, text information database 300) when acquiring the text data 10 or the column data set 11s. You can
  • the image data 20 and the text data 10 or the column data set 11s are associated with each other using an identifier called an image classification name 31. Therefore, in order to link the two databases (the image information database 200 and the text information database 300), it is necessary to redesign the data format and the data association in each database (the image information database 200 and the text information database 300). Absent. Therefore, while utilizing the current system, it is possible to perform the cooperation between the systems by a simple and flexible method.
  • the image classification name 31 used as an identifier is configured to include a name for classifying the type of the image data 20 or a character string or number sequence corresponding to the name. Therefore, in order to link the two databases (the image information database 200 and the text information database 300), it is necessary to redesign the data format and the data association in each database (the image information database 200 and the text information database 300). Absent. Therefore, while utilizing the current system, it is possible to perform the cooperation between the systems by a simple and flexible method.
  • a surgery list in which all or part of the data included in the text data 10 or the column data set 11s and the image data 20 related to the text data 10 or the column data set 11s are associated with each other is generated. It Thereby, for example, a medical staff can reduce misunderstanding of a patient and misunderstanding of a surgical site at the time of surgery.
  • the image data 20 after the replacement and the image corresponding to the image data 20 before the replacement are displayed.
  • Machine learning is performed using the classification name 31 and the learning data. Thereby, the accuracy of learning can be improved.
  • the number of external databases may be three or more.
  • the text data 10 is composed of the surgery information, but it may be composed of information other than the surgery information.
  • the information processing system 100 does not store the data (image data 20) of the image information database 200 in the integrated information database 170 in advance, and the image information database can be used only when necessary.
  • the image data 20 may be read from 200.
  • the information processing system 100 does not store the text data 10 (or the column data set 11s) of the text information database 300 in the integrated information database 170 in advance, and from the text information database 300, when necessary, from the text information database 300, The text data 10 (or the column data set 11s) may be read out. In this case, the capacity of the integrated information database 170 can be minimized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

情報処理システムは、第1読み出し部と、第2読み出し部と、学習部とを備えている。第1読み出し部は、複数の第1データを記憶する第1データベースから第1データを読み出す。第2読み出し部は、複数の第2データを記憶する第2データベースから前記第2データを読み出す。学習部は、第1データベースの第1データと、複数の識別子のうちの1つである第1識別子とを学習データとして機械学習を行うとともに、第2データベースの第2データと、複数の識別子のうちの1つである第2識別子とを学習データとして機械学習を行う。

Description

情報処理システム
 本発明は、情報処理システムに関する。
 近年、様々な業務がシステム化され、人手による作業の省力化が進んでいる。しかし、システム同士の仕様が異なる場合には、システム同士で連携することが難しい。その結果、ユーザは、ある業務を行う際に、仕様の異なる様々なシステムを個別に操作することが必要となる場合がある。例えば、ユーザが、2つのシステムから抽出したデータ(以下、「データA,B」と称する。)を元に、別のシステムのデータ(以下、「データC」と称する。)を抽出しようとした場合、システム間の仕様の違いに起因して、データA,Bを元にデータCを自動で抽出することができず、ユーザが、手作業でデータCを探すことになる場合がある。この場合には、人手によるデータ探索が必要であり、システム化が、人手による作業の省力化に寄与しているとは言い難い。
 そこで、システム同士での連携が行えるよう、仕様の互いに異なる既存のシステムを仕様の互いに等しいシステムに置き換えることが考えられる。また、例えば、特許文献1に記載したように、各システムのデータ間の連携関係を定義する書式対応テーブルを設けることも考えられる。
国際公開WO1015/016011
 しかし、システムの置き換えには、例えば、意味が重複するデータや、形式が異なるデータ、サイズが異なるデータのフォーマットや関連付けを再設計し、データコンバートを行い、新しいシステムへデータ入力を行う必要がある。また、システムを置き換えたり、書式対応テーブルを設けたりする場合には、運用途中でそれぞれのデータベースにおけるデータフォーマットやデータの関連付けの変更をすることができない。従って、現状のシステムを生かしつつ、簡易かつ柔軟な方法でシステム間の連携を行うことの可能な情報処理システムを提供することが望ましい。
 本発明の一実施形態に係る情報処理システムは、第1読み出し部と、第2読み出し部と、学習部とを備えている。第1読み出し部は、複数の第1データを記憶する第1データベースから第1データを読み出す。第2読み出し部は、複数の第2データを記憶する第2データベースから前記第2データを読み出す。学習部は、第1データベースから読み出された第1データ(第1データベースの第1データ)と、複数の識別子のうちの1つである第1識別子とを学習データとして機械学習を行う。学習部は、さらに、第2データベースから読み出された第2データ(第2データベースの第2データ)と、複数の識別子のうちの1つである第2識別子とを学習データとして機械学習を行う。
 本発明の一実施形態に係る情報処理システムでは、第1データベースの第1データと、複数の識別子のうちの1つである第1識別子とを学習データとして機械学習が行われる。さらに、第2データベースの第2データと、複数の識別子のうちの1つである第2識別子とを学習データとして機械学習が行われる。このように、本発明の一実施形態に係る情報処理システムでは、2つのデータベースの連携に、共通の識別子を学習データとする2つの機械学習が行われる。これにより、2つのデータベースを連携させるために、それぞれのデータベースにおけるデータフォーマットやデータの関連付けを再設計する必要がない。しかも、運用途中で、2つのデータベースの連携に支障を与えることなく、それぞれのデータベースにおけるデータフォーマットやデータの関連付けの変更をすることもできる。
 本発明の一実施形態に係る情報処理システムによれば、2つのデータベースの連携に、共通の識別子を学習データとする2つの機械学習を行うようにしたので、現状のシステムを生かしつつ、簡易かつ柔軟な方法でシステム間の連携を行うことができる。
本発明の一実施の形態に係る情報処理システムの機能ブロックの一例を表す図である。 図1の情報処理システムのハードウェア構成の一例を表す図である。 図1のテキスト情報データベースおよび統合情報データベースに記憶されるテキストデータの一例を表す図である。 図1の画像分類学習プログラムの構成例を表す図である。 図1の画像情報データベースおよび統合情報データベースに記憶される画像データの一例を表す図である。 図1の統合情報データベースに記憶される画像分類名リストの一例を表す図である。 図5の学習用画像データの一例を表す図である。 図1の画像分類学習プログラムに入力される学習データの一例を表す図である。 図1の画像分類学習プログラムに入力される学習データの一例を表す図である。 図1のテキスト分類学習プログラムに入力される学習データの一例を表す図である。 図1のGUIに表示される画面の一例を表す図である。 図1のGUIに表示される画面の一例を表す図である。 図1のGUIに表示される画面の一例を表す図である。 図1のGUIに表示される画面の一例を表す図である。 図1の情報処理システムにおけるデータ取得手順の一例を表す図である。 図1の情報処理システムにおける機械学習手順の一例を表す図である。 図1の情報処理システムにおける機械学習手順の一例を表す図である。 図1の情報処理システムにおける機械学習手順の一例を表す図である。 図1の情報処理システムにおけるテスト手順の一例を表す図である。 図1の情報処理システムにおけるテスト手順の一例を表す図である。 図1の情報処理システムにおけるキー画像取得手順の一例を表す図である。 図1のGUIに表示される画面の一例を表す図である。
 以下、本発明を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本発明の一具体例であって、本発明は以下の態様に限定されるものではない。また、本発明は、各図に示す各構成要素の配置や寸法、寸法比などについても、それらに限定されるものではない。なお、説明は、以下の順序で行う。
 1.実施の形態
 2.変形例
<1.実施の形態>
[構成]
 本発明の一実施の形態に係る情報処理システム100について説明する。図1は、情報処理システム100の機能ブロックの一例を表したものである。
 情報処理システム100は、仕様の互いに異なるシステム同士の連携を可能にする装置である。ここで、「仕様」とは、例えば、データのフォーマットや関連付けなどを指している。また、「システム同士の連携」とは、例えば、一方のシステムのデータと、他方のシステムのデータとを関連付けることを指している。システムの仕様が互いに異なる場合、相手のシステムのデータを利用することが難しい。情報処理システム100は、仕様の互いに異なる複数のシステムの間に情報処理システム100を介在させることにより、仕様の互いに異なるシステムにおいて、相手のシステムのデータを利用することを可能にしている。
 情報処理システム100は、例えば、仕様の互いに異なる2つのシステム(画像情報データベース200、テキスト情報データベース300)と通信可能となっており、仕様の互いに異なる2つのシステム(画像情報データベース200、テキスト情報データベース300)同士の連携を可能にする装置である。「2つのシステム(画像情報データベース200、テキスト情報データベース300)同士の連携」とは、例えば、一方のシステム(テキスト情報データベース300)のデータと、他方のシステム(画像情報データベース200)のデータとを関連付けることを指している。
 情報処理システム100は、例えば、GUI(Graphical User Interface)110、画像データIF(Interface)120、画像分類学習プログラム130、GUI(Graphical User Interface)140、テキストデータIF(Interface)150、テキスト分類学習プログラム160、統合情報データベース170および情報処理部180を備えている。
 図2は、情報処理システム100のハードウェア構成の一例を表したものである。情報処理システム100は、ネットワーク4000を介して2つのシステム(情報処理システム2000,3000)に接続されている。
(ネットワーク4000)
 ネットワーク4000は、例えば、インターネットで標準的に利用されている通信プロトコル(TCP/IP)を用いて通信を行うネットワークである。ネットワーク4000は、例えば、そのネットワーク独自の通信プロトコルを用いて通信を行うセキュアなネットワークであってもよい。ネットワーク4000は、例えば、インターネット、イントラネット、または、ローカルエリアネットワークである。ネットワーク4000と、情報処理システム100、情報処理システム2000または情報処理システム3000との接続は、例えば、イーサネット等の有線LAN(Local Area Network)であってもよいし、Wi−Fi等の無線LANや、携帯電話回線などであってもよい。
(情報処理システム2000)
 情報処理システム2000は、例えば、CPU(Central Processing Unit)2100、メモリ2200およびネットワークIF(Interface)2300を含んで構成されている。CPU2100は、例えば、メモリ2200に記憶されたウェブサーバプログラムや、オペレーティングシステムなどを実行する。ネットワークIF2300は、ネットワーク4000を介して情報処理システム100と通信するための通信インターフェースである。メモリ2200は、CPU2100によって実行されるプログラム(例えば、ウェブサーバプログラムや、オペレーティングシステム)などを格納する。メモリ2200は、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)等によって構成される。メモリ2200は、画像情報データベース200を含んで構成されている。
(情報処理システム3000)
 情報処理システム3000は、例えば、CPU3100、メモリ3200およびネットワークIF3300を含んで構成されている。CPU3100は、例えば、メモリ3200に記憶されたウェブサーバプログラムや、オペレーティングシステムなどを実行する。ネットワークIF3300は、ネットワーク4000を介して情報処理システム100と通信するための通信インターフェースである。メモリ3200は、CPU3100によって実行されるプログラム(例えば、ウェブサーバプログラムや、オペレーティングシステム)などを格納する。メモリ3200は、RAM、ROM、補助記憶装置(ハードディスク等)等によって構成される。メモリ3200は、テキスト情報データベース300を含んで構成されている。
(情報処理システム100)
 情報処理システム100は、例えば、CPU1100、メモリ1200、ネットワークIF1300、入力装置1400および出力装置1500を含んで構成されている。CPU1100は、例えば、メモリ1200に記憶されたウェブブラウザプログラムや、オペレーティングシステムなどを実行する。ネットワークIF1300は、ネットワーク4000を介して情報処理システム2000,3000と通信するための通信インターフェースである。メモリ1200は、CPU1100によって実行されるプログラム(例えば、ウェブブラウザプログラムや、オペレーティングシステム)などを格納する。メモリ1200は、RAM、ROM、補助記憶装置(ハードディスク等)等によって構成される。入力装置1400は、キーボードやタッチパネルなどで構成されている。出力装置1500は、ディスプレイなどで構成されている。
 メモリ1200は、統合情報データベース170、画像分類学習プログラム130およびテキスト分類学習プログラム160を含んで構成されている。GUI110、画像データIF120、GUI140、テキストデータIF150は、CPU1100、ネットワークIF1300および入力装置1400および出力装置1500によって構成されている。
 次に、各機能ブロックの詳細について説明する。
(テキスト情報データベース300)
 テキスト情報データベース300は、複数のテキストデータ10を記憶している。テキストデータ10は、例えば、図3に示したように、複数のカラムデータ11によって構成された手術データである。カラムデータ11は、タグ12と、タグ12に対応する具体的な内容13とによって構成されている。タグ12としては、例えば、患者氏名、患者ID(Identification)、担当医、病名、手術開始日、手術開始時刻、術眼、または、術式が挙げられる。タグ12が患者氏名の内容13としては、手術を受ける患者の氏名(例えば、山田太郎)が挙げられる。タグ12が患者IDの内容13としては、手術を受ける患者に付与された識別子(例えば、012345などの識別番号)が挙げられる。タグ12が担当医の内容13としては、手術を執刀する医師の氏名(例えば、A医師)が挙げられる。タグ12が病名の内容13としては、手術の要因となった病気の名前(例えば、白内障)が挙げられる。タグ12が手術開始日の内容13としては、手術が行われる日(例えば、2018年9月10日)が挙げられる。タグ12が手術開始時刻の内容13としては、手術が行われる時刻(例えば、午前10時30分)が挙げられる。タグ12が術眼の内容13としては、一対の眼のうち手術が行われる方の眼の位置(例えば、右(R))が挙げられる。タグ12が術式の内容13としては、手術の名称(例えば、PEA+IOL)が挙げられる。
 テキストデータ10において、指定された1または複数のカラムデータ11がカラムデータセット11sを構成する。つまり、テキストデータ10は、カラムデータセット11sを含んでおり、テキスト情報データベース300は、複数のカラムデータセット11s(第2データ)を記憶しているといえる。カラムデータセット11sは、あらかじめ指定されていてもよいし、ユーザによって指定されてもよい。カラムデータセット11sは、1または複数のカラムデータ11によって構成されている。以下では、カラムデータセット11sに含まれるカラムデータ11を便宜的に指定カラムデータ11−1と称する。指定カラムデータ11−1は、画像データ20を分類するのに役立つカラムデータ11である。カラムデータセット11sは、例えば、タグ12が患者IDのカラムデータ11と、タグ12が術眼のカラムデータ11と、タグ12が術式のカラムデータ11とによって構成されている。なお、画像分類学習プログラム130が、例えば、図4に示したように、担当医ごとに設定された複数の画像分類学習プログラム131,132によって構成されている場合には、カラムデータセット11sは、タグ12が担当医のカラムデータ11を含んでいてもよい。以下では、タグ12が担当医のカラムデータ11をカスタマイズカラムデータ11cと称する。
(画像情報データベース200)
 画像情報データベース200は、複数の画像データ20(第1データ)を記憶している。画像情報データベース200に記憶される複数の画像データ20には、例えば、図5に示したように、複数の学習用画像データ21、複数のテスト用画像データ22および複数の画像データ23が含まれる。学習用画像データ21は、後述の機械学習の際に用いられるサンプルデータである。テスト用画像データ22は、後述の機械学習の成績を確認するためのテストの際に用いられるサンプルデータである。画像データ23は、手術を受ける患者が検査の際の撮影により得られたデータである。
(統合情報データベース170)
 統合情報データベース170は、2つのシステム(画像情報データベース200、テキスト情報データベース300)同士を連携させるために用いられるデータベースである。統合情報データベース170には、例えば、画像情報データベース200から読み出された複数の画像データ20と、テキスト情報データベース300から読み出された複数のテキストデータ10もしくはカラムデータセット11sとが記憶される。統合情報データベース170には、さらに、画像データ20とともに、画像データ20を所定のアルゴリズムによって処理することにより得られる特徴量データ24が記憶されている。特徴量データ24は、例えば、画像データ20に含まれる臓器(例えば、眼や心臓、肺、肝臓など)の特徴を表したデータであり、画像分類学習モデル130における機械学習や後述のキー画像取得の際に用いられるデータである。
 統合情報データベース170には、さらに、画像分類名リスト30が記憶される。画像分類名リスト30には、例えば、図6に示したように、複数の画像分類名31が含まれる。画像分類名31は、複数の画像データ20を所定の観点(例えば、撮影に用いた検査機器や、術眼など)で分類したときに各画像データ20を分類ごとに区別するための識別子である。画像分類名31は、例えば、各画像データ20の種類を分類する名前またはそれに対応する文字列もしくは数列を含んで構成されている。統合情報データベース170には、さらに、画像分類学習プログラム130およびテキスト分類学習プログラム160における機械学習によって得られた学習結果が記憶される。
 図7は、学習用画像データ21の一例を表したものである。図7には、画像分類名31として「スリット(明右)」、「スリット(暗左)」、「スリット(青左)」、「オプトス(左)」、「スペキュラ(右)」が付与され得る複数の学習用画像データ21が例示されている。ここで、スリットとは、スリットランプマイクロスコープで患者の眼を撮影することにより得られた画像データを指している。オプトスとは、オプトス社製の眼底検査機器で撮影することにより得られた画像データを指している。スペキュラとは、角膜内皮細胞検査機器で撮影することにより得られた画像データを指している。「明」とは、明るい状態で撮影することにより得られた画像データを指している。「暗」とは、暗い状態で撮影することにより得られた画像データを指している。「青」とは、青い光を眼に照射した状態で撮影することにより得られた画像データを指している。「右」とは、右眼を撮影することにより得られた画像データを指している。「左」とは、左眼を撮影することにより得られた画像データを指している。
(画像データIF120)
 画像データIF120は、情報処理システム100と画像情報データベース200との間で通信するためのインターフェースである。画像データIF120は、例えば、GUI110による制御に従って、画像情報データベース200から複数の画像データ20などを読み出し、GUI110や統合情報データベース170に出力する。
(テキストデータIF150)
 テキストデータIF150は、情報処理システム100とテキスト情報データベース300との間で通信するためのインターフェースである。テキストデータIF150は、例えば、GUI140による制御に従って、テキスト情報データベース300から複数のテキストデータ10(またはカラムデータセット11s)などを読み出し、GUI140や統合情報データベース170に出力する。
(テキスト分類学習プログラム160)
 テキスト分類学習プログラム160は、情報処理部180にロードされることにより、入力データを学習データとして機械学習し、それにより得られた学習結果を統合情報データベース170に記憶させる。テキスト分類学習プログラム160に入力される入力データは、例えば、図8Cに示したように、一組のカラムデータセット11sおよび画像分類名31である。
 テキスト分類学習プログラム160がロードされた情報処理部180は、機械学習プロセスでは、テキスト分類モデルの作成を行う。具体的には、テキスト分類学習プログラム160がロードされた情報処理部180は、機械学習プロセスでは、テキスト情報データベース300から読み出されたテキストデータ10(またはカラムデータセット11s)と、複数の画像分類名31(識別子)のうちの1つである画像分類名31(第2識別子)とを学習データとして機械学習を行う。その結果、情報処理部180は、テキストデータ10(またはカラムデータセット11s)と、画像分類名31との対応関係についての情報を学習結果として生成する。テキスト分類学習プログラム160がロードされた情報処理部180は、後述のキー画像取得プロセスでは、テキストデータ10(またはカラムデータセット11s)が入力されると、例えば、上記学習結果に基づいて、入力されたテキストデータ10(10x)(またはカラムデータセット11s)に対して最も適切な画像分類名31(31x)を統合情報データベース170から抽出する。テキスト分類学習プログラム160がロードされた情報処理部180は、例えば、テキストデータ10x(またはカラムデータセット11s)と種々のテキストデータ10y(またはカラムデータセット11s)とを対比し、その結果、種々のテキストデータ10y(またはカラムデータセット11s)の中で最もテキストデータ10x(またはカラムデータセット11s)に近いテキストデータ10y(またはカラムデータセット11s)に対応する画像分類名31xを統合情報データベース170から抽出する。
(画像分類学習プログラム130)
 画像分類学習プログラム130は、情報処理部180にロードされることにより、入力データを学習データとして機械学習し、それにより得られた学習結果を統合情報データベース170に記憶させる。画像分類学習プログラム130に入力される入力データは、例えば、図8Aに示したように、一組の学習用画像データ21および画像分類名31である。画像分類学習プログラム130に入力される入力データは、例えば、図8Bに示したように、一組の特徴量データ24および画像分類名31であってもよい。画像分類学習プログラム130がロードされた情報処理部180は、ファイル名やメタタグなどのテキストが画像データ20に付随している場合であっても、そのテキストを利用しないで機械学習を行う。
 画像分類学習プログラム130がロードされた情報処理部180は、機械学習プロセスでは、画像分類モデルの作成を行う。具体的には、画像分類学習プログラム130がロードされた情報処理部180は、機械学習プロセスでは、画像情報データベース200から読み出された画像データ20と、複数の画像分類名31(識別子)のうちの1つである画像分類名31(第1識別子)とを学習データとして機械学習を行う。その結果、情報処理部180は、画像データ20と、画像分類名31との対応関係についての情報を学習結果として生成する。画像分類学習プログラム130がロードされた情報処理部180は、後述のキー画像取得プロセスでは、画像分類名31xが入力されると、例えば、上記学習結果に基づいて、入力された画像分類名31xに対応する多くの画像データ20の中から、最も適切な画像データ20(キー画像20x)を統合情報データベース170から抽出する。
(GUI110)
 GUI110は、ユーザによる情報処理システム100へのデータ入力、または、ユーザへの情報処理システム100からのデータ提示を行うための画面を提供する。GUI110は、例えば、図9に示したように、画像分類モデルの作成を行うための画面111を提供する。画面111には、例えば、機械学習や、機械学習の成績を確認するためのテストを実行するのに必要な画像分類名リスト30が表示される。画面111には、さらに、例えば、機械学習の済んだ学習用画像データ21や、テストの済んだテスト用画像データ22が表示される。画面111には、さらに、例えば、画像分類名31の追加や削除を行うためのボタン113や、学習用画像データ21の追加や削除を行うためのボタン114、機械学習を実行するためのボタン115、テスト用画像データ22の追加や削除を行うためのボタン116、テストを実行するためのボタン117などが表示される。
 GUI110は、さらに、例えば、図10に示したように、画像分類モデル40の設定を行うための画面112を提供する。画像分類モデル40とは、画像分類名リスト30に含まれる複数の画像分類名31の階層構造についてのモデルを指している。画面112には、例えば、登録された全ての画像分類名31が階層なしで羅列されたモデルが一覧窓118に表示される。画面112には、さらに、例えば、画像分類モデル40の階層構造を設定するためのボタン119が表示される。なお、図10には、画像分類モデル40を、3つの画像分類モデル40A,40B,40Cで構成し、画像分類モデル40Aの下層に、2つの画像分類モデル40B,40Cを設定した様子が例示されている。このとき、例えば、最上層の画像分類モデル40Aを6つの画像分類名31A−1~31A−6で構成し、画像分類名31A−2に、下層の画像分類モデル40Bを接続し、画像分類モデル130Bを2つの画像分類名31B−1,31B−2で構成し、画像分類名31A−5に、下層の画像分類モデル40Cを接続し、画像分類モデル40Cを3つの画像分類名31C−1~31C−3で構成することができる。画像分類モデル40をこのような階層構造とした場合、一覧窓118には、画像分類モデル40Aにおいて、画像分類名31A−2を画像分類名31B−1,31B−2に置き換えるとともに、画像分類名31A−5を画像分類名31C−1,31C−2,31C−3に置き換えたものが表示される。
(GUI140)
 GUI140は、ユーザによる情報処理システム100へのデータ入力、または、ユーザへの情報処理システム100からのデータ提示を行うための画面を提供する。GUI140は、例えば、図11に示したように、タグセット12sの作成を行うための画面141を提供する。画面141には、例えば、指定された全てのタグ12(指定タグ12−1,12−2,12−3)が一覧で表示されている。画面141には、さらに、例えば、タグセット12sにタグ12の追加を行うためのボタン143や、複数の画像分類モデル40の中から、タグセット12sに対応付ける画像分類モデル40を選択するためのボタン144が表示されている。なお、図11には、タグセット12sに対応付ける画像分類モデル40として選択された画像分類モデル40(全ての画像分類名31が階層なしで羅列されたモデル)が画面141に表示されている様子が例示されている。
 GUI140は、例えば、図12に示したように、テキスト分類モデルの作成を行うための画面142を提供する。画面142には、例えば、機械学習を実行するのに必要な複数のテキストデータ10(10A)の一覧や、機械学習の成績を確認するためのテストを実行するのに必要な複数のテキストデータ(10B)の一覧が表示される。画面142には、さらに、例えば、設定されたタグセット12sや、設定された画像分類名31からなる画像分類名リスト30が表示される。画面142には、さらに、例えば、機械学習を実行するためのボタン145や、テストを実行するためのボタン146などが表示される。
[動作]
 次に、本実施の形態に係る情報処理システム100の動作について説明する。
(画像データ取得)
 図13、図14は、情報処理システム100におけるデータ取得手順の一例を表したものである。ユーザは、画像情報データベース200のデータ(画像データ20)を取得する。具体的には、ユーザは、GUI110に対して、画像情報データベース200のデータ(画像データ20)を取得するための画面の表示を指示する。これにより、画像取得が開始される。すると、GUI110は、画像情報データベース200のデータ(画像データ20)を取得するための画面を表示する。次に、ユーザは、GUI110に対して、画像データ20を取得するための条件を指定する。すると、情報処理部180は、GUI110で指定された条件に応じた画像取得依頼を画像データIF120に出力する。このとき、画像取得依頼には、例えば、取得した画像の送信先(具体的には統合情報データベース170)が含まれている。画像データIF120は、入力された画像取得依頼を画像情報データベース200に出力する。画像情報データベース200は、画像取得依頼が入力されると、入力された画像取得依頼に含まれる条件に合致する画像データ20を読み出し、画像データIF120に送信する。画像データIF120は、画像情報データベース200から画像データ20を受信すると、受信した画像データ20を、画像取得依頼に含まれる画像の送信先(具体的には統合情報データベース170)に送信する。統合情報データベース170は、画像データIF120から画像データ20を受信すると、受信した画像データ20を保存する。このようにして、画像データ20の取得が終了する。
(テキストデータ10取得)
 ユーザは、テキスト情報データベース300のテキストデータ10(またはカラムデータセット11s)を取得する。具体的には、ユーザは、GUI140に対して、テキスト情報データベース300のテキストデータ10(またはカラムデータセット11s)を取得するための画面の表示を指示する。これにより、テキスト取得が開始される。すると、GUI140は、テキスト情報データベース300のテキストデータ10(またはカラムデータセット11s)を取得するための画面を表示する。次に、ユーザは、GUI140に対して、テキストデータ10(またはカラムデータセット11s)を取得するための条件を指定する。すると、情報処理部180は、GUI140で指定された条件に応じたテキスト取得依頼をテキストデータIF150に出力する。このとき、テキスト取得依頼には、例えば、取得したテキストデータ10(またはカラムデータセット11s)の送信先(具体的には統合情報データベース170)が含まれている。テキストデータIF150は、入力されたテキスト取得依頼をテキスト情報データベース300に出力する。テキスト情報データベース300は、テキスト取得依頼が入力されると、入力されたテキスト取得依頼に含まれる条件に合致するテキストデータ10(またはカラムデータセット11s)を読み出し、テキストデータIF150に送信する。テキストデータIF150は、テキスト情報データベース300からテキストデータ10(またはカラムデータセット11s)を受信すると、受信したテキストデータ10(またはカラムデータセット11s)を、テキスト取得依頼に含まれる、テキストデータ10(またはカラムデータセット11s)の送信先(具体的には統合情報データベース170)に送信する。統合情報データベース170は、テキストデータIF150からテキストデータ10(またはカラムデータセット11s)を受信すると、受信したテキストデータ10(またはカラムデータセット11s)を保存する。このようにして、テキスト情報データベース300のテキストデータ10(またはカラムデータセット11s)の取得が終了する。
(機械学習)
 図15は、画像データ20についての機械学習の手順の一例を表したものである。まず、ユーザは、GUI110に対して、画像分類モデル40の設定を行うための画面112の表示を指示する。すると、GUI110は、画像分類モデル40の設定を行うための画面112を表示する。次に、ユーザは、必要に応じて、画像分類モデル40の階層構造を設定する。ユーザは、例えば、最上層の画像分類モデル40Aを6つの画像分類名31A−1~31A−6で構成し、画像分類名31A−2に、下層の画像分類モデル40Bを接続し、画像分類モデル40Bを2つの画像分類名31B−1,31B−2で構成し、画像分類名31A−5に、下層の画像分類モデル40Cを接続し、画像分類モデル40Cを3つの画像分類名31C−1~31C−3で構成する。情報処理部180は、GUI110を介して入力された、画像分類モデル40の階層構造についての設定情報を統合情報データベース170に送信する。統合情報データベース170は、受け取った設定情報を記憶する。
 次に、ユーザは、GUI110に対して、画像分類モデル作成UIの画面111の表示を指示する。すると、GUI110は、画像分類モデル作成UIの画面111を表示する。次に、ユーザは、例えば、画面111上のボタン114を押すことにより、GUI110に対して、複数の画像データ20の読み出しを指示する。情報処理部180は、GUI110を介して、複数の画像データ20の読み出し指示(画像取得依頼)を受け取ると、画像データ20についての機械学習を開始する。情報処理部180は、画像取得依頼を統合情報データベース170に出力する。このとき、画像取得依頼には、例えば、取得した画像の送信先(具体的にはGUI110)が含まれている。統合情報データベース170は、画像取得依頼が入力されると、複数の画像データ20を読み出し、GUI110に送る。GUI110は、複数の画像データ20を受け取ると、受け取った複数の画像データ20を画面111に表示する。ユーザは、画面111に表示された複数の画像データ20の中から機械学習に適したものを選択する。続いて、ユーザは、画面111上のボタン113を押し、選択された画像データ20に適した画像分類名31を入力することにより、選択された画像データ20に適した画像分類名31を画像分類名リスト30に追加する。選択された画像データ20に適した画像分類名31が既に画面111に表示されている場合には、ユーザは、選択された画像データ20に適した画像分類名31を選択する。このとき、情報処理部180は、選択された画像データ20と、入力もしくは選択された画像データ20に適した画像分類名31とが対になるように画面111のデータを生成し、GUI110に転送する。に表示する。GUI110は、情報処理部180からの画面111のデータに基づいて画面111を表示する。
 次に、ユーザは、画面111上のボタン115を押す。すると、GUI110は、まず、画像分類名リスト30を、ボタン115に紐付けられた送信先(具体的には統合情報データベース170)に送る。統合情報データベース170は、受け取った画像分類名リスト30を保存する。GUI110は、さらに、画像データ20(学習用画像データ21)と、画像データ20(学習用画像データ21)に適した画像分類名31とを学習データとして、ボタン115に紐付けられた送信先(具体的には統合情報データベース170および情報処理部180)に送る。統合情報データベース170は、受け取った一組の画像データ20(学習用画像データ21)および画像分類名31を学習データとして保存する。このとき、情報処理部180は、画像データ20を特徴量データ24に変換し、変換により得られた特徴量データ24と、変換前の画像データ20に適した画像分類名31とを学習データとして機械学習を行い、学習結果を統合情報データベース170に送る。統合情報データベース170は、受け取った学習結果を保存する。このようにして、画像データ20についての機械学習が終了する。
 次に、ユーザは、GUI140に対して、タグセット作成UIの画面141の表示を指示する。すると、GUI140は、タグセット作成UIの画面141を表示する。次に、ユーザは、例えば、画面141上のボタン143を押すことにより、GUI140に対して、タグセット12sの作成を指示する。これにより、タグセット12sの作成が開始される。情報処理部180は、GUI140を介してテキストデータ10の取得依頼を受け取ると、受け取ったテキストデータ10の取得依頼を統合情報データベース170に出力する。ここで、テキストデータ10の取得依頼には、例えば、取得したテキストデータ10の送信先(具体的にはGUI140)が含まれている。統合情報データベース170は、テキストデータ10の取得依頼が入力されると、テキストデータ10を読み出し、テキストデータ10の取得依頼に含まれる送信先(具体的にはGUI140)に送る。GUI140は、テキストデータ10を受け取ると、受け取ったテキストデータ10を画面141に表示する。ユーザは、表示されたテキストデータ10の中から1または複数のタグ12を選択する。すると、情報処理部180は、ユーザによって選択された1または複数のタグ12を指定タグ(例えば、12−1,12−2,12−3)とするタグセット12sを生成し、統合情報データベース170に送る。統合情報データベース170は、受け取ったタグセット12sを保存する。このようにして、タグセット12sの設定が終了する。
 ユーザは、さらに、例えば、画面141上のボタン144を押すことにより、GUI140に対して、画像分類モデル40の選択を指示する。これにより、画像分類モデル40の選択が開始される。情報処理部180は、GUI140を介して、画像分類モデル40の選択指示を受け取ると、統合情報データベース170から画像分類モデル40の階層構造についての設定情報を読み出し、GUI140に送る。GUI140は、情報処理部180から、画像分類モデル40の階層構造についての設定情報を受け取ると、受け取った画像分類モデル40の階層構造についての設定情報を画面141に表示する。ユーザは、表示された画像分類モデル40の階層構造についての設定情報の中から1つの構造を選択する。GUI140は、ユーザによって画像分類モデル40の構造が選択されると、選択された構造の画像分類モデル40を表示する。情報処理部180は、ユーザによって選択された画像分類モデル40についての情報を統合情報データベース170に送る。統合情報データベース170は、受け取った、画像分類モデル40についての選択情報を保存する。このようにして、画像分類モデル40の選択が終了する。
 図16は、テキストデータ10(またはカラムデータセット11s)についての機械学習の手順の一例を表したものである。画像データ20についての機械学習が終了した後、ユーザは、GUI140に対して、テキスト分類モデル作成UIの画面142の表示を指示する。これにより、テキストデータ10(またはカラムデータセット11s)についての機械学習が開始される。情報処理部180は、GUI140を介して、テキスト分類モデル作成UIの画面142の表示指示を受け取ると、テキスト分類モデル作成UIの画面142のデータを生成し、GUI140に送る。GUI140は、情報処理部180から受け取った画面142のデータに基づいて、画面142を表示する。情報処理部180は、さらに、統合情報データベース170に対して、学習用の複数のテキストデータ10A(またはカラムデータセット11s)の取得依頼を行う。この取得依頼には、例えば、読み出した複数のテキストデータ10(またはカラムデータセット11s)の送信先(具体的にはGUI140)が含まれている。統合情報データベース170は、学習用の複数のテキストデータ10A(またはカラムデータセット11s)の取得依頼を受け取ると、複数のテキストデータ10(またはカラムデータセット11s)を読み出し、上記取得依頼に含まれる送信先(具体的にはGUI140)に送る。GUI140は、複数のテキストデータ10(またはカラムデータセット11s)を受け取ると、受け取った複数のテキストデータ10(またはカラムデータセット11s)を、学習用の複数のテキストデータ10A(またはカラムデータセット11s)として画面142に表示する。このとき、情報処理部180は、さらに、統合情報データベース170に対して、画像分類名リスト30の取得依頼を行う。この取得依頼には、例えば、読み出した複数のテキストデータ10(またはカラムデータセット11s)の送信先(具体的にはGUI140)が含まれている。統合情報データベース170は、画像分類名リスト30の取得依頼を受け取ると、画像分類名リスト30を読み出し、上記取得依頼に含まれる送信先(具体的にはGUI140)に送る。GUI140は、画像分類名リスト30を受け取ると、受け取った画像分類名リスト30を画面142に表示する。次に、ユーザは、例えば、画面142に表示された複数の学習用のテキストデータ10A(またはカラムデータセット11s)の中から1つのテキストデータ10A(例えば、テキストデータ10A−1)(またはカラムデータセット11s)を選択し、画面142上のボタン145を押す。すると、GUI140は、選択されたテキストデータ10A(例えば、テキストデータ10A−1)、もしくは選択されたテキストデータ10A(例えば、テキストデータ10A−1)に含まれるカラムデータセット11sと、画像分類名リストとを学習データとして、ボタン145に紐付けられた送信先(具体的には統合情報データベース170)に送る。統合情報データベース170は、受け取ったデータを学習データとして保存する。このとき、GUI140は、選択されたテキストデータ10A(例えば、テキストデータ10A−1)、もしくは選択されたテキストデータ10A(例えば、テキストデータ10A−1)に含まれるカラムデータセット11sと、画像分類名リストとを学習データとして、ボタン145に紐付けられた送信先(具体的には情報処理部180)に送る。なお、GUI140は、選択されたカラムデータセット11sと、画像分類名リストとを学習データとして、統合情報データベース170に送ってもよい。さらに、GUI140は、選択されたカラムデータセット11sと、画像分類名リストとを学習データとして、情報処理部180に送ってもよい。情報処理部180は、受け取ったデータを学習データとして機械学習を行い、学習結果を統合情報データベース170に送る。統合情報データベース170は、受け取った学習結果を保存する。このようにして、学習が終了する。
(テスト)
 図17は、画像データ20についての機械学習の成績を確認するためのテストの手順の一例を表したものである。まず、ユーザは、GUI110に対して、画像分類モデル作成UIの画面111の表示を指示する。情報処理部180は、GUI110を介して、画像分類モデル作成UIの画面111の表示指示を受け取ると、画像分類モデル作成UIの画面111のデータを生成し、GUI110に送る。GUI110は、情報処理部180から受け取った画面111のデータに基づいて、画面111を表示する。情報処理部180は、さらに、画像分類名リスト30の取得依頼を統合情報データベース170に出力する。ここで、画像分類名リスト30の取得依頼には、例えば、読み出した画像分類名リスト30の送信先(具体的にはGUI110)が含まれている。統合情報データベース170は、画像分類名リスト30の取得依頼が入力されると、画像分類名リスト30を読み出し、画像分類名リスト30の取得依頼に含まれる送信先(具体的にはGUI110)に送る。GUI110は、画像分類名リスト30を受け取ると、受け取った画像分類名リスト30を画面111に表示する。
 次に、ユーザは、例えば、画面111上のボタン116を押すことにより、GUI110に対して、複数の画像データ20の取得を指示する。これにより、画像データ20を用いたテストが開始される。情報処理部180は、GUI110を介して、複数の画像データ20の取得依頼(画像取得依頼)を受け取ると、受け取った画像取得依頼を統合情報データベース170に出力する。ここで、画像取得依頼には、例えば、取得した複数の画像データ20の送信先(具体的にはGUI110)が含まれている。統合情報データベース170は、画像取得依頼が入力されると、複数の画像データ20を読み出し、画像取得依頼に含まれる送信先(具体的にはGUI110)に送る。GUI110は、複数の画像データ20を受け取ると、受け取った複数の画像データ20を画面111に表示する。ユーザは、画面111に表示された複数の画像データ20の中からテスト用画像データ22に適したものを選択する。すると、GUI110は、選択された複数の画像データ20をテスト用画像データ22として画面111に表示する。
 次に、ユーザは、画面111上のボタン117を押す。すると、GUI110は、選択された画像データ20(テスト用画像データ22)を情報処理部180に送る。情報処理部180は、受け取った画像データ20(テスト用画像データ22)から、画像データ20(テスト用画像データ22)の画像分類名31を推定する。このとき、情報処理部180は、例えば、受け取った画像データ20(テスト用画像データ22)を特徴量データ24に変換し、それにより得られた特徴量データ24に基づいて、画像データ20(テスト用画像データ22)の画像分類名31を推定する。
 GUI110は、推定により得られた画像分類名31をGUI110に送信する。GUI110は、受け取った画像分類名31を、選択された画像データ20(テスト用画像データ22)の画像分類名31として画面111に表示する。なお、GUI110は、受け取った画像分類名31と同じ画像分類名31が表示されている箇所に隣接する箇所に、選択された画像データ20(テスト用画像データ22)を表示してもよい。
 ユーザは、情報処理部180(画像分類学習プログラム130)によって提示された画像分類名31が、選択された画像データ20(テスト用画像データ22)の画像分類名31として適していないと判断した場合には、ユーザは、情報処理部180(画像分類学習プログラム130)によって提示された画像分類名31を適切な画像分類名31に訂正する。なお、GUI110が、受け取った画像分類名31と同じ画像分類名31が表示されている箇所に隣接する箇所に、選択された画像データ20(テスト用画像データ22)を表示した場合には、ユーザは、選択された画像データ20(テスト用画像データ22)を、適切な画像分類名31が表示されている箇所に隣接する箇所に移動してもよい。
 画像分類名31が適切な画像分類名31に訂正されるか、または、選択された画像データ20(テスト用画像データ22)が、適切な画像分類名31が表示されている箇所に隣接する箇所に移動された場合、GUI110は、選択された画像データ20(テスト用画像データ22)と、適切な画像分類名31とを学習データとして、統合情報データベース170に送る。統合情報データベース170は、受け取った一対の画像データ20(テスト用画像データ22)および画像分類名31を学習データとして保存する。このとき、GUI110は、選択された画像データ20(テスト用画像データ22)を特徴量データ24に変換し、変換により得られた特徴量データ24と、変換前の画像データ20(テスト用画像データ22)に適した画像分類名31とを学習データとして、情報処理部180に送る。情報処理部180は、受け取った一対の特徴量データ24および画像分類名31を第1学習データとして機械学習を行い、学習結果を統合情報データベース170に送る。統合情報データベース170は、受け取った学習結果を保存する。
 図18は、テキストデータ10(またはカラムデータセット11s)についての機械学習の成績を確認するためのテストの手順の一例を表したものである。まず、ユーザは、GUI140に対して、テキスト分類モデル作成UIの画面142の表示を指示する。情報処理部180は、GUI140を介して、テキスト分類モデル作成UIの画面142の表示指示を受け取ると、テキスト分類モデル作成UIの画面142のデータを生成し、GUI140に送る。GUI140は、情報処理部180から受け取った画面142のデータに基づいて、画面142を表示する。情報処理部180は、さらに、テキストデータ10(またはカラムデータセット11s)の取得依頼を統合情報データベース170に出力する。ここで、この取得依頼には、例えば、読み出したテキストデータ10(またはカラムデータセット11s)の送信先(具体的にはGUI140)が含まれている。統合情報データベース170は、テキストデータ10(またはカラムデータセット11s)の取得依頼が入力されると、複数のテキストデータ10(またはカラムデータセット11s)を読み出し、上記取得依頼に含まれる、テキストデータ10(またはカラムデータセット11s)の送信先(GUI140)に送る。情報処理部180は、さらに、受け取った複数のテキストデータ10(またはカラムデータセット11s)をテスト用の複数のテキストデータ10B(またはカラムデータセット11s)として画面142に一覧表示する。情報処理部180は、さらに、画像分類名リスト30の取得依頼を統合情報データベース170に出力する。画像分類名リスト30の取得依頼には、例えば、画像分類名リスト30の送信先(具体的にはGUI140)が含まれている。統合情報データベース170は、画像分類名リスト30の取得依頼が入力されると、画像分類名リスト30を読み出し、画像分類名リスト30の取得依頼に含まれる送信先(具体的にはGUI140)に送る。GUI140は、画像分類名リスト30を受け取ると、受け取った画像分類名リスト30を画面142に一覧表示する。
 次に、ユーザは、画面142に表示された複数のテキストデータ10B(またはカラムデータセット11s)の中から1つのテキストデータ10B(またはカラムデータセット11s)を選択し、ボタン146を押す。すると、GUI140は、選択したテキストデータ10Bにおけるカラムデータセット11s、または、選択したカラムデータセット11sを情報処理部180に送信する。情報処理部180は、受け取ったカラムデータセット11sに対して最も適切な画像分類名31を推定し、それにより得られた画像分類名31をGUI140に送信する。GUI140は、受け取った画像分類名31を画面142に表示する。なお、画像分類名リスト30が画面に表示されている場合に、画像分類名リスト30の中に、受け取った画像分類名31と同じ画像分類名31が含まれているときには、GUI140は、画像分類名リスト30の中の、受け取った画像分類名31と同じ画像分類名31をハイライト表示するなどしてもよい。
 ユーザは、情報処理部180(テキスト分類学習プログラム160)によって提示された画像分類名31が、選択されたテキストデータ10B(またはカラムデータセット11s)の画像分類名31として適していないと判断した場合には、ユーザは、テキスト分類学習プログラム160によって提示された画像分類名31を適切な画像分類名31に訂正する。
 画像分類名31が適切な画像分類名31に訂正された場合、GUI140は、選択されたテキストデータ10B(またはカラムデータセット11s)と、適切な画像分類名31とを学習データとして、統合情報データベース170に送る。統合情報データベース170は、受け取った一対のテキストデータ10B(またはカラムデータセット11s)および画像分類名31を学習データとして保存する。このとき、GUI140は、選択されたテキストデータ10Bのカラムデータセット11sと、適切な画像分類名31とを学習データとして、テキスト分類学習プログラム160がロードされた情報処理部180に送る。テキスト分類学習プログラム160がロードされた情報処理部180は、受け取った一対のカラムデータセット11sおよび画像分類名31を学習データとして機械学習を行い、学習結果を統合情報データベース170に送る。統合情報データベース170は、受け取った学習結果を保存する。
(キー画像取得)
 図19は、キー画像抽出手順の一例を表したものである。GUI140は、キー画像抽出プロセスにおいて、テキスト情報データベース300から読み出されたテキストデータ10(またはカラムデータセット11s)に対して、画像分類学習プログラム130およびテキスト分類学習プログラム160による学習結果を適用することにより、テキストデータ10(またはカラムデータセット11s)に関連する画像データ20を取得する。
 具体的には、まず、ユーザは、GUI140に対して、手術リストの画面147の表示を指示する。情報処理部180は、GUI140を介して、手術リストの画面147の表示指示を受け取ると、手術リストの画面147のデータを生成し、GUI140に送る。GUI140は、情報処理部180から受け取った画面147のデータに基づいて、画面147を表示する。情報処理部180は、さらに、所定の条件に合致するテキストデータ10(またはカラムデータセット11s)の取得依頼を統合情報データベース170に出力する。ここで、「所定の条件に合致するテキストデータ10」とは、例えば、本日手術予定の患者のテキストデータ10(またはカラムデータセット11s)を指している。テキストデータ10(またはカラムデータセット11s)の取得依頼には、例えば、読み出したテキストデータ10(またはカラムデータセット11s)の送信先(具体的にはGUI140、情報処理部180)が含まれている。
 統合情報データベース170は、所定の条件に合致するテキストデータ10の取得依頼が入力されると、所定の条件に合致する複数のテキストデータ10(またはカラムデータセット11s)を読み出し、テキストデータ10(またはカラムデータセット11s)の取得依頼に含まれる送信先(具体的にはGUI140)に送る。GUI140は、複数のテキストデータ10(またはカラムデータセット11s)を受け取ると、受け取った複数のテキストデータ10(またはカラムデータセット11s)に含まれる内容を、手術リストの表示形式に対応させて画面147に一覧表示する(図20参照)。このとき、GUI140は、例えば、受け取った複数のテキストデータ10(またはカラムデータセット11s)に含まれる内容を、手術開始時刻の早い順に並べて画面147に一覧表示する。
 統合情報データベース170は、さらに、所定の条件に合致する複数のテキストデータ10(またはカラムデータセット11s)を情報処理部180に送信する。情報処理部180は、受け取った各テキストデータ10(またはカラムデータセット11s)に対して最も適切な画像分類名31をテキストデータ10(またはカラムデータセット11s)ごとに推定し、それにより得られた複数の画像分類名31に対して最も適切な画像データ20(キー画像20x)を推定する。情報処理部180は、推定結果に基づいて、統合情報データベース170から、該当する複数の画像データ20(キー画像20x)を読み出す。情報処理部180は、読み出した複数の画像データ20(キー画像20x)をGUI140に送信する。GUI140は、受け取った複数の画像データ20(キー画像20x)を画面147に表示する。GUI140は、このとき、受け取った複数の画像データ20(キー画像20x)を、対応するテキストデータ10(またはカラムデータセット11s)ごとに1つずつ割り当てて画面147に表示する。GUI140は、このようにして、テキストデータ10(またはカラムデータセット11s)に含まれる全部もしくは一部のデータと、テキストデータ10(またはカラムデータセット11s)に関連する画像データ20とを関連付けた手術リストを生成し、画面147に表示する。
 ユーザは、情報処理部180(画像分類学習プログラム130)によって提示された画像データ20(キー画像20x)が、対応するテキストデータ10(またはカラムデータセット11s)との関係で適していないと判断した場合には、ユーザは、画像分類学習プログラム130によって提示された画像データ20(キー画像20x)を適切な画像データ20に訂正する。例えば、ユーザは、手術リスト内の右脇にある「誤」のボタンを押す。これにより、GUI140は、画像リスト取得依頼を情報処理部180に送る。情報処理部180は、GUI140から画像リスト取得依頼が入力されると、画像リスト取得依頼を統合情報データベース170に送る。ここで、画像リスト取得依頼には、例えば、読み出した画像データ20の送信先(具体的にはGUI140)が含まれている。統合情報データベース170は、画像リスト取得依頼を受け取ると、「誤」のボタンが押された患者に関する複数の画像データ20を読み出し、GUI140に送信する。GUI140は、受け取った複数の画像データ20を画面147に表示する。ユーザは、画面147に表示された複数の画像データ20の中から適切な画像データ20を選択する。GUI140は、元の画像データ20を、選択された画像データ20に差し替えて画面147に表示する。
 GUI140は、さらに、差し替え後の画像データ20と、差し替え前の画像データ20に対応する画像分類名31とを学習データとして、統合情報データベース170に送る。統合情報データベース170は、受け取った一対の画像データ20(テスト用画像データ22)および画像分類名31を学習データとして保存する。このとき、GUI140は、差し替え後の画像データ20と、差し替え前の画像データ20に対応する画像分類名31とを学習データとして、情報処理部180に送る。情報処理部180は、差し替え後の画像データ20と、差し替え前の画像データ20に対応する画像分類名31とを学習データとして機械学習を行い、学習結果を統合情報データベース170に送る。統合情報データベース170は、受け取った学習結果を保存する。このように、GUI140は、ユーザから、手術リストに含まれる画像データ20を別の画像データ20に差し替える処理を受け付けた場合には、画像分類学習プログラム130がロードされた情報処理部180は、差し替え後の画像データ20と、差し替え前の画像データ20に対応する画像分類名31とを学習データとして機械学習を行う。
[効果]
 次に、本実施の形態に係る情報処理システム100の効果について説明する。
 近年、様々な業務がシステム化され、人手による作業の省力化が進んでいる。しかし、システム同士の仕様が異なる場合には、システム同士で連携することが難しい。その結果、ユーザは、ある業務を行う際に、仕様の異なる様々なシステムを個別に操作することが必要となる場合がある。例えば、ユーザが、2つのシステムから抽出したデータ(以下、「データA,B」と称する。)を元に、別のシステムのデータ(以下、「データC」と称する。)を抽出しようとした場合、システム間の仕様の違いに起因して、データA,Bを元にデータCを自動で抽出することができず、ユーザが、手作業でデータCを探すことになる場合がある。この場合には、人手によるデータ探索が必要であり、システム化が、人手による作業の省力化に寄与しているとは言い難い。
 そこで、システム同士での連携が行えるよう、仕様の互いに異なる既存のシステムを仕様の互いに等しいシステムに置き換えることが考えられる。また、例えば、上記特許文献1に記載したように、各システムのデータ間の連携関係を定義する書式対応テーブルを設けることも考えられる。
 しかし、システムの置き換えには、例えば、意味が重複するデータや、形式が異なるデータ、サイズが異なるデータのフォーマットや関連付けを再設計し、データコンバートを行い、新しいシステムへデータ入力を行う必要がある。また、システムを置き換えたり、書式対応テーブルを設けたりする場合には、運用途中でそれぞれのデータベースにおけるデータフォーマットやデータの関連付けの変更をすることができない。
 一方、本実施の形態では、画像情報データベース200の画像データ20と、各画像データ20の種類を区別する複数の画像分類名31のうちの1つである画像分類名31とを学習データとして、画像分類学習プログラム130がロードされた情報処理部180において機械学習が行われる。さらに、テキスト情報データベース300のテキストデータ10に含まれるカラムデータセット11s、もしくは、テキスト情報データベース300のカラムデータセット11sと、複数の画像分類名31のうちの1つである画像分類名31とを学習データとして、テキスト分類学習プログラム160がロードされた情報処理部180において機械学習が行われる。
 このように、本実施の形態では、2つのデータベース(画像情報データベース200、テキスト情報データベース300)の連携に、共通の識別子(画像分類名31)を学習データとする2つの機械学習が行われる。これにより、2つのデータベース(画像情報データベース200、テキスト情報データベース300)を連携させるために、それぞれのデータベース(画像情報データベース200、テキスト情報データベース300)におけるデータフォーマットやデータの関連付けを再設計する必要がない。しかも、運用途中で、2つのデータベース(画像情報データベース200、テキスト情報データベース300)の連携に支障を与えることなく、それぞれのデータベース(画像情報データベース200、テキスト情報データベース300)におけるデータフォーマットやデータの関連付けの変更をすることもできる。従って、現状のシステムを生かしつつ、簡易かつ柔軟な方法でシステム間の連携を行うことができる。
 また、本実施の形態では、テキスト情報データベース300のテキストデータ10に含まれるカラムデータセット11s、または、テキスト情報データベース300のカラムデータセット11sに対して、2つの機械学習による学習結果を適用することにより、カラムデータセット11sに関連する画像データ20(キー画像データ)が取得される。これにより、2つのデータベース(画像情報データベース200、テキスト情報データベース300)を連携させるために、それぞれのデータベース(画像情報データベース200、テキスト情報データベース300)におけるデータフォーマットやデータの関連付けを再設計する必要がない。しかも、運用途中で、2つのデータベース(画像情報データベース200、テキスト情報データベース300)の連携に支障を与えることなく、それぞれのデータベース(画像情報データベース200、テキスト情報データベース300)におけるデータフォーマットやデータの関連付けの変更をすることもできる。従って、現状のシステムを生かしつつ、簡易かつ柔軟な方法でシステム間の連携を行うことができる。
 また、本実施の形態では、テキスト情報データベース300のテキストデータ10に含まれるカラムデータセット11s、または、テキスト情報データベース300のカラムデータセット11sが統合情報データベース170に記憶される。これにより、テキストデータ10またはカラムデータセット11sを取得する際に、外部のデータベース(画像情報データベース200、テキスト情報データベース300)に頻繁にアクセスする必要がなくなるので、システム間の連携をスピーディーに行うことができる。
 また、本実施の形態では、画像データ20と、テキストデータ10もしくはカラムデータセット11sとの関連付けが、画像分類名31という識別子を用いて行われる。これにより、2つのデータベース(画像情報データベース200、テキスト情報データベース300)を連携させるために、それぞれのデータベース(画像情報データベース200、テキスト情報データベース300)におけるデータフォーマットやデータの関連付けを再設計する必要がない。従って、現状のシステムを生かしつつ、簡易かつ柔軟な方法でシステム間の連携を行うことができる。
 また、本実施の形態では、識別子として用いられる画像分類名31が、画像データ20の種類を分類する名前またはそれに対応する文字列もしくは数列を含んで構成されている。これにより、2つのデータベース(画像情報データベース200、テキスト情報データベース300)を連携させるために、それぞれのデータベース(画像情報データベース200、テキスト情報データベース300)におけるデータフォーマットやデータの関連付けを再設計する必要がない。従って、現状のシステムを生かしつつ、簡易かつ柔軟な方法でシステム間の連携を行うことができる。
 また、本実施の形態では、テキスト(例えば、ファイル名やメタタグなど)が画像データ20に付随している場合であっても、そのテキストを利用しないで機械学習が行われる。これにより、2つのデータベース(画像情報データベース200、テキスト情報データベース300)を連携させるために、それぞれのデータベース(画像情報データベース200、テキスト情報データベース300)におけるデータフォーマットやデータの関連付けを再設計する必要がない。従って、現状のシステムを生かしつつ、簡易かつ柔軟な方法でシステム間の連携を行うことができる。
 また、本実施の形態では、テキストデータ10もしくはカラムデータセット11sに含まれる全部もしくは一部のデータと、テキストデータ10もしくはカラムデータセット11sに関連する画像データ20とを関連付けた手術リストが生成される。これにより、例えば、医療関係者は、手術の際に、患者の取り違えや、手術部位の勘違いをすることを低減することができる。
 また、本実施の形態では、ユーザが、手術リストに含まれる画像データ20を別の画像データ20に差し替えた場合には、差し替え後の画像データ20と、差し替え前の画像データ20に対応する画像分類名31とを学習データとして機械学習が行われる。これにより、学習の精度を高めることができる。
<2.変形例>
 次に、上記実施の形態に係る情報処理システム100の変形例について説明する。
 上記実施の形態において、外部のデータベースの数は、3つ以上となっていてもよい。また、上記実施の形態では、テキストデータ10は、手術情報で構成されていたが、手術情報以外の情報で構成されていてもよい。
 上記実施の形態およびその変形例において、情報処理システム100は、画像情報データベース200のデータ(画像データ20)をあらかじめ、統合情報データベース170に格納せず、必要なときに必要なだけ、画像情報データベース200から画像データ20を読み出すようにしてもよい。同様に、情報処理システム100は、テキスト情報データベース300のテキストデータ10(またはカラムデータセット11s)をあらかじめ、統合情報データベース170に格納せず、必要なときに必要なだけ、テキスト情報データベース300から、テキストデータ10(またはカラムデータセット11s)を読み出すようにしてもよい。このようにした場合には、統合情報データベース170の容量を最小限に抑えることができる。

Claims (9)

  1.  複数の第1データを記憶する第1データベースから前記第1データを読み出す第1読み出し部と、
     複数の第2データを記憶する第2データベースから前記第2データを読み出す第2読み出し部と、
     前記第1データベースから読み出された前記第1データと、複数の識別子のうちの1つである第1識別子とを学習データとして第1機械学習を行うとともに、前記第2データベースから読み出された前記第2データと、複数の前記識別子のうちの1つである第2識別子とを学習データとして第2機械学習を行う学習部と
     を備えた
     情報処理システム。
  2.  前記学習部は、前記第2データベースから読み出された前記第2データに対して、当該学習部による学習結果を適用することにより、前記第2データに関連する前記第1データを取得する
     請求項1に記載の情報処理システム。
  3.  前記学習部は、前記第1機械学習を行うことにより、前記第2データベースから読み出された前記第2データと、前記識別子との対応関係についての情報を前記学習結果として生成し、前記第2機械学習を行うことにより、前記第2データベースから読み出された前記第2データと、前記識別子との対応関係についての情報を前記学習結果として生成する
     請求項2に記載の情報処理システム。
  4.  前記第1データベースから読み出された複数の前記第1データと、前記第2データベースから読み出された複数の前記第2データとを記憶する記憶部を更に備え、
     前記学習部は、前記第2データに関連する前記第1データを前記記憶部から読み出す
     請求項1から請求項3のいずれか一項に記載の情報処理システム。
  5.  前記第1データは、画像データを含み、
     前記第2データは、タグと、前記タグの具体的な内容とにより構成された複数のカラムデータを含む
     請求項1から請求項4のいずれか一項に記載の情報処理システム。
  6.  複数の前記識別子は、各前記第1データに含まれる前記画像データの種類を分類する名前またはそれに対応する文字列もしくは数列を含む
     請求項5に記載の情報処理システム。
  7.  前記学習部は、テキストが前記画像データに付随している場合であっても、前記テキストを利用しないで前記第1機械学習を行う
     請求項5または請求項6に記載の情報処理システム。
  8.  前記学習部は、前記第2データに含まれる全部もしくは一部のデータと、前記第2データに関連する前記第1データとを関連付けたリストを生成する
     請求項1から請求項7のいずれか一項に記載の情報処理システム。
  9.  前記学習部が、ユーザから、前記リストに含まれる前記第1データを別の前記第1データに差し替える処理を受け付けた場合には、差し替え後の前記第1データと、差し替え前の前記第1データに対応する前記第1識別子とを学習データとして機械学習を行う
     請求項8に記載の情報処理システム。
PCT/JP2019/042082 2018-10-18 2019-10-18 情報処理システム WO2020080556A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018208464A JP7060852B2 (ja) 2018-10-18 2018-10-18 情報処理システム
JP2018-208464 2018-10-18

Publications (1)

Publication Number Publication Date
WO2020080556A1 true WO2020080556A1 (ja) 2020-04-23

Family

ID=70282937

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/042082 WO2020080556A1 (ja) 2018-10-18 2019-10-18 情報処理システム

Country Status (2)

Country Link
JP (1) JP7060852B2 (ja)
WO (1) WO2020080556A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202407555A (zh) * 2022-08-02 2024-02-16 日商索尼半導體解決方案公司 資訊處理裝置、資訊處理方法、及記錄媒體

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090234869A1 (en) * 2005-03-29 2009-09-17 British Telecommunications Public Limited Compay Database management
JP2017041206A (ja) * 2015-08-21 2017-02-23 日本電信電話株式会社 学習装置、探索装置、方法、及びプログラム
JP2018005640A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム
US20180018579A1 (en) * 2016-07-15 2018-01-18 ROKITT Inc. Primary Key-Foriegn Key Relationship Determination Through Machine Learning

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4826743B2 (ja) 2006-01-17 2011-11-30 コニカミノルタエムジー株式会社 情報提示システム
US20150161331A1 (en) * 2013-12-04 2015-06-11 Mark Oleynik Computational medical treatment plan method and system with mass medical analysis
JP6738163B2 (ja) * 2016-03-01 2020-08-12 キヤノン株式会社 診断支援装置、診断支援装置が実行する方法及びプログラム
AU2017290600A1 (en) * 2016-06-28 2019-01-03 Heartflow, Inc. Systems and methods for anonymization of health data and transmition of health data for analysis across geographic regions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090234869A1 (en) * 2005-03-29 2009-09-17 British Telecommunications Public Limited Compay Database management
JP2017041206A (ja) * 2015-08-21 2017-02-23 日本電信電話株式会社 学習装置、探索装置、方法、及びプログラム
JP2018005640A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム
US20180018579A1 (en) * 2016-07-15 2018-01-18 ROKITT Inc. Primary Key-Foriegn Key Relationship Determination Through Machine Learning

Also Published As

Publication number Publication date
JP7060852B2 (ja) 2022-04-27
JP2020064581A (ja) 2020-04-23

Similar Documents

Publication Publication Date Title
JP5896000B2 (ja) 医療情報システムおよびそのためのプログラム
US20070179814A1 (en) System For Processing Data Representing A Deficiency In A Record
WO2020080556A1 (ja) 情報処理システム
JP2021018459A (ja) 評価支援方法、評価支援システム、プログラム
JP2007094471A (ja) 診療支援システム、診療支援装置及び診療支援プログラム
JP4322578B2 (ja) カンファレンス支援システム
JP2002259120A (ja) テスト進捗管理方式
CN107862172A (zh) 一种全科临床资料展示及会诊平台
JP4291289B2 (ja) 電子カルテ表示装置、電子カルテシステム、電子カルテ表示方法及び電子カルテ表示プログラム
WO2015046052A1 (ja) 細胞観察情報処理システム、細胞観察情報処理方法、細胞観察情報処理プログラム、細胞観察情報処理システムに備わる記録部、細胞観察情報処理システムに備わる装置
JP2006075416A (ja) 医用画像システム
JP2006260305A (ja) 電子カルテ管理装置、電子カルテシステム、電子カルテ管理方法及び電子カルテ管理プログラム
JP2015156122A (ja) 情報処理システム、およびプログラム
JP7339483B2 (ja) 識別装置
US20020059315A1 (en) Medical data processing method and medical data processing system
JP2019141642A (ja) 眼科情報処理システム
WO2018026003A1 (ja) 医療器材用メモ情報管理装置、医療器材用メモ情報管理システム
JP5181008B2 (ja) 自動処理リスト作成装置、方法並びにプログラム
JP6767126B2 (ja) 手術器具セット管理システム
JP2010097572A (ja) 医療情報管理システム
JP4786333B2 (ja) 医用画像診断装置、及び医用画像診断装置の動作確認方法
WO2006100715A1 (ja) データ提示装置、データ提示プログラム及びデータ提示方法
JP2012003465A (ja) シェーマ描画装置、シェーマ描画システムおよびシェーマ描画プログラム
JP4459642B2 (ja) 電子カルテ入力システム、電子カルテ作成処理をコンピュータに実行させるプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な情報記録媒体
DE102020210709A1 (de) Computersystem und verfahren zur gleichzeitigen verbesserung und codierung von klinischen dokumenten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19872927

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19872927

Country of ref document: EP

Kind code of ref document: A1