WO2022085342A1 - 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム - Google Patents

医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム Download PDF

Info

Publication number
WO2022085342A1
WO2022085342A1 PCT/JP2021/033822 JP2021033822W WO2022085342A1 WO 2022085342 A1 WO2022085342 A1 WO 2022085342A1 JP 2021033822 W JP2021033822 W JP 2021033822W WO 2022085342 A1 WO2022085342 A1 WO 2022085342A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
display
image information
medical
Prior art date
Application number
PCT/JP2021/033822
Other languages
English (en)
French (fr)
Inventor
麻依子 遠藤
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022557289A priority Critical patent/JPWO2022085342A1/ja
Priority to EP21882483.7A priority patent/EP4230111A4/en
Priority to CN202180071260.6A priority patent/CN116367765A/zh
Publication of WO2022085342A1 publication Critical patent/WO2022085342A1/ja
Priority to US18/302,579 priority patent/US11983872B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Definitions

  • the present invention relates to a medical image processing device, an operation method of the medical image processing device, and a program for the medical image processing device.
  • the medical image includes an endoscopic image, an X-ray image, a CT (Computed Tomography) image, an MR (Magnetic Resonance) image, and the like.
  • the endoscopist creates a report describing the examination results and findings using the endoscopic images taken by the endoscopic system. Need to be done.
  • the endoscopic image attached to the report (hereinafter referred to as the key image) is troublesome to select, such as when the endoscopist manually selects from a large number of endoscopic images acquired in one examination. There was a problem that it took.
  • Patent Document 1 an information processing apparatus that generates a key image from a photographed medical image based on an analysis result of input diagnostic information
  • Patent Document 2 a medical report system that groups and displays medical images having a designated region of interest by designating a region of interest in the medical image
  • JP-A-2015-211862 Japanese Unexamined Patent Publication No. 2009-86765
  • the criteria for selecting key images differ for each user of the endoscopy system such as a medical facility or an endoscopist, and also differ depending on the purpose of report creation.
  • the report includes, for example, a report for the endoscopist to report the test result to the doctor in charge of the patient who performed the test, a report for notifying the patient of the test result, and the like. Therefore, even if the key image is automatically selected, the selection is not always appropriate for each individual.
  • the number of endoscopic images acquired in one endoscopy may be enormous. If a key image is automatically selected from a huge number of endoscopic images without any restrictions, the display may be difficult for the user to understand. For example, when the user displays the selected key image on the display while comparing the selected endoscope image with the non-selected endoscope image, many endoscope images may be displayed. There is.
  • An object of the present invention is to provide a medical image processing device capable of easily and appropriately selecting a key image, an operation method of the medical image processing device, and a program for the medical image processing device.
  • the medical image processing apparatus of the present invention includes a processor, and the processor acquires a plurality of medical images including a subject image and analyzes the medical images to obtain at least one of a plurality of preset first image information.
  • a selected image which is a medical image to which a designated first image information is given, is selected from a plurality of medical images by assigning to a medical image and designating at least one of a plurality of first image information on the image display screen. Control is performed to display in the first display area in the display mode for the selected image, and control is performed to display each of the designated first image information in the second display area of the image display screen.
  • the processor may add at least one of a plurality of preset second image information to the medical image, and set the display mode for the selected image based on the second image information. preferable.
  • Each of the plurality of preset first image information is set after being associated with at least one of a plurality of categories, and it is preferable that the processor specifies each category.
  • the processor controls to display a plurality of first image information in the third display area of the image display screen for each category, and designates the information based on the user's selection for the plurality of first image information displayed in the third display area. It is preferable to do.
  • each of the plurality of preset second image information is set after being associated with at least one of a plurality of categories.
  • the category is at least one of information about a part included in the subject image, information about imaging conditions of a medical image, information about a lesion included in the subject image, information about an area of interest included in the subject image, and information about a treatment tool included in the subject image. Is preferable.
  • the processor sets the maximum number of selected images to be displayed in the first display area, and controls the display of the number of selected images equal to or less than the set maximum number in the first display area.
  • the processor analyzes the medical image having the first image information and the first image information based on the first correspondence information in which the first image information is associated in advance.
  • the processor analyzes the medical image having the second image information and the second image information based on the second correspondence information in which the second image information is associated in advance.
  • At least one of a plurality of preset first image information is medically treated by an image acquisition step of acquiring a plurality of captured medical images and analysis of the medical images.
  • An image information imparting step to be given to an image a first image information designation step for designating at least one of a plurality of first image information, and medical treatment to which a designated first image information is given among a plurality of medical images.
  • Control is performed to display the selected image, which is an image, in the first display area of the image display screen in the display mode for the selected image, and each of the designated first image information is displayed in the second display area of the image display screen. It is provided with a display control step for performing control.
  • the program for a medical image processing device of the present invention is a program for a medical image processing device installed in a medical image processing device, and has an image acquisition function for acquiring a plurality of captured medical images on a computer and analyzes the medical image. By doing so, an image information imparting function that imparts at least one of a plurality of preset first image information to a medical image, and a first image information designation function that designates at least one of a plurality of first image information.
  • the selected image which is a medical image to which the designated first image information is added, is controlled to be displayed in the first display area of the image display screen in the selected image display mode among the plurality of medical images.
  • It is a program for a medical image processing apparatus for realizing a display control function for controlling the display of each of the designated first image information in the second display area of the image display screen.
  • the key image can be selected easily and appropriately.
  • an endoscopic image is used as an example of a medical image.
  • the endoscopic image is an example of a medical image.
  • the endoscopic image viewing support system 10 shown in FIG. 1 is a computer system used to support viewing of the endoscopic image 100 (see FIG. 2) obtained by endoscopy, and is via a network 12. Is connected to the endoscope system 14.
  • the network 12 is, for example, a LAN (Local Area Network) in a hospital.
  • the endoscope system 14 includes an endoscope 15, a light source device 16, a processor device 17, a display 18, and a keyboard 19 which is an input device.
  • the endoscopy system 14 is used for endoscopy (including various treatments using the endoscope 15).
  • the endoscopy is performed, for example, by an endoscopist who has received a request from the doctor in charge of the patient, and the endoscopy is performed to obtain a plurality of endoscopic images 100.
  • the endoscope image 100 taken by the endoscope system 14 is stored in the endoscope image viewing support system 10.
  • the endoscope image viewing support system 10 includes an endoscope image viewing support server 20, a client terminal 21, and a server group 22, which are connected via a network 24 such as a LAN.
  • the endoscope image viewing support server 20 is the medical image processing device of the present invention, and assists the user in selecting a key image from a plurality of endoscope images 100, and also selects the selected key image.
  • Use to create an inspection report 34 (see FIG. 3).
  • the examination report 34 is a report in which a doctor such as an endoscopist who has performed an endoscopy browses an endoscopic image 100 and summarizes medical findings and the like.
  • An endoscopic image 100 which is the basis of the findings, which is a key image, is attached to the inspection report 34.
  • the examination report 34 is used for diagnosing the patient and the like by being used for viewing by the doctor in charge of the patient who has undergone endoscopy.
  • the server group 22 includes an image server 26 and a report server 28.
  • the image server 26 includes an image database (hereinafter referred to as an image DB) 30.
  • the image DB 30 stores the endoscope image 100 transmitted from the endoscope system 14.
  • the report server 28 includes a report database (hereinafter referred to as a report DB) 32.
  • the report DB 32 stores an inspection report 34 created in association with the implementation of the endoscopy.
  • the image DB 30 and the report DB 32 are databases that can be searched by, for example, a patient ID (Identification Data) assigned to each patient, an examination ID assigned to each endoscopy, or the like.
  • the client terminal 21 is a terminal for viewing the endoscopic image 100 and the examination report 34, and the endoscopist can view the endoscopic image 100 and create the examination report 34 after the examination is completed. Used for.
  • the client terminal 21 is also used for the doctor in charge, who is a doctor in the clinical department who requested the endoscopy, to view the endoscopy image 100 and the examination report 34.
  • the client terminal 21 is, for example, a notebook type or desktop type personal computer.
  • the endoscopist uses the client terminal 21 to access the endoscopic image viewing support server 20. Then, the saved endoscope image 100 or inspection report 34 is read out and displayed on the display of the client terminal 21, necessary work is performed, and the inspection report 34 is completed.
  • the completed inspection report 34 is stored in the report server 28 via the endoscopic image viewing support server 20.
  • the image DB 30 is provided with a plurality of image folders (not shown). When an endoscopy is performed once, one image folder corresponding to this endoscopy is created. Then, the endoscopic image 100 acquired by the corresponding endoscopy is stored in each image folder. As mentioned above, in endoscopy, moving images are taken, still images are taken at arbitrary timings by the freeze switch of the endoscope, automatic pictures are taken at predetermined time intervals, and test pictures are also taken. All the images obtained in the above-mentioned shooting are stored in the image folder 36 as the endoscope image 100.
  • these endoscope images 100 are recorded in association with a unique image ID, a shooting time, and incidental information 101 such as illumination light information 101A in the endoscope system 14 used at the time of shooting. It is stored in the image folder as the shooting information 102.
  • the incidental information 101 recorded in each endoscope image 100 may be used as the second image information described later for selecting a key image or for rearranging when displaying the key image on a display. To.
  • the image folder is created in the image server 26 when the endoscope image 100 of the inspection unit transmitted from the endoscope system 14 is stored.
  • An image folder may be created on the endoscope system 14 side, and the image server 26 may receive each image folder. Further, as long as the image DB 30 is stored in a form in which a plurality of endoscope images 100 can be read out in the inspection unit, such as tagging the endoscope image 100 in the inspection unit, the image folder may not be necessary.
  • the report DB 32 is provided with a plurality of report folders (not shown).
  • the examination report 34 created for each endoscopy is stored in the report folder. Similar to the endoscopic image 100, the inspection report 34 also has a report folder if it is stored in the report DB 32 in a form that can be read out for each endoscopy, such as tagging the inspection report 34 for each inspection. It does not have to be provided.
  • the examination report 34 and the report display screen 103 when displaying the examination report 34 are the report main body 34A, and the above-mentioned examination identification information, patient identification information, and creator information indicating the creator. Consists of.
  • the report body 34A has the findings 104 of the inspector of the endoscopy and the key image 100S which is the endoscopic image 100 attached to the examination report 34.
  • the key image 100S is an endoscopic image 100 that is the basis of the finding 104, and is attached in association with each endoscopy.
  • two endoscopic images 100 having image IDs A13 and A24 are associated with the first finding 104 (finding No. 1), and the second finding 104 (finding No. 2) is associated with an image.
  • An example is shown in which one endoscope image 100 having an ID of A37 is associated with the image 100.
  • the endoscope image viewing support server 20 is an endoscope which is a key image from among a plurality of endoscope images 100 obtained in the endoscopy unit, based on a user's designation or the like.
  • the image 100 is automatically selected, the selected endoscope image 100 is attached according to the format of the examination report 34, and the examination identification information and the patient identification information are attached from the incidental information 101 associated with the endoscope image 100. Etc. are laid out automatically.
  • the endoscope image viewing support server 20, the client terminal 21, the image server 26 constituting the server group 22, and the report server 28 are based on a computer such as a personal computer, a server computer, or a workstation. It is configured by installing a control program such as an operating system and an application program such as a client program or a server program.
  • the computers constituting the servers 20, 26, 28, and the client terminal 21 have the same basic configuration, and each has a CPU (Central Processing Unit) 40, a memory 42, and a storage device. It includes 44, a communication I / F (Interface) 46, and an input / output unit 48. These are connected via the data bus 50.
  • the input / output unit 48 includes a display 52 and an input device 54 such as a keyboard or a mouse.
  • the storage device 44 is, for example, an HDD (Hard Disk Drive) or SSD (Solid State Drive), and a control program or an application program (hereinafter referred to as AP) 56 is stored.
  • the server 26 and the server 28 in which the DB is constructed are provided with, for example, a disk array in which a plurality of HDDs or the like are connected as a storage device 44 for the DB, in addition to the HDD or the like for storing the program.
  • the disk array may be built in the server body, or may be provided separately from the server body and connected to the server body via a network such as a LAN. Further, as the storage device 44, cloud storage connected via the Internet may be used.
  • the memory 42 is a work memory for the CPU 40 to execute processing, and is composed of a RAM (RandomAccessMemory).
  • the CPU 40 comprehensively controls each part of the computer by loading the control program stored in the storage device 44 into the memory 42 and executing the processing according to the program.
  • the communication I / F 46 is a network interface that controls transmission to and from the network 12.
  • a client program is installed as AP56 on the client terminal 21.
  • the client program accesses the endoscope image viewing support server 20 and displays an image such as a display image setting screen 105 (see FIG. 9) or a key image automatic selection screen 106 (see FIG. 11) for selecting a key image.
  • the client terminal 21 is provided with a function of transmitting various requests such as a screen viewing request or an update request, or a function of receiving and displaying an image display screen sent from the endoscope image viewing support server 20 to the client terminal 21. It is a program to be executed.
  • the client program may be programmed exclusively for the endoscopic image viewing support system 10, or may include a well-known web browser.
  • the display 52 of the client terminal 21 displays a start screen 58 having an operation function by GUI (Graphical User Interface), and the CPU 40 of the client terminal 21 displays the start screen 58.
  • GUI Graphic User Interface
  • the CPU 40 of the client terminal 21 displays the start screen 58.
  • it functions as a request issuing unit 62 for issuing various requests to the GUI control unit 60 and the endoscope image viewing support server 20.
  • the activation screen 58 is provided with an inspection ID input field 58A and a decision button 58B.
  • an inspection ID input field 58A and a decision button 58B By inputting the examination ID in the examination ID input field 58A and operating the decision button 58B, one endoscopy can be designated from a plurality of endoscopy.
  • the information input in the examination ID input field 58A is transmitted from the GUI control unit 60 to the request issuing unit 62.
  • the request issuing unit 62 attaches the endoscopic image to the report in the designated endoscopic examination, that is, the endoscopic image 100 of the endoscopy corresponding to the examination ID input in the examination ID input field 58A.
  • a distribution request for an image display screen for selecting 100 is generated and issued to the endoscope image viewing support server 20.
  • the endoscope image viewing support server 20 distributes an image display screen in the initial state or with settings saved in advance, and displays it on the display 52 of the client terminal 21.
  • the image display screen is composed of data described in a markup language such as XML (Extensible Markup Language), and these image display screens themselves also have a GUI operation function.
  • the GUI control unit 60 receives operation instructions from the input device 54 through the image display screen, such as an input operation from the keyboard and a click operation of an operation button by the pointer 108 of the mouse.
  • the request issuing unit 62 issues an image display screen update request or the like in response to an operation instruction received by the GUI control unit 60.
  • the update request includes instructions for updating the display contents of the image display screen, such as various instructions for selecting a key image via the image display screen and instructions for switching the endoscope image 100 to be displayed.
  • the endoscope image viewing support server 20 updates the image display screen and distributes the updated image display screen to the client terminal 21. As a result, the image display screen displayed on the client terminal 21 is updated.
  • the server program installed as AP56 in the endoscope image viewing support server 20 is an operation program for making the computer function as the endoscope image viewing support server 20.
  • the CPU 40 of the endoscope image viewing support server 20 cooperates with the memory 42 and the like to receive the reception unit 70, the image acquisition unit 71, the image information addition unit 72, and the first image information designation unit. It functions as 73, a display control unit 74, and a storage control unit 75.
  • the reception unit 70 receives inputs from various terminals.
  • the reception unit 70 receives distribution requests and update requests for the image display screen input from the client terminal 21, and outputs these requests to the display control unit 74.
  • the delivery request of the image display screen is an image display screen that displays the endoscope image 100 selected from the plurality of endoscope images 100 specified by the inspection ID input in the inspection ID input field 58A of the activation screen 58. It requires delivery.
  • the reception unit 70 inputs the inspection ID (inspection ID input in the inspection ID input field 58A) specified in the distribution request to the image acquisition unit 71.
  • the update request includes at least one designation among a plurality of first image information described later, designated information for designating at least one of the second image information, or various settings. The designated information is input to the image information adding unit 72 and the first image information designating unit 73.
  • the image acquisition unit 71 accesses the image server 26 and obtains all the endoscopic images 100 obtained by the endoscopy corresponding to the notified inspection ID from the image DB 30. get. Specifically, the image acquisition unit 71 searches the image DB 30 using the inspection ID as a search keyword, and reads and acquires the shooting information 102 having the common inspection ID from the image folder 36 of the image DB 30. As described above, the photographing information 102 includes the endoscope image 100 and the incidental information 101 recorded in association with the endoscope image 100. As a result, the plurality of endoscopic images 100 of the examination unit obtained in one endoscopic examination and all the incidental information 101 recorded in association with the endoscopic image 100 are acquired. The image acquisition unit 71 outputs the acquired shooting information 102 to the image information addition unit 72.
  • the image information giving unit 72 adds at least one of a plurality of preset first image information to the endoscope image 100 by analyzing the endoscope image 100.
  • the addition of the first image information to the endoscopic image 100 is to add the first image information to the incidental information 101 included in the photographing information 102, or the first image information is included in the incidental information 101. If it is already in the information, it is realized by adding the information that this information is the first image information. Therefore, adding the information that is the first image information to any of the information included in the incidental information 101 in advance is also included in the analysis of the endoscope image 100. There may be a plurality of first image information to be given.
  • the image information addition unit 72 includes a first image information addition unit 81 and a second image information addition unit 82.
  • the first image information addition unit 81 includes a first image information list 83
  • the second image information addition unit 82 includes a second image information list 84.
  • the second image information will be described later.
  • the first image information list 83 is a list in which a plurality of first image information is described, and is set in advance. It is preferable that each of the plurality of first image information is set after being associated with at least one of the plurality of categories. Therefore, in the first image information list 83, each of the plurality of first image information is described after being associated with at least one of the plurality of categories.
  • One of the plurality of categories is, for example, information about a part included in the subject image.
  • the specific item names included in the site category are, for example, "esophagus”, “esophagogastric junction”, “gastric corpus”, “antrum”, and “angular incisure”.
  • "The corpus”, or “the lower leg of the duodenum” is preset as the first image information.
  • Other categories include information on imaging conditions of medical images, information on lesions included in the subject image, information on the area of interest included in the subject image, information on treatment tools included in the subject image, and the like.
  • the information regarding the imaging conditions is information regarding the imaging when a medical image is acquired, and when the category of the imaging conditions is set, for example, the type of illumination light, the distance between the subject and the tip of the endoscope, the exposure, or The type of endoscope used and the like are set as the first image information.
  • the information about the lesion included in the subject image is set in the category, for example, whether or not the subject image has a lesion, the size of the lesion, the type of the lesion, and the like are set as the first image information.
  • the first image information is information about the treatment tool
  • the first image information can be a "sample collection image”. This is because it is possible to analyze whether or not the scene is a sample being collected based on the type of treatment tool included in the subject image.
  • the first image information addition unit 81 analyzes the endoscope image 100 by image processing, and imparts at least one of a plurality of preset first image information to the endoscope image 100.
  • the plurality of preset first image information is the first image information included in the first image information list 83.
  • the first image information addition unit 81 analyzes the endoscopic image 100 for each category included in the first image information list 83. For example, when the first image information list 83 has a category of information about a portion included in the subject image, the endoscope image 100 is analyzed with respect to the category of this portion, and the first image information included in the category of the portion is included. It is given to the endoscope image 100.
  • the first image information list 83 has a plurality of categories, the endoscope image 100 is analyzed for each category, or the endoscope image 100 is analyzed for the first image information included in the plurality of categories. do.
  • the first image information adding unit 81 adds the first image information to the endoscope image 100 by writing the first image information in the incidental information 101 of the endoscope image 100. If for some reason it is not possible to add preset first image information to the endoscope image 100, for some reason, for example, "unknown” is used as the first image information so that the user or the like can recognize that fact. Give. Therefore, "unknown” or the like is written in the column of the first image information of the incidental information 101 of the endoscope image 100.
  • the endoscope image 100 For the analysis of the endoscope image 100 by image processing, various image processing methods for discriminating or recognizing the first image information can be adopted. Above all, it is preferable to prepare an endoscopic image that is known to have the first image information, and perform analysis based on the corresponding information in which the endoscopic image and the first image information are associated in advance. ..
  • the correspondence information is preferably a trained model in machine learning techniques. Therefore, for example, when the category of the first image information is a part, learning by learning data in which the endoscopic image taken with a specific part as a subject and the part name, for example, "esophagus" is associated with each other is performed a plurality of times.
  • the part name included in the subject image can be obtained as an analysis result.
  • the part reflected in the endoscope image 100 that is, the part included in the subject image is the "esophagus”
  • the first image information is "" by analyzing using the above-mentioned trained model.
  • the analysis result of "esophagus” can be obtained.
  • the first image information designation unit 73 designates at least one of the plurality of first image information.
  • the shooting information 102 having the designated first image information in the incidental information 101 and the designated first image information in the incidental information 101. It is possible to classify the non-photographing information 102.
  • the plurality of first image information is a specific plurality of site names when the first image information is a category of the site. Therefore, for example, by designating a site name attached to the examination report 34 from a plurality of site names, the endoscopic image 100 having this site name in the imaging information 102 can be extracted.
  • the designation of the first image information is performed, for example, by selecting the first image information via the display image setting screen 105 or the like input from the client terminal 21 by the user.
  • the user inputs at least one of the part names which is the first image information such as "esophagus" to the client terminal 21, so that the first image information Select.
  • the input information is received by the first image information designation unit 73 as designated information, and the first image information designation unit 73 classifies the first image information included in the shooting information 102 into those having "esophagus" and those other than that. do. Then, it is written that the designated first image information is given to the endoscope image 100 in the incidental information 101 of the endoscope image 100 having "esophagus" in the first image information.
  • the display control unit 74 includes a display mode setting unit 91, a screen data generation unit 92, and an output control unit 93.
  • the endoscope image 100 is directly input to the screen data generation unit 92 from the image acquisition unit 71.
  • the display control unit 74 selects the endoscope image 100 to which the designated first image information is added from the plurality of endoscope images 100 input via the first image information designation unit 73 as the selected image. do. Then, control is performed to display the selected image in the first display area of the image display screen in the display mode for the selected image based on the setting of the display mode setting unit 91. Further, control is performed to display each of the designated first image information in the second display area of the image display screen.
  • the display mode for the selected image can be set in advance. Further, the display mode for the selected image may be set by the display mode setting unit 91 based on the second image information described later.
  • the image display screen includes a first display area and a second display area, and the selected image is controlled to be displayed in the first display area in the display mode for the selected image. Further, each of the plurality of first image information is controlled to be displayed in the second display area. Each of the selected image and the plurality of first image information is displayed in, for example, the key image automatic selection screen 106.
  • the key image automatic selection screen 106 corresponds to an image display screen. Therefore, the first display area and the second display area can be the display areas in the key image automatic selection screen 106.
  • the key image automatic selection screen 106 is divided into two, one of which is a first display area and the other of which is a second display area.
  • the key image automatic selection screen 106 is displayed on the display 52.
  • the selected image is controlled to be displayed in the selected image display mode in the first display area of the key image automatic selection screen 106.
  • the display mode for the selected image is a display mode in which the selected image is displayed at which position in the first display area, and / or a display in which a specific selected image is emphasized and displayed in comparison with other selected images. Includes aspects of the method. Regarding the aspect of the position, since there is one or more selected images and the area of the first display area is limited in the case of a plurality of selected images, the selected images to be displayed are further selected or prioritized.
  • the display position is controlled and displayed.
  • the display mode for the selected image can be set in advance. As the mode of the display method, various highlighting and the like can be mentioned.
  • control is performed to display it in the second display area of the image display screen.
  • the first image information is a part category
  • all the part names of the designated first image information are displayed in the second display area.
  • the screen data generation unit 92 displays each of the endoscope image 100, which is the selection image input to the screen data generation unit 92, or the designated first image information, based on the set display mode for the selected image.
  • the key image automatic selection screen 106 is generated and updated.
  • the screen data generation unit 92 appropriately uses the shooting information 102 including the endoscope image 100 and the incidental information 101, the first image information, and the like, depending on the screen requested by the client terminal 21.
  • the screen data generation unit 92 generates and updates the key image automatic selection screen 106, it is associated with the display mode for the selected image, the endoscope image 100 which is the selected image, and these endoscope images 100.
  • the key image automatic selection screen 106 is created by using the incidental information 101 recorded in the above.
  • the generated and updated key image automatic selection screen 106 is input to the output control unit 93.
  • the output control unit 93 distributes the input key image automatic selection screen 106 to the requesting client terminal 21.
  • the client terminal 21 displays the key image automatic selection screen 106 distributed from the output control unit 93 on the display 52. The user can grasp whether or not the endoscopic image 100 to be attached to the inspection report 34 is excessive or insufficient by the key image automatic selection screen 106 displayed on the display 52.
  • the flow of automatic key image selection is specifically obtained by acquiring the endoscope image 100 in the endoscope image viewing support server 20. , The assignment of the first image information, the designation of the first image information, the display of the selected image and the first image information on the display, and the like will be described.
  • the display screens of the display image setting screen 105 are displayed on the display 52.
  • the display image setting screen 105 is a screen for setting an endoscope image or the like to be displayed on the key image automatic selection screen 106, and the display image setting screen 105 and the key image automatic selection screen 106 have the same layout.
  • the image acquisition unit 71 searches the image DB 30, and the imaging information 102 of the inspection unit obtained by one endoscopy, that is, a plurality of images.
  • the endoscope image 100 and the incidental information 101 recorded in association with the endoscope image 100 are read out from the image DB 30 and acquired (S11).
  • the image information adding unit 72 analyzes the first image information for each of the plurality of endoscopic images 100 of the acquired inspection unit (S12).
  • the first image information can be selected from a plurality of categories, but is set in advance by the user's selection or the like.
  • the user sets the first image information in advance using the display image setting screen 105.
  • the display image setting screen 105 includes a category setting button (not shown). The user operates the category setting button to set at least one of the categories. In this embodiment, the category of the part is set.
  • the part category a plurality of part names are preset as the first image information. Therefore, when the category of the part is selected, a plurality of part names are set as the first image information, and the image information giving unit 72 analyzes the part name which is the first image information with respect to the endoscopic image 100. Perform the resulting analysis.
  • the plurality of preset first image information is displayed in the non-selected area 105b of the display image setting screen 105, which is one of the display screens, for each category.
  • the non-selected area 105b corresponds to the third display area.
  • first image information blocks 105c showing the part names included in the part category are displayed.
  • One first image information block 105c indicates one first image information. Since the first image information block 105c displays the first image information, the part name is displayed in the present embodiment, but when a category other than the part is set, the first image included in the set category is included. Information is displayed.
  • the image information giving unit 72 By the analysis of the endoscope image 100 by the image information giving unit 72, the first image information of the set category is given to the endoscope image 100 (S13).
  • the image information adding unit 72 analyzes each of the acquired plurality of endoscope images 100, and the first image information is given to each of the endoscope images 100.
  • the part name described in the block 105c is given.
  • the reference numeral may be attached only to a part in order to avoid complicating the figure.
  • the specification is made by the user, but in some cases, such as the same specification as the previous one, it is done by someone other than the user.
  • the first image information is specified by using the first image information block 105c showing the part name displayed in the non-selected area 105b of the display image setting screen 105.
  • the first image information block 105c of the non-selected area 105b is designated and dragged by the pointer 108 to move so as to be included in the selected area 105a.
  • the first image information block 105c included in the selection area 105a is the first image information designated by the user.
  • the designated first image information is highlighted and displayed.
  • the first image information of the "esophagogastric junction" is one of the plurality of designated first image information. The user repeats such an operation to specify a plurality of first image information.
  • the selection area 105a includes five types of the first image information block 105c on the display image setting screen 105, and the first image information designated by the user is 5. It becomes the part name of the kind.
  • the undesignated first image information block 105c is displayed in the non-selected area 105b.
  • the first image information designation unit 73 designates the first image information based on the user's designation. Therefore, the first image information designation unit 73 uses the part name shown in the first image information block 105c moved to the selection area 105a as the designated first image information. Since a part name is given to the acquired plurality of endoscope images 100 by the image information giving unit 72, the plurality of endoscopic images 100 having the part name which is the designated first image information are acquired. It is selected from the endoscopic images 100 and is used as the selected image. As described above, it is preferable that the first image information designation unit 73 designates the first image information based on the plurality of first image information displayed in the selection area 105a.
  • the category of the first image information it is possible to specify the first image information other than the category of the part.
  • the category is switched to the category of information about the treatment tool by the category setting button (not shown) as in the case of the category of the part.
  • two first image information blocks 105c which are a "sample collection image” and a "non-sample collection image", are displayed as categories of information regarding the treatment tool included in the subject image. Further, two first image information blocks 105c, a "lesion image” and a “non-lesion image”, are displayed as categories of information regarding the lesion included in the subject image. In this way, the first image information block 105c of a plurality of categories may be controlled to be displayed in the non-selected area 105b depending on the area of the display area or the like. As in the case of the above-mentioned part category, the user moves the first image information block 105c from the non-selected area 105b to the selected area 105a to specify the first image information of each category.
  • the "sample collection image” is designated as the first image information from the category of information regarding the treatment tool
  • the "lesion image” is designated as the first image information from the category of information regarding the lesion.
  • the image information adding unit 72 applies the first image information of the “sample collection image” to the endoscopic image 100 in which the scene in which the sample is collected is included in the subject image. Perform analysis to grant. Further, an analysis is performed to add the first image information of the "lesion image” to the endoscopic image 100 including the lesion in the subject image.
  • the method of analysis can be the same as in the case of the site category.
  • each of the preset first image information is set after being associated with at least one of a plurality of categories, it is preferable to specify the first image information for each category. This is because by setting the category, it is possible to easily and flexibly select the endoscopic image 100 according to the user's wishes when creating the inspection report.
  • the schema display 105h on the display image setting screen 105 and the schema display 106h on the key image automatic selection screen 106 are fixedly displayed in advance as reference information for the posted portion in the inspection report 34.
  • the selection area 105a includes seven types of first image information blocks 105c, and the first image information specified by the user includes five types of sites and sample collection. It becomes an image and a lesion image. The user confirms that all the first image information to be the key image is included by displaying the selection area 105a, and ends the movement of the first image information block 105c.
  • the display control unit 74 displays the selected image and the first image information on the display 52 by displaying the key image automatic selection screen 106 (S15). As shown in FIG. 13, the selected image 106c is automatically displayed in the selected image display area 106b on the key image automatic selection screen 106 according to the display mode for the selected image. The selected image display area 106b corresponds to the first display area.
  • the display mode for the selected image is a preset content and is a highlight display. Therefore, in the selected image display area 106b, the selected image 106c is highlighted and displayed. Of the endoscopic images 100 acquired in the inspection, the non-selected image 106d that did not become the selected image 106c is displayed inconspicuously by lightening the color or the like, and the selected image 106c is emphasized. Since the screen area of the selected image display area 106b is limited, it may not be possible to display all the selected images 106c on one screen depending on the size setting for displaying one endoscope image 100 or the like. ..
  • the hidden selected image 106c can be displayed by scrolling the screen of the selected image display area 106b by moving the scroll bar 106e.
  • the non-selected image 106d is also displayed in the selected image display area 106b to display all of the inspection images, but it is also possible to set to display only the selected image 106c.
  • each of the plurality of first image information is displayed in the selection category display area 106a.
  • the selection category display area 106a corresponds to the second display area. Since the first image information is a part name or the like, a plurality of designated first image information blocks 105c are displayed side by side together with the part name or the like in the selection category display area 106a.
  • the first image information block 105c displays a part name and the like and a representative image of the endoscope image 100 to which the part name and the like are given. Therefore, the designated part name and the like and the endoscopic image 100 to which the part name and the like are given can be grasped at a glance.
  • the key image automatic selection screen 106 has the same layout as the display image setting screen 105, the first image information block 105c selected in the selection area 105a on the display image setting screen 105 is also in the selection category display area 106a. It is displayed in the same way. Therefore, it is possible to easily grasp what kind of image is selected as the key image by the selected part name.
  • the first image shown in the selection category display area 106a As shown in FIG. 14, when the key image automatic selection screen 106 is viewed and the key image which is the selected image 106c is different from the user's request, the first image shown in the selection category display area 106a.
  • the pop-up button 106g of the information block 106f By clicking the pop-up button 106g of the information block 106f, the first image information included in the same category as the first image information block 106f is displayed in a list by the first image information list 106i, and the first image information is displayed from the list. Can be respecified. In the first image information list 106i, the designated first image information and the non-designated first image information including the same category are displayed separately. Further, the first image information block 106f by clicking the pop-up button 106g is highlighted and displayed.
  • the first image information clicked on the first image information list 106i can be replaced with the first image information displayed up to that point. Therefore, in the case of FIG. 14, the "duodenum descending leg" and the clicked first image information can be exchanged.
  • the first image information may be specified again by clicking the switch button (not shown) to the display image setting screen 105 set on the key image automatic selection screen 106. By repeating these operations, more optimal key image selection can be performed.
  • the user confirms the part name of the selected category display area 106a and all the selected images 106c displayed by scrolling the selected image display area 106b, completes the key image selection work, and completes the key image selection screen 106.
  • a report is created by clicking the completion button (not shown) set in. Alternatively, by pressing the report creation button (not shown), the key image selection work is completed and the report is created. When the key image selection work is completed, the key image selection settings used to create this report are saved.
  • the storage control unit 75 controls the storage of various settings and designations, the storage of the endoscope image 100, and the storage of the inspection report 34.
  • the user specifies the category of the endoscope image 100 which is the first image information, and the key image desired by the user. Can be automatically selected from a large number of endoscopic images 100, so that the key image can be easily selected. Further, since these designations are made on the display screen of the display 52, the key image can be selected more easily and easily. Further, since these designations are made by arbitrarily selecting the first image information, it is possible to flexibly match various key image selection criteria of the user, and it is possible to select an appropriate key image for each user. be. Further, when selecting a key image, the user does not need to confirm a large number of captured endoscopic images 100, so that the work efficiency of key image selection is improved.
  • the first image information designated as the key image can be confirmed on, for example, the key image automatic selection screen 106 or the like. It is possible to easily confirm what is and what kind of endoscopic image 100 is selected by the designation. After confirmation, it is easy to specify the first image information again, and by performing the specification a plurality of times, it is possible to automatically select an appropriate key image for the user. Therefore, the endoscope image viewing support server 20 can easily and appropriately select the key image.
  • the display mode setting unit 91 assigns at least one of a plurality of preset second image information to the medical image, and sets the display mode for the selected image based on the second image information.
  • the display mode setting unit 91 assigns at least one of a plurality of preset second image information to the medical image, and sets the display mode for the selected image based on the second image information.
  • the second image information is the same as the first image information, and is given to the endoscope image 100 in the same manner as the first image information. Similar to the first image information, the second image information includes information on a part included in the subject image, information on imaging conditions of a medical image, information on a lesion included in the subject image, information on an area of interest included in the subject image, or a subject. It can be information about the treatment tool included in the image.
  • the image information addition unit 72 includes a second image information addition unit 82, and the second image information addition unit 82 includes a second image information list 84 (see FIG. 7).
  • the second image information list 84 included in the second image information addition unit 82 is the same as the first image information list 83, and is a list in which the second image information is described.
  • the image information giving unit 72 gives the endoscope image 100 at least one of a plurality of preset second image information by analyzing the endoscope image 100. do.
  • the addition of the second image information to the endoscopic image 100 is to add the second image information to the incidental information 101 included in the photographing information 102, or the second image information is included in the incidental information 101. If it is already in the information, it is realized by adding the information that this information is the second image information.
  • the second image information to be given may be plural. Further, as described above, it is preferable that the second image information is also set after being associated with at least one of a plurality of categories, like the first image information.
  • Which second image information is to be set can be set by the user, for example, by specifying it on the display 52 via the display image setting screen 105. Since the second image information is an item for selecting and / or rearranging the endoscopic images 100 when displaying the selected images on the display 52, a plurality of them may be selected and used in combination.
  • the category of the second image information includes the imaging conditions such as the illumination light information 101A when the endoscope image 100 is photographed, the presence or absence of a lesion when the endoscope image 100 is analyzed by image processing, and the endoscope image 100.
  • the presence or absence of the region of interest when the image 100 is analyzed by image processing, or the presence or absence of the treatment tool when the endoscopic image 100 is analyzed by image processing can be preferably used.
  • the illumination light information 101A indicating one of the shooting conditions indicates the type of illumination light when the endoscope image 100 is shot.
  • the endoscope system 14 includes, as a shooting mode, a normal mode in which white light (WLI, WhiteLight) is used as the illumination light to capture a subject in a natural hue, and a narrow band light in the illumination light. It is provided with a special light mode such as BLI (Blue light (laser) Imaging) that obtains an endoscope image 100 that emphasizes a specific structure or the like by using special light. Therefore, in the illumination light information 101A, the type name of the illumination light such as "WLI” indicating white light or "BLI" indicating one type of special light is described.
  • the analysis by the image processing of the endoscope image 100 prepares the endoscope image 100 which is known to have the second image information. It is preferable to perform the analysis based on the corresponding information in which the endoscopic image 100 and the second image information are associated in advance.
  • the correspondence information is the same as in the case of the first image information, and it is preferable that the model is a trained model in the machine learning technique. Therefore, for example, when the second image information is the presence or absence of a lesion, learning is performed using learning data in which an endoscopic image of a subject including the lesion is associated with information on the presence or absence of a lesion as “with lesion”.
  • the first display mode is set based on the second image information
  • the second image information is set, for example, by the priority image designation area 105d of the display image setting screen 105.
  • the presence / absence of a lesion, the presence / absence of a treatment tool, and imaging conditions are adopted.
  • the user gives priority to the lesion image as the priority 1, the sample collection image as the priority 2, and the normal image in the input box 105e in the priority image designation area 105d.
  • the lesion image priority image which is an image that is prioritized in the case of a lesion image by inputting the third order
  • an image whose imaging condition is BLI is selected by checking the input box 105e. Therefore, when displaying the selected key images side by side on the display 52 based on the second image information, the first display mode setting unit 91 arranges the lesion image, the sample collection image, and the normal image in this order, and the lesion.
  • the first display mode is to select an image taken by BLI.
  • a display number setting unit 94 for setting the maximum number of selected images 106c to be displayed on the key image automatic selection screen 106 is provided, and the display control unit 74 is a selection image having a number equal to or less than the maximum number set by the display number setting unit 94. It is preferable to control the display of the 106c on the key image automatic selection screen 106.
  • the endoscope image viewing support server 20 includes a display number setting unit 94.
  • the display number setting unit 94 sets the maximum number of selected images to be displayed in the selected image display area 106b.
  • the maximum number of selected images to be displayed in the selected image display area 106b of the key image automatic selection screen 106 is set based on the user's settings.
  • the user's setting is set, for example, by inputting a number in the display number setting area 105f of the display image setting screen 105.
  • the maximum number of selected images is set, for example, by inputting "10" in the input box displayed as "Maximum number of key images: Overall” in the display number setting area 105f.
  • the maximum number of selected images displayed in the selected image display mode is 10 from the preset highest priority. In this case, if the number of selected images displayed in the selected image display mode is 10 or less before setting the number of displayed images, the number of displayed images is not limited.
  • the display control unit 74 controls to display the selected images of the maximum number or less for each first image information set by the display number setting unit 94 on the second display screen.
  • the maximum number of images for each first image information is set based on the user's settings in the same manner as above, and for example, "3" is input in the input box after "for each category" is displayed in the display number setting area 105f. Set by doing.
  • the maximum number of selected images displayed in the display mode for selected images is three from the highest priority for each part of the first image information.
  • the number of selected images displayed in the selected image display mode is 3 or less before setting the number of displayed images, the number of displayed images is not limited.
  • the display setting storage unit 95 saves the designations and settings made by at least one of the first image information designation unit 73, the display mode setting unit 91, and the display number setting unit 94 as display settings. It is preferable that the display control unit 74 displays the endoscope image 100 on the second display screen based on the display settings. As shown in FIG. 17, the storage control unit 75 includes a display setting storage unit 95. As described above, the key image automatic selection is carried out by the designation and setting of the first image information designation unit 73, the display mode setting unit 91, and the display number setting unit 94.
  • the designation of the first image information designation unit 73 is "the esophagogastric junction, the duodenal descending leg, the body of the gastric corpus, the gastric angle, and the corpus".
  • the setting of the display mode setting unit 91 is that the "priority image” is "1 lesion image, 2 sample collection image, 3 normal image", and the "lesion image priority image” is "BLI”, and the number of displayed images is set.
  • the setting of the unit 94 is "total 10" and “3 for each category” for the "maximum number of key images”.
  • a user group including a plurality of users is, for example, each clinical department or medical facility in a medical facility. Therefore, the display setting of the key image automatic setting can be saved for each clinical department or medical facility.
  • the purpose of imaging includes, for example, a screening test, a detailed test of a polyp, a treatment using a treatment tool, and the like.
  • a screening test by calling the display setting in the screening test, it is possible to display the key image setting screen in which the optimum key image in the screening test is automatically displayed without any trouble.
  • the hardware-like structure of the processing unit that executes various processes such as the storage control unit 75 is various processors as shown below.
  • the circuit configuration is changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. It includes a programmable logic device (PLD), which is a possible processor, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing various processes, and the like.
  • PLD programmable logic device
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be done. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the present invention is a system or device for acquiring medical images (including moving images) other than endoscopic images. It can also be used in such cases.
  • the present invention can be applied to an ultrasonic inspection device, an X-ray imaging device (including a CT (Computed Tomography) inspection device, a mammography device, etc.), an MRI (magnetic resonance imaging) device, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Endoscopes (AREA)

Abstract

キー画像の選択を簡易かつ適切に行うことができる医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラムを提供する。医療画像処理装置はプロセッサを備え、プロセッサは、被写体像を含む医療画像を複数取得し、医療画像を解析することにより第１画像情報を医療画像に付与し、第１画像情報の指定を行い、複数の医療画像のうち、指定の第１画像情報が付与された医療画像である選択画像を、表示画面の第１表示領域に選択画像用表示態様で表示する制御を行い、かつ、指定の第１画像情報のそれぞれを第２表示領域に表示する制御を行う。

Description

医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム
　本発明は、医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラムに関する。
　医療分野において、検査又は診断等のために取得する被写体像を含む画像（以下、医療画像という）が利用されている。取得した医療画像は、医師に提示される。そして、医師は、医療画像を判断材料の１つとして使用し、診断等を行う。具体的には、医療画像には、内視鏡画像、Ｘ線画像、ＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）画像、又は、ＭＲ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｓｅ）画像等がある。
　例えば、内視鏡システムを用いた検査においては、検査終了後に、内視鏡医が、内視鏡システムにより撮影した内視鏡画像を使用して、検査結果及び所見等を記載したレポートの作成を行う必要がある。しかしながら、レポートに添付する内視鏡画像（以下、キー画像という）は、内視鏡医が、１回の検査で取得した多数の内視鏡画像から手動で選択する場合等、選択に手間がかかるという問題があった。
　そこで、キー画像選択の負担の軽減に関して検討が行われている。例えば、入力した診断情報の解析結果に基づいて、撮影した医療用画像からキー画像を生成する情報処理装置が知られている（特許文献１）。また、医用画像内の関心領域を指定することにより、指定された関心領域を有する医用画像をグループ化して表示する医用レポートシステムが知られている（特許文献２）。
特開２０１５－２１１８６２号公報 特開２００９－８６７６５号公報
　キー画像選択の基準は、医療施設又は内視鏡医等の内視鏡システムのユーザ毎に異なり、また、レポート作成の目的によっても異なる。レポートには、例えば、内視鏡医が検査を実施した患者の担当医に検査結果を報告するためのレポート、又は、患者に検査結果を通知するためのレポート等がある。したがって、自動的にキー画像が選択される場合であっても、個々にとって適切な選択が行われるとは限らなかった。
　また、一回の内視鏡検査において取得する内視鏡画像の数は、場合によっては膨大となる。膨大な内視鏡画像から、制限なくキー画像を自動的に選択した場合、ユーザに分かりづらい表示となるおそれがある。例えば、ユーザに、選択した内視鏡画像と選択しなかった内視鏡画像とを比較しながら、選択したキー画像をディスプレイに表示する場合等では、多くの内視鏡画像が表示されるおそれがある。
　本発明は、キー画像の選択を簡易かつ適切に行うことができる医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラムを提供することを目的とする。
　本発明の医療画像処理装置は、プロセッサを含み、プロセッサは、被写体像を含む医療画像を複数取得し、医療画像を解析することにより、予め設定した複数の第１画像情報のうち少なくとも１つを医療画像に付与し、複数の第１画像情報のうち少なくとも１つの指定を行い、複数の医療画像のうち、指定の第１画像情報が付与された医療画像である選択画像を、画像表示画面の第１表示領域に選択画像用表示態様で表示する制御を行い、かつ、指定の第１画像情報のそれぞれを、画像表示画面の第２表示領域に表示する制御を行う。
　プロセッサは、医療画像を解析することにより、予め設定した複数の第２画像情報のうち少なくとも１つを医療画像に付与し、選択画像用表示態様を、第２画像情報に基づいて設定することが好ましい。
　予め設定した複数の第１画像情報のそれぞれは、複数のカテゴリの少なくとも１つに関連づけた上で設定されており、プロセッサは、カテゴリ毎に、指定を行うことが好ましい。
　プロセッサは、複数の第１画像情報を画像表示画面の第３表示領域にカテゴリ毎に表示する制御を行い、第３表示領域に表示した複数の第１画像情報に対するユーザの選択に基づいて、指定を行うことが好ましい。
　予め設定した複数の第２画像情報のそれぞれは、複数のカテゴリの少なくとも１つに関連づけた上で設定されていることが好ましい。
　カテゴリは、被写体像が含む部位に関する情報、医療画像の撮影条件に関する情報、被写体像が含む病変に関する情報、被写体像が含む注目領域に関する情報、及び被写体像が含む処置具に関する情報のうち少なくとも１つであることが好ましい。
　プロセッサは、第１表示領域に表示する選択画像の最大枚数を設定し、設定した最大枚数以下の枚数の選択画像を第１表示領域に表示する制御を行うことが好ましい。
　プロセッサは、第１画像情報を備える医療画像と、第１画像情報とを、予め対応づけた第１対応情報に基づいて、解析を行うことが好ましい。
　プロセッサは、第２画像情報を備える医療画像と、第２画像情報とを、予め対応づけた第２対応情報に基づいて、解析を行うことが好ましい。
　プロセッサが行った指定を表示設定として保存し、表示設定に基づき、選択画像を画像表示画面に表示することが好ましい。
　表示設定は、ユーザ毎に保存することが好ましい。
　表示設定は、複数のユーザを含むユーザグループ毎に保存することが好ましい。
　表示設定は、撮影の目的毎に保存することが好ましい。
　本発明の医療画像処理装置の作動方法は、撮影した複数の医療画像を取得する画像取得ステップと、医療画像を解析することにより、予め設定した複数の第１画像情報のうち少なくとも１つを医療画像に付与する画像情報付与ステップと、複数の第１画像情報のうち少なくとも１つの指定を行う第１画像情報指定ステップと、複数の医療画像のうち、指定の第１画像情報が付与された医療画像である選択画像を、画像表示画面の第１表示領域に選択画像用表示態様で表示する制御を行い、かつ、指定の第１画像情報のそれぞれを、画像表示画面の第２表示領域に表示する制御を行う表示制御ステップとを備える。
　本発明の医療画像処理装置用プログラムは、医療画像処理装置にインストールされる医療画像処理装置用プログラムであって、コンピュータに、撮影した複数の医療画像を取得する画像取得機能と、医療画像を解析することにより、予め設定した複数の第１画像情報のうち少なくとも１つを医療画像に付与する画像情報付与機能と、複数の第１画像情報のうち少なくとも１つの指定を行う第１画像情報指定機能と、複数の医療画像のうち、指定の第１画像情報が付与された医療画像である選択画像を、画像表示画面の第１表示領域に選択画像用表示態様で表示する制御を行い、かつ、指定の第１画像情報のそれぞれを、画像表示画面の第２表示領域に表示する制御を行う表示制御機能とを実現させるための医療画像処理装置用プログラムである。
　本発明によれば、キー画像の選択を簡易かつ適切に行うことができる。
内視鏡画像閲覧支援システム構成の概略を示す説明図である。 撮影情報の内容を示す説明図である。 検査レポート及びレポート表示画面の内容を示す説明図である。 内視鏡画像閲覧支援サーバ等に用いられるコンピュータの電気的な構成を示すブロック図である。 クライアント端末の機能概要を示す説明図である。 内視鏡画像閲覧支援サーバの機能概要を示す説明図である。 画像情報付与部の機能概要を示すブロック図である。 キー画像自動選択の処理手順を示すフローチャートである。 第１画像情報ブロックを移動している表示画像設定画面を示す画像図である。 第１画像情報ブロックを複数移動した表示画像設定画面を示す画像図である。 別のカテゴリの第１画像情報ブロックを移動している表示画像設定画面を示す画像図である。 別のカテゴリの第１画像情報ブロックを移動した表示画像設定画面を示す画像図である。 キー画像自動選択画面を示す画像図である。 第１画像情報一覧を表示したキー画像自動選択画面を示す画像図である。 表示枚数を設定した表示画像設定画面を示す画像図である。 表示枚数設定部を含む内視鏡画像閲覧支援サーバの機能概要を示す説明図である。 保存制御部の機能概要を示すブロック図である。 表示設定の一例を示す説明図である。
　本実施形態では、医療画像の一例として内視鏡画像を用いる。内視鏡画像は医療画像の一例である。
　図１に示す内視鏡画像閲覧支援システム１０は、内視鏡検査で得られた内視鏡画像１００（図２参照）の閲覧を支援するために用いられるコンピュータシステムであり、ネットワーク１２を介して内視鏡システム１４と接続されている。ネットワーク１２は、例えば、病院内のＬＡＮ（Local Area Network）である。内視鏡システム１４は、内視鏡１５と、光源装置１６と、プロセッサ装置１７と、ディスプレイ１８と、入力装置であるキーボード１９とを含む。
　内視鏡システム１４は、内視鏡検査（内視鏡１５を用いた各種処置を含む）に用いられる。内視鏡検査は、例えば、患者の担当医からの依頼を受けた内視鏡医によって実施され、内視鏡検査が実施されることで複数の内視鏡画像１００が得られる。内視鏡システム１４で撮影された内視鏡画像１００は、内視鏡画像閲覧支援システム１０に保存される。
　内視鏡画像閲覧支援システム１０は、内視鏡画像閲覧支援サーバ２０と、クライアント端末２１と、サーバ群２２とを備え、これらがＬＡＮなどのネットワーク２４を介して接続されている。
　内視鏡画像閲覧支援サーバ２０は、本発明の医療画像処理装置であり、ユーザが複数の内視鏡画像１００の中からキー画像を選択するための支援を行い、また、選択したキー画像を用いて検査レポート３４（図３参照）を作成する。検査レポート３４は、内視鏡検査を行った内視鏡医などの医師が、内視鏡画像１００を閲覧して医学的な所見などをまとめたレポートである。検査レポート３４には、キー画像である所見の根拠となった内視鏡画像１００が添付される。検査レポート３４は、内視鏡検査を受けた患者の担当医等の閲覧に供されて患者の診断等に用いられる。
　サーバ群２２は、画像サーバ２６と、レポートサーバ２８とからなる。画像サーバ２６は、画像データベース（以下、画像ＤＢと称する）３０を備えている。画像ＤＢ３０には、内視鏡システム１４から送信された内視鏡画像１００が格納される。レポートサーバ２８は、レポートデータベース（以下、レポートＤＢと称する）３２を備えている。レポートＤＢ３２には、内視鏡検査の実施に伴って作成される検査レポート３４が格納される。画像ＤＢ３０、及びレポートＤＢ３２は、例えば、患者毎に付与される患者ＩＤ（Identification Data）、又は、内視鏡検査毎に付与される検査ＩＤ等による検索が可能なデータベースである。
　クライアント端末２１は、内視鏡画像１００や検査レポート３４を閲覧等するための端末であり、内視鏡医が検査終了後に内視鏡画像１００を閲覧したり、検査レポート３４を作成したりするために使用する。また、クライアント端末２１は、内視鏡検査を依頼した診療科の医師である担当医が内視鏡画像１００や検査レポート３４を閲覧するためにも使用される。
　クライアント端末２１は、例えば、ノート型又はデスクトップ型のパソコン等である。内視鏡医は、検査終了後に検査レポート３４を作成する場合、クライアント端末２１を使用して内視鏡画像閲覧支援サーバ２０にアクセスする。そして、保存された内視鏡画像１００又は検査レポート３４を読み出して、クライアント端末２１のディスプレイに表示させ、必要な作業を行い、検査レポート３４を完成させる。完成した検査レポート３４は、内視鏡画像閲覧支援サーバ２０を介して、レポートサーバ２８に保存する。
　画像ＤＢ３０には、複数の画像フォルダ（図示せず）が設けられている。内視鏡検査が１回行われると、この内視鏡検査に対応する画像フォルダが１つ作成される。そして、各画像フォルダには、対応する内視鏡検査で取得された内視鏡画像１００が格納される。前述のように、内視鏡検査では、動画の撮影、内視鏡のフリーズスイッチによる任意のタイミングの静止画の撮影、所定時間間隔で行われる自動撮影の他、テスト撮影等も行われ、これらの撮影で得られた画像がすべて内視鏡画像１００として画像フォルダ３６内に格納される。
　図２に示すように、これらの内視鏡画像１００は、固有の画像ＩＤ、撮影時刻、及び撮影時に用いた内視鏡システム１４における照明光情報１０１Ａ等の付帯情報１０１が関連付けて記録された撮影情報１０２として、画像フォルダ内に格納されている。各内視鏡画像１００に記録される付帯情報１０１は、場合により、後述する第２画像情報として、キー画像の選択のため、又はキー画像をディスプレイに表示する際の並べ替えのために使用される。
　画像フォルダは、画像サーバ２６において、内視鏡システム１４から送信される検査単位の内視鏡画像１００を保存する際に作成される。画像フォルダを内視鏡システム１４側で作成し、画像フォルダ毎、画像サーバ２６が受信してもよい。また、画像ＤＢ３０において、内視鏡画像１００を検査単位でタグ付けする等、複数の内視鏡画像１００を検査単位で読み出しできる形態で格納されていれば、画像フォルダはなくてもよい。
　レポートＤＢ３２には、複数のレポートフォルダ（図示せず）が設けられている。内視鏡検査毎に作成された検査レポート３４は、レポートフォルダに格納される。検査レポート３４についても、内視鏡画像１００と同様に、レポートＤＢ３２において、検査レポート３４を検査単位でタグ付けする等、内視鏡検査毎に読み出しできる形態で格納されていれば、レポートフォルダを設けなくてもよい。
　図３に示すように、検査レポート３４、及び検査レポート３４を表示する際のレポート表示画面１０３は、レポート本体３４Ａ、並びに、前述した検査識別情報、患者識別情報、及び作成者を示す作成者情報からなる。レポート本体３４Ａは、内視鏡検査の検査医の所見１０４と、検査レポート３４に添付される内視鏡画像１００であるキー画像１００Ｓとを有する。キー画像１００Ｓは、所見１０４の根拠となった内視鏡画像１００であり、内視鏡検査毎に対応付けて添付される。図３は、１つ目の所見１０４（所見Ｎｏ１）に、画像ＩＤがＡ１３とＡ２４との２枚の内視鏡画像１００が対応付けされ、２つ目の所見１０４（所見Ｎｏ２）に、画像ＩＤがＡ３７の１枚の内視鏡画像１００が対応付けされた例を示している。
　検査レポート３４の作成において、内視鏡画像閲覧支援サーバ２０は、内視鏡検査単位で得られた複数の内視鏡画像１００の中から、ユーザの指定等に基づきキー画像である内視鏡画像１００を自動的に選別し、検査レポート３４の書式に合わせて、選別した内視鏡画像１００を添付し、また内視鏡画像１００に関連付けされた付帯情報１０１から検査識別情報及び患者識別情等を自動的にレイアウトする。
　内視鏡画像閲覧支援サーバ２０、及び、クライアント端末２１、並びに、サーバ群２２を構成する画像サーバ２６、及び、レポートサーバ２８は、パーソナルコンピュータ、サーバコンピュータ、又は、ワークステーションといったコンピュータをベースに、オペレーティングシステム等の制御プログラム、及び、クライアントプログラム又はサーバプログラム等のアプリケーションプログラムをインストールして構成される。
　図４に示すように、各サーバ２０、２６、２８、及び、クライアント端末２１を構成するコンピュータは、基本的な構成は同じであり、それぞれ、ＣＰＵ（Central Processing Unit）４０、メモリ４２、ストレージデバイス４４、通信Ｉ／Ｆ（Interface）４６、及び入出力部４８を備えている。これらはデータバス５０を介して接続されている。入出力部４８は、ディスプレイ５２と、キーボード又はマウス等の入力デバイス５４とからなる。
　ストレージデバイス４４は、例えば、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等であり、制御プログラム又はアプリケーションプログラム（以下、ＡＰという）５６が格納される。また、ＤＢが構築されるサーバ２６及びサーバ２８には、プログラムを格納するＨＤＤ等とは別に、ＤＢ用のストレージデバイス４４として、例えば、ＨＤＤ等を複数台連装したディスクアレイが設けられる。なお、ディスクアレイは、サーバ本体に内蔵されるものでもよいし、サーバ本体とは別に設けられ、サーバ本体にＬＡＮなどのネットワークを通じて接続されるものでもよい。また、ストレージデバイス４４として、インターネットを通じて接続されるクラウドストレージを用いてもよい。
　メモリ４２は、ＣＰＵ４０が処理を実行するためのワークメモリであり、ＲＡＭ（Random Access Memory）で構成される。ＣＰＵ４０は、ストレージデバイス４４に格納された制御プログラムをメモリ４２へロードして、プログラムに従った処理を実行することにより、コンピュータの各部を統括的に制御する。通信Ｉ／Ｆ４６は、ネットワーク１２との間の伝送制御を行うネットワークインタフェースである。
　クライアント端末２１には、ＡＰ５６として、クライアントプログラムがインストールされている。クライアントプログラムは、内視鏡画像閲覧支援サーバ２０にアクセスして、キー画像を選択するための表示画像設定画面１０５（図９参照）又はキー画像自動選択画面１０６（図１１参照）等の画像表示画面の閲覧要求又は更新要求等の各種要求を送信する機能、又は、内視鏡画像閲覧支援サーバ２０からクライアント端末２１に送られた画像表示画面を受信して表示する機能を、クライアント端末２１に実行させるためのプログラムである。なお、クライアントプログラムは、内視鏡画像閲覧支援システム１０専用にプログラミングされたものであってもよいし、周知のウェブブラウザを含むものであってもよい。
　図５に示すように、クライアントプログラムが起動されると、クライアント端末２１のディスプレイ５２には、ＧＵＩ（Graphical User Interface）による操作機能を備えた起動画面５８が表示され、クライアント端末２１のＣＰＵ４０は、メモリ４２などと協働して、ＧＵＩ制御部６０、及び内視鏡画像閲覧支援サーバ２０に対する各種の要求を発行する要求発行部６２として機能する。
　起動画面５８には、検査ＩＤ入力欄５８Ａ、決定ボタン５８Ｂが設けられている。検査ＩＤ入力欄５８Ａに検査ＩＤを入力し、決定ボタン５８Ｂを操作することによって、複数の内視鏡検査の中から１つの内視鏡検査を指定することができる。内視鏡検査が指定されると、検査ＩＤ入力欄５８Ａに入力された情報が、ＧＵＩ制御部６０から要求発行部６２に対して送信される。要求発行部６２は、指定された内視鏡検査、すなわち、検査ＩＤ入力欄５８Ａに入力された検査ＩＤに対応する内視鏡検査の内視鏡画像１００において、レポートに添付する内視鏡画像１００を選択するための画像表示画面の配信要求を生成し、内視鏡画像閲覧支援サーバ２０に対して発行する。この配信要求に応答して内視鏡画像閲覧支援サーバ２０から初期状態又は予め保存した設定による画像表示画面が配信され、クライアント端末２１のディスプレイ５２に表示される。
　画像表示画面は、例えば、ＸＭＬ（Extensible Markup Language）などのマークアップ言語により記述されたデータで構成され、これらの画像表示画面自体もＧＵＩによる操作機能を備えている。ＧＵＩ制御部６０は、キーボードからの入力操作や、マウスのポインタ１０８による操作ボタンのクリック操作など、画像表示画面を通じた入力デバイス５４からの操作指示を受け付ける。要求発行部６２は、ＧＵＩ制御部６０が受け付けた操作指示に応じて、画像表示画面の更新要求などを発行する。
　更新要求には、画像表示画面を介するキー画像選択のための各種指示、表示する内視鏡画像１００等の切り替え指示等、画像表示画面の表示内容を更新する指示が含まれる。更新要求が内視鏡画像閲覧支援サーバ２０に送信されると、内視鏡画像閲覧支援サーバ２０は、画像表示画面を更新し、更新済みの画像表示画面をクライアント端末２１に配信する。これにより、クライアント端末２１において表示される画像表示画面が更新される。
　図６に示すように、内視鏡画像閲覧支援サーバ２０にＡＰ５６としてインストールされているサーバプログラムは、コンピュータを内視鏡画像閲覧支援サーバ２０として機能させるための作動プログラムである。サーバプログラムが起動されると、内視鏡画像閲覧支援サーバ２０のＣＰＵ４０は、メモリ４２等と協働して、受付部７０、画像取得部７１、画像情報付与部７２、第１画像情報指定部７３、表示制御部７４、及び、保存制御部７５として機能する。
　受付部７０は、各種端末からの入力を受信する。受付部７０は、クライアント端末２１から入力される画像表示画面の配信要求や更新要求を受け付け、これらの要求を表示制御部７４へ出力する。画像表示画面の配信要求は、起動画面５８の検査ＩＤ入力欄５８Ａに入力された検査ＩＤによって指定された複数の内視鏡画像１００から選択された内視鏡画像１００を表示する画像表示画面の配信を要求するものである。受付部７０は、配信要求を受け付けると、配信要求で指定された検査ＩＤ（検査ＩＤ入力欄５８Ａに入力された検査ＩＤ）を画像取得部７１へ入力する。なお、更新要求には、後述する複数の第１画像情報のうち少なくとも１つの指定、第２画像情報のうち少なくとも１つの指定を行うための指定情報、又は、各種設定を含む。指定情報は、画像情報付与部７２及び第１画像情報指定部７３へ入力する。
　画像取得部７１は、検査ＩＤが入力されると、画像サーバ２６にアクセスして、通知された検査ＩＤに対応する内視鏡検査で得られた全ての内視鏡画像１００を、画像ＤＢ３０から取得する。具体的には、画像取得部７１は、検査ＩＤを検索キーワードとして、画像ＤＢ３０を検索し、検査ＩＤが共通する撮影情報１０２を画像ＤＢ３０の画像フォルダ３６から読みだして取得する。上述したように、撮影情報１０２には、内視鏡画像１００と、内視鏡画像１００に関連付けて記録された付帯情報１０１とが含まれている。これにより、１回の内視鏡検査で得られた検査単位の複数の内視鏡画像１００と、内視鏡画像１００に関連付けて記録された付帯情報１０１がすべて取得される。画像取得部７１は、取得した撮影情報１０２を、画像情報付与部７２に出力する。
　画像情報付与部７２は、内視鏡画像１００を解析することにより、予め設定した複数の第１画像情報のうち少なくとも１つを内視鏡画像１００に付与する。具体的には、第１画像情報の内視鏡画像１００への付与は、撮影情報１０２が含む付帯情報１０１に第１画像情報を追加すること、又は、第１画像情報が付帯情報１０１に含まれる情報にすでにある場合、この情報が第１画像情報であるとの情報を付加することによって実現される。したがって、予め付帯情報１０１に含まれる情報のいずれかに、第１画像情報であるとの情報を付加することも、内視鏡画像１００の解析に含まれる。付与する第１画像情報は、複数あってもよい。
　図７に示すように、画像情報付与部７２は、第１画像情報付与部８１と、第２画像情報付与部８２とを備える。第１画像情報付与部８１は、第１画像情報リスト８３を備え、第２画像情報付与部８２は、第２画像情報リスト８４を備える。第２画像情報については後述する。
　第１画像情報リスト８３は、複数の第１画像情報が記載されたリストであり、予め設定される。複数の第１画像情報のそれぞれは、複数のカテゴリの少なくとも１つに関連づけた上で設定されることが好ましい。したがって、第１画像情報リスト８３には、複数の第１画像情報のそれぞれが、複数のカテゴリの少なくとも１つに関連付けられた上で、記載されている。
　複数のカテゴリのうちの一つは、例えば、被写体像が含む部位に関する情報である。部位のカテゴリを設定した場合、部位のカテゴリに含む具体的な項目名である、例えば、「食道」、「食道胃接合部」、「胃体部大彎」、「前庭部」、「胃角」、「穹窿部」、又は「十二指腸下脚部」等の部位名が、第１画像情報として予め設定される。
　また、他のカテゴリとしては、医療画像の撮影条件に関する情報、被写体像が含む病変に関する情報、被写体像が含む注目領域に関する情報、又は、被写体像が含む処置具に関する情報等が挙げられる。
　撮影条件に関する情報とは、医療画像を取得した際の撮影に関する情報であり、撮影条件のカテゴリを設定した場合、例えば、照明光の種類、被写体と内視鏡先端部との距離、露光、又は用いた内視鏡の種類等が、第１画像情報として設定される。被写体像が含む病変に関する情報をカテゴリに設定した場合、例えば、被写体像が病変を有するか否か、病変の大きさ、又は病変の種類等が、第１画像情報として設定される。被写体像が含む注目領域に関する情報をカテゴリに設定した場合、被写体像が注目領域を有しているか否か、注目領域の大きさ、又は注目領域の酸素飽和度等の生体情報等が、第１画像情報として設定される。被写体像が含む処置具に関する情報をカテゴリに設定した場合、被写体像が処置具を有するか否か、処置具の種類、又は検体採取画像か否か等が、第１画像情報として設定される。なお、第１画像情報を処置具に関する情報とした場合は、第１画像情報を、「検体採取画像」とすることができる。被写体像が含む処置具の種類に基づき、検体を採取している場面であるか否かの解析が可能だからである。第１画像情報リスト８３に、これらの第１画像情報を予め保存して用いる。
　第１画像情報付与部８１は、内視鏡画像１００を画像処理により解析することにより、予め設定した複数の第１画像情報のうち少なくとも１つを内視鏡画像１００に付与する。予め設定した複数の第１画像情報は、第１画像情報リスト８３が含む第１画像情報である。また、第１画像情報付与部８１は、第１画像情報リスト８３が含むカテゴリ毎に、内視鏡画像１００を解析することが好ましい。例えば、第１画像情報リスト８３が、被写体像が含む部位に関する情報のカテゴリを有する場合、この部位のカテゴリに関して、内視鏡画像１００を解析し、部位のカテゴリが含む第１画像情報を、内視鏡画像１００に付与する。また、第１画像情報リスト８３が、複数のカテゴリを有する場合は、それぞれのカテゴリ毎に内視鏡画像１００を解析するか、複数のカテゴリが含む第１画像情報に関して内視鏡画像１００を解析する。
　第１画像情報付与部８１は、第１画像情報を内視鏡画像１００の付帯情報１０１に書き込むことにより、内視鏡画像１００に第１画像情報を付与する。なんらかの理由で、内視鏡画像１００に予め設定した第１画像情報を付与することができない場合には、その旨をユーザ等が認識できるように、第１画像情報として、例えば、「不明」を付与する。したがって、この内視鏡画像１００の付帯情報１０１の第１画像情報の欄には「不明」等が書き込まれる。
　内視鏡画像１００の画像処理による解析は、第１画像情報を判別又は認識する各種の画像処理の方法を採用することができる。なかでも、第１画像情報を備えると判明している内視鏡画像を用意し、この内視鏡画像と第１画像情報とを予め対応付けた対応情報に基づいて、解析を行うことが好ましい。対応情報は、機械学習技術における学習済みモデルであることが好ましい。したがって、例えば、第１画像情報のカテゴリが部位である場合、特定の部位を被写体として撮影した内視鏡画像と、部位名、例えば、「食道」とを対応付けた学習データによる学習を複数回行った学習済みモデルを用いて、被写体像が含む部位が未知である内視鏡画像１００を解析することにより、被写体像が含む部位名が解析結果として得られる。具体的には、内視鏡画像１００に写る部位、すなわち、被写体像が含む部位が「食道」である場合には、上記の学習済みモデルを用いて解析することにより、第１画像情報として「食道」との解析結果を得ることができる。
　第１画像情報指定部７３は、複数の第１画像情報のうち少なくとも１つの指定を行う。第１画像情報の指定により、複数の内視鏡画像１００のうち、指定された第１画像情報を付帯情報１０１に有する撮影情報１０２と、指定された第１画像情報を付帯情報１０１に有さない撮影情報１０２とを、分類することができる。例えば、複数の第１画像情報とは、第１画像情報が部位のカテゴリである場合の具体的な複数の部位名である。したがって、例えば、複数の部位名から、検査レポート３４に添付する部位名を指定することにより、この部位名を撮影情報１０２に有する内視鏡画像１００を抽出することができる。
　上記したように、第１画像情報の指定は、例えば、ユーザによりクライアント端末２１から入力される表示画像設定画面１０５等を介した第１画像情報の選択により行われる。具体的には、第１画像情報が部位名である場合、ユーザは、「食道」等、第１画像情報である部位名の少なくとも１つをクライアント端末２１に入力することにより、第１画像情報を選択する。入力した情報は、指定情報として、第１画像情報指定部７３が受け取り、第１画像情報指定部７３は、撮影情報１０２が含む第１画像情報に「食道」があるものとそれ以外とを分類する。そして、第１画像情報に「食道」がある内視鏡画像１００の付帯情報１０１に、この内視鏡画像１００が指定の第１画像情報が付与されていることを書き込む。
　表示制御部７４は、表示態様設定部９１、画面データ生成部９２、及び出力制御部９３を有する。画面データ生成部９２には、画像取得部７１から内視鏡画像１００が直接入力される。
　また、表示制御部７４は、第１画像情報指定部７３を介して入力された複数の内視鏡画像１００のうち、指定の第１画像情報が付与された内視鏡画像１００を選択画像とする。そして、画像表示画面の第１表示領域に、選択画像を、表示態様設定部９１の設定に基づく選択画像用表示態様で表示する制御を行う。また、指定の第１画像情報のそれぞれを、画像表示画面の第２表示領域に表示する制御を行う。選択画像用表示態様は、予め設定しておくことができる。また、選択画像用表示態様は、表示態様設定部９１が、後述する第２画像情報に基づいて設定してもよい。
　画像表示画面は、第１表示領域と第２表示領域とを含み、選択画像は、第１表示領域に、選択画像用表示態様で表示されるよう制御する。また、複数の第１画像情報のそれぞれは、第２表示領域に表示されるよう制御する。選択画像及び複数の第１画像情報のそれぞれは、例えば、キー画像自動選択画面１０６内に表示される。キー画像自動選択画面１０６は、画像表示画面に相当する。したがって、第１表示領域及び第２表示領域は、キー画像自動選択画面１０６内の表示領域とすることができる。例えば、キー画像自動選択画面１０６を２つに分割し、一方を第１表示領域とし、他方を第２表示領域とする。なお、キー画像自動選択画面１０６は、ディスプレイ５２に表示する。
　選択画像に対しては、キー画像自動選択画面１０６の第１表示領域に、選択画像用表示態様で表示する制御が行われる。選択画像用表示態様は、選択画像を第１表示領域のどの位置に表示するかの位置の態様、及び／又は、特定の選択画像を他の選択画像と比較して強調して表示するといった表示方法の態様とを含む。位置の態様については、選択画像は１つ又は複数であり、複数の場合は、第１表示領域の面積は限られるため、表示する選択画像をさらに選択するか、又は、優先順位を付与し、表示位置を制御して表示する。選択画像用表示態様は、予め設定することができる。表示方法の態様については、各種の強調表示等を挙げることができる。
　指定の第１画像情報のそれぞれに対しては、画像表示画面の第２表示領域に表示する制御が行われる。例えば、第１画像情報が部位のカテゴリである場合は、指定の第１画像情報の部位名すべてを、それぞれ、第２表示領域に表示する。これにより、選択されたキー画像が、どの第１画像情報によるものであるのかをひと目で把握することができる。したがって、所望の内視鏡画像１００を添付した検査レポート３４を作成しようとする場合に、足りない内視鏡画像１００又は過剰な内視鏡画像１００を調整するために、第１画像情報をどのように指定し直せばよいのかもすぐに把握することができる。
　画面データ生成部９２は、設定された選択画像用表示態様に基づき、画面データ生成部９２に入力された選択画像である内視鏡画像１００、又は、指定の第１画像情報のそれぞれを表示するキー画像自動選択画面１０６の生成及び更新を行う。画面データ生成部９２は、クライアント端末２１に要求された画面に応じて、内視鏡画像１００と付帯情報１０１とを含む撮影情報１０２、及び第１画像情報等を適宜用いる。画面データ生成部９２は、キー画像自動選択画面１０６の生成及び更新を行う場合は、選択画像用表示態様、又は、選択画像である内視鏡画像１００、及びこれらの内視鏡画像１００に関連付けて記録された付帯情報１０１とを用いてキー画像自動選択画面１０６を作成する。
　生成及び更新されたキー画像自動選択画面１０６は、出力制御部９３へと入力される。出力制御部９３は、入力されたキー画像自動選択画面１０６を、要求元のクライアント端末２１に配信する。クライアント端末２１では、出力制御部９３から配信されたキー画像自動選択画面１０６をディスプレイ５２に表示する。ユーザは、ディスプレイ５２に表示されたキー画像自動選択画面１０６により、検査レポート３４に添付しようとする内視鏡画像１００が過不足ないかを把握することができる
　図８に示すフローチャート、及び、図９ないし図１４に示す説明図を用いて、キー画像自動選択の流れについて、具体的には、内視鏡画像閲覧支援サーバ２０における内視鏡画像１００の取得、第１画像情報の付与、第１画像情報の指定、及びディスプレイへの選択画像及び第１画像情報の表示等について説明する。
　本実施形態では、キー画像自動選択において、表示画像設定画面１０５（図９参照）と、キー画像自動選択画面１０６（図１０参照）との表示画面をディスプレイ５２に表示する。表示画像設定画面１０５は、キー画像自動選択画面１０６に表示する内視鏡画像等を設定する画面であり、表示画像設定画面１０５とキー画像自動選択画面１０６とは、同様なレイアウトとしている。
　まず、上述したようにクライアント端末２１からの配信要求を受け付けた場合、画像取得部７１が画像ＤＢ３０を検索し、１回の内視鏡検査で得られた検査単位の撮影情報１０２、すなわち複数の内視鏡画像１００と、内視鏡画像１００に関連付けて記録された付帯情報１０１とを画像ＤＢ３０から読み出して取得する（Ｓ１１）。
　次に、取得した検査単位の複数の内視鏡画像１００のそれぞれを対象として、画像情報付与部７２が、第１画像情報に関する解析を行う（Ｓ１２）。第１画像情報は、上記したように、複数のカテゴリから選択可能であるが、ユーザの選択等により予め設定する。
　図９に示すように、ユーザは、表示画像設定画面１０５を用いて第１画像情報を予め設定する。表示画像設定画面１０５は、カテゴリ設定ボタン（図示せず）を備える。ユーザは、カテゴリ設定ボタンを操作して、カテゴリのうち少なくとも１つを設定する。本実施形態では、部位のカテゴリを設定している。部位のカテゴリには、複数の部位名がそれぞれ第１画像情報として予め設定されている。したがって、部位のカテゴリを選択した場合、第１画像情報として、複数の部位名が設定され、画像情報付与部７２は、内視鏡画像１００に対して、第１画像情報である部位名が解析結果となる解析を行う。
　このように、予め設定した複数の第１画像情報は、カテゴリ毎に、表示画面の１つである表示画像設定画面１０５の、非選択領域１０５ｂに表示する。非選択領域１０５ｂは、第３表示領域に対応する。
　非選択領域１０５ｂに、部位のカテゴリが含む部位名を示した第１画像情報ブロック１０５ｃが複数表示される。１つの第１画像情報ブロック１０５ｃは、１つの第１画像情報を示す。第１画像情報ブロック１０５ｃは、第１画像情報を表示したものであるので、本実施形態では部位名が表示されるが、部位以外のカテゴリを設定した場合は、設定したカテゴリが含む第１画像情報が表示される。
　画像情報付与部７２による内視鏡画像１００の解析により、内視鏡画像１００に、設定したカテゴリの第１画像情報が付与される（Ｓ１３）。本実施形態では、部位のカテゴリが設定されたため、画像情報付与部７２は、取得した複数の内視鏡画像１００のそれぞれを解析することにより、内視鏡画像１００のそれぞれに、第１画像情報ブロック１０５ｃに記載される部位名を付与する。なお、図において、符号は、図が煩雑になることを避けるため、一部のみに付す場合がある。
　上記のようにして設定された複数の第１画像情報のうち少なくとも１つの指定を行う（Ｓ１４）。指定はユーザが行うが、前回と同じ指定を行う等、場合によっては、ユーザ以外が行う。このように、非選択領域１０５ｂに表示した複数の第１画像情報に対するユーザの選択に基づいて、第１画像情報の指定を行うことが好ましい。本実施形態では、表示画像設定画面１０５の非選択領域１０５ｂに表示された、部位名を示した第１画像情報ブロック１０５ｃを用いて、第１画像情報の指定を行う。
　第１画像情報をユーザが指定する場合、非選択領域１０５ｂの第１画像情報ブロック１０５ｃをポインタ１０８により指定及びドラッグして、選択領域１０５ａに含まれるように移動する。選択領域１０５ａに含まれる第１画像情報ブロック１０５ｃが、ユーザが指定した第１画像情報である。選択領域１０５ａにおいて、指定した第１画像情報は、強調されて表示される。図９に示す実施形態では、「食道胃接合部」の第１画像情報が、指定した複数の第１画像情報の１つである。ユーザがこのような操作を繰り返すことにより、複数の第１画像情報を指定する。
　図１０に示すように、ユーザによる指定の結果、表示画像設定画面１０５において、選択領域１０５ａには、第１画像情報ブロック１０５ｃが５種類含まれており、ユーザが指定した第１画像情報は５種類の部位名となる。
　以上のようにして、第１画像情報の指定を行う。なお、図１０において、非選択領域１０５ｂには、指定しなかった第１画像情報ブロック１０５ｃが表示されている。第１画像情報指定部７３は、ユーザの指定に基づいて第１画像情報を指定する。したがって、第１画像情報指定部７３は、選択領域１０５ａに移動された第１画像情報ブロック１０５ｃに示された部位名を、指定の第１画像情報とする。取得した複数の内視鏡画像１００には、画像情報付与部７２により部位名が付与されているため、指定の第１画像情報である部位名を有する内視鏡画像１００が、取得した複数の内視鏡画像１００から選択され、選択画像とされる。このように、第１画像情報指定部７３は、選択領域１０５ａに表示された複数の第１画像情報に基づいて第１画像情報の指定を行うことが好ましい。
　なお、ここで、第１画像情報のカテゴリを切り替えることにより、部位のカテゴリ以外の第１画像情報を指定することができる。図１１に示すように、表示画像設定画面１０５において、部位のカテゴリの場合と同様に、カテゴリ設定ボタン（図示せず）により、カテゴリを、処置具に関する情報のカテゴリに切り替える。
　非選択領域１０５ｂには、被写体像が含む処置具に関する情報のカテゴリとして、「検体採取画像」と「非検体採取画像」との２つの第１画像情報ブロック１０５ｃを表示する。また、被写体像が含む病変に関する情報のカテゴリとして、「病変画像」と「非病変画像」との２つの第１画像情報ブロック１０５ｃが表示されている。このように、表示領域の面積等により、複数のカテゴリの第１画像情報ブロック１０５ｃを非選択領域１０５ｂに表示するように制御してもよい。上記した部位のカテゴリの場合と同様に、ユーザが非選択領域１０５ｂから、選択領域１０５ａへ、第１画像情報ブロック１０５ｃを移動させることにより、各カテゴリの第１画像情報の指定を行う。
　本実施形態では、処置具に関する情報のカテゴリから、「検体採取画像」を第１画像情報として指定し、病変に関する情報のカテゴリから、「病変画像」を第１画像情報として指定する。部位に関する情報のカテゴリの場合と同様、画像情報付与部７２は、被写体像に、検体を採取している場面が含まれる内視鏡画像１００に、「検体採取画像」との第１画像情報を付与するための解析を行う。また、被写体像に、病変を含む内視鏡画像１００に、「病変画像」との第１画像情報を付与するための解析を行う。解析の方法については、部位のカテゴリの場合と同様とすることができる。画像情報付与部７２による内視鏡画像１００の解析により、内視鏡画像１００には、設定したカテゴリの第１画像情報が付与され、指定した第１画像情報を有する内視鏡画像１００が、選択画像とされる。
　上記のとおり、予め設定した第１画像情報のそれぞれが、複数のカテゴリの少なくとも１つに関連付けられた上で設定されている場合は、カテゴリ毎に第１画像情報の指定を行うことが好ましい。カテゴリを設定することにより、検査レポート作成の際に、ユーザの希望に沿った内視鏡画像１００を容易にかつ柔軟に選択することが可能となるからである。
　なお、表示画像設定画面１０５におけるシェーマ表示１０５ｈ、及びキー画像自動選択画面１０６におけるシェーマ表示１０６ｈは、検査レポート３４における掲示部位の参考になる情報として、予め固定表示する。
　図１２に示すように、表示画像設定画面１０５において、選択領域１０５ａには、第１画像情報ブロック１０５ｃが７種類含まれており、ユーザが指定した第１画像情報は５種類の部位、検体採取画像、及び病変画像となる。ユーザは、選択領域１０５ａの表示により、キー画像としたい第１画像情報が全て含まれていることを確認し、第１画像情報ブロック１０５ｃの移動を終了する。
　表示制御部７４は、キー画像自動選択画面１０６を表示することにより、選択画像及び第１画像情報をディスプレイ５２に表示する（Ｓ１５）。図１３に示すように、選択画像１０６ｃは、キー画像自動選択画面１０６において、選択画像表示領域１０６ｂに、選択画像用表示態様により自動的に表示される。選択画像表示領域１０６ｂは、第１表示領域に対応する。
　本実施形態において、選択画像用表示態様は、予め設定した内容であり、強調表示である。したがって、選択画像表示領域１０６ｂにおいて、選択画像１０６ｃが強調して表示される。検査において取得された内視鏡画像１００のうち選択画像１０６ｃとならなかった非選択画像１０６ｄは、色を薄くする等により、目立たないように表示され、選択画像１０６ｃが強調される。選択画像表示領域１０６ｂは、画面の面積が限られているため、一枚の内視鏡画像１００を表示する大きさの設定等によっては、一画面にすべての選択画像１０６ｃを表示できない場合がある。この場合は、選択画像表示領域１０６ｂの画面を、スクロールバー１０６ｅを移動させてスクロールすることにより、隠れていた選択画像１０６ｃを表示することができる。このように、選択画像用表示態様は、選択画像１０６ｃを強調して表示することが好ましい。
　なお、本実施形態では、選択画像表示領域１０６ｂにおいて、非選択画像１０６ｄも表示し、検査画像のすべてを表示する設定としているが、選択画像１０６ｃのみを表示するように設定することもできる。
　また、キー画像自動選択画面１０６において、選択カテゴリ表示領域１０６ａに、複数の第１画像情報のそれぞれが表示される。選択カテゴリ表示領域１０６ａは、第２表示領域に対応する。第１画像情報は部位名等であるので、選択カテゴリ表示領域１０６ａには、指定した複数の第１画像情報ブロック１０５ｃが、部位名等とともに並べて表示される。第１画像情報ブロック１０５ｃは、部位名等と、その部位名等が付与された内視鏡画像１００の代表画像を表示している。したがって、指定した部位名等とその部位名等が付与された内視鏡画像１００がひと目で把握できる。
　また、キー画像自動選択画面１０６は、表示画像設定画面１０５と同様にレイアウトとしているため、表示画像設定画面１０５における選択領域１０５ａにおいて選択した第１画像情報ブロック１０５ｃが、選択カテゴリ表示領域１０６ａにも同じように表示される。したがって、選択した部位名によりどのような画像がキー画像として選択されたのかが容易に把握できる。
　なお、図１４に示すように、キー画像自動選択画面１０６を見て、選択画像１０６ｃであるキー画像がユーザの希望とは異なっていた場合は、選択カテゴリ表示領域１０６ａに示された第１画像情報ブロック１０６ｆが有するポップアップボタン１０６ｇをクリックすることにより、その第１画像情報ブロック１０６ｆと同じカテゴリが含む第１画像情報が第１画像情報一覧１０６ｉにより一覧表示され、その中から第１画像情報を指定し直すことができる。第１画像情報一覧１０６ｉでは、指定された第１画像情報と、同じカテゴリが含む指定されていない第１画像情報とが、区別されて表示される。また、ポップアップボタン１０６ｇをクリックした第１画像情報ブロック１０６ｆは、強調されて表示される。第１画像情報一覧１０６ｉ上でクリックした第１画像情報は、それまで表示されていた第１画像情報と入れ替えることができる。したがって、図１４の場合は、「十二指腸下降脚」と、クリックした第１画像情報とを入れ替えることができる。または、キー画像自動選択画面１０６に設定される表示画像設定画面１０５への切り替えボタン（図示せず）をクリックして、再度第１画像情報の指定を行ってもよい。これらの作業を繰り返すことにより、より最適なキー画像選択を行うことができる。
　ユーザは、選択カテゴリ表示領域１０６ａの部位名と、選択画像表示領域１０６ｂをスクロールすることにより表示したすべての選択画像１０６ｃとを確認し、キー画像選択の作業を完了させ、キー画像自動選択画面１０６内に設定された完了ボタン（図示せず）をクリックすることにより、レポート作成が行われる。または、レポート作成ボタン（図示せず）を押すことによっても、キー画像選択の作業が完了し、レポート作成が行われる。キー画像選択の作業の完了がなされると、今回のレポート作成に用いたキー画像選択の各種設定が保存される。各種設定及び指定の保存、内視鏡画像１００の保存、及び検査レポート３４の保存の制御は、保存制御部７５が行う。
　以上のように構成した医療画像処理装置である内視鏡画像閲覧支援サーバ２０によれば、第１画像情報である内視鏡画像１００のカテゴリをユーザが指定することで、ユーザが望むキー画像を大量の内視鏡画像１００の中から自動で選択することができるため、キー画像の選択が簡易である。また、これらの指定は、ディスプレイ５２の表示画面で行うため、より簡易にかつわかりやすくキー画像の選択をすることができる。また、これらの指定は、第１画像情報を任意に選択することにより行われるため、ユーザの様々なキー画像選択基準に柔軟に合わせることができ、個々のユーザに適切なキー画像選択が可能である。また、キー画像の選択に際し、撮影した大量の内視鏡画像１００をユーザが確認する必要がないため、キー画像選択の作業効率が向上する。
　また、指定した第１画像情報と、キー画像として選択された内視鏡画像１００とを、例えば、キー画像自動選択画面１０６等により確認することができるため、キー画像として指定した第１画像情報が何であるのか、また、その指定によりどのような内視鏡画像１００が選択されたのかを容易に確認することができる。確認した後に、再度第１画像情報を指定し直すことも容易であり、指定を複数回行うことにより、さらにユーザに適切なキー画像を自動的に選択することができる。したがって、内視鏡画像閲覧支援サーバ２０は、キー画像の選択を簡易かつ適切に行うことができる。
　なお、表示態様設定部９１は、予め設定した複数の第２画像情報のうち少なくとも１つを医療画像に付与し、選択画像用表示態様を、第２画像情報に基づいて設定することが好ましい。選択画像用表示態様を、第２画像情報に基づいて設定することにより、ユーザは、第１画像情報の指定と第２画像情報とを組み合わせて、キー画像の選択を柔軟に行うことができる。これにより、ユーザは、さらにキー画像の選択を簡易かつ適切に行うことができる。
　第２画像情報は、第１画像情報と同様のものであり、第１画像情報と同様にして内視鏡画像１００に付与する。第２画像情報は、第１画像情報と同様に、被写体像が含む部位に関する情報、医療画像の撮影条件に関する情報、被写体像が含む病変に関する情報、被写体像が含む注目領域に関する情報、又は、被写体像が含む処置具に関する情報とすることができる。
　画像情報付与部７２は、第２画像情報付与部８２を備え、第２画像情報付与部８２は、第２画像情報リスト８４を備える（図７参照）。第２画像情報付与部８２が備える第２画像情報リスト８４は、第１画像情報リスト８３と同様であり、第２画像情報が記載されたリストである。
　第２画像情報を付与する場合は、画像情報付与部７２は、内視鏡画像１００を解析することにより、予め設定した複数の第２画像情報のうち少なくとも１つを内視鏡画像１００に付与する。具体的には、第２画像情報の内視鏡画像１００への付与は、撮影情報１０２が含む付帯情報１０１に第２画像情報を追加すること、又は、第２画像情報が付帯情報１０１に含まれる情報にすでにある場合、この情報が第２画像情報であるとの情報を付加することによって実現される。付与する第２画像情報は、複数であってもよい。また、上記したように、第２画像情報も、第１画像情報と同様に、複数のカテゴリの少なくとも１つに関連付けられた上で設定されることが好ましい。
　いずれの第２画像情報を設定するかは、ユーザが設定可能であり、例えば、表示画像設定画面１０５を介して、ディスプレイ５２上で指定することにより設定する。なお、第２画像情報は、選択画像をディスプレイ５２に表示する際に、内視鏡画像１００を選択及び／又は並び替えるための項目であるため、複数を選択して組み合わせて用いてもよい。第２画像情報のカテゴリとしては、内視鏡画像１００を撮影した際の照明光情報１０１Ａ等の撮影条件、内視鏡画像１００を画像処理により解析した場合の病変の有無、内視鏡画像１００を画像処理により解析した場合の注目領域の有無、又は、内視鏡画像１００を画像処理により解析した場合の処置具の有無を好ましく用いることができる。
　なお、撮影情報１０２（図２参照）が含む付帯情報１０１のうち、撮影条件の一つを示す照明光情報１０１Ａとは、内視鏡画像１００を撮影した際の照明光の種類を示す。本実施形態では、内視鏡システム１４は、撮影モードとして、照明光に白色光（ＷＬＩ、White Light）を用いて、自然な色合いで被写体を写す通常モードと、照明光に狭帯域光を含む特殊光を用いて、特定の構造等を強調した内視鏡画像１００を得る、ＢＬＩ（Blue light(laser) Imaging）等の特殊光モードとを備える。したがって、照明光情報１０１Ａには、白色光を示す「ＷＬＩ」、又は特殊光の１種を示す「ＢＬＩ」等の照明光の種類名が記載される。
　第１画像情報における場合と同様に、第２画像情報の付与において、内視鏡画像１００の画像処理による解析は、第２画像情報を備えると判明している内視鏡画像１００を用意し、この内視鏡画像１００と第２画像情報とを予め対応付けた対応情報に基づいて、解析を行うことが好ましい。対応情報については、第１画像情報における場合と同様であり、機械学習技術における学習済みモデルであることが好ましい。したがって、例えば、第２画像情報が病変の有無である場合、病変を含む被写体を撮影した内視鏡画像と、「病変有り」との病変の有無の情報とを対応付けた学習データによる学習を複数回行った学習済みモデルを用いて、被写体像が病変を含むか否かが未知である内視鏡画像１００を解析することにより、被写体像が病変を有するか否かが解析結果として得られる。注目領域の有無、又は処置具の有無も同様にして、解析結果として得られる。
　なお、機械学習技術を用いる場合、病変の有無のみを解析結果として出力する学習済みモデルのみならず、内視鏡画像１００に写る被写体が何であるのかを解析するような学習済みモデルを用いてもよい。このような学習済みモデルの解析結果から、予め設定した複数の第２画像情報に当てはまるものがあれば、これを用いて第２画像情報としてもよい。
　第１表示態様を、第２画像情報に基づいて設定する場合は、次のようにすることができる。図１５に示すように、第２画像情報は、例えば、表示画像設定画面１０５の優先画像指定領域１０５ｄにより設定する。第２画像情報として、病変の有無及び処置具の有無と、撮影条件とを採用している。ユーザは、病変の有無及び処置具の有無については、優先画像指定領域１０５ｄ内にある入力ボックス１０５ｅに、病変画像を優先順位１番、検体採取画像を優先順位２番、及び、正常画像を優先順位３番と入力し、病変画像の場合に優先する画像である「病変画像優先画像」は、入力ボックス１０５ｅにチェックをすることにより、撮影条件がＢＬＩであるものを選択している。したがって、第１表示態様設定部９１は、第２画像情報に基づいて、選択したキー画像をディスプレイ５２に並べて表示する際に、病変画像、検体採取画像、及び正常画像の順に並べ、かつ、病変画像はＢＬＩにより撮影されたものを選択することを、第１表示態様として設定する。ユーザは、表示画像設定画面１０５における設定が完了した場合、表示画像設定画面１０５が含むキー画像自動選択画面への切り替えボタン（図示せず）をクリックして、キー画像自動選択画面１０６に切り替える。
　なお、キー画像自動選択画面１０６に表示する選択画像１０６ｃの最大枚数を設定する表示枚数設定部９４を備え、表示制御部７４は、表示枚数設定部９４が設定した最大枚数以下の枚数の選択画像１０６ｃをキー画像自動選択画面１０６に表示する制御を行うことが好ましい。図１６に示すように、この場合、内視鏡画像閲覧支援サーバ２０は、表示枚数設定部９４を備える。表示枚数設定部９４は、選択画像表示領域１０６ｂに表示する選択画像の最大枚数を設定する。
　図１５に示すように、キー画像自動選択画面１０６の選択画像表示領域１０６ｂに表示する選択画像の最大枚数の設定は、ユーザの設定に基づいて行う。ユーザの設定は、例えば、表示画像設定画面１０５の表示枚数設定領域１０５ｆにおいて、数字を入力することにより設定する。選択画像の最大枚数は、表示枚数設定領域１０５ｆの「最大キーイメージ枚数：全体」と表示された入力ボックスに、例えば、「１０」と入力することによって設定する。これにより、選択画像用表示態様で表示される選択画像の最大枚数は、予め設定された優先順位の高い方から１０枚となる。なお、この場合に、表示枚数の設定前において、選択画像用表示態様で表示される選択画像の枚数が１０枚以下であった場合は、表示枚数は制限されない。
　また、表示制御部７４は、表示枚数設定部９４が設定した、第１画像情報毎の最大枚数以下の枚数の選択画像を第２表示画面に表示する制御を行うことが好ましい。第１画像情報毎の最大枚数の設定は、上記と同様、ユーザの設定に基づいて行い、表示枚数設定領域１０５ｆの「カテゴリ毎」と表示された後の入力ボックスに、例えば「３」と入力することによって設定する。これにより、選択画像用表示態様で表示される選択画像の最大枚数は、第１画像情報である各部位毎に、優先順位の高い方から３枚となる。なお、上記と同様、表示枚数の設定前において、選択画像用表示態様で表示される選択画像の枚数が３枚以下であった場合は、表示枚数は制限されない。
　なお、図１７に示すように、第１画像情報指定部７３、表示態様設定部９１、及び表示枚数設定部９４のうち少なくとも１つが行った指定及び設定を表示設定として保存する表示設定保存部９５を備え、表示制御部７４は、表示設定に基づき、内視鏡画像１００を第２表示画面に表示することが好ましい。図１７に示すように、保存制御部７５は、表示設定保存部９５を備える。上記したように、第１画像情報指定部７３、表示態様設定部９１、及び表示枚数設定部９４の指定及び設定により、キー画像自動選択が実施される。これらの組み合わせにより、個々のユーザ毎に、詳細に、キー画像自動選択の設定を行うことができるため、この設定を表示設定として保存すれば、次回に同じ設定でキー画像自動選択を行いたい場合に、保存した表示設定を検索した上で読み込むことで、同じ設定でキー画像自動選択を行うことができる。したがって、簡易な方法により、保存したキー画像自動選択の表示設定を読み込むことができ、余計な手間を省くことができる。
　図１８に示すように、表示設定９６は、例えば、第１画像情報指定部７３の指定が、「食道胃接合部、十二指腸下降脚、胃体部大彎、胃角、及び、穹窿部」であり、表示態様設定部９１の設定が、「優先画像」が、「１病変画像、２検体採取画像、３正常画像」、及び、「病変画像優先画像」が「ＢＬＩ」であり、表示枚数設定部９４の設定が、「最大キーイメージ枚数」について、「全体１０」枚、及び、「カテゴリ毎３」枚である。これらの指定及び設定をまとめて、第１表示設定として保存する。
　なお、表示設定は、ユーザ毎に保存することが好ましい。ユーザ毎に表示設定を保存することで、ユーザ毎の詳細な設定を検査の都度設定する必要がなくなるため、好ましい。
　また、表示設定は、複数のユーザを含むユーザグループ毎に保存することが好ましい。
複数のユーザを含むユーザグループは、例えば、医療施設における各診療科又は医療施設である。したがって、診療科、又は医療施設毎に、キー画像自動設定の表示設定を保存することができる。
　また、表示設定は、撮影の目的毎に保存することが好ましい。撮影の目的とは、例えば、スクリーニング検査、ポリープの詳細な検査、又は、処置具を用いた処置等が挙げられる。例えば、スクリーニング検査では、スクリーニング検査における表示設定を呼び出すことにより、手間をかけることなく、スクリーニング検査において最適なキー画像が自動的に表示されるキー画像設定画面を表示することができる。
　上記実施形態において、医療画像処理装置である内視鏡画像閲覧支援サーバ２０に含まれる、受付部７０、画像取得部７１、画像情報付与部７２、第１画像情報指定部７３、表示制御部７４、及び保存制御部７５といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
　なお、本発明は、内視鏡画像を取得等する内視鏡システム、プロセッサ装置、その他関連する装置等の他に、内視鏡画像以外の医療画像（動画を含む）を取得するシステムまたは装置等においても利用できる。例えば、本発明は、超音波検査装置、Ｘ線画像撮影装置（ＣＴ（Computed Tomography）検査装置及びマンモグラフィ装置等を含む）、ＭＲＩ（magnetic resonance imaging）装置、等に適用できる。
　１０　内視鏡画像閲覧支援システム
　１２、２４　ネットワーク
　１４　内視鏡システム
　１５　内視鏡
　１６　光源装置
　１７　プロセッサ装置
　１８　ディスプレイ
　１９　キーボード
　２０　内視鏡画像閲覧支援サーバ
　２０Ｄ　ディスプレイ
　２１　クライアント端末
　２２　サーバ群
　２６　画像サーバ
　２８　レポートサーバ
　３０　画像データベース
　３２　レポートデータベース
　３４　検査レポート
　３４Ａ　レポート本体
　４０　ＣＰＵ
　４２　メモリ
　４４　ストレージデバイス
　４６　通信Ｉ／Ｆ
　４８　入出力部
　５０　データバス
　５２　ディスプレイ
　５４　入力デバイス
　５６　アプリケーションプログラム
　５８　起動画面
　５８Ａ　ＩＤ入力欄
　５８Ｂ　決定ボタン
　６０　ＧＵＩ制御部
　６２　要求発行部
　７０　受付部
　７１　画像取得部
　７２　画像情報付与部
　７３　第１画像情報指定部
　７４　表示制御部
　７５　保存制御部
　８１　第１画像情報付与部
　８２　第２画像情報付与部
　８３　第１画像情報リスト
　８４　第２画像情報リスト
　９１　表示態様設定部
　９２　画面データ生成部
　９３　出力制御部
　９４　表示枚数設定部
　９５　表示設定保存部
　９６　表示設定
　１００　内視鏡画像
　１００Ｓ　キー画像
　１０１　付帯情報
　１０１Ａ　照明光情報
　１０２　撮影情報
　１０３　レポート表示画面
　１０４　所見
　１０５　表示画像設定画面
　１０５ａ　選択領域
　１０５ｂ　非選択領域
　１０５ｃ、１０６ｆ第１画像情報ブロック
　１０５ｄ　優先画像指定領域
　１０５ｅ　入力ボックス
　１０５ｆ　表示枚数設定領域
　１０５ｈ、１０６ｈ　シェーマ表示
　１０６　キー画像自動選択画面
　１０６ａ　選択カテゴリ表示領域
　１０６ｂ　選択画像表示領域
　１０６ｃ　選択画像
　１０６ｄ　非選択画像
　１０６ｅ　スクロールバー
　１０６ｇ　ポップアップボタン
　１０６ｉ　第１画像情報一覧
　１０８　ポインタ
　Ｓ１１～Ｓ１５　ステップ

Claims (15)

  1. 　プロセッサを含み、
    　前記プロセッサは、
    　被写体像を含む医療画像を複数取得し、
    　前記医療画像を解析することにより、予め設定した複数の第１画像情報のうち少なくとも１つを前記医療画像に付与し、
    　複数の前記第１画像情報のうち少なくとも１つの指定を行い、
    　複数の前記医療画像のうち、前記指定の前記第１画像情報が付与された前記医療画像である選択画像を、画像表示画面の第１表示領域に選択画像用表示態様で表示する制御を行い、かつ、前記指定の前記第１画像情報のそれぞれを、前記画像表示画面の第２表示領域に表示する制御を行う医療画像処理装置。
  2. 　前記プロセッサは、前記医療画像を解析することにより、予め設定した複数の第２画像情報のうち少なくとも１つを前記医療画像に付与し、
    　前記選択画像用表示態様を、前記第２画像情報に基づいて設定する請求項１に記載の医療画像処理装置。
  3. 　予め設定した複数の前記第２画像情報のそれぞれは、複数のカテゴリの少なくとも１つに関連づけた上で設定されている請求項２に記載の医療画像処理装置。
  4. 　予め設定した複数の前記第１画像情報のそれぞれは、複数のカテゴリの少なくとも１つに関連づけた上で設定されており、
    　前記プロセッサは、前記カテゴリ毎に、前記指定を行う請求項１に記載の医療画像処理装置。
  5. 　前記カテゴリは、前記被写体像が含む部位に関する情報、前記医療画像の撮影条件に関する情報、前記被写体像が含む病変に関する情報、前記被写体像が含む注目領域に関する情報、及び前記被写体像が含む処置具に関する情報のうち少なくとも１つである請求項３又は４に記載の医療画像処理装置。
  6. 　前記プロセッサは、複数の前記第１画像情報を前記画像表示画面の第３表示領域に前記カテゴリ毎に表示する制御を行い、
    　前記第３表示領域に表示した複数の前記第１画像情報に対するユーザの選択に基づいて、前記指定を行う請求項４又は５に記載の医療画像処理装置。
  7. 　前記プロセッサは、前記第１表示領域に表示する前記選択画像の最大枚数を設定し、
    　設定した前記最大枚数以下の枚数の前記選択画像を前記第１表示領域に表示する制御を行う請求項１ないし６のいずれか１項に記載の医療画像処理装置。
  8. 　前記プロセッサは、前記第１画像情報を備える前記医療画像と、前記第１画像情報とを、予め対応づけた第１対応情報に基づいて、前記解析を行う請求項１ないし７のいずれか１項に記載の医療画像処理装置。
  9. 　前記プロセッサは、前記第２画像情報を備える前記医療画像と、前記第２画像情報とを、予め対応づけた第２対応情報に基づいて、前記解析を行う請求項５ないし８のいずれか１項に記載の医療画像処理装置。
  10. 　前記プロセッサが行った指定を表示設定として保存し、
    　前記表示設定に基づき、前記選択画像を前記画像表示画面に表示する請求項１ないし９のいずれか１項に記載の医療画像処理装置。
  11. 　前記表示設定は、前記ユーザ毎に保存する請求項１０に記載の医療画像処理装置。
  12. 　前記表示設定は、複数の前記ユーザを含むユーザグループ毎に保存する請求項１１に記載の医療画像処理装置。
  13. 　前記表示設定は、前記撮影の目的毎に保存する請求項１０に記載の医療画像処理装置。
  14. 　撮影した複数の医療画像を取得する画像取得ステップと、
    　前記医療画像を解析することにより、予め設定した複数の第１画像情報のうち少なくとも１つを前記医療画像に付与する画像情報付与ステップと、
    　複数の前記第１画像情報のうち少なくとも１つの指定を行う第１画像情報指定ステップと、
    　複数の前記医療画像のうち、前記指定の前記第１画像情報が付与された前記医療画像である選択画像を、画像表示画面の第１表示領域に選択画像用表示態様で表示する制御を行い、かつ、前記指定の前記第１画像情報のそれぞれを、前記画像表示画面の第２表示領域に表示する制御を行う表示制御ステップとを備える医療画像処理装置の作動方法。
  15. 　医療画像処理装置にインストールされる医療画像処理装置用プログラムであって、
    　コンピュータに、
    　撮影した複数の医療画像を取得する画像取得機能と、
    　前記医療画像を解析することにより、予め設定した複数の第１画像情報のうち少なくとも１つを前記医療画像に付与する画像情報付与機能と、
    　複数の前記第１画像情報のうち少なくとも１つの指定を行う第１画像情報指定機能と、
    　複数の前記医療画像のうち、前記指定の前記第１画像情報が付与された前記医療画像である選択画像を、画像表示画面の第１表示領域に選択画像用表示態様で表示する制御を行い、かつ、前記指定の前記第１画像情報のそれぞれを、前記画像表示画面の第２表示領域に表示する制御を行う表示制御機能とを実現させるための医療画像処理装置用プログラム。
PCT/JP2021/033822 2020-10-19 2021-09-15 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム WO2022085342A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022557289A JPWO2022085342A1 (ja) 2020-10-19 2021-09-15
EP21882483.7A EP4230111A4 (en) 2020-10-19 2021-09-15 MEDICAL IMAGE PROCESSING DEVICE, OPERATING METHOD FOR MEDICAL IMAGE PROCESSING DEVICE AND PROGRAM FOR MEDICAL IMAGE PROCESSING DEVICE
CN202180071260.6A CN116367765A (zh) 2020-10-19 2021-09-15 医疗图像处理装置、医疗图像处理装置的工作方法及医疗图像处理装置用程序
US18/302,579 US11983872B2 (en) 2020-10-19 2023-04-18 Medical image processing device, operation method of medical image processing device, and non-transitory computer readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020175640 2020-10-19
JP2020-175640 2020-10-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/302,579 Continuation US11983872B2 (en) 2020-10-19 2023-04-18 Medical image processing device, operation method of medical image processing device, and non-transitory computer readable medium

Publications (1)

Publication Number Publication Date
WO2022085342A1 true WO2022085342A1 (ja) 2022-04-28

Family

ID=81291196

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/033822 WO2022085342A1 (ja) 2020-10-19 2021-09-15 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム

Country Status (5)

Country Link
US (1) US11983872B2 (ja)
EP (1) EP4230111A4 (ja)
JP (1) JPWO2022085342A1 (ja)
CN (1) CN116367765A (ja)
WO (1) WO2022085342A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155788A (ja) * 1998-11-18 2000-06-06 Olympus Optical Co Ltd 医療用画像再生装置
JP2009086765A (ja) 2007-09-27 2009-04-23 Fujifilm Corp 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
JP2015211862A (ja) 2015-06-26 2015-11-26 キヤノン株式会社 画像処理装置及び画像処理方法、レポーティングシステム及びレポーティング方法、プログラム並びに記憶媒体
WO2019008942A1 (ja) * 2017-07-03 2019-01-10 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
JP2020081332A (ja) * 2018-11-22 2020-06-04 富士フイルム株式会社 内視鏡情報管理システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012132840A1 (ja) * 2011-03-30 2012-10-04 オリンパスメディカルシステムズ株式会社 画像管理装置、方法、及びプログラム、並びにカプセル型内視鏡システム
US10929508B2 (en) * 2015-04-30 2021-02-23 Merge Healthcare Solutions Inc. Database systems and interactive user interfaces for dynamic interaction with, and indications of, digital medical image data
KR102545768B1 (ko) * 2015-11-11 2023-06-21 삼성전자주식회사 메타 데이터를 처리하기 위한 장치 및 방법
JP7015385B2 (ja) * 2018-05-15 2022-02-02 富士フイルム株式会社 内視鏡画像処理装置、内視鏡装置の作動方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155788A (ja) * 1998-11-18 2000-06-06 Olympus Optical Co Ltd 医療用画像再生装置
JP2009086765A (ja) 2007-09-27 2009-04-23 Fujifilm Corp 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
JP2015211862A (ja) 2015-06-26 2015-11-26 キヤノン株式会社 画像処理装置及び画像処理方法、レポーティングシステム及びレポーティング方法、プログラム並びに記憶媒体
WO2019008942A1 (ja) * 2017-07-03 2019-01-10 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
JP2020081332A (ja) * 2018-11-22 2020-06-04 富士フイルム株式会社 内視鏡情報管理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4230111A4

Also Published As

Publication number Publication date
US11983872B2 (en) 2024-05-14
JPWO2022085342A1 (ja) 2022-04-28
US20230274429A1 (en) 2023-08-31
EP4230111A1 (en) 2023-08-23
CN116367765A (zh) 2023-06-30
EP4230111A4 (en) 2024-03-27

Similar Documents

Publication Publication Date Title
US9836865B2 (en) Systems and methods for split screen display of biological specimen and for capturing records thereof
JP6313325B2 (ja) バイオマーカー発現の選択及び表示
US7873526B2 (en) Medical report producing apparatus, medical report referencing apparatus, and method for producing medical report
US7899684B2 (en) Medical report creating apparatus, medical report referencing apparatus, medical report creating method, and medical report creation program recording medium
US20090248441A1 (en) Medical report system, medical report viewer, medical report program, and method of editing and displaying medical report
US8671118B2 (en) Apparatus, method and program for assisting medical report creation and providing medical information
JP4912054B2 (ja) 読影依頼装置、読影依頼装置の作動方法及び読影依頼プログラム
US11093699B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP2016189813A (ja) 検査画像閲覧支援装置、その作動方法及び作動プログラム
JP2009238038A (ja) 医用レポートシステム、医用レポート閲覧装置、医用レポートプログラム、及び医用レポート閲覧方法
WO2015146521A1 (ja) 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP7071441B2 (ja) 装置、方法、システム及びプログラム
JP2007012044A (ja) 医用レポート作成装置、医用レポート参照装置及びそのプログラム
JP2017191461A (ja) 医用レポート作成装置及びその制御方法、医用画像閲覧装置及びその制御方法、並びに、プログラム
JP2017062772A (ja) 医療画像化表示システムを使用して情報を記録する方法及び装置
JP2009005906A (ja) 医用画像観察システム、及び医用画像観察装置
JP5631914B2 (ja) データベース検索装置、方法、及び、プログラム
JP6380281B2 (ja) 遠隔読影システム、情報処理装置、サーバ装置、及びその制御方法、並びにプログラム
JP2016021175A (ja) 診療支援装置、診療支援装置の作動方法及びプログラム、並びに診療支援システム
WO2022085342A1 (ja) 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム
JPWO2019193983A1 (ja) 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム
JP5765899B2 (ja) 制御装置および制御方法
JP7392521B2 (ja) 画像表示装置、画像表示プログラム及び画像表示装置の作動方法
JP6465574B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6725851B2 (ja) 情報処理装置およびその制御方法、情報処理システム、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21882483

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022557289

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021882483

Country of ref document: EP

Effective date: 20230519