WO2020054604A1 - 情報処理装置、制御方法、及びプログラム - Google Patents

情報処理装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2020054604A1
WO2020054604A1 PCT/JP2019/035158 JP2019035158W WO2020054604A1 WO 2020054604 A1 WO2020054604 A1 WO 2020054604A1 JP 2019035158 W JP2019035158 W JP 2019035158W WO 2020054604 A1 WO2020054604 A1 WO 2020054604A1
Authority
WO
WIPO (PCT)
Prior art keywords
output
abnormal
information
abnormal regions
information processing
Prior art date
Application number
PCT/JP2019/035158
Other languages
English (en)
French (fr)
Inventor
郁磨 ▲高▼橋
真貴 佐野
公康 田光
元靖 奥津
千恵美 田中
雅弘 西光
仁 今岡
上條　憲一
隆二 浜本
齋藤　豊
真善 山田
Original Assignee
日本電気株式会社
国立研究開発法人国立がん研究センター
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, 国立研究開発法人国立がん研究センター filed Critical 日本電気株式会社
Priority to JP2020545987A priority Critical patent/JP7232424B2/ja
Priority to EP19861116.2A priority patent/EP3851025A4/en
Priority to US17/274,713 priority patent/US11957300B2/en
Publication of WO2020054604A1 publication Critical patent/WO2020054604A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to the examination of the inside of a human or other animal body using a captured image.
  • ⁇ ⁇ Tests are being conducted to check for abnormalities in the body by using images of the inside of humans and animals.
  • One example is endoscopy.
  • endoscopy a doctor inserts a scope provided with a camera at the tip from the subject's nose, mouth, anus, and the like, and moves the scope inside the body. By doing so, the inside of the body is imaged by the camera. The doctor checks whether there is any abnormal part in the subject's body while watching a moving image depicted on the display device, which is an image of the inside of the body captured by the camera.
  • Patent Literature 1 discloses a technique in which a lesion is detected from an image, and the detected lesion is changed to a color tone different from that of another portion, so that the lesion can be easily distinguished from other portions.
  • Patent Literature 2 discloses a technique of detecting a lesion included in an image, calculating the severity of the lesion, and marking the position of the lesion and a mark indicating the severity of the lesion on the image.
  • Patent Literature 3 discloses a technique in which when a lesion is detected from an image, an icon related to the lesion is output in a display mode according to the size of the lesion.
  • An object of the present invention is to provide a new technique for improving the quality of an examination using an image of the inside of a subject.
  • the information processing apparatus includes: 1) a detection unit that detects an abnormal region in the body from a captured image of the inside of the body, and 2) generates output information based on the number of abnormal regions and outputs the generated output information. And an output unit.
  • the control method of the present invention is executed by a computer.
  • the control method includes: 1) a detection step of detecting an abnormal region in the body from a captured image of the inside of the body, and 2) an output step of generating output information based on the number of abnormal regions and outputting the generated output information.
  • the program of the present invention causes a computer to execute each step of the control method of the present invention.
  • FIG. 2 is a diagram conceptually illustrating the information processing apparatus according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a functional configuration of the information processing apparatus.
  • FIG. 2 is a diagram illustrating a computer for realizing an information processing device.
  • FIG. 14 is a diagram illustrating a specific example of a use environment of the information processing device.
  • 6 is a flowchart illustrating a flow of a process executed by the information processing apparatus according to the first embodiment. It is a figure which illustrates the output information which shows the number of detections. It is a figure which illustrates the output information which shows the number of detections. It is a figure which illustrates the output information which shows the number of detections. It is a figure which illustrates the variation of highlighting. It is a figure which illustrates the variation of highlighting. It is a figure which illustrates the mark attached to an abnormal area.
  • each block diagram unless otherwise specified, each block represents a configuration of a functional unit, not a configuration of a hardware unit.
  • FIG. 1 is a diagram conceptually illustrating the information processing apparatus 2000 according to the first embodiment.
  • FIG. 1 shows only an example of the operation of the information processing apparatus 2000 in order to facilitate understanding, and does not limit the function of the information processing apparatus 2000 at all.
  • the camera 10 is used for inspection of humans and other animals.
  • a person to be examined is referred to as a subject.
  • the camera 10 is an arbitrary camera capable of capturing an image of the inside of the subject, and generates a moving image frame 14 representing the imaging result.
  • the camera 10 is an endoscope camera.
  • the moving image data 12 is composed of a plurality of moving image frames 14 generated at different times.
  • the user of the information processing apparatus 2000 grasps the state inside the body of the subject by viewing the moving image data 12. More specifically, the user grasps whether or not there is an abnormal part in the body of the subject and the degree of the abnormality.
  • the “abnormal part in the body” is, for example, a part having a lesion, a part damaged, or a part having a foreign substance.
  • a lesion is a change in a living body caused by a disease, such as a tumor.
  • a doctor or the like looks for an abnormal site in the body while observing the body of the subject with a camera. At this time, even though the abnormal part is imaged by the camera, the doctor may miss it. Therefore, it is preferable to provide support so that the doctor can easily grasp the abnormal part and prevent the abnormal part from being overlooked.
  • the information processing apparatus 2000 of the present embodiment performs the following operation.
  • the information processing device 2000 acquires the moving image data 12 and performs image analysis on the moving image frame 14 that forms the moving image data 12.
  • the information processing device 2000 detects the abnormal region 30 from the moving image frame 14.
  • the abnormal region 30 is a region that is assumed to represent an abnormal part in the body of the subject.
  • the abnormal area 30 in FIG. 1 is an area including a tumor (an area representing a lesion).
  • the information processing device 2000 outputs output information based on the number of detected abnormal regions 30.
  • the information processing apparatus 2000 By performing output based on the number of abnormal regions 30, the information processing apparatus 2000 causes a doctor or the like to recognize that the number of abnormal regions 30 is not one but plural and that the number of abnormal regions 30 is large. .
  • the information processing apparatus 2000 processes the moving image frame 14 so that the frame 80 is superimposed on the abnormal region 30, and displays the moving image frame 14 on the display device 20.
  • the thickness of the frame 80 when the number of the abnormal regions 30 detected from the moving image frame 14 is plural is larger than the thickness of the frame 80 when the number of the abnormal regions 30 detected from the moving image frame 14 is one. are doing. By doing so, a doctor or the like who has watched the moving image frame 14 can intuitively understand that a plurality of abnormal regions 30 have been detected.
  • output information corresponding to the number of the abnormal regions 30 is output, so that a doctor or the like who views the moving image frame 14 can easily grasp the information on the number of the abnormal regions 30. it can. By doing so, it is possible to prevent a doctor or the like from overlooking the abnormal region 30 or to effectively observe the abnormal region 30 by a doctor or the like. And from such an effect, the effect that the quality of the examination by a doctor or the like is improved is obtained.
  • FIG. 2 is a block diagram illustrating a functional configuration of the information processing apparatus 2000.
  • the information processing device 2000 includes a detection unit 2020 and an output unit 2040.
  • the detection unit 2020 detects the abnormal region 30 from the moving image frame 14.
  • the output unit 2040 outputs output information based on the number of detected abnormal regions 30.
  • Each functional component of the information processing apparatus 2000 may be realized by hardware (for example, a hard-wired electronic circuit or the like) that realizes each functional component, or a combination of hardware and software (for example: Electronic circuit and a program for controlling the same).
  • hardware for example, a hard-wired electronic circuit or the like
  • software for example: Electronic circuit and a program for controlling the same.
  • FIG. 3 is a diagram illustrating a computer 1000 for realizing the information processing device 2000.
  • the computer 1000 is an arbitrary computer.
  • the computer 1000 is a stationary computer such as a personal computer (PC) or a server machine.
  • the computer 1000 is a portable computer such as a smartphone or a tablet terminal.
  • the computer 1000 may be a dedicated computer designed to realize the information processing device 2000, or may be a general-purpose computer.
  • the computer 1000 has a bus 1020, a processor 1040, a memory 1060, a storage device 1080, an input / output interface 1100, and a network interface 1120.
  • the bus 1020 is a data transmission path through which the processor 1040, the memory 1060, the storage device 1080, the input / output interface 1100, and the network interface 1120 mutually transmit and receive data.
  • a method for connecting the processors 1040 and the like to each other is not limited to a bus connection.
  • the processor 1040 is various processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and an FPGA (Field-Programmable Gate Array).
  • the memory 1060 is a main storage device realized using a RAM (Random Access Memory) or the like.
  • the storage device 1080 is an auxiliary storage device realized using a hard disk, an SSD (Solid State Drive), a memory card, or a ROM (Read Only Memory).
  • the input / output interface 1100 is an interface for connecting the computer 1000 and an input / output device.
  • the camera 10 and the display device 20 are connected to the input / output interface 1100.
  • the network interface 1120 is an interface for connecting the computer 1000 to a communication network.
  • the communication network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the method by which the network interface 1120 connects to the communication network may be a wireless connection or a wired connection.
  • the storage device 1080 stores a program module that implements each functional component of the information processing apparatus 2000.
  • the processor 1040 realizes a function corresponding to each program module by reading out each of these program modules into the memory 1060 and executing them.
  • FIG. 4 is a diagram illustrating a specific example of a use environment of the information processing device 2000.
  • the information processing device 2000 is used together with the scope 40 and the endoscope system 50.
  • the scope 40 is connected to the endoscope system 50.
  • the scope 40 is provided with the camera 10.
  • the moving image data 12 includes a plurality of moving image frames 14 generated by the camera 10 provided in the scope 40.
  • the endoscope system 50 outputs the moving image data 12 to the information processing device 2000.
  • the moving image data 12 may be converted from an image output interface (for example, an HDMI (High-Definition Multimedia Interface) (registered trademark) interface) provided in the endoscope system 50 to an image input interface of the information processing apparatus 2000.
  • an image output interface for example, an HDMI (High-Definition Multimedia Interface) (registered trademark) interface
  • HDMI High-Definition Multimedia Interface
  • the information processing device 2000 processes the moving image data 12 acquired from the endoscope system 50 to generate output information.
  • the output information may be a display performed using the display device 20 or may be other information.
  • the information processing device 2000 controls the display device 20 to display the moving image data 12 on the display device 20 together with the output information.
  • the process of displaying the moving image data 12 on the display device 20 may be performed by the information processing device 2000 or may be performed by another device (for example, the endoscope system 50).
  • the display device 20 does not need to be connected to the information processing device 2000.
  • the configuration illustrated in FIG. 4 is merely an example, and the usage environment of the information processing device 2000 is not limited to the configuration illustrated in FIG.
  • the information processing device 2000 may be provided inside the camera 10, the endoscope system 50, or the display device 20.
  • the moving image data 12 may be output from the camera 10 to the information processing device 2000.
  • the information processing device 2000 may not be connected to the endoscope system 50.
  • FIG. 5 is a flowchart illustrating a flow of a process executed by the information processing apparatus 2000 according to the first embodiment.
  • the detection unit 2020 acquires the moving image frame 14 (S102).
  • the detection unit 2020 detects the abnormal region 30 from the acquired moving image frame 14 (S104).
  • the output unit 2040 outputs output information based on the number of detected abnormal regions 30 (S106).
  • the timing at which the series of processes shown in FIG. 5 is executed varies.
  • the information processing apparatus 2000 executes a series of processing illustrated in FIG. 5 every time the moving image frame 14 is generated by the camera 10.
  • the information processing apparatus 2000 acquires the moving image data 12 from the storage device at a predetermined timing, and performs a series of processing illustrated in FIG. 5 on each of the plurality of moving image frames 14 configuring the moving image data 12. It may be executed (so-called batch processing is performed).
  • the method by which the detection unit 2020 acquires the moving image data 12 is arbitrary.
  • the detection unit 2020 acquires the moving image data 12 by accessing a storage device in which the moving image data 12 is stored.
  • the storage device in which the moving image data 12 is stored may be provided inside the camera 10 or may be provided outside the camera 10.
  • the detection unit 2020 may acquire the moving image data 12 by receiving the moving image data 12 transmitted from the camera 10.
  • the detection unit 2020 may acquire the moving image data 12 from another device connected to the camera 10 (for example, the endoscope system 50 described above).
  • the detection unit 2020 detects the abnormal region 30 from each of the moving image frames 14 constituting the moving image data 12.
  • an existing technology can be used as a technology for analyzing an image of the inside of the body and detecting an abnormal site.
  • techniques such as feature amount matching and template matching can be used.
  • feature amount matching when detecting a tumor by feature matching, one or more values (features) representing features of the appearance (color, pattern, shape, etc.) of the tumor are defined in advance.
  • the detection unit 2020 detects, from the moving image frame 14, an image region having a high degree of similarity with a predetermined tumor feature amount from the image regions of the moving image frame 14. Then, the detection unit 2020 treats the detected image area as an image area representing the abnormal area 30.
  • the same method can be adopted for the case of detecting a scratch or foreign matter.
  • a detector that detects the abnormal region 30 from the moving image frame 14 may be generated by machine learning, and the abnormal region 30 may be detected using the detector.
  • Various models such as a neural network and a support vector machine can be adopted as the model of the detector.
  • An existing technique can be used as a technique for generating a detector for detecting a region having a specific feature from an image by machine learning.
  • the feature amount of the foreign substance can be designated to the information processing apparatus 2000.
  • a photograph of a foreign substance that has entered the body is input to the information processing device 2000.
  • the information processing device 2000 analyzes the image of the photograph to calculate the feature amount of the foreign matter to be detected.
  • the detection unit 2020 detects a foreign substance having the calculated feature amount from the moving image frame 14.
  • the output unit 2040 counts the number of abnormal regions 30 included in the moving image frame 14 and outputs output information based on the number of abnormal regions 30 (S106).
  • the number of abnormal regions 30 detected from a certain moving image frame 14 is also referred to as the number of detections for the moving image frame 14.
  • the output unit 2040 generates output information indicating the number of detections.
  • 6 to 8 are diagrams illustrating examples of output information indicating the number of detections.
  • a display 90 representing the number of detections is displayed near a frame 80 representing the abnormal region 30.
  • the display 90 indicating the number of detections is displayed at a position having a predetermined relationship with the abnormal region 30 for each of the abnormal regions 30 detected from the moving image frame 14.
  • the position having a predetermined relationship with the abnormal region 30 is, for example, near the abnormal region 30 (a position where the distance from the abnormal region 30 is equal to or less than a predetermined value).
  • FIG. 6 for example, three abnormal regions 30 are detected, and a display 90-1, a display 90-2, and a display 90-3 are displayed near each abnormal region 30.
  • the doctor or the like merely looks at any one of the abnormal regions 30 and determines whether or not the abnormal region 30 is detected in addition to the currently viewed abnormal region 30, and whether the abnormal region 30 is detected from the moving image frame 14.
  • the number of abnormal regions 30 (that is, the number of abnormal regions 30 to be observed by a doctor or the like) can be easily grasped.
  • the doctor 90 can naturally see the display 90 displayed near the abnormal region 30.
  • a total of three the abnormal region under observation
  • two (other than 30) abnormal regions 30 are detected.
  • the output information is an image including the moving image frame 14 therein.
  • this image is an image displayed on the display device.
  • a display 90 indicating the number of detections is displayed outside the moving image frame 14.
  • the output information is an image including the moving image frame 14 inside.
  • the moving image frame 14 is displayed in each of the two display areas.
  • the latest moving image frame 14 (the moving image frame 14 representing the place where the camera 10 is currently shooting) is displayed.
  • the display area 24 is an area where the history of the abnormal areas 30 detected so far is displayed.
  • a display 90 indicating the number of detections is displayed for each moving image frame 14 in the display area 22 and the display area 24.
  • a method of displaying the number of detections for each moving image frame 14 a method of displaying the detected number near the frame 80 illustrated in FIG. 6, a method of displaying outside the moving image frame 14 illustrated in FIG. 7, or the like is employed. it can.
  • the number of abnormal regions 30 detected from each moving image frame 14 is displayed outside each moving image frame 14.
  • the moving image frames 14 displayed in the display area 24 may be some moving image frames 14 instead of all the moving image frames 14 in which the abnormal area 30 is detected.
  • any one of them may be displayed in the display region 24.
  • the output unit 2040 outputs an image including the display 90 and the moving image frame 14 to a display device connected to the information processing device 2000.
  • the output unit 2040 may cause the storage device to store an image including the display 90 and the moving image frame 14.
  • the output unit 2040 may perform highlighting when the number of detections is equal to or greater than the threshold.
  • this processing corresponds to the processing of “highlighting is performed when a plurality of abnormal regions 30 are detected from one moving image frame 14”.
  • the threshold value may be set in the output unit 2040 in advance, or may be stored in a storage device accessible from the output unit 2040.
  • FIGS. 9 and 10 are diagrams illustrating variations of highlighting.
  • emphasis is performed on a frame surrounding the abnormal region 30.
  • the thickness of the frame the shape and color of the frame may be changed, or the fill color of the frame may be changed.
  • the output unit 2040 performs highlighting by making the frame of the moving image frame 14 whose number of detections is equal to or greater than the threshold larger than the frame of the moving image frame 14 whose number of detections is less than the threshold. Also in this case, instead of changing the thickness of the frame, the color of the frame itself or the fill color of the frame may be changed. Alternatively, highlighting may be realized by adding a frame to the moving image frame 14 whose number of detections is equal to or greater than the threshold value and not attaching a frame to the moving image frame 14 whose number of detections is less than the threshold value.
  • output information in the case of FIG. 10 is an image including the moving image frame 14 inside, as in the cases of FIGS.
  • a plurality of thresholds for the number of detections may be provided.
  • the output unit 2040 performs highlighting according to the maximum threshold value that satisfies “the number of detections ⁇ the threshold value”.
  • the maximum threshold value that satisfies “the number of detections ⁇ the threshold value” is larger, the thickness of the frame 80 is increased, or a color that easily attracts human attention is used for the frame 80.
  • the output unit 2040 performs highlighting in the cases 1) and 2).
  • the display of the case 1) a display that is easier to draw human attention than the display of the case 2) is used.
  • the output unit 2040 sets the color of the frame 80 to red in the case 1) and sets the color of the frame 80 to yellow in the case 2).
  • the color of the frame 80 may be a color indicating a relatively safe situation, such as green.
  • the threshold ⁇ T2 ⁇ is set to 2
  • the threshold ⁇ T2 ⁇ is set to 3. In this case, when the number of detections is 1, the frame 80 is green, when the number of detections is 2, the frame 80 is yellow, and when the number of detections is 3 or more, the frame 80 is red.
  • the output unit 2040 may increase the thickness of the frame 80 in the order of 1) case, 2) case, and 3) case.
  • FIG. 11 is a diagram exemplifying a mark attached to the abnormal area 30.
  • the output unit 2040 outputs the highlighted moving image frame 14 to the display device.
  • the output unit 2040 may store the highlighted moving image frame 14 in the storage device.
  • the output unit 2040 outputs an alarm sound according to the number of detections.
  • the output unit 2040 outputs an alarm sound to a speaker or the like connected to the information processing device 2000.
  • an alarm sound may be output only when the number of detections is equal to or greater than the threshold, or an alarm sound may be output even when the number of detections is less than the threshold.
  • the output unit 2040 uses different alarm sounds depending on whether the number of detections is equal to or more than the threshold value and when the number of detections is less than the threshold value.
  • the alarm sound when the number of detections is equal to or more than the threshold value is one that is easier to draw human attention than the alarm sound when the number of detections is less than the threshold value.
  • the length of the alarm sound when the number of detections is equal to or more than the threshold is set longer than the length of the alarm sound when the number of detections is less than the threshold.
  • the volume of the alarm sound when the number of detections is equal to or greater than the threshold is set to be higher than the volume of the alarm sound when the number of detections is less than the threshold.
  • the output unit 2040 outputs an alarm sound according to the maximum threshold that satisfies “the number of detections ⁇ the threshold”. For example, the longer the maximum threshold value that satisfies “the number of detections ⁇ the threshold value”, the longer the length of the alarm sound or the volume of the alarm sound.
  • the output unit 2040 may output a sound that allows the number of detections to be grasped.
  • the output unit 2040 outputs a sound (such as “1” or “2”) indicating the number of detections.
  • the output unit 2040 outputs an alarm sound the same number of times as the number of detections.
  • a detection unit that detects an abnormal region in the body from a captured image of the body, An output unit that generates output information based on the number of the abnormal areas and outputs the generated output information. 2. The output unit generates the output information including information indicating the number of the abnormal regions.
  • An information processing apparatus according to claim 1.
  • 3. 1. The output unit includes, in the output information, an image in which information indicating the number of the abnormal regions is superimposed on the captured image. An information processing apparatus according to claim 1. 4.
  • the output unit When a plurality of abnormal regions are detected from the captured image, the output unit superimposes information indicating the number of the abnormal regions, for each of the plurality of abnormal regions, at a position in a predetermined relationship with the abnormal region, 3.
  • An information processing apparatus according to claim 1. 5.
  • the output unit includes a second image including the captured image in the output information, 1.
  • the second image includes information indicating the number of the abnormal regions outside the captured image.
  • the output unit includes, in the output information, a second image including a plurality of the captured images in which the abnormal region is detected, 1.
  • the second image includes, for each of the plurality of captured images, information indicating the number of abnormal regions detected from the captured images.
  • An information processing apparatus according to claim 1. 7.
  • the output unit generates the output information in which the captured image in which the number of the abnormal regions is equal to or larger than a threshold is emphasized more than other captured images.
  • the enhancement of the captured image is enhancement of the abnormal region included in the captured image or enhancement of the entire captured image.
  • the output unit is different between the output information when the number of the abnormal regions is equal to or more than a first threshold and the output information when the number of the abnormal regions is less than the first threshold and equal to or more than a second threshold. 6. emphasizing aspects; Or 8.
  • An information processing apparatus according to claim 1. 10.
  • the output unit outputs a sound determined based on the number of the abnormal regions as the output information. Or 2.
  • the output unit outputs different sounds depending on whether the number of the abnormal regions is equal to or greater than a threshold value and when the number of the abnormal regions is less than the threshold value.
  • a control method executed by a computer A detection step of detecting an abnormal region in the body from a captured image of the body, An output step of generating output information based on the number of the abnormal regions and outputting the generated output information. 13. 11. in the output step, generating the output information including information indicating the number of the abnormal regions; The control method described in 1. 14. 12. In the output step, an image in which information indicating the number of abnormal regions is superimposed on the captured image is included in the output information; The control method described in 1. 15. When a plurality of abnormal regions are detected from the captured image, in the output step, information indicating the number of the abnormal regions, for each of the plurality of abnormal regions, is superimposed on a position in a predetermined relationship with the abnormal region, 14. The control method described in 1. 16.
  • a second image including the captured image therein is included in the output information, 12.
  • the second image includes information indicating the number of the abnormal regions outside the captured image.
  • a second image including the plurality of captured images in which the abnormal region is detected is included in the output information, 12.
  • the second image includes, for each of the plurality of captured images, information indicating the number of abnormal regions detected from the captured images.
  • the enhancement of the captured image is enhancement of the abnormal region included in the captured image or enhancement of the entire captured image.
  • the control method described in 1. 20 In the output step, the output information when the number of the abnormal regions is equal to or more than a first threshold is different from the output information when the number of the abnormal regions is less than the first threshold and equal to or more than a second threshold. 18. emphasizing aspects; Or 19. The control method described in 1. 21. 11. outputting, as the output information, a sound determined based on the number of the abnormal regions in the output step; Or 13. The control method described in 1. 22. 21. In the output step, different sounds are output when the number of abnormal regions is equal to or greater than a threshold and when the number of abnormal regions is less than the threshold. The control method described in 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

情報処理装置（２０００）は、動画フレーム（１４）から異常領域（３０）を検出する。異常領域（３０）は、被検者の体内の異常な部分を表すと推測される領域である。情報処理装置（２０００）は、検出された異常領域（３０）の個数に基づく出力情報を生成して出力する。

Description

情報処理装置、制御方法、及びプログラム
　本発明は、撮像画像を用いた人その他の動物の体内の検査に関する。
　人や動物の体内が撮像された画像を利用することで、体内に異常がないかどうかを調べる検査が行われている。その一例として、内視鏡検査がある。内視鏡検査では、医師が、先端にカメラが設けられたスコープを被検者の鼻や口、肛門などから挿入して、そのスコープを体内で動かす。こうすることにより、体内の様子がカメラによって撮像される。医師は、カメラによって撮像されている体内の様子をディスプレイ装置に描出される動画を見ながら、被検者の体内に異常な部位がないかどうかをチェックしていく。
　このような画像を利用した検査をサポートする技術が開発されている。例えば特許文献１は、画像から病変を検出し、検出した病変を他の部分とは異なる色調に変更することで、病変を他の部分と容易に識別できるようにする技術を開示している。特許文献２は、画像に含まれる病変の検出及びその重症度を算出し、病変の位置やその重症度を示す印を画像にマーキングする技術を開示している。特許文献３は、画像から病変を検出した際、その病変の大きさに応じた表示態様で、その病変に関するアイコンを出力する技術を開示している。
特開２０１７－０６０８０６号公報 特開２０１６－１５８６８１号公報 特開２０１５－１１２４２９号公報
　被検者の体内でカメラを動かして検査する方法では、体内でカメラを移動させていくため、医師が観察できる部位が時間と共に変わっていく。そのため、医師が異常な部位を見逃してしまう可能性があり、実際に、検査を担当する医師によって病変発見率に差が生じている。そこで、被検者の体内が撮像された画像を用いた検査の質を向上させるために、検査をサポートする多様な技術が求められている。
　本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、被検者の体内が撮像された画像を用いた検査の質を向上させる新たな技術を提供することである。
　本発明の情報処理装置は、１）体内が撮影された撮像画像から体内の異常領域を検出する検出部と、２）異常領域の個数に基づいて出力情報を生成し、生成した出力情報を出力する出力部と、を有する。
　本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）体内が撮影された撮像画像から体内の異常領域を検出する検出ステップと、２）異常領域の個数に基づいて出力情報を生成し、生成した出力情報を出力する出力ステップと、を有する。
　本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。
　本発明によれば、被検者の体内が撮像された画像を用いた検査の質を向上させる新たな技術が提供される。
実施形態１の情報処理装置を概念的に例示する図である。 情報処理装置の機能構成を例示するブロック図である。 情報処理装置を実現するための計算機を例示する図である。 情報処理装置の利用環境の具体例を示す図である。 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。 検出数を示す出力情報を例示する図である。 検出数を示す出力情報を例示する図である。 検出数を示す出力情報を例示する図である。 強調表示のバリエーションを例示する図である。 強調表示のバリエーションを例示する図である。 異常領域に付すマークを例示する図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。
［実施形態１］
　図１は、実施形態１の情報処理装置２０００を概念的に例示する図である。図１は、情報処理装置２０００の理解を容易にするためにその動作の一例を示しているにすぎず、情報処理装置２０００の機能を何ら限定するものではない。
　カメラ１０は、人その他の動物の検査に利用される。以下、検査対象の人などを被検者と呼ぶ。カメラ１０は、被検者の体内を撮像可能な任意のカメラであり、その撮像結果を表す動画フレーム１４を生成する。例えばカメラ１０は、内視鏡カメラである。動画データ１２は、互いに異なる時間に生成された複数の動画フレーム１４で構成される。
　情報処理装置２０００のユーザ（例えば医師）は、動画データ１２を見ることで、被検者の体内の様子を把握する。より具体的には、ユーザは、被検者の体内に異常な部分があるか否かや、その異常の程度などを把握する。ここで、「体内の異常な部分」は、例えば病変がある部分、傷ついている部分、又は異物がある部分などである。病変とは、病気が原因で起こる生体の変化であり、例えば腫瘍などである。
　ここで、動画データ１２を解析して得られる有用な情報を提示することで、内視鏡検査などの精度向上が期待できる。例えば内視鏡検査では、医師などが、被検者の体内をカメラで観察しながら体内の異常部位を探す。この際、異常部位がカメラによって撮像されたにもかかわらず、医師がそれを見逃してしまう可能性がある。そのため、医師が異常部位を把握しやすいようにサポートを行い、異常部位の見逃しを防ぐことが好適である。
　そこで本実施形態の情報処理装置２０００は、以下のような動作を行う。まず情報処理装置２０００は、動画データ１２を取得して、動画データ１２を構成する動画フレーム１４を画像解析する。具体的には、情報処理装置２０００は、動画フレーム１４から異常領域３０を検出する。異常領域３０は、被検者の体内の異常な部分を表すと推測される領域である。例えば図１の異常領域３０は、腫瘍を含む領域（病変を表す領域）である。そして情報処理装置２０００は、検出された異常領域３０の個数に基づく出力情報を出力する。
　情報処理装置２０００は、異常領域３０の個数に基づく出力を行うことにより、異常領域３０の個数が１つではなく複数であることや、異常領域３０の個数が多いことを、医師等に認識させる。例えば、図１において、情報処理装置２０００は、異常領域３０に枠８０を重畳するように動画フレーム１４を加工した上で、その動画フレーム１４をディスプレイ装置２０に表示させる。この際、動画フレーム１４から検出された異常領域３０が複数である場合における枠８０の太さを、動画フレーム１４から検出された異常領域３０が１つである場合における枠８０の太さよりも太くしている。こうすることで、動画フレーム１４を見た医師等が、異常領域３０が複数検出されていることを直感的に把握することができる。
　このように情報処理装置２０００によれば、異常領域３０の数に応じた出力情報が出力されるため、動画フレーム１４を見る医師等が、異常領域３０の数に関する情報を容易に把握することができる。こうすることで、医師等が異常領域３０を見逃してしまうことを防ぐことができたり、医師等が効率的に異常領域３０を観察できたりするという効果が生じる。そして、このような効果から、医師等による検査の質が向上するという効果が得られる。
　以下、本実施形態についてさらに詳細を述べる。
＜機能構成＞
　図２は、情報処理装置２０００の機能構成を例示するブロック図である。情報処理装置２０００は検出部２０２０及び出力部２０４０を有する。検出部２０２０は、動画フレーム１４から異常領域３０を検出する。出力部２０４０は、検出された異常領域３０の個数に基づく出力情報を出力する。
＜情報処理装置２０００のハードウエア構成の例＞
　情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
　図３は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）やサーバマシンなどの据え置き型の計算機である。その他にも例えば、計算機１０００は、スマートフォンやタブレット端末などの可搬型の計算機である。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
　計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。
　入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、カメラ１０やディスプレイ装置２０が接続される。
　ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。
　ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
＜情報処理装置２０００の利用環境の具体例＞
　図４は、情報処理装置２０００の利用環境の具体例を示す図である。例えば情報処理装置２０００は、スコープ４０及び内視鏡システム５０と共に利用される。スコープ４０は内視鏡システム５０と接続されている。また、スコープ４０にはカメラ１０が設けられている。このケースでは、動画データ１２は、スコープ４０に設けられたカメラ１０によって生成される複数の動画フレーム１４で構成される。内視鏡システム５０は、動画データ１２を情報処理装置２０００へ出力する。例えば動画データ１２は、内視鏡システム５０に設けられている映像出力用のインタフェース（例えば HDMI（High-Definition Multimedia Interface）（登録商標）インタフェース）から、情報処理装置２０００が有する映像入力用のインタフェースへ出力される。そして情報処理装置２０００は、内視鏡システム５０から取得した動画データ１２を処理して、出力情報を生成する。
　ここで、後述するように、出力情報はディスプレイ装置２０を用いて行われる表示であってもよいし、それ以外であってもよい。前者の場合、情報処理装置２０００は、ディスプレイ装置２０を制御して、出力情報と共に動画データ１２をディスプレイ装置２０に表示させる。一方、後者の場合、動画データ１２をディスプレイ装置２０に表示させる処理は、情報処理装置２０００によって行われてもよいし、他の装置（例えば内視鏡システム５０）によって行われてもよい。動画データ１２をディスプレイ装置２０に表示させる処理が内視鏡システム５０によって行われる場合、ディスプレイ装置２０が情報処理装置２０００に接続されている必要は無い。
　なお、図４に示した構成はあくまで例示であり、情報処理装置２０００の利用環境は図４に示した構成に限定されない。例えば情報処理装置２０００は、カメラ１０、内視鏡システム５０、又はディスプレイ装置２０の内部に設けられてもよい。その他にも例えば、動画データ１２は、カメラ１０から情報処理装置２０００へ出力されてもよい。この場合、情報処理装置２０００は、内視鏡システム５０と接続されなくてもよい。
＜処理の流れ＞
　図５は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。検出部２０２０は、動画フレーム１４を取得する（Ｓ１０２）。検出部２０２０は、取得した動画フレーム１４から異常領域３０を検出する（Ｓ１０４）。出力部２０４０は、検出された異常領域３０の数に基づく出力情報を出力する（Ｓ１０６）。
　図５に示す一連の処理が実行されるタイミングは様々である。例えば情報処理装置２０００は、カメラ１０によって動画フレーム１４が生成される度に、図５に示す一連の処理を実行する。その他にも例えば、情報処理装置２０００は、所定のタイミングで記憶装置から動画データ１２を取得し、その動画データ１２を構成する複数の動画フレーム１４それぞれを対象として、図５に示す一連の処理を実行してもよい（いわゆるバッチ処理を行う）。
＜動画データ１２の取得：Ｓ１０２＞
　検出部２０２０が動画データ１２を取得する方法は任意である。例えば検出部２０２０は、動画データ１２が記憶されている記憶装置にアクセスすることで、動画データ１２を取得する。動画データ１２が記憶されている記憶装置は、カメラ１０の内部に設けられていてもよいし、カメラ１０の外部に設けられていてもよい。また例えば、検出部２０２０は、カメラ１０から送信される動画データ１２を受信することで、動画データ１２を取得してもよい。さらに検出部２０２０は、カメラ１０に接続されている他の装置（例えば前述した内視鏡システム５０）から動画データ１２を取得してもよい。
＜異常領域３０の検出：Ｓ１０４＞
　検出部２０２０は、動画データ１２を構成する各動画フレーム１４から異常領域３０を検出する。ここで、体内が撮像されている画像を解析して異常な部位を検出する技術には、既存の技術を利用することができる。例えば、特徴量マッチングやテンプレートマッチングなどの手法が利用できる。例えば特徴量マッチングで腫瘍を検出する場合、腫瘍の外観（色、模様、又は形状など）の特徴を表す値（特徴量）を予め１つ以上定義しておく。検出部２０２０は、動画フレーム１４の画像領域の中から、予め定めておいた腫瘍の特徴量との類似度が高い画像領域を、動画フレーム１４から検出する。そして、検出部２０２０は、検出された画像領域を、異常領域３０を表す画像領域として扱う。傷や異物を検出するケースについても同様の方法を採用できる。
　その他にも例えば、動画フレーム１４から異常領域３０を検出する検出器を機械学習により生成しておき、その検出器を利用して異常領域３０の検出を行ってもよい。検出器のモデルには、ニューラルネットワークやサポートベクトルマシンなどの様々なモデルを採用することができる。なお、画像から特定の特徴を持つ領域を検出する検出器を機械学習により生成する技術には、既存の技術を利用することができる。
　なお、異物を検出したいケースにおいて、体内に入ってしまった異物が特定されているとする。この場合、その異物の特徴量を情報処理装置２０００に対して指定できるようにしておくことが好適である。例えば、体内に入ってしまった異物の写真を情報処理装置２０００に対して入力する。情報処理装置２０００は、この写真を画像解析することで、検出対象の異物の特徴量を算出する。そして、検出部２０２０は、算出した特徴量を持つ異物を動画フレーム１４から検出する。
＜出力情報の出力：Ｓ１０６＞
　出力部２０４０は、動画フレーム１４に含まれる異常領域３０の数をカウントし、異常領域３０の数に基づく出力情報を出力する（Ｓ１０６）。以下、或る動画フレーム１４から検出された異常領域３０の数を、その動画フレーム１４についての検出数とも表記する。
　ここで、異常領域３０の数に基づく出力情報としては、様々な情報を生成しうる。以下、出力情報のバリエーションを例示する。
＜＜異常領域３０の数の出力＞＞
　例えば出力部２０４０は、検出数を示す出力情報を生成する。図６から図８は、検出数を示す出力情報を例示する図である。図６では、異常領域３０を表す枠８０の付近に、検出数を表す表示９０が表示されている。
　ここで、検出数を表す表示９０は、動画フレーム１４から検出された異常領域３０それぞれについて、その異常領域３０と所定の関係にある位置に表示されることが好適である。
異常領域３０と所定の関係にある位置とは、例えば、異常領域３０の付近（異常領域３０からの距離が所定値以下である位置など）である。
　例えば図６では、３つの異常領域３０が検出されており、各異常領域３０の付近それぞれに、表示９０－１、表示９０－２、及び表示９０－３が表示されている。こうすることにより、医師等は、いずれか１つの異常領域３０を見るだけで、現在見ている異常領域３０の他にも異常領域３０が検出されているかどうかや、動画フレーム１４から検出された異常領域３０の数（すなわち、医師等が観察すべき異常領域３０の数）を、容易に把握することができる。例えば、図６では、医師等は、１つの異常領域３０を観察した際、その近くに表示されている表示９０を自然に見ることができ、その結果、合計で３つの（観察中の異常領域３０以外に２つの）異常領域３０が検出されていることを把握することができる。
　図７において、出力情報は、内部に動画フレーム１４を含む画像である。例えばこの画像は、ディスプレイ装置に表示される画像である。図７において、検出数を表す表示９０は、動画フレーム１４の外に表示されている。
　図８においても、出力情報は、内部に動画フレーム１４を含む画像である。図８では、２つの表示領域それぞれに、動画フレーム１４が表示されている。表示領域２２には、最新の動画フレーム１４（現在カメラ１０によって撮影されている場所を表す動画フレーム１４）が表示される。一方、表示領域２４には、過去に異常領域３０が検出された各動画フレーム１４が表示される。言い換えれば、表示領域２４は、これまでに検出された異常領域３０の履歴が表示される領域である。
　図８において、検出数を表す表示９０は、表示領域２２と表示領域２４の各動画フレーム１４について表示されている。ここで、各動画フレーム１４について検出数を表示する方法自体には、図６で例示した枠８０の付近に表示する方法や、図７で例示した動画フレーム１４の外に表示する方法などを採用できる。図８では、各動画フレーム１４の外に、その動画フレーム１４から検出された異常領域３０の数が表示されている。
　なお、表示領域２４に表示される動画フレーム１４は、異常領域３０が検出された全ての動画フレーム１４ではなく、一部の動画フレーム１４であってもよい。例えば、その中に含まれる異常領域３０が全て同一である複数の動画フレーム１４については、そのうちのいずれか１つを表示領域２４に表示すればよい。
　例えば出力部２０４０は、表示９０と動画フレーム１４を含む画像を、情報処理装置２０００に接続されているディスプレイ装置に出力する。その他にも例えば、出力部２０４０は、表示９０と動画フレーム１４を含む画像を、記憶装置に記憶させてもよい。
＜＜強調表示＞＞
　出力部２０４０は、検出数が閾値以上である場合に強調表示を行ってもよい。ここで、閾値が２である場合、この処理は、「１つの動画フレーム１４から複数の異常領域３０が検出された場合に強調表示を行う」という処理に相当する。なお、閾値は、出力部２０４０に予め設定されていてもよいし、出力部２０４０からアクセス可能な記憶装置に記憶されていてもよい。
　図９と図１０は、強調表示のバリエーションを例示する図である。強調表示の方法は様々である。図９では、異常領域３０を囲む枠を対象とした強調が行われている。具体的には、出力部２０４０は、検出数が閾値以上（図９では閾値＝２）である場合の枠８０の太さを、検出数が閾値未満である場合の枠８０の太さよりも太くすることで、強調表示を行っている。なお、枠の太さを変える代わりに、枠の形や色を代えたり、枠の塗りつぶし色を変えるようにしてもよい。
　図１０では、動画フレーム１４の枠を対象とした強調が行われている。具体的には、出力部２０４０は、検出数が閾値以上である動画フレーム１４の枠を、検出数が閾値未満である動画フレーム１４の枠よりも太くすることで、強調表示を行っている。このケースでも、枠の太さを変える代わりに、枠自体の色や枠の塗りつぶし色を変えるようにしてもよい。また、検出数が閾値以上である動画フレーム１４には枠をつけ、検出数が閾値未満である動画フレーム１４には枠をつけないようにすることで、強調表示を実現してもよい。
　なお、動画フレーム１４に枠をつけるため、図１０のケースの出力情報は、図７や図８のケースと同様に、内部に動画フレーム１４を含む画像である。
　ここで、検出数の閾値が複数設けられてもよい。この場合、出力部２０４０は、「検出数≧閾値」を満たす最大の閾値に応じて、強調表示を行う。ここで、「検出数≧閾値」を満たす最大の閾値が大きいほど、強調された表示（すなわち、人の注意を引きやすい表示）が用いられることが好適である。例えば、「検出数≧閾値」を満たす最大の閾値が大きいほど、枠８０の太さを太くしたり、人の注意を引きやすい色を枠８０に利用する。
　例えば２つの閾値 T1 と T2 が設けられており、 T1 > T2 であるとする。この場合、１）検出数≧T1、２）T1>検出数≧T2、及び３）検出数<T2 という３つケースが考えられる。この場合、出力部２０４０は、１）と２）の場合で強調表示を行う。また、１）のケースの表示として、２）のケースの表示よりも人の注意を引きやすいものを利用する。
　例えば一般に、注意喚起に利用される色として赤色と黄色がある。そして、赤色を使うケースの方が、黄色を使うケースよりも、より強く人の注意を引きつけたいケースであることが多い。そこで例えば、出力部２０４０は、１）のケースでは枠８０の色を赤色にし、２）のケースでは枠８０の色を黄色にする。また、検出数が閾値未満である３）のケースでは、枠８０の色を、緑色等の比較的安全な状況を表す色にしてもよい。例えば、閾値 T2 を２とし、閾値 T2 を３とする。この場合、検出数が１であれば枠８０が緑色になり、検出数が２であれば枠８０が黄色になり、検出数が３以上であれば枠８０が赤色になる。
　その他にも例えば、出力部２０４０は、１）のケース、２）のケース、３）のケースの順で、枠８０の太さを太くするようにしてもよい。
　なお、上述の各説明では異常領域３０に対して矩形の枠８０を付していたが、異常領域３０に付されるのは矩形の枠に限定されず、任意のマークとすることができる。図１１は、異常領域３０に付すマークを例示する図である。
　例えば出力部２０４０は、強調表示を行った動画フレーム１４を、ディスプレイ装置に出力する。その他にも例えば、出力部２０４０は、強調表示を行った動画フレーム１４を、記憶装置に記憶させてもよい。
＜＜音声の出力＞＞
　例えば出力部２０４０は、検出数に応じてアラーム音を出力する。例えば出力部２０４０は、アラーム音を、情報処理装置２０００に接続されているスピーカなどに出力する。
　ここで、検出数が閾値以上である場合のみアラーム音が出力されるようにしてもよいし、検出数が閾値未満である場合にもアラーム音を出力されるようにしてもよい。後者の場合、出力部２０４０は、検出数が閾値以上である場合と、検出数が閾値未満である場合とで、異なるアラーム音を利用する。
　検出数が閾値以上である場合のアラーム音は、検出数が閾値未満である場合のアラーム音よりも、人の注意を引きやすいものであることが好適である。例えば、検出数が閾値以上である場合のアラーム音の長さを、検出数が閾値未満である場合のアラーム音の長さよりも長くする。その他にも例えば、検出数が閾値以上である場合のアラーム音の音量を、検出数が閾値未満である場合のアラーム音の音量よりも大きくする。
　ここで、強調表示のケースと同様に、検出数の閾値が複数設けられてもよい。この場合、出力部２０４０は、「検出数≧閾値」を満たす最大の閾値に応じたアラーム音を出力する。例えば、「検出数≧閾値」を満たす最大の閾値が大きいほど、アラーム音の長さを長くしたり、アラーム音の音量を大きくしたりする。
　その他にも例えば、出力部２０４０は、検出数を把握できる音声を出力してもよい。例えば出力部２０４０は、検出数を表す音声（「１」や「２」など）を出力する。その他にも例えば、出力部２０４０は、アラーム音を、検出数と同じ回数出力する。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．　体内が撮影された撮像画像から前記体内の異常領域を検出する検出部と、
　前記異常領域の個数に基づいて出力情報を生成し、前記生成した出力情報を出力する出力部と、を有する情報処理装置。
２．　前記出力部は、前記異常領域の個数を示す情報を含む前記出力情報を生成する、１．に記載の情報処理装置。
３．　前記出力部は、前記撮像画像に前記異常領域の個数を示す情報が重畳された画像を、前記出力情報に含める、２．に記載の情報処理装置。
４．　前記撮像画像から複数の異常領域が検出された場合、前記出力部は、前記異常領域の個数を示す情報を、複数の異常領域それぞれについて、その異常領域と所定の関係にある位置に重畳させる、３．に記載の情報処理装置。
５．　前記出力部は、前記撮像画像を内部に含む第２画像を前記出力情報に含め、
　前記第２画像は、前記異常領域の個数を示す情報を、前記撮像画像の外に含む、２．に記載の情報処理装置。
６．　前記出力部は、前記異常領域が検出された複数の前記撮像画像を内部に含む第２画像を、前記出力情報に含め、
　前記第２画像は、複数の前記撮像画像それぞれについて、その撮像画像から検出された異常領域の個数を示す情報を含む、２．に記載の情報処理装置。
７．　前記出力部は、前記異常領域の個数が閾値以上である前記撮像画像が他の前記撮像画像よりも強調された前記出力情報を生成する、１．に記載の情報処理装置。
８．　前記撮像画像の強調は、前記撮像画像に含まれる前記異常領域の強調、又は前記撮像画像全体の強調である、７．に記載の情報処理装置。
９．　前記出力部は、前記異常領域の個数が第１閾値以上である場合の前記出力情報と、前記異常領域の個数が前記第１閾値未満第２閾値以上である場合の前記出力情報とで、異なる態様の強調を行う、７．又は８．に記載の情報処理装置。
１０．　前記出力部は、前記異常領域の個数に基づいて定まる音声を、前記出力情報として出力する、１．又は２．に記載の情報処理装置。
１１．　前記出力部は、前記異常領域の個数が閾値以上である場合と、前記異常領域の個数が閾値未満である場合とで、互いに異なる音声を出力する、１０．に記載の情報処理装置。
１２．　コンピュータによって実行される制御方法であって、
　体内が撮影された撮像画像から前記体内の異常領域を検出する検出ステップと、
　前記異常領域の個数に基づいて出力情報を生成し、前記生成した出力情報を出力する出力ステップと、を有する制御方法。
１３．　前記出力ステップにおいて、前記異常領域の個数を示す情報を含む前記出力情報を生成する、１２．に記載の制御方法。
１４．　前記出力ステップにおいて、前記撮像画像に前記異常領域の個数を示す情報が重畳された画像を、前記出力情報に含める、１３．に記載の制御方法。
１５．　前記撮像画像から複数の異常領域が検出された場合、前記出力ステップにおいて、前記異常領域の個数を示す情報を、複数の異常領域それぞれについて、その異常領域と所定の関係にある位置に重畳させる、１４．に記載の制御方法。
１６．　前記出力ステップにおいて、前記撮像画像を内部に含む第２画像を前記出力情報に含め、
　前記第２画像は、前記異常領域の個数を示す情報を、前記撮像画像の外に含む、１３．に記載の制御方法。
１７．　前記出力ステップにおいて、前記異常領域が検出された複数の前記撮像画像を内部に含む第２画像を、前記出力情報に含め、
　前記第２画像は、複数の前記撮像画像それぞれについて、その撮像画像から検出された異常領域の個数を示す情報を含む、１３．に記載の制御方法。
１８．　前記出力ステップにおいて、前記異常領域の個数が閾値以上である前記撮像画像が他の前記撮像画像よりも強調された前記出力情報を生成する、１２．に記載の制御方法。
１９．　前記撮像画像の強調は、前記撮像画像に含まれる前記異常領域の強調、又は前記撮像画像全体の強調である、１８．に記載の制御方法。
２０．　前記出力ステップにおいて、前記異常領域の個数が第１閾値以上である場合の前記出力情報と、前記異常領域の個数が前記第１閾値未満第２閾値以上である場合の前記出力情報とで、異なる態様の強調を行う、１８．又は１９．に記載の制御方法。
２１．　前記出力ステップにおいて、前記異常領域の個数に基づいて定まる音声を、前記出力情報として出力する、１２．又は１３．に記載の制御方法。
２２．　前記出力ステップにおいて、前記異常領域の個数が閾値以上である場合と、前記異常領域の個数が閾値未満である場合とで、互いに異なる音声を出力する、２１．に記載の制御方法。
２３．　１２．乃至２２．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
　この出願は、２０１８年９月１１日に出願された日本出願特願２０１８－１６９７２２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０　カメラ
１２　動画データ
１４　動画フレーム
２０　ディスプレイ装置
２２　表示領域
２４　表示領域
３０　異常領域
４０　スコープ
５０　内視鏡システム
８０　枠
９０　表示
１０００　計算機
１０２０　バス
１０４０　プロセッサ
１０６０　メモリ
１０８０　ストレージデバイス
１１００　入出力インタフェース
１１２０　ネットワークインタフェース
２０００　情報処理装置
２０２０　検出部
２０４０　出力部

Claims (23)

  1. 　体内が撮影された撮像画像から前記体内の異常領域を検出する検出部と、
    　前記異常領域の個数に基づいて出力情報を生成し、前記生成した出力情報を出力する出力部と、を有する情報処理装置。
  2. 　前記出力部は、前記異常領域の個数を示す情報を含む前記出力情報を生成する、請求項１に記載の情報処理装置。
  3. 　前記出力部は、前記撮像画像に前記異常領域の個数を示す情報が重畳された画像を、前記出力情報に含める、請求項２に記載の情報処理装置。
  4. 　前記撮像画像から複数の異常領域が検出された場合、前記出力部は、前記異常領域の個数を示す情報を、複数の異常領域それぞれについて、その異常領域と所定の関係にある位置に重畳させる、請求項３に記載の情報処理装置。
  5. 　前記出力部は、前記撮像画像を内部に含む第２画像を前記出力情報に含め、
    　前記第２画像は、前記異常領域の個数を示す情報を、前記撮像画像の外に含む、請求項２に記載の情報処理装置。
  6. 　前記出力部は、前記異常領域が検出された複数の前記撮像画像を内部に含む第２画像を、前記出力情報に含め、
    　前記第２画像は、複数の前記撮像画像それぞれについて、その撮像画像から検出された異常領域の個数を示す情報を含む、請求項２に記載の情報処理装置。
  7. 　前記出力部は、前記異常領域の個数が閾値以上である前記撮像画像が他の前記撮像画像よりも強調された前記出力情報を生成する、請求項１に記載の情報処理装置。
  8. 　前記撮像画像の強調は、前記撮像画像に含まれる前記異常領域の強調、又は前記撮像画像全体の強調である、請求項７に記載の情報処理装置。
  9. 　前記出力部は、前記異常領域の個数が第１閾値以上である場合の前記出力情報と、前記異常領域の個数が前記第１閾値未満第２閾値以上である場合の前記出力情報とで、異なる態様の強調を行う、請求項７又は８に記載の情報処理装置。
  10. 　前記出力部は、前記異常領域の個数に基づいて定まる音声を、前記出力情報として出力する、請求項１又は２に記載の情報処理装置。
  11. 　前記出力部は、前記異常領域の個数が閾値以上である場合と、前記異常領域の個数が閾値未満である場合とで、互いに異なる音声を出力する、請求項１０に記載の情報処理装置。
  12. 　コンピュータによって実行される制御方法であって、
    　体内が撮影された撮像画像から前記体内の異常領域を検出する検出ステップと、
    　前記異常領域の個数に基づいて出力情報を生成し、前記生成した出力情報を出力する出力ステップと、を有する制御方法。
  13. 　前記出力ステップにおいて、前記異常領域の個数を示す情報を含む前記出力情報を生成する、請求項１２に記載の制御方法。
  14. 　前記出力ステップにおいて、前記撮像画像に前記異常領域の個数を示す情報が重畳された画像を、前記出力情報に含める、請求項１３に記載の制御方法。
  15. 　前記撮像画像から複数の異常領域が検出された場合、前記出力ステップにおいて、前記異常領域の個数を示す情報を、複数の異常領域それぞれについて、その異常領域と所定の関係にある位置に重畳させる、請求項１４に記載の制御方法。
  16. 　前記出力ステップにおいて、前記撮像画像を内部に含む第２画像を前記出力情報に含め、
    　前記第２画像は、前記異常領域の個数を示す情報を、前記撮像画像の外に含む、請求項１３に記載の制御方法。
  17. 　前記出力ステップにおいて、前記異常領域が検出された複数の前記撮像画像を内部に含む第２画像を、前記出力情報に含め、
    　前記第２画像は、複数の前記撮像画像それぞれについて、その撮像画像から検出された異常領域の個数を示す情報を含む、請求項１３に記載の制御方法。
  18. 　前記出力ステップにおいて、前記異常領域の個数が閾値以上である前記撮像画像が他の前記撮像画像よりも強調された前記出力情報を生成する、請求項１２に記載の制御方法。
  19. 　前記撮像画像の強調は、前記撮像画像に含まれる前記異常領域の強調、又は前記撮像画像全体の強調である、請求項１８に記載の制御方法。
  20. 　前記出力ステップにおいて、前記異常領域の個数が第１閾値以上である場合の前記出力情報と、前記異常領域の個数が前記第１閾値未満第２閾値以上である場合の前記出力情報とで、異なる態様の強調を行う、請求項１８又は１９に記載の制御方法。
  21. 　前記出力ステップにおいて、前記異常領域の個数に基づいて定まる音声を、前記出力情報として出力する、請求項１２又は１３に記載の制御方法。
  22. 　前記出力ステップにおいて、前記異常領域の個数が閾値以上である場合と、前記異常領域の個数が閾値未満である場合とで、互いに異なる音声を出力する、請求項２１に記載の制御方法。
  23. 　請求項１２乃至２２いずれか一項に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
PCT/JP2019/035158 2018-09-11 2019-09-06 情報処理装置、制御方法、及びプログラム WO2020054604A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020545987A JP7232424B2 (ja) 2018-09-11 2019-09-06 情報処理装置、制御方法、及びプログラム
EP19861116.2A EP3851025A4 (en) 2018-09-11 2019-09-06 INFORMATION PROCESSING DEVICE, ORDERING PROCESS, AND PROGRAM
US17/274,713 US11957300B2 (en) 2018-09-11 2019-09-06 Information processing apparatus, control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018169722 2018-09-11
JP2018-169722 2018-09-11

Publications (1)

Publication Number Publication Date
WO2020054604A1 true WO2020054604A1 (ja) 2020-03-19

Family

ID=69778318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/035158 WO2020054604A1 (ja) 2018-09-11 2019-09-06 情報処理装置、制御方法、及びプログラム

Country Status (4)

Country Link
US (1) US11957300B2 (ja)
EP (1) EP3851025A4 (ja)
JP (1) JP7232424B2 (ja)
WO (1) WO2020054604A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199294A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 情報処理装置、表示方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2022191129A1 (ja) * 2021-03-09 2022-09-15 富士フイルム株式会社 内視鏡システム及びその作動方法
JP7396329B2 (ja) 2021-05-20 2023-12-12 株式会社村田製作所 表示方法、プログラム、表示システム、及び、評価システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011110429A (ja) * 2009-11-25 2011-06-09 Fujifilm Corp 医用画像中の注目対象を測定するためのシステムおよび方法
JP2015112429A (ja) 2013-12-13 2015-06-22 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2016158681A (ja) 2015-02-27 2016-09-05 Hoya株式会社 画像処理装置
JP2017060806A (ja) 2016-11-17 2017-03-30 Hoya株式会社 画像処理装置及び内視鏡装置
JP2018169722A (ja) 2017-03-29 2018-11-01 株式会社デンソーウェーブ タグリーダ
WO2019146075A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4218347B2 (ja) 2003-01-17 2009-02-04 コニカミノルタホールディングス株式会社 画像診断支援装置
JP2011255006A (ja) 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP6246431B2 (ja) * 2015-11-10 2017-12-13 オリンパス株式会社 内視鏡装置
WO2018069992A1 (ja) * 2016-10-12 2018-04-19 オリンパス株式会社 挿入システム
EP3795062A4 (en) 2018-05-17 2021-06-16 FUJIFILM Corporation ENDOSCOPE DEVICE, ENDOSCOPE OPERATING PROCESS AND PROGRAM

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011110429A (ja) * 2009-11-25 2011-06-09 Fujifilm Corp 医用画像中の注目対象を測定するためのシステムおよび方法
JP2015112429A (ja) 2013-12-13 2015-06-22 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2016158681A (ja) 2015-02-27 2016-09-05 Hoya株式会社 画像処理装置
JP2017060806A (ja) 2016-11-17 2017-03-30 Hoya株式会社 画像処理装置及び内視鏡装置
JP2018169722A (ja) 2017-03-29 2018-11-01 株式会社デンソーウェーブ タグリーダ
WO2019146075A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理プログラム及び内視鏡画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3851025A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199294A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 情報処理装置、表示方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7448923B2 (ja) 2020-03-31 2024-03-13 日本電気株式会社 情報処理装置、情報処理装置の作動方法、及びプログラム
WO2022191129A1 (ja) * 2021-03-09 2022-09-15 富士フイルム株式会社 内視鏡システム及びその作動方法
JP7396329B2 (ja) 2021-05-20 2023-12-12 株式会社村田製作所 表示方法、プログラム、表示システム、及び、評価システム

Also Published As

Publication number Publication date
JPWO2020054604A1 (ja) 2021-08-30
JP7232424B2 (ja) 2023-03-03
US11957300B2 (en) 2024-04-16
EP3851025A1 (en) 2021-07-21
EP3851025A4 (en) 2021-10-13
US20220051397A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
TWI793337B (zh) 訓練生成對抗網路之系統及方法以及經訓練之生成對抗網路之使用
JP6799301B2 (ja) 情報処理装置、制御方法、及びプログラム
EP3968272A1 (en) Medical endoscope image identification method and system, and endoscope image system
WO2020054604A1 (ja) 情報処理装置、制御方法、及びプログラム
US10198668B2 (en) Apparatus and method for supporting computer aided diagnosis (CAD) based on probe speed
TW202001929A (zh) 處理來自一醫學影像裝置之即時視訊及偵測於該視訊中之物體的系統及方法
JP6716853B2 (ja) 情報処理装置、制御方法、及びプログラム
EP3998579A1 (en) Medical image processing method, apparatus and device, medium and endoscope
JP2018163644A5 (ja)
JP2020057111A (ja) 表情判定システム、プログラム及び表情判定方法
WO2020071086A1 (ja) 情報処理装置、制御方法、及びプログラム
WO2019012586A1 (ja) 医用画像処理装置及び医用画像処理方法
JP2019508165A (ja) 熱画像の輪郭に基づく悪性組織判定
JP2014018251A (ja) 眼科撮影装置及び眼科撮影プログラム
JPWO2015194580A1 (ja) 内視鏡プロセッサ
CN114782364A (zh) 图像检测方法、装置、系统及检测设备
JP2014226515A (ja) 診断支援システム
WO2020158720A1 (ja) 心身の状態の判定システム、判定装置、方法、コンピュータプログラム
KR102517232B1 (ko) 머신러닝 기반의 의료 영상에 대한 반사광 제거 방법 및 이를 이용한 장치
US20170360378A1 (en) Systems and methods for identifying fetal movements in an audio/visual data feed and using the same to assess fetal well-being
JP2007089759A (ja) 映像表示装置、及び映像表示プログラム
Fredembach et al. Measuring saliency in images: which experimental parameters for the assessment of image quality?

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19861116

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020545987

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019861116

Country of ref document: EP

Effective date: 20210412