WO2019198637A1 - 画像処理装置、内視鏡システム、及び画像処理方法 - Google Patents

画像処理装置、内視鏡システム、及び画像処理方法 Download PDF

Info

Publication number
WO2019198637A1
WO2019198637A1 PCT/JP2019/015134 JP2019015134W WO2019198637A1 WO 2019198637 A1 WO2019198637 A1 WO 2019198637A1 JP 2019015134 W JP2019015134 W JP 2019015134W WO 2019198637 A1 WO2019198637 A1 WO 2019198637A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
moving image
information
lesion
report information
Prior art date
Application number
PCT/JP2019/015134
Other languages
English (en)
French (fr)
Inventor
駿平 加門
央奈 弓部
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020513241A priority Critical patent/JP7170032B2/ja
Priority to CN201980023991.6A priority patent/CN111936032B/zh
Priority to EP19784471.5A priority patent/EP3777644A4/en
Publication of WO2019198637A1 publication Critical patent/WO2019198637A1/ja
Priority to US17/035,738 priority patent/US11992178B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00018—Operational features of endoscopes characterised by signal transmission using electrical cables
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an image processing device, an endoscope system, and an image processing method, and more particularly, to an image processing device, an endoscope system, and an image processing method for processing a moving image acquired by an examination using an endoscope.
  • Patent Document 1 describes that the amount of data is reduced while maintaining the image quality of important moving image data by compressing moving image data at a compression rate corresponding to the importance.
  • Patent Document 2 describes a capsule endoscope in which the number of imaging is reduced at a site away from a lesion (region of interest) and the number of imaging is increased near the region of interest.
  • Patent Document 3 describes storing a moving image for a time range before and after a frame in which a still image is captured.
  • Patent Document 1 it is described that the compression rate is set in accordance with the examination type information.
  • This “examination type information” is information on the examination type (screening, technique, etc.) known in advance.
  • diagnosis information described in Patent Document 2 is position information of a polyp that has been discovered in a past examination. By using information such as past examinations and diagnoses, information on lesions (regions of interest) discovered in newly conducted examinations cannot be taken into consideration, and images about such lesions are appropriately displayed. You may not be able to save.
  • Patent Document 2 it is necessary to detect a region of interest from an image acquired during an examination in order to save (record) a frame showing a lesion and frames before and after that, and it is difficult to save an image when the detection fails. It is.
  • a still image acquired by an examination using an endoscope includes many images that do not show a lesion, when the frames before and after the still image acquisition are stored as in Patent Document 3, no lesion is reflected. Recording a large amount of moving images can increase the amount of data.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an image processing apparatus, an endoscope system, and an image processing method capable of efficiently storing a moving image showing a lesion. To do.
  • an image processing apparatus includes a moving image acquisition unit that acquires an inspection moving image by an endoscope, and inspection report information corresponding to the inspection moving image.
  • a report information acquisition unit that acquires report information including at least one of the still image subject information and the still image acquisition time information acquired in the examination, and the subject information of the lesion image and the lesion image from the report information.
  • a report information analysis unit that extracts at least one of the acquisition time information, and a moving image storage that stores a disease variation image that is a moving image of a time range including a lesion image among examination moving images based on the extraction result A section.
  • report information including at least one of image information and acquisition time information of a still image acquired in an examination is acquired, and image information of a lesion image (an image showing a lesion) is obtained from the report information. Since at least one of the acquisition time information is acquired, the lesion image information can be acquired even when the lesion is not shown in the still image included in the report information.
  • the disease variation image which is a moving image for the time range including the lesion image
  • the moving image is stored for a long time for the time range in which the region of interest is not reflected. It is possible to prevent the amount from increasing.
  • report information “of examination corresponding to examination moving image” is acquired, so that information on a new lesion discovered in the examination can be taken into consideration.
  • the disease fluctuation image can be saved by a technique such as temporarily saving in a temporary storage area and saving a necessary part in a normal storage area, or saving in a storage area and deleting an unnecessary part. .
  • “subject information” is information (subject position, size, type, etc.) of a subject (a lesion in the case of a lesion image) reflected in an image
  • “acquisition time information” Specifies the timing of image acquisition in the examination, such as the absolute time when the image was taken (Japan Standard Time, etc.), the elapsed time from the start of shooting the moving image of the frame where the image was taken, and the counter count indicating the shooting time Information that can be done.
  • the time width before and after the lesion image can be set in consideration of the data amount of the moving image.
  • the inspection moving image, the still image, the lesion image, and the disease variation image are one aspect of a medical image (also referred to as a medical image).
  • a medical image also referred to as a medical image.
  • a light source that generates white band light, light including a plurality of wavelengths (narrow band light) as a white band, infrared light, or excitation light can be used.
  • the medical image to be acquired may be a white band light, or a normal light image obtained by irradiating light of a plurality of wavelength bands as white band light, or a specific wavelength band acquired based on the normal light image.
  • a special light image having information may be used.
  • the report information acquisition unit acquires report information including lesion information indicating whether the still image is a lesion image
  • the report information analysis unit includes: Subject information and / or acquisition time information of the lesion image is extracted based on the lesion information.
  • the second mode prescribes the content of report information and the specific mode of the analysis method.
  • the moving image storage unit determines whether or not to store the disease variation image based on the extraction result.
  • the moving image storage unit can determine whether or not to store based on the length of time in which the lesion image is included, the ratio in the entire inspection moving image, and the like. For example, a process of “save when a lesion image is included in the examination moving image and not store when a lesion image is not (or hardly) included” can be performed.
  • the image processing apparatus is configured such that the report information analysis unit matches the subject information included in the report information with the inspection moving image, thereby The time range including the lesion image is determined, and the moving image storage unit stores the disease variation image for the determined time range.
  • the time range in which the lesion is reflected can be cut out as a moving image by image matching.
  • the image processing apparatus is such that the report information analysis unit extracts the acquisition time information of the lesion image, and the moving image storage unit uses the extracted acquisition time information. Based on this, the inspection moving image is stored.
  • the fifth aspect prescribes an aspect in which a moving image is cut out based on the acquisition time information (synonymous with the first aspect).
  • the report processing information acquisition unit acquires the acquisition time information input by the user as still image acquisition time information.
  • the analysis unit extracts the acquisition time information acquired by the report information acquisition unit as acquisition time information of the lesion image.
  • the moving image may be stored based on information input by the user as in the sixth aspect. For example, such processing can be performed when information of a lesion image cannot be extracted appropriately.
  • the image processing device is any one of the first to sixth aspects, wherein the moving image storage unit stores a time range in which different lesions are shown in the inspection moving image as an independent moving image. To do. According to the seventh aspect, it is possible to easily manage a moving image according to a lesion, use a moving image including a desired lesion, and the like.
  • the image processing device is any one of the first to seventh aspects, wherein the moving image storage unit saves the disease variation image for the inspection moving image except for the time range for the inspection moving image.
  • a small-capacity moving image having a data volume smaller than that of the inspection moving image is stored by performing processing for reducing the frame rate and / or processing for reducing the resolution outside the time range.
  • an endoscope system includes an image processing device according to any one of the first to eighth aspects and an insertion portion that is inserted into a subject.
  • An insertion portion having a distal end hard portion, a bending portion connected to the proximal end side of the distal end hard portion, a flexible portion connected to the proximal end side of the bending portion, and a connection to the proximal end side of the insertion portion
  • An imaging unit including: an endoscope having a hand-operated operation unit; a photographing lens that is provided at the distal end hard portion and forms an optical image of a subject; and an imaging element that forms an optical image by the photographing lens.
  • the moving image acquisition unit acquires the inspection moving image captured by the imaging unit.
  • the endoscope system according to the ninth aspect efficiently stores a moving image (disease variation image) in which a region of interest is reflected by including the image processing device according to any one of the first to eighth aspects. can do.
  • an image processing method includes a moving image acquisition step of acquiring an inspection moving image by an endoscope, and inspection report information corresponding to the inspection moving image.
  • a report information acquisition step for acquiring report information including at least one of still image subject information and still image acquisition time information acquired in the examination, and acquisition of the subject information and lesion image of the lesion image from the report information
  • Report information analyzing step for extracting at least one of time information
  • a moving image storing step for storing storing a disease variation image that is a moving image for a time range including a lesion image among examination moving images based on the extraction result And having.
  • the moving image (disease fluctuation image) in which the region of interest is reflected can be efficiently preserve
  • a program for causing an endoscope system to execute the image processing method according to these aspects and a non-transitory recording medium on which a computer-readable code of the program is recorded can also be cited as an aspect of the present invention.
  • the image processing apparatus As described above, according to the image processing apparatus, the endoscope system, and the image processing method of the present invention, it is possible to efficiently save a moving image showing a region of interest.
  • FIG. 1 is an external view of an endoscope system according to the first embodiment.
  • FIG. 2 is a block diagram showing a configuration of the endoscope system.
  • FIG. 3 is a diagram illustrating a configuration of the distal end hard portion of the endoscope.
  • FIG. 4 is a diagram illustrating a functional configuration of the image processing unit.
  • FIG. 5 is a diagram illustrating information stored in the storage unit.
  • FIG. 6 is a flowchart showing the processing of the image processing method.
  • FIG. 7 is a diagram illustrating an example of a moving image storage pattern.
  • FIG. 8 is a diagram showing a moving image saving process.
  • FIG. 9 is a diagram illustrating another example of a moving image storage pattern.
  • FIG. 10 is a diagram showing still another example of a moving image storage pattern.
  • FIG. 10 is a diagram showing still another example of a moving image storage pattern.
  • FIG. 11 is a diagram illustrating a state in which the disease variation image is stored in the same folder as the original file.
  • FIG. 12 is a diagram showing how data capacity is reduced.
  • FIG. 13 is a diagram illustrating the generation of a learning device using a disease variation image and the detection of a lesion using the generated learning device.
  • FIG. 14 is a diagram illustrating an example of identifying and displaying a lesion.
  • FIG. 15 is another diagram showing an example of identifying and displaying a lesion.
  • FIG. 16 is still another diagram showing an example of identifying and displaying a lesion.
  • FIG. 1 is an external view showing an endoscope system 10 (an image processing apparatus, a diagnosis support apparatus, an endoscope system, and a medical image processing apparatus) according to the first embodiment
  • FIG. 2 is an endoscope system 10. It is a block diagram which shows the principal part structure of these.
  • an endoscope system 10 includes an endoscope body 100 (endoscope), a processor 200 (processor, image processing apparatus, medical image processing apparatus), a light source apparatus 300 (light source apparatus), And a monitor 400 (display device).
  • the endoscope main body 100 includes a hand operation unit 102 (hand operation unit) and an insertion unit 104 (insertion unit) connected to the hand operation unit 102.
  • An operator grasps and operates the hand operation unit 102 and inserts the insertion unit 104 into the body of the subject (living body) for observation.
  • the hand operation unit 102 is provided with an air / water supply button 141, a suction button 142, a function button 143 to which various functions are assigned, and a photographing button 144 for accepting a photographing instruction operation.
  • the insertion unit 104 includes a soft part 112 (soft part), a bending part 114 (curving part), and a hard tip part 116 (hard tip part) in this order from the hand operation part 102 side. That is, the bending portion 114 is connected to the proximal end side of the distal end hard portion 116, and the flexible portion 112 is connected to the proximal end side of the bending portion 114.
  • the hand operating unit 102 is connected to the proximal end side of the insertion unit 104. The user can bend the bending portion 114 by operating the hand operation unit 102 to change the direction of the distal end hard portion 116 up, down, left, and right.
  • the distal end hard part 116 is provided with a photographing optical system 130 (imaging part), an illumination part 123, a forceps port 126, and the like (see FIGS. 1 to 3).
  • white light and / or narrowband light (red narrowband light, green narrowband light, green light from the illumination lenses 123A and 123B of the illumination unit 123 are operated by operating the operation unit 208 (see FIG. 2). And one or more of blue narrow band light). Further, the operation of the air / water supply button 141 releases cleaning water from a water supply nozzle (not shown), and the imaging lens 132 (imaging lens) of the imaging optical system 130 and the illumination lenses 123A and 123B can be cleaned.
  • An unillustrated conduit is connected to the forceps port 126 opened at the distal end hard portion 116, and a treatment tool (not shown) for tumor removal or the like is inserted into the conduit, and is appropriately advanced and retracted to the subject. Necessary measures can be taken.
  • a photographing lens 132 (imaging unit) is disposed on the distal end surface 116A of the distal rigid portion 116.
  • a CMOS (Complementary Metal-Oxide Semiconductor) type imaging device 134 (imaging device, imaging unit), a drive circuit 136, and an AFE 138 (AFE: Analog Front End) are disposed in the back of the photographing lens 132.
  • the image sensor 134 is a color image sensor, and is composed of a plurality of light receiving elements arranged in a matrix (two-dimensional array) in a specific pattern array (Bayer array, X-Trans (registered trademark) array, honeycomb array, etc.). A plurality of pixels.
  • Each pixel of the image sensor 134 includes a micro lens, a red (R), green (G), or blue (B) color filter and a photoelectric conversion unit (such as a photodiode).
  • the imaging optical system 130 can generate a color image from pixel signals of three colors of red, green, and blue, or generate an image from pixel signals of any one or two colors of red, green, and blue. You can also In the first embodiment, the case where the image sensor 134 is a CMOS type image sensor will be described. However, the image sensor 134 may be a CCD (Charge Coupled Device) type.
  • Each pixel of the image sensor 134 may further include a purple color filter corresponding to the purple light source and / or an infrared filter corresponding to the infrared light source.
  • An optical image of the subject is formed on the light receiving surface (imaging surface) of the image sensor 134 by the photographing lens 132, converted into an electrical signal, and output to the processor 200 via a signal cable (not shown). And converted into a video signal. As a result, the observation image is displayed on the monitor 400 connected to the processor 200.
  • illumination lenses 123A (for visible light) and 123B (for infrared light) of the illumination unit 123 are provided adjacent to the photographing lens 132.
  • the light guide 170 is inserted into the insertion unit 104, the hand operation unit 102, and the universal cable 106.
  • the incident end is disposed in the light guide connector 108.
  • the light source device 300 includes a light source 310 for illumination, a diaphragm 330, a condenser lens 340, a light source control unit 350, and the like, and makes observation light enter the light guide 170.
  • the light source 310 includes a red light source 310R, a green light source 310G, and a blue light source 310B that radiate red, green, and blue narrow-band light, respectively, and can radiate red, green, and blue narrow-band light.
  • the illuminance of the observation light from the light source 310 is controlled by the light source control unit 350, and the illuminance of the observation light can be lowered and the illumination can be stopped as necessary.
  • the light source 310 can emit red, green, and blue narrow-band light in any combination.
  • red, green, and blue narrowband light can be emitted simultaneously and white light (normal light) can be emitted as observation light, or either one or two can be emitted to emit narrowband light (special Light).
  • the light source 310 may further include a purple light source that emits purple light (an example of narrowband light) and an infrared light source that emits infrared light (an example of narrowband light).
  • you may irradiate white light or narrow band light as observation light with the light source which irradiates white light, and the filter which permeate
  • the light source 310 may be a light source that generates light in a plurality of wavelength bands as white band light or white band light, or may be a light source that generates light in a specific wavelength band narrower than the white wavelength band.
  • the specific wavelength band may be a visible blue band or a green band, or a visible red band.
  • the specific wavelength band is the visible blue band or the green band, it includes a wavelength band of 390 nm to 450 nm, or 530 nm to 550 nm, and peaks within a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm It may have a wavelength.
  • the specific wavelength band is a visible red band
  • the wavelength band of 585 nm to 615 nm or 610 nm to 730 nm is included, and the light of the specific wavelength band is 585 nm to 615 nm or less, or 610 nm or more It may have a peak wavelength in a wavelength band of 730 nm or less.
  • the light of the specific wavelength band described above includes a wavelength band having a different absorption coefficient between oxyhemoglobin and reduced hemoglobin, and has a peak wavelength in a wavelength band having a different absorption coefficient between oxyhemoglobin and reduced hemoglobin.
  • the specific wavelength band includes a wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm, and 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm
  • the light generated by the light source 310 includes a wavelength band of 790 nm to 820 nm, or 905 nm to 970 nm and may have a peak wavelength in a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm.
  • the light source 310 may include a light source that emits excitation light having a peak of 390 nm or more and 470 nm or less. In this case, it is possible to acquire a medical image (in-vivo image) having information on the fluorescence emitted by the fluorescent substance in the subject (living body).
  • a fluorescent dye fluorestin, acridine orange, etc.
  • the light source type of the light source 310 (laser light source, xenon light source, LED light source (LED: Light-Emitting Diode), etc.), wavelength, presence / absence of filter, etc. are preferably configured according to the type of subject, the purpose of observation, etc.
  • switching the wavelength for example, by rotating a disk-shaped filter (rotary color filter) provided in front of the light source and provided with a filter that transmits or blocks light of a specific wavelength, the wavelength of the light to be irradiated is switched. Also good.
  • the image sensor used for carrying out the present invention is not limited to a color image sensor in which a color filter is provided for each pixel like the image sensor 134, and may be a monochrome image sensor.
  • a monochrome imaging device it is possible to pick up images in the surface sequential (color sequential) by sequentially switching the wavelength of the observation light.
  • the wavelength of the emitted observation light may be sequentially switched between (blue, green, red), or observation that is emitted by a rotary color filter (red, green, blue, etc.) by irradiating broadband light (white light). The wavelength of light may be switched.
  • the narrowband light may be infrared light (first narrowband light, second narrowband light) having two or more wavelengths different from each other.
  • the observation light emitted from the light source device 300 is transmitted to the illumination lenses 123A and 123B via the light guide 170, and the illumination lenses 123A, The observation range is irradiated from 123B.
  • the configuration of the processor 200 will be described with reference to FIG.
  • the processor 200 inputs an image signal (moving image and / or still image signal) output from the endoscope main body 100 via the image input controller 202, and performs necessary image processing in the image processing unit 204.
  • the video is output via the video output unit 206.
  • an observation image in-vivo image
  • the processor 200 performs report information and analysis, analysis of a disease variation image, and the like.
  • These processes are performed under the control of a CPU 210 (CPU: Central Processing Unit). That is, the CPU 210 has functions as a moving image acquisition unit, a report information acquisition unit, a report information analysis unit, and a moving image storage unit.
  • the storage unit 207 stores a subject image (moving image, still image), acquired report information, an analysis result thereof, and the like (described later).
  • the sound processing unit 209 outputs a message (sound) or the like corresponding to the result of detection and / or classification of the region of interest from the speaker 209A under the control of the CPU 210 and the image processing unit 204.
  • a ROM 211 (ROM: Read Only Memory) is a non-volatile storage element (non-temporary recording medium), and the image processing method according to the present invention is applied to the CPU 210 and / or the image processing unit 204 (image processing apparatus, computer).
  • a computer readable code of a program to be executed is stored.
  • a RAM 212 (RAM: Random Access Memory) is a storage element for temporary storage during various processes, and can also be used as a buffer at the time of image acquisition.
  • FIG. 4 is a diagram illustrating a functional configuration of the image processing unit 204 (a medical image acquisition unit, a medical image analysis processing unit, and a medical image analysis result acquisition unit).
  • the image processing unit 204 includes a moving image acquisition unit 204A (moving image acquisition unit), a still image acquisition unit 204B, a report information acquisition unit 204C (report information acquisition unit), a report information analysis unit 204D (report information analysis unit), and a moving image storage.
  • a unit 204E moving image storage unit
  • 204F image correction unit
  • the report information analysis unit 204D also operates as a medical image analysis processing unit.
  • the image processing unit 204 acquires a special light image having information on a specific wavelength band based on a normal light image obtained by irradiating light in a plurality of wavelength bands as white band light or white band light.
  • a special light image acquisition unit may be provided.
  • a signal in a specific wavelength band is included in RGB (R: red, G: green, B: blue) or CMY (C: cyan, M: magenta, Y: yellow) color information included in the normal light image. It can be obtained by calculation based on the
  • the image processing unit 204 also includes a normal light image obtained by irradiating light in a plurality of wavelength bands as white band light or white band light, and a special light image obtained by irradiating light in a specific wavelength band.
  • a feature amount image generation unit that generates a feature amount image by calculation based on at least one of the above may be provided, and a feature amount image as a medical image (medical image) may be acquired and displayed.
  • processing by these functions of the image processing unit 204 will be described later. Note that processing by these functions is performed under the control of the CPU 210.
  • the functions of the image processing unit 204 described above can be realized by using various processors.
  • the various processors include, for example, a CPU (Central Processing Unit) that is a general-purpose processor that executes various types of functions by executing software (programs).
  • the various processors described above include programmable logic devices (processors whose circuit configuration can be changed after manufacturing, such as GPU (Graphics Processing Unit) and FPGA (Field Programmable Gate Array), which are specialized for image processing. Programmable Logic (Device: PLD) is also included.
  • the above-mentioned various processors include dedicated electric circuits, which are processors having a circuit configuration designed exclusively for executing specific processing such as ASIC (Application Specific Specific Integrated Circuit).
  • ASIC Application Specific Specific Integrated Circuit
  • each unit may be realized by a single processor, or may be realized by a plurality of processors of the same type or different types (for example, a plurality of FPGAs, a combination of CPU and FPGA, or a combination of CPU and GPU).
  • a plurality of functions may be realized by one processor.
  • a plurality of functions may be realized by one processor.
  • a computer such as an image processing apparatus main body and a server
  • one processor is configured with a combination of one or more CPUs and software.
  • this processor is realized as a plurality of functions.
  • SoC system-on-chip
  • IC integrated circuit
  • a processor (computer) readable code of the software to be executed is stored in a non-temporary recording medium such as a ROM (Read Only Memory).
  • a non-temporary recording medium such as a ROM (Read Only Memory).
  • the software stored in the non-temporary recording medium includes a program for executing image input and subject measurement.
  • the code may be recorded on a non-temporary recording medium such as various magneto-optical recording devices and semiconductor memories instead of the ROM.
  • RAM Random Access Memory
  • EEPROM Electrically Erasable Memory and Programmable Read Only Memory
  • the processor 200 includes an operation unit 208.
  • the operation unit 208 includes an operation mode setting switch (not shown) and the like, and can set the wavelength of observation light (whether white light, narrow band light, or narrow band light is used).
  • the operation unit 208 includes a keyboard and mouse (not shown), and the user can perform setting operations such as shooting conditions, display conditions, and moving image storage conditions via these devices. These setting operations may be performed via a foot switch (not shown), or may be performed by voice, line of sight, gesture, or the like.
  • the operation mode may be set by assigning an operation mode setting function to the function button 143 (see FIG. 1) of the hand operation unit 102 as described above.
  • the storage unit 207 (recording apparatus) includes various types of magneto-optical recording media, non-temporary recording media such as a semiconductor memory, and as shown in FIG. 5, an inspection moving image 207A, report information 207B, and report information analysis result 207C. And the disease fluctuation image 207D are stored (saved). These images and information are displayed on the monitor 400 by operation through the operation unit 208 and control of the CPU 210 and / or the image processing unit 204.
  • the analysis results for the attention area (region of interest) that is the attention area included in the medical image (medical image) and / or the presence or absence of the aspect to be attention are stored. You may memorize
  • the image processing unit 204 (medical image analysis processing unit, medical image analysis result acquisition unit) can acquire the analysis results from the storage unit 207 and display them on the monitor 400.
  • the monitor 400 includes a moving image and / or a still image, a disease variation image, an imaging condition setting screen, a display condition acquired by an operation through the operation unit 208, and a control by the CPU 210 and / or the image processing unit 204.
  • the setting screen, report information, and information indicating the analysis result (extraction result) of the report information are displayed.
  • the monitor 400 has a touch panel (not shown) for performing an imaging condition setting operation and / or a display condition setting operation.
  • FIG. 6 is a flowchart showing processing of the image processing method according to the first embodiment.
  • the moving image acquisition unit 204A acquires (captures) an inspection moving image by the endoscope (step S100: moving image acquisition step).
  • the insertion portion 104 is inserted into the subject, and the distal end hard portion 116 is positioned at a desired site by operating the hand operation portion 102 (pushing and pulling, bending up and down, right and left, etc.).
  • the start and end of moving image acquisition may be automatically performed regardless of the user operation, or may be performed according to the user operation on the shooting button 144 or the like.
  • the acquisition of the inspection moving image may be performed when the insertion unit 104 is inserted or may be performed when the insertion unit 104 is pulled out.
  • the acquired inspection moving image is stored in the storage unit 207 as the inspection moving image 207A.
  • the still image acquisition unit 204B captures a still image automatically or in response to a user operation, and stores the still image in the storage unit 207.
  • the report information acquisition unit 204C acquires the report information of the inspection corresponding to the inspection moving image acquired in step S100 (step S110: report information acquisition step).
  • the report information acquired in step S110 includes at least one of the subject information of the still image acquired in the inspection corresponding to the inspection moving image and the acquisition time information of the still image.
  • the report information 207B created using the endoscope system 10 and stored in the storage unit 207 based on the inspection moving image, the still image, or the like acquired in step S100 by the user may be acquired (this is the case).
  • the image processing unit 204 can be provided with a report creation support function), the communication control unit 205 and the report information acquisition unit 204C acquire information on a separately created report from an external server, database, or the like (not shown). Also good.
  • the report information may include inspection information.
  • Examination information includes, for example, patient information, doctor information, device information, lesion information (position, size, endoscopic findings, treatment status, pathological examination results, etc.), procedure information (insertion time and / or removal time, sedative, treatment) A tool, a coloring agent, a usage status of IEE (Image Enhanced Endoscopy), and the like.
  • the inspection information may be information input by the user.
  • step S110 information on the subject (position, size, type, etc. of the subject) shown in the image can be used as “subject information”. Also, the timing of the lesion image in the moving image, such as the absolute time when the image was captured (Japan Standard Time, etc.), the elapsed time from the start of capturing the moving image of the frame in which the image was captured, the count number of the counter corresponding to the capturing time, etc. Can be used as “acquisition time information”.
  • the “still image” included in the report information described above includes many images that do not show a lesion (region of interest). Therefore, there is a case where the lesion is not shown when the before and after acquisition of the still image is saved. Therefore, in the first embodiment, as described below, lesion image information is extracted from report information, and a disease variation image, which is a moving image of a time range including the lesion image, is extracted based on an analysis result (extraction result). save.
  • the report information analysis unit 204D extracts at least one of the subject information of the lesion image and the acquisition time information of the lesion image from the report information acquired in step S110 (step S120: report information analysis step).
  • the report information acquisition unit 204C acquires report information including lesion information indicating whether or not the still image is a lesion image.
  • the report information analysis unit 204D acquires the report information. This can be done by extracting subject information and / or acquisition time information.
  • the lesion information, the subject information of the lesion image, and the acquisition time information may be information input to the report by the user via the operation unit 208.
  • the report information analysis unit 204D may extract subject information and / or acquisition time information of a lesion image from examination information included in the report information.
  • the moving image storage unit 204E converts a disease variation image that is “a moving image of a time range including a lesion image among examination moving images” into a disease variation image 207D. Is stored in the storage unit 207 (step S130: moving image storing step).
  • the moving image saving unit 204E can determine whether or not to save the disease variation image based on the result of the analysis (extraction) in step S120. Specifically, if the report information includes a lesion image and / or lesion information, the disease variation image is saved.
  • the lesion information (region of interest) is included in the examination moving image. It may be determined that there is no ”, and the processing for saving the disease fluctuation image may be stopped.
  • the shaded part (time t2 to t3 and time t4 to t5) of the inspection moving image 1010 acquired from time t1 to t6 is the time range in which the lesion is reflected.
  • the moving image storage unit 204E can store the examination moving image 1010 as a disease fluctuation image (moving image for a time range including a lesion image).
  • the moving image storage unit 204E displays the inspection moving image as shown in FIG. 7C. 1020 may not be saved (or an image once saved is deleted).
  • the disease fluctuation image in addition to storing the examination in which the lesion is found as described above, specific lesions (low prevalence, difficult to detect cases, etc.) are obtained based on the report information acquisition result and analysis result.
  • the discovered exam may be saved. For example, when the size of a lesion is small, or when the shape of the lesion is flat and there is almost no bulge, the disease variation image can be stored as a “lesion that is difficult to detect”.
  • a pathological biopsy is performed (in this case, it is considered that “the lesion for which a biopsy is taken is difficult to determine by endoscopic findings”), or the results of pathological biopsy and endoscopic findings If there is a discrepancy (for example, if the endoscopic findings indicate “line type suspect” and a biopsy was taken, but the pathological result was a hyperplastic polyp), then a disease-change image as “lesion difficult to diagnose” Can be saved.
  • the disease variation image may be stored according to the purpose of use of the learning device.
  • ESD Endoscopic Submucosal Dissection
  • EMR Endoscopic Mucosal Resection
  • FIG. 8 is a diagram illustrating a relationship between each unit of the endoscope system 10 and information used for processing in saving a disease variation image.
  • the moving image acquisition unit 204A temporarily stores the examination moving image acquired in step S100 in the RAM 212, and the moving image storage unit 204E stores the necessary portion in the disease fluctuation image.
  • 207D can be stored in the storage unit 207 (refer to FIGS. 9 to 12 to be described later for specific storage patterns). Further, as shown in part (b) of FIG.
  • the moving image acquisition unit 204A (and the moving image storage unit 204E) stores the examination moving image acquired in step S100 in the storage unit 207 as a disease variation image 207D
  • the moving image saving unit 204E may delete unnecessary portions.
  • the report information analysis unit 204D (report information analysis unit) matches the subject information with the inspection moving image to store the necessary part (or delete the unnecessary part). Can be carried out by determining a time range including “” and storing the determined time range by the moving image storage unit 204E. Further, even when there is no subject information, a disease fluctuation image can be stored if the acquisition time information of the lesion image can be extracted by analyzing the report information.
  • ⁇ Preservation pattern of disease fluctuation image> The storage pattern of the disease fluctuation image (meaning the final storage form, regardless of which pattern in FIG. 8 is used for processing) will be described below. Which of these patterns is used for processing may be determined by the image processing unit 204 without depending on a user instruction, or may be determined according to a user instruction via the operation unit 208.
  • the moving image storage unit 204E can store a portion of the examination moving image that is separated in time as another moving image. For example, as shown in part (a) of FIG. 9, the period from time t2 to t3 when the lesion is reflected in the original examination moving image 1010 is stored as one disease variation image 1010A in the storage unit 207, and the lesion is reflected. From time t4 to t5 can be stored as another disease fluctuation image 1010B. At this time, as shown in part (b) of FIG. 9, the disease fluctuation image 1010C from (time t2 ⁇ t) to (time t3 + ⁇ t) and / or the disease from (time t4 ⁇ t) to (time t5 + ⁇ t).
  • the fluctuation image 1010D may be stored (the period of ⁇ t is a period in which no lesion is shown.
  • the length of ⁇ t can be set in consideration of restrictions on the data amount of moving images).
  • a part of the original inspection moving image may be used, or an image created by image processing may be used.
  • the moving image storage unit 204E stores a time range in which different lesions are reflected as an independent moving image in addition to or instead of storing a portion separated in time as another moving image. Also good.
  • the moving image storage unit 204E can store a portion of the examination moving image separated in time as one moving image.
  • the disease variation images 1010A and 1010B shown in part (a) of FIG. 9 can be collected and saved as one disease fluctuation image 1040 as shown in part (a) of FIG.
  • a period of time ⁇ t may be provided between the parts of the disease fluctuation images 1010A and 1010B.
  • the disease variation image is stored as described above, it is preferable to associate the original examination moving image with the disease variation image in consideration of management and use of the image.
  • the storage region (storage unit) of the disease variation image 207D is stored as shown in FIG. 207) are associated with each other by saving the disease variation images 1010A and 1010B in the same folder 1010F (for example, a folder created for each examination or for each examination moving image and storing the examination moving image 1010).
  • FIG. 11 shows a state in which the original examination moving image 1010 is deleted as the disease variation images 1010A and 1010B are stored). Even when the images are stored in different folders, the association can be performed by recording the identification information of the original examination moving image and / or other disease variation image in the header portion of the final disease variation image file, for example.
  • the moving image storage unit 204E When storing a disease variation image for an examination moving image, the moving image storage unit 204E performs processing for lowering the frame rate outside the time range including the lesion image and / or processing for lowering the resolution outside the time range on the inspection moving image.
  • a small-capacity moving image having a data volume smaller than that of the inspection moving image may be stored.
  • the moving image storage unit 204E has a period during which no lesion is shown in the original inspection moving image 1010 (except for a time range including a lesion image: time t1 to t2, t3 to t4 in FIG.
  • t5 to t6 is performed by reducing the frame rate (or resolution) from High to Low, thereby reducing a small-capacity moving image 1011 (small-capacity moving image) having a smaller data volume than the original inspection moving image 1010 to a disease fluctuation image.
  • the frame rate and / or the resolution may be changed according to the image content not only in the time range including the lesion image but also in the time range including the lesion image. For example, when a specific lesion such as a low prevalence rate or a difficult-to-detect case is included, the frame rate and / or resolution can be relatively higher than in other cases.
  • the disease variation image can be efficiently stored.
  • a learning device for automatic detection of a lesion can be generated by using the disease fluctuation image stored by the above-described processing as an input.
  • the disease variation image 207D can be input as learning data
  • the learning device construction unit 204G can construct the learning device 204H.
  • the fact that it is a lesion and / or the type of the lesion may be attached to the image as a label and used as teacher data.
  • the learning device construction unit 204G and the learning device 204H may be components of the endoscope system 10 (image processing unit 204), or independent devices may be used.
  • the endoscope system 10 stores a disease variation image, which is a moving image of a time range including a lesion image, among the inspection moving images. Therefore, learning is performed by efficiently learning using the disease variation image as an input.
  • a vessel can be constructed.
  • the learning device construction unit 204G may construct a learning device using a deep learning method.
  • a learning device that analyzes whether or not a lesion is included in the input image may be constructed by performing image analysis processing using deep learning (deep learning) on a disease variation image based on a deep learning algorithm.
  • the deep learning algorithm is a convolutional neural network (convolutional neural network) technique, that is, the repetition of the convolutional layer and the pooling layer, the fully connected layer, and the output layer, and the image contains a lesion (region of interest). It is an algorithm that recognizes whether or not.
  • a lesion can be detected from an examination moving image.
  • Part (b) of FIG. 13 shows a state in which the inspection moving image 207A acquired by the inspection is input to the learning device 204H, and the detection result 207E for the lesion (region of interest) is obtained.
  • lesions detected by the learning device 204H include polyps, cancer, colonic diverticula, inflammation, treatment scars (EMR scars (EMR), ESD scars (ESD: Endoscopic Submucosal Dissection), clip spots, etc.), bleeding A dot, a perforation, a vascular atypia, etc. can be mentioned.
  • the learning unit 204H may be used to classify the lesion detected from the inspection moving image 207A.
  • classification include polyp classification (neoplastic or non-neoplastic), stage diagnosis of cancer, current position in the lumen (pharynx, esophagus, stomach, duodenum, etc. at the top, cecum at the bottom, Ascending colon, transverse colon, descending colon, sigmoid colon, rectum, etc.).
  • the classification of the lesion may be performed together with the detection.
  • the display control unit 204F causes the monitor 400 (display device) to display images such as the examination moving image 207A, the disease variation image 207D, and still images taken automatically or in response to a user operation. be able to.
  • a process of detecting a lesion from the image may be performed when displaying the image, and the lesion may be identified and displayed according to the detection result.
  • This detection processing can be performed by providing the image processing unit 204 with a detection unit using a known CAD system (CAD: Computer Aided Diagnosis), the learning device described above, and the like.
  • CAD Computer Aided Diagnosis
  • the display control unit 204F can display a first image display area 500, a second image display area 510, and a patient information display area 520 on the monitor 400.
  • an image 502 is displayed in the first image display area 500, and polyps 504 ⁇ / b> A and 504 ⁇ / b> B are detected in the image 502.
  • images 512 to 518 taken at a different time from the image 502 are displayed.
  • frames 506A and 506B are displayed for the polyps 504A and 504B, respectively.
  • the display control unit 204F displays a frame 506A on the edge of the second quadrant portion of the first image display area 500, and displays a frame 506B on the edge of the fourth quadrant portion (first image).
  • the fourth quadrant is based on the center of the first image display area 500).
  • FIG. 15 and 16 are diagrams showing other examples of image display.
  • the position of the polyp 504C can be clearly presented by surrounding the polyp 504C with a frame 506D in the image 503.
  • the frame 506C is highlighted (for example, with a thick line) as shown in FIG. 15, and when the time elapses (for example, about several seconds) from the detection, the degree of enhancement is increased as shown in FIG.
  • the display of the frame is not hindered by observation or diagnosis by displaying it in a lower position (for example, displaying it with a thin line like the frame 506D, or gradually darkening the display, or gradually turning it off). Can be.
  • the above-mentioned frame can be displayed according to the number, position, size, etc. of the detected polyp (lesion). For example, when a polyp (lesion) is detected in the first and third quadrants of the image 502 in the embodiment of FIG. 14, a frame is displayed at the edges of the first and third quadrants of the first image display area 500. can do. 15 and 16, when a plurality of polyps are detected, a frame similar to the example of FIGS. 15 and 16 can be displayed for each polyp.
  • display conditions such as the color, brightness, and thickness of these frames may be set according to the user's operation, or may be set by the display control unit 204F without depending on the user's operation.
  • lesion detection is performed continuously (for example, for each frame of the moving image), and the number, position, size, and the like of the frame are changed according to the detection result. Can be displayed.
  • the medical image analysis processing unit detects a region of interest that is a region of interest based on the feature amount of the pixel of the medical image
  • the medical image analysis result acquisition unit is a medical image processing apparatus that acquires the analysis result of the medical image analysis processing unit.
  • the medical image analysis processing unit detects the presence or absence of a target of interest based on the feature amount of the pixel of the medical image
  • the medical image analysis result acquisition unit is a medical image processing apparatus that acquires the analysis result of the medical image analysis processing unit.
  • the analysis result is a medical image processing apparatus in which the attention area, which is the attention area included in the medical image, and / or the presence / absence of the attention object is included.
  • the medical image processing apparatus is a normal light image obtained by irradiating light in a plurality of wavelength bands as light in a white band or light in a white band.
  • a medical image is an image obtained by irradiating light of a specific wavelength band,
  • the specific wavelength band is a medical image processing apparatus that is narrower than the white wavelength band.
  • the specific wavelength band includes a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm, and the light of the specific wavelength band has a peak wavelength in a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm.
  • Image processing device includes a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm, and the light of the specific wavelength band has a peak wavelength in a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm.
  • the specific wavelength band includes a wavelength band of 585 nm to 615 nm or less, or 610 nm to 730 nm, and the light of the specific wavelength band has a peak wavelength within a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm.
  • Image processing device includes a wavelength band of 585 nm to 615 nm or less, or 610 nm to 730 nm, and the light of the specific wavelength band has a peak wavelength within a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm.
  • the specific wavelength band includes a wavelength band having a different absorption coefficient between oxyhemoglobin and reduced hemoglobin, and light of the specific wavelength band has a peak wavelength in a wavelength band having a different absorption coefficient between oxyhemoglobin and reduced hemoglobin.
  • the specific wavelength band includes a wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm, and the light of the specific wavelength band is 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ A medical image processing apparatus having a peak wavelength in a wavelength band of 10 nm or 600 nm to 750 nm.
  • a medical image is an in-vivo image of a living body,
  • the in-vivo image is a medical image processing apparatus having information on fluorescence emitted from a fluorescent substance in the living body.
  • Fluorescence is a medical image processing apparatus obtained by irradiating a living body with excitation light having a peak of 390 to 470 nm.
  • a medical image is an in-vivo image of a living body,
  • the specific wavelength band is a medical image processing apparatus that is a wavelength band of infrared light.
  • the specific wavelength band includes a wavelength band of 790 nm to 820 nm or less or 905 nm to 970 nm, and the light of the specific wavelength band has a peak wavelength in a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm. Processing equipment.
  • the medical image acquisition unit acquires a special light image having information on a specific wavelength band based on a normal light image obtained by irradiating light in a plurality of wavelength bands as white band light or white band light.
  • a feature amount image generation unit for generating a feature amount image;
  • a medical image processing apparatus in which a medical image is a feature amount image.
  • An endoscope apparatus comprising:
  • Appendix 20 A diagnostic support apparatus comprising the medical image processing apparatus according to any one of appendices 1 to 18.
  • Appendix 21 A medical operation support apparatus comprising the medical image processing apparatus according to any one of appendices 1 to 18.
  • Endoscope system 100 Endoscope main body 102: Hand operation part 104: Insertion part 106: Universal cable 108: Light guide connector 112: Soft part 114: Bending part 116: Tip hard part 116A: Tip side end surface 123: Illumination unit 123A: illumination lens 123B: illumination lens 126: forceps port 130: imaging optical system 132: imaging lens 134: imaging device 136: drive circuit 138: AFE 141: Air / water supply button 142: Suction button 143: Function button 144: Shooting button 170: Light guide 200: Processor 202: Image input controller 204: Image processing unit 204A: Moving image acquisition unit 204B: Still image acquisition unit 204C: Report Information acquisition unit 204D: Report information analysis unit 204E: Moving image storage unit 204F: Display control unit 204G: Learning device construction unit 204H: Learning device 205: Communication control unit 206: Video output unit 207: Storage unit 207A: Inspection

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)

Abstract

本発明は、病変が映っている動画像を効率よく保存することができる画像処理装置、内視鏡システム、及び画像処理方法を提供することを目的とする。本発明の第１の態様に係る画像処理装置は、内視鏡による検査動画像を取得する動画像取得部と、検査動画像に対応する検査のレポート情報であって、検査において取得された静止画像の被写体情報と静止画像の取得時間情報とのうち少なくとも一方を含むレポート情報を取得するレポート情報取得部と、レポート情報から、病変画像の被写体情報と病変画像の取得時間情報とのうち少なくとも一方を抽出するレポート情報解析部と、抽出の結果に基づいて、検査動画像のうち病変画像を含む時間範囲についての動画像である病変動画像を保存する動画像保存部と、を備える。

Description

画像処理装置、内視鏡システム、及び画像処理方法
　本発明は画像処理装置、内視鏡システム、及び画像処理方法に関し、特に内視鏡による検査で取得した動画像を処理する画像処理装置、内視鏡システム、及び画像処理方法に関する。
　内視鏡を用いて検査を行う場合、動画像、静止画像が多数撮影される。撮影される画像は診断支援、レポート作成等種々の目的に利用され、利用目的によって必要な画像が異なるため、検査の過程では長時間にわたって様々な画像が撮影される。しかしながらこのような画像をそのまま全て保存すると記憶容量が多くなりすぎるため、画像データの量を減らす技術が提案されている。
　例えば特許文献１では、動画像データを重要度に応じた圧縮率で圧縮することにより、重要な動画像データの画質を維持しつつデータ量を削減することが記載されている。また特許文献２では、病変（関心領域）から離れた部位では撮影回数を減じ関心領域付近では撮影回数を増やすカプセル内視鏡が記載されている。また特許文献３では、静止画を撮影したフレームの前後の時間範囲について動画像を保存することが記載されている。
特開２０１４－０４２７２７号公報 特開２００８－２３７６４０号公報 ＷＯ２０１５／０２９５８４号公報
　上述した特許文献１では検査種別情報に応じて圧縮率を設定することが記載されているが、この「検査種別情報」とは事前に分かっている検査種別（スクリーニング、手技など）の情報である。また、特許文献２に記載の「診断情報」は過去の検査で発見済みのポリープの位置情報である。このような過去の検査、診断等の情報を用いたのでは、新たに行う検査で発見された病変（関心領域）の情報を考慮することができず、そのような病変についての画像を適切に保存できない場合がある。また、特許文献２では病変が映ったフレーム及びその前後のフレームを保存（記録）するため検査中に取得した画像から関心領域を検出する必要があり、検出に失敗した場合は画像の保存が困難である。また、内視鏡を用いた検査で取得される静止画には病変が映っていない画像も多く含まれるため、特許文献３のように静止画取得の前後フレームを保存すると、病変が映っていない動画像を大量に記録してデータ量を増やすことになりかねない。
　このように、従来の技術では病変が映っている動画像を効率よく保存することは困難であった。
　本発明はこのような事情に鑑みてなされたもので、病変が映っている動画像を効率よく保存することができる画像処理装置、内視鏡システム、及び画像処理方法を提供することを目的とする。
　上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、内視鏡による検査動画像を取得する動画像取得部と、検査動画像に対応する検査のレポート情報であって、検査において取得された静止画像の被写体情報と静止画像の取得時間情報とのうち少なくとも一方を含むレポート情報を取得するレポート情報取得部と、レポート情報から、病変画像の被写体情報と病変画像の取得時間情報とのうち少なくとも一方を抽出するレポート情報解析部と、抽出の結果に基づいて、検査動画像のうち病変画像を含む時間範囲についての動画像である病変動画像を保存する動画像保存部と、を備える。
　第１の態様では、検査で取得された静止画像の画像情報と取得時間情報とのうち少なくとも一方を含むレポート情報を取得し、レポート情報から病変画像（病変が映っている画像）の画像情報と取得時間情報とのうち少なくとも一方を取得するので、レポート情報に含まれる静止画像に病変が映っていない場合であっても病変画像の情報を取得することができる。また、第１の態様では検査動画像のうち病変画像を含む時間範囲についての動画像である病変動画像を保存するので、関心領域が映っていない時間範囲について動画像を長時間保存してデータ量が増えてしまうのを防ぐことができる。さらに、第１の態様では「検査動画像に対応する検査の」レポート情報を取得するので、その検査で発見された新たな病変の情報を考慮することができる。なお病変動画像の保存は、いったん一時記憶領域に保存して必要な部分を通常の記憶領域に保存する、あるいは記憶領域に保存して不要な部分を消去する、等の手法により行うことができる。
　このように、第１の態様によれば病変が映っている動画像（病変動画像）を効率よく保存することができる。なお第１の態様及び以下の各態様において、「被写体情報」は画像に映った被写体（病変画像の場合は病変）の情報（被写体の位置、大きさ、種類等）であり、「取得時間情報」は画像が撮影された絶対時刻（日本標準時等）、画像が撮影されたフレームの動画像の撮影開始からの経過時間、撮影時間を示すカウンタのカウント数等、検査における画像取得のタイミングを特定できる情報である。
　なお、保存する病変動画像において、病変画像の前後の時間幅は動画像のデータ量等を考慮して設定することができる。
　第１の態様及び以下の各態様において、検査動画像、静止画像、病変画像、及び病変動画像は医用画像（医療画像ともいう）の一態様である。このような医用画像を撮影する際は、白色帯域の光、白色帯域として複数の波長（狭帯域光）を含む光、赤外光、励起光を発生する光源を用いることができる。また、取得する医用画像は白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像でもよいし、通常光画像に基づいて取得した、特定の波長帯域の情報を有する特殊光画像でもよい。
　第２の態様に係る画像処理装置は第１の態様において、レポート情報取得部は、静止画像が病変画像であるか否かを示す病変情報を含むレポート情報を取得し、レポート情報解析部は、病変情報に基づいて病変画像の被写体情報及び／または取得時間情報を抽出する。第２の態様は、レポート情報の内容及び解析手法の具体的態様を規定するものである。
　第３の態様に係る画像処理装置は第１または第２の態様において、動画像保存部は、抽出の結果に基づいて病変動画像を保存するか否か決定する。第３の態様では、動画像保存部は病変画像が含まれている時間の長さ、検査動画像全体における比率等に基づいて保存するか否かを決定することができる。例えば、「検査動画に病変画像が含まれている場合は保存し、全く（あるいはほとんど）含まれていない場合は保存しない」という処理を行うことができる。
　第４の態様に係る画像処理装置は第１から第３の態様のいずれか１つにおいて、レポート情報解析部は、レポート情報に含まれる被写体情報を検査動画像とマッチングすることにより、検査動画像のうち病変画像を含む時間範囲を決定し、動画像保存部は、決定した時間範囲について病変動画像を保存する。第４の態様のように、画像のマッチングにより、病変の映っている時間範囲を動画として切り出すことができる。
　第５の態様に係る画像処理装置は第１から第４の態様のいずれか１つにおいて、レポート情報解析部は病変画像の取得時間情報を抽出し、動画像保存部は抽出した取得時間情報に基づいて検査動画像を保存する。第５の態様は、取得時間情報（第１の態様におけるのと同義）により動画の切り出しを行う態様を規定するものである。
　第６の態様に係る画像処理装置は第１から第５の態様のいずれか１つにおいて、レポート情報取得部は、ユーザが入力した取得時間情報を静止画像の取得時間情報として取得し、レポート情報解析部は、レポート情報取得部が取得した取得時間情報を病変画像の取得時間情報として抽出する。本発明では、第６の態様のようにユーザが入力した情報により動画像の保存を行ってもよい。例えば、病変画像の情報を適切に抽出できない場合にこのような処理を行うことができる。
　第７の態様に係る画像処理装置は第１から第６の態様のいずれか１つにおいて、動画像保存部は、検査動画像のうち異なる病変が映された時間範囲を独立した動画像として保存する。第７の態様によれば、病変に応じた動画像の管理、所望の病変を含む動画像の利用等を容易に行うことができる。
　第８の態様に係る画像処理装置は第１から第７の態様のいずれか１つにおいて、動画像保存部は、検査動画像について病変動画像を保存する場合、検査動画像に対し時間範囲以外についてフレームレートを下げる処理及び／または時間範囲以外について解像度を下げる処理を施すことにより、検査動画像よりもデータ容量を少なくした小容量動画像を保存する。第８の態様のようにフレームレート、解像度を変更してデータ容量を少なくすることで、病変が映っている動画像をいっそう効率的に保存することができる。
　上述した目的を達成するため、本発明の第９の態様に係る内視鏡システムは第１から第８の態様のいずれか１つに係る画像処理装置と、被検体に挿入される挿入部であって、先端硬質部と、先端硬質部の基端側に接続された湾曲部と、湾曲部の基端側に接続された軟性部とを有する挿入部と、挿入部の基端側に接続された手元操作部と、を有する内視鏡と、先端硬質部に設けられ被検体の光学像を結像させる撮影レンズと、撮影レンズにより光学像が結像する撮像素子と、を有する撮像部と、を備え、動画像取得部は撮像部により撮影した検査動画像を取得する。第９の態様に係る内視鏡システムでは、第１から第８の態様のいずれか１つに係る画像処理装置を備えることにより関心領域が映っている動画像（病変動画像）を効率よく保存することができる。
　上述した目的を達成するため、本発明の第１０の態様に係る画像処理方法は内視鏡による検査動画像を取得する動画像取得工程と、検査動画像に対応する検査のレポート情報であって、検査において取得された静止画像の被写体情報と静止画像の取得時間情報とのうち少なくとも一方を含むレポート情報を取得するレポート情報取得工程と、レポート情報から、病変画像の被写体情報と病変画像の取得時間情報とのうち少なくとも一方を抽出するレポート情報解析工程と、抽出の結果に基づいて、検査動画像のうち病変画像を含む時間範囲についての動画像である病変動画像を保存する動画像保存工程と、を有する。第１０の態様によれば、第１の態様と同様に関心領域が映っている動画像（病変動画像）を効率よく保存することができる。
　なお、第１０の態様の構成に対し第２から第８の態様と同様の構成をさらに含めてもよい。また、それら態様の画像処理方法を内視鏡システムに実行させるプログラム、並びにそのプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。
　以上説明したように、本発明の画像処理装置、内視鏡システム、及び画像処理方法によれば、関心領域が映っている動画像を効率よく保存することができる。
図１は、第１の実施形態に係る内視鏡システムの外観図である。 図２は、内視鏡システムの構成を示すブロック図である。 図３は、内視鏡の先端硬質部の構成を示す図である。 図４は、画像処理部の機能構成を示す図である。 図５は、記憶部に保存される情報を示す図である。 図６は、画像処理方法の処理を示すフローチャートである。 図７は、動画像の保存パターンの例を示す図である。 図８は、動画像保存の処理を示す図である。 図９は、動画像の保存パターンの他の例を示す図である。 図１０は、動画像の保存パターンのさらに他の例を示す図である。 図１１は、病変動画像を元のファイルと同一のフォルダに保存する様子を示す図である。 図１２は、データ容量削減の様子を示す図である。 図１３は、病変動画像を用いた学習器の生成及び生成した学習器を用いた病変の検出の様子を示す図である。 図１４は、病変を識別表示する例を示す図である。 図１５は、病変を識別表示する例を示す他の図である。 図１６は、病変を識別表示する例を示すさらに他の図である。
　以下、添付図面を参照しつつ、本発明に係る画像処理装置、内視鏡システム、及び画像処理方法の実施形態について詳細に説明する。
　＜第１の実施形態＞
　図１は、第１の実施形態に係る内視鏡システム１０（画像処理装置、診断支援装置、内視鏡システム、医療画像処理装置）を示す外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１，２に示すように、内視鏡システム１０は、内視鏡本体１００（内視鏡）、プロセッサ２００（プロセッサ、画像処理装置、医療画像処理装置）、光源装置３００（光源装置）、及びモニタ４００（表示装置）から構成される。
　＜内視鏡本体の構成＞
　内視鏡本体１００は、手元操作部１０２（手元操作部）と、この手元操作部１０２に連設される挿入部１０４（挿入部）とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作を受け付ける撮影ボタン１４４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２（軟性部）、湾曲部１１４（湾曲部）、先端硬質部１１６（先端硬質部）で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０（撮像部）、照明部１２３、鉗子口１２６等が設けられる（図１～図３参照）。
　観察、処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／または狭帯域光（赤色狭帯域光、緑色狭帯域光、及び青色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２（撮影レンズ）、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
　図１～図３に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２（撮像部）が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４（撮像素子、撮像部）、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮影光学系１３０は、赤，緑，青の３色の画素信号からカラー画像を生成することもできるし、赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、第１の実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。なお、撮像素子１３４の各画素は紫色光源に対応した紫色カラーフィルタ、及び／または赤外光源に対応した赤外用フィルタをさらに備えていてもよい。
　被検体（腫瘍部、病変部）の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ２００に出力されて映像信号に変換される。これにより、プロセッサ２００に接続されたモニタ４００に観察画像が表示される。
　また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ（可視光用）、１２３Ｂ（赤外光用）が設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。
　＜光源装置の構成＞
　図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂを備えており、赤色、緑色、及び青色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を下げること、及び照明を停止することができる。
　光源３１０は赤色、緑色、青色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色の狭帯域光を同時に発光させて白色光（通常光）を観察光として照射することもできるし、いずれか１つもしくは２つを発光させることで狭帯域光（特殊光）を照射することもできる。光源３１０は、紫色光（狭帯域光の一例）を照射する紫色光源、赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を観察光として照射してもよい。
　＜光源の波長帯域＞
　光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。
　上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍの波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
　また、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
　また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する医用画像（生体内画像）を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤（フルオレスチン、アクリジンオレンジ等）を使用してもよい。
　光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて観察光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
　また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、観察光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する観察光の波長を（青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する観察光の波長を切り替えてもよい。また、１または複数の狭帯域光（緑色、青色等）を照射してロータリカラーフィルタ（緑色、青色等）により出射する観察光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。
　ライトガイドコネクタ１０８（図１参照）を光源装置３００に連結することにより、光源装置３００から照射された観察光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。
　＜プロセッサの構成＞
　図２に基づきプロセッサ２００の構成を説明する。プロセッサ２００は、内視鏡本体１００から出力される画像信号（動画像及び／または静止画像の画像信号）を画像入力コントローラ２０２を介して入力し、画像処理部２０４で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００（表示装置）に観察画像（生体内画像）が表示される。また、プロセッサ２００は、レポート情報及び解析、病変動画像の解析等を行う。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。すなわち、ＣＰＵ２１０は動画像取得部、レポート情報取得部、レポート情報解析部、動画像保存部としての機能を有する。記憶部２０７には、被写体の画像（動画像、静止画像）、取得したレポート情報及びその解析結果等が記憶される（後述）。音声処理部２０９は、ＣＰＵ２１０及び画像処理部２０４の制御により、関心領域の検出及び／または分類の結果に応じたメッセージ（音声）等をスピーカ２０９Ａから出力する。
　また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、本発明に係る画像処理方法をＣＰＵ２１０及び／または画像処理部２０４（画像処理装置、コンピュータ）に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。
　＜画像処理部の機能＞
　図４は画像処理部２０４（医療画像取得部、医療画像解析処理部、医療画像解析結果取得部）の機能構成を示す図である。画像処理部２０４は動画像取得部２０４Ａ（動画像取得部）、静止画像取得部２０４Ｂ、レポート情報取得部２０４Ｃ（レポート情報取得部）、レポート情報解析部２０４Ｄ（レポート情報解析部）、動画像保存部２０４Ｅ（動画像保存部）、及び表示制御部２０４Ｆ（画像補正部）を有する。レポート情報解析部２０４Ｄは医療画像解析処理部としても動作する。
　また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。
　また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医用画像（医療画像）としての特徴量画像を取得及び表示してもよい。
　画像処理部２０４のこれらの機能による処理については、詳細を後述する。なお、これらの機能による処理はＣＰＵ２１０の制御下で行われる。
　上述した画像処理部２０４の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
　各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力及び被写体の計測を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。
　＜操作部の構成＞
　プロセッサ２００は操作部２０８を備えている。操作部２０８は図示せぬ操作モード設定スイッチ等を備えており、観察光の波長（白色光か狭帯域光か、狭帯域光の場合いずれの狭帯域光を用いるか）を設定することができる。また、操作部２０８は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件、表示条件、及び動画像の保存条件等の設定操作を行うことができる。これらの設定操作は図示せぬフットスイッチを介して行っても良いし、音声、視線、ジェスチャ等により行ってもよい。なお、操作モードの設定は、上述のように手元操作部１０２の機能ボタン１４３（図１参照）に操作モード設定機能を割り付けて行ってもよい。
　＜記憶部の構成＞
　記憶部２０７（記録装置）は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体を含んで構成され、図５に示すように検査動画像２０７Ａ、レポート情報２０７Ｂ、レポート情報解析結果２０７Ｃ、及び病変動画像２０７Ｄが記憶（保存）される。これらの画像及び情報は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御によりモニタ４００に表示される。
　上述した画像の他に、医用画像（医療画像）に含まれる注目すべき領域である注目領域（関心領域）と、注目すべき態様の有無のいずれか、もしくは両方と、についての解析結果を記憶部２０７（記録装置）に記憶してもよい。この場合、画像処理部２０４（医療画像解析処理部、医療画像解析結果取得部）がそれら解析結果を記憶部２０７から取得してモニタ４００に表示することができる。
　＜表示装置の構成＞
　モニタ４００（表示装置）は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御により検査で取得した動画像及び／または静止画像、病変動画像、撮影条件設定画面、表示条件設定画面、レポート情報、レポート情報の解析結果（抽出結果）を示す情報等を表示する。また、モニタ４００は撮影条件設定操作及び／または表示条件設定操作を行うための図示せぬタッチパネルを有する。
　＜画像処理方法＞
　内視鏡システム１０を用いた画像処理方法について説明する。図６は第１の実施形態に係る画像処理方法の処理を示すフローチャートである。
　＜検査動画像の取得＞
　動画像取得部２０４Ａは、内視鏡による検査動画像を取得（撮影）する（ステップＳ１００：動画像取得工程）。検査では、挿入部１０４を被検体内に挿入、手元操作部１０２の操作（押し引き、上下左右に屈曲等）により先端硬質部１１６を所望の部位に位置させる。動画像の取得開始及び終了はユーザ操作によらず自動的に行ってもよいし、撮影ボタン１４４等に対するユーザの操作に応じて行ってもよい。検査動画像の取得は挿入部１０４の挿入時に行ってもよいし、引抜き時に行ってもよい。取得した検査動画像は、検査動画像２０７Ａとして記憶部２０７に保存される。また、静止画像取得部２０４Ｂは自動的に、またはユーザの操作に応じて静止画像を撮影し、記憶部２０７に保存する。
　＜レポート情報の取得＞
　レポート情報取得部２０４Ｃは、ステップＳ１００で取得した検査動画像に対応する検査のレポート情報を取得する（ステップＳ１１０：レポート情報取得工程）。ステップＳ１１０で取得するレポート情報は、検査動画像に対応する検査において取得された静止画像の被写体情報と静止画像の取得時間情報とのうち少なくとも一方を含む。ステップＳ１１０では、ユーザがステップＳ１００で取得した検査動画像、静止画像等を基に内視鏡システム１０を用いて作成され記憶部２０７に記憶されたレポート情報２０７Ｂを取得してもよいし（この場合、画像処理部２０４にレポート作成支援機能を設けることができる）、通信制御部２０５及びレポート情報取得部２０４Ｃが、別途作成されたレポートの情報を図示せぬ外部サーバ、データベース等から取得してもよい。また、レポート情報は検査情報を含んでいてもよい。検査情報とは例えば患者情報、医師情報、機器情報、病変情報（位置、サイズ、内視鏡所見、治療状況、病理検査結果など）、手技情報（挿入時間及び／または抜去時間、鎮静剤、処置具、色素剤、ＩＥＥ（Image Enhanced Endoscopy：画像強調内視鏡）の使用状況など）などを指す。検査情報はユーザが入力した情報でもよい。
　ステップＳ１１０において、画像に映った被写体の情報（被写体の位置、大きさ、種類等）を「被写体情報」として用いることができる。また、画像が撮影された絶対時刻（日本標準時等）、画像が撮影されたフレームの動画像の撮影開始からの経過時間、撮影時間に対応するカウンタのカウント数等、動画像において病変画像のタイミングを特定できる情報を「取得時間情報」として用いることができる。
　上述したレポート情報に含まれる「静止画像」には病変（関心領域）が映っていない画像も多く含まれる。したがって、静止画像の取得前後を保存した場合に、病変が映っていない場合がある。そこで第１の実施形態では、以下に説明するようにレポート情報から病変画像の情報を抽出し、解析結果（抽出結果）に基づいて病変画像を含む時間範囲についての動画像である病変動画像を保存する。
　＜レポート情報の解析＞
　レポート情報解析部２０４Ｄは、ステップＳ１１０で取得したレポート情報から、病変画像の被写体情報と病変画像の取得時間情報とのうち少なくとも一方を抽出する（ステップＳ１２０：レポート情報解析工程）。情報の抽出は、例えば静止画像が病変画像であるか否かを示す病変情報を含むレポート情報をレポート情報取得部２０４Ｃが取得し、取得した病変情報に基づいてレポート情報解析部２０４Ｄが病変画像の被写体情報及び／または取得時間情報を抽出することにより行うことができる。これらの病変情報、病変画像の被写体情報及び取得時間情報は、ユーザが操作部２０８を介してレポートに入力した情報でもよい。レポート情報解析部２０４Ｄは、レポート情報に含まれる検査情報から病変画像の被写体情報及び／または取得時間情報を抽出してもよい。
　＜病変動画像の保存＞
　動画像保存部２０４Ｅは、上述したレポート情報の解析結果（抽出結果）に基づいて、「検査動画像のうち病変画像を含む時間範囲についての動画像」である病変動画像を、病変動画像２０７Ｄとして記憶部２０７に保存する（ステップＳ１３０：動画像保存工程）。動画像保存部２０４Ｅは、ステップＳ１２０での解析（抽出）の結果に基づいて病変動画像を保存するか否か決定することができる。具体的には、レポート情報に病変画像及び／または病変情報が含まれている場合は病変動画像を保存し、含まれていない場合は「検査動画像には病変（関心領域）が含まれていない」と判断して病変動画像の保存処理を中止してもよい。例えば、図７の（ａ）部分に示すように時刻ｔ１～ｔ６にわたって取得された検査動画像１０１０の網掛け部分（時刻ｔ２～ｔ３及び時刻ｔ４～ｔ５）が病変の映った時間範囲である場合、図７の（ｃ）部分に示すように、動画像保存部２０４Ｅは検査動画像１０１０を病変動画像（病変画像を含む時間範囲についての動画像）として保存することができる。これに対して、図７の（ｂ）部分に示すように検査動画像１０２０に全く病変が映っていない場合、図７の（ｃ）部分に示すように、動画像保存部２０４Ｅは検査動画像１０２０を保存しなくてよい（あるいは、いったん保存した画像を削除する）。
　＜特定の病変の検出、検査内容等に応じた病変動画像の保存＞
　病変動画像については、上述のように病変が発見された検査について保存するほか、レポート情報の取得結果及び解析結果に基づいて、特定の病変（有病率の低いもの、検出困難症例等）が発見された検査について保存してもよい。例えば、病変のサイズが小さい場合、あるいは病変の形状が平坦で隆起がほとんどない場合に「検出が困難な病変」として病変動画像を保存することができる。また、例えば病理生検を行った場合（この場合、「生検をとる病変は、内視鏡所見で判断することが難しい」と考えられる）、あるいは病理生検の結果と内視鏡所見とに不整合がある場合（例えば、内視鏡所見では「線種疑い」となり生検をとったが病理結果は過形成ポリープであった、など）に「診断が困難な病変」として病変動画像を保存することができる。さらに、後述するように病変動画像を入力として機械学習により学習器を構築する場合、学習器の利用目的に応じて病変動画像を保存してもよい。例えば、スクリーニング中の病変検出（拾い上げ）を目的とする学習器を構築する場合はスクリーニング目的の検査のみ保存する（ＥＳＤ（Endoscopic Submucosal Dissection：内視鏡的粘膜下層剥離術）などの手技動画は機械学習等での利用価値が低い）、癌のステージ判別（粘膜内癌、進行癌など）を目的とする学習器を構築する場合はＥＳＤ、ＥＭＲ（ＥＭＲ：Endoscopic Mucosal Resection）等治療目的の検査についての病変動画像のみを保存する、等が考えられる。
　＜保存処理の態様＞
　ステップＳ１００～Ｓ１３０における処理は、例えば以下の態様により行うことができる。図８は、病変動画像の保存における、内視鏡システム１０の各部、及び処理に使用する情報の関係を示す図である。例えば図８の（ａ）部分に示すように、ステップＳ１００で取得した検査動画像を動画像取得部２０４ＡがＲＡＭ２１２に一時的に保存し、動画像保存部２０４Ｅが、必要な部分を病変動画像２０７Ｄとして記憶部２０７に保存することができる（具体的な保存パターンについては、後述する図９～１２を参照）。また、図８の（ｂ）部分に示すように、動画像取得部２０４Ａ（及び動画像保存部２０４Ｅ）が、ステップＳ１００で取得した検査動画像を病変動画像２０７Ｄとして記憶部２０７に保存し、不要な部分を動画像保存部２０４Ｅが削除してもよい。このように必要な部分を保存（あるいは不要な部分を削除）する処理は、例えばレポート情報解析部２０４Ｄ（レポート情報解析部）が被写体情報を検査動画像とマッチングして検査動画像のうち病変画像を含む時間範囲を決定し、決定した時間範囲を動画像保存部２０４Ｅが保存することにより行うことができる。また、被写体情報がない場合でも、レポート情報の解析により病変画像の取得時間情報が抽出できれば病変動画像を保存することができる。
　＜病変動画像の保存パターン＞
　病変動画像の保存パターン（最終的な保存形態を意味し、図８のいずれのパターンにより処理されるかを問わない）について、以下説明する。これらのパターンのいずれにより処理するかは、ユーザの指示によらずに画像処理部２０４が決定してもよいし、操作部２０８を介したユーザの指示に応じて決定してもよい。
　（パターン１）
　動画像保存部２０４Ｅは、検査動画の時間的に離れた部分を別の動画像として保存することができる。例えば、図９の（ａ）部分に示すように元の検査動画像１０１０のうち病変が映っている時刻ｔ２～ｔ３までを１つの病変動画像１０１０Ａとして記憶部２０７に保存し、病変が映っている時刻ｔ４～ｔ５までを別の病変動画像１０１０Ｂとして保存することができる。この際、図９の（ｂ）部分に示すように、（時刻ｔ２－Δｔ）～（時刻ｔ３＋Δｔ）にわたっての病変動画像１０１０Ｃ、及び／または（時刻ｔ４－Δｔ）～（時刻ｔ５＋Δｔ）にわたっての病変動画像１０１０Ｄを保存してもよい（Δｔの期間は病変が映っていない期間である。Δｔの長さは動画像のデータ量に対する制約等を考慮して設定することができる）。Δｔの期間については元の検査動画像の一部を用いてもよいし、画像処理により作成した画像を用いてもよい。
　なお、動画像保存部２０４Ｅは、時間的に離れた部分を別の動画像として保存するのに加え、あるいはこれに代えて、異なる病変が映された時間範囲を独立した動画像として保存してもよい。
　（パターン２）
　動画像保存部２０４Ｅは、検査動画の時間的に離れた部分を１つの動画像として保存することができる。例えば、図９の（ａ）部分に示す病変動画像１０１０Ａ，１０１０Ｂをまとめて、図１０の（ａ）部分に示すように１つの病変動画像１０４０として保存することができる。この際、図１０の（ｂ）部分に示す病変動画像１０５０のように、病変動画像１０１０Ａ，１０１０Ｂの部分の間に長さΔｔの期間（病変が映っていない期間）を設けてもよい。
　＜検査動画像と病変動画像との関連づけ＞
　上述のように病変動画像を保存する場合、画像の管理、利用等を考慮すると、元の検査動画像と病変動画像とを関連づけておくことが好ましい。例えば、図９の（ａ）部分に示すように検査動画像１０１０の一部を独立した病変動画像１０１０Ａ，１０１０Ｂとして保存する場合、図１１に示すように病変動画像２０７Ｄの保存領域（記憶部２０７）における同一のフォルダ１０１０Ｆ（例えば検査ごとに、あるいは検査動画像ごとに作成したフォルダで、検査動画像１０１０を保存したフォルダ）に病変動画像１０１０Ａ，１０１０Ｂを保存することにより、これら画像を関連づけておくことができる（図１１は、病変動画像１０１０Ａ，１０１０Ｂの保存に伴い元の検査動画像１０１０を削除した状態を示している）。異なるフォルダに保存する場合でも、例えば最終的な病変動画像のファイルのヘッダ部分に元の検査動画像及び／または他の病変動画像の識別情報を記録することにより、関連づけを行うことができる。
　＜フレームレートの変更等によるデータ容量の削減＞
　動画像保存部２０４Ｅは、検査動画像について病変動画像を保存する場合、病変画像が含まれる時間範囲以外についてフレームレートを下げる処理、及び／または時間範囲以外について解像度を下げる処理を検査動画像に施すことにより、検査動画像よりもデータ容量を少なくした小容量動画像を保存してもよい。例えば図１２に示すように、動画像保存部２０４Ｅは、元の検査動画像１０１０に対し病変が映っていない期間（病変画像を含む時間範囲以外：図１２では時刻ｔ１～ｔ２、ｔ３～ｔ４、ｔ５～ｔ６）のフレームレート（あるいは解像度）をHighからLowに下げる処理を施すことにより元の検査動画像１０１０よりもデータ容量を少なくした小容量動画像１０１１（小容量動画像）を病変動画像として保存することができる。このような処理により、病変動画像を効率的に保存することができる。なお、病変画像が含まれる時間範囲以外だけでなく、病変画像が含まれる時間範囲についても、画像内容に応じてフレームレート及び／または解像度を変更してもよい。例えば、有病率の低いもの、検出困難症例等特定の病変を含む場合は、その他の場合よりもフレームレート及び／または解像度を相対的に高くすることができる。この場合「特定の病変の検出、検査内容等に応じた病変動画像の保存」の項で上述したのと同様のケースを「特定の病変」とすることできる。また、同項で上述したように機械学習の目的に応じ特定種類の検査について病変動画像を保存する場合に、その他の検査について病変動画像を保存する場合よりもフレームレート及び／または解像度を相対的に高くしてもよい。
　以上説明したように、第１の実施形態に係る内視鏡システム１０では、病変動画像を効率的に保存することができる。
　＜病変動画像を入力とした学習器の構築＞
　上述の処理により保存した病変動画像を入力として、病変の自動検出用の学習器を生成することができる。例えば、図１３の（ａ）部分に示すように、病変動画像２０７Ｄを学習データとして入力し、学習器構築部２０４Ｇが学習器２０４Ｈを構築することができる。学習器２０４Ｈを構築する際、病変である旨、及び／または病変の種類等をラベルとして画像に付して教師データとしてもよい。なお、学習器構築部２０４Ｇ、学習器２０４Ｈを内視鏡システム１０（画像処理部２０４）の構成要素としてもよいし、独立した装置を用いてもよい。上述したように、内視鏡システム１０では検査動画像のうち病変画像を含む時間範囲についての動画像である病変動画像を保存するので、この病変動画像を入力として効率良く学習を行って学習器を構築することができる。
　＜深層学習アルゴリズムを用いる学習器の構築＞
　学習器構築部２０４Ｇは、深層学習の手法を用いる学習器を構築してもよい。例えば、病変動画像に対し深層学習アルゴリズムに基づき深層学習（ディープラーニング）を用いた画像解析処理を行うことにより入力画像に病変が含まれるか否かを解析する学習器を構築してもよい。深層学習アルゴリズムは、コンボリューションニューラルネットワーク（畳み込みニューラルネットワーク）の手法、すなわち畳み込み層及びプーリング層の繰り返しと、全結合層と、出力層とを経て、画像に病変（関心領域）が含まれている否かを認識するアルゴリズムである。
　＜病変の検出＞
　上述のように構築した学習器２０４Ｈを用いて、検査動画像から病変を検出することができる。図１３の（ｂ）部分は、検査で取得した検査動画像２０７Ａを学習器２０４Ｈに入力して、病変（関心領域）についての検出結果２０７Ｅを得る様子を示している。学習器２０４Ｈで検出する病変の例としては、ポリープ、癌、大腸憩室、炎症、治療痕（ＥＭＲ瘢痕（ＥＭＲ：Endoscopic Mucosal Resection）、ＥＳＤ瘢痕（ＥＳＤ：Endoscopic Submucosal Dissection）、クリップ箇所等）、出血点、穿孔、血管異型性などを挙げることができる。
　＜病変の分類＞
　学習器２０４Ｈを用いて、検査動画像２０７Ａから検出した病変を分類してもよい。分類の例としては、ポリープの分類（腫瘍性か非腫瘍性か）、癌のステージ診断、管腔内の現在位置（上部であれば咽頭、食道、胃、十二指腸等、下部であれば盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸等）等を挙げることができる。病変の分類は検出と一体として行ってもよい。
　＜画像の表示例＞
　内視鏡システム１０において、表示制御部２０４Ｆは、検査動画像２０７Ａ、病変動画像２０７Ｄ、自動的にまたはユーザの操作に応じて撮影した静止画像等の画像をモニタ４００（表示装置）に表示させることができる。画像を表示する際に画像から病変を検出する処理を行い、検出結果に応じて病変を識別表示してもよい。この検出処理は、公知のＣＡＤシステム（ＣＡＤ：Computer Aided Diagnosis）を利用した検出部、上述した学習器等を画像処理部２０４に設けることにより行うことができる。
　図１４の例に示すように、表示制御部２０４Ｆはモニタ４００に第１の画像表示領域５００、第２の画像表示領域５１０、患者情報表示領域５２０を表示させることができる。図１４の例では、第１の画像表示領域５００には画像５０２が表示され、画像５０２においてポリープ５０４Ａ，５０４Ｂが検出されている。第２の画像表示領域５１０には、画像５０２と異なる時刻に撮影された画像５１２～５１８が表示されている。また、図１４の例ではポリープ５０４Ａ，５０４Ｂに対して枠５０６Ａ，５０６Ｂがそれぞれ表示されている。図１４に示すように、表示制御部２０４Ｆは第１の画像表示領域５００の第２象限部分のエッジに枠５０６Ａを表示し、第４象限部分のエッジに枠５０６Ｂを表示している（第１～第４象限は、第１の画像表示領域５００の中心を基準としている）。図１４に示すように枠５０６Ａ，５０６Ｂを表示することにより、ユーザはポリープ５０４Ａ，５０４Ｂを容易に認識することができる。また、枠５０６Ａ，５０６Ｂは第１の画像表示領域５００のエッジに表示されるので、枠５０６Ａ，５０６Ｂが画像５０２を遮ることがなく、ユーザは観察、診断を円滑に行うことができる。
　図１５，１６は画像表示の他の例を示す図である。図１５に示すように、画像５０３においてポリープ５０４Ｃを枠５０６Ｄで囲むことにより、ポリープ５０４Ｃの位置を明確に提示することができる。この場合、ポリープ５０４Ｃの検出時は図１５に示すように枠５０６Ｃを強調して（例えば太い線で）表示し、検出から時間が経過（例えば数秒程度）したら図１６に示すように強調度合いを下げて表示する（例えば、枠５０６Ｄのように細い線で表示する、あるいは表示を徐々に暗くしていく、徐々に消していく等）ことにより、枠の表示が観察、診断の妨げにならないようにすることができる。
　上述した枠は、検出されたポリープ（病変）の数、位置、大きさ等に応じて表示することができる。例えば、図１４の態様においてポリープ（病変）が画像５０２の第１、第３象限部分で検出された場合は、第１の画像表示領域５００の第１，第３象限部分のエッジに枠を表示することができる。また、図１５，１６の態様においてポリープが複数検出された場合は、各ポリープについて図１５，１６の例と同様の枠を表示することができる。また、これらの枠の色、明るさ、太さ等の表示条件はユーザの操作に応じて設定してもよいし、ユーザの操作によらずに表示制御部２０４Ｆが設定してもよい。なお、モニタ４００に動画像を表示する場合、病変の検出を連続的に（例えば、動画像の各フレームについて）行い、検出結果に応じて枠の数、位置、及び大きさ等を変化させて表示することができる。
　（付記）
　上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
　（付記１）
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
　医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　（付記２）
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
　医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　（付記３）
　医療画像解析結果取得部は、
　医療画像の解析結果を記録する記録装置から取得し、
　解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
　（付記４）
　医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
　（付記５）
　医療画像は、特定の波長帯域の光を照射して得た画像であり、
　特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
　（付記６）
　特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
　（付記７）
　特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　（付記８）
　特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
　（付記９）
　特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　（付記１０）
　特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
　（付記１１）
　特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　（付記１２）
　医療画像は生体内を写した生体内画像であり、
　生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
　（付記１３）
　蛍光は、ピークが３９０以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
　（付記１４）
　医療画像は生体内を写した生体内画像であり、
　特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
　（付記１５）
　特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　（付記１６）
　医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
　医療画像は特殊光画像である医療画像処理装置。
　（付記１７）
　特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。
　（付記１８）
　白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
　医療画像は特徴量画像である医療画像処理装置。
　（付記１９）
　付記１から１８のいずれか１つに記載の医療画像処理装置と、
　白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
　を備える内視鏡装置。
　（付記２０）
　付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
　（付記２１）
　付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
　以上で本発明の実施形態及び他の態様に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１０　　　　：内視鏡システム
１００　　　：内視鏡本体
１０２　　　：手元操作部
１０４　　　：挿入部
１０６　　　：ユニバーサルケーブル
１０８　　　：ライトガイドコネクタ
１１２　　　：軟性部
１１４　　　：湾曲部
１１６　　　：先端硬質部
１１６Ａ　　：先端側端面
１２３　　　：照明部
１２３Ａ　　：照明用レンズ
１２３Ｂ　　：照明用レンズ
１２６　　　：鉗子口
１３０　　　：撮影光学系
１３２　　　：撮影レンズ
１３４　　　：撮像素子
１３６　　　：駆動回路
１３８　　　：ＡＦＥ
１４１　　　：送気送水ボタン
１４２　　　：吸引ボタン
１４３　　　：機能ボタン
１４４　　　：撮影ボタン
１７０　　　：ライトガイド
２００　　　：プロセッサ
２０２　　　：画像入力コントローラ
２０４　　　：画像処理部
２０４Ａ　　：動画像取得部
２０４Ｂ　　：静止画像取得部
２０４Ｃ　　：レポート情報取得部
２０４Ｄ　　：レポート情報解析部
２０４Ｅ　　：動画像保存部
２０４Ｆ　　：表示制御部
２０４Ｇ　　：学習器構築部
２０４Ｈ　　：学習器
２０５　　　：通信制御部
２０６　　　：ビデオ出力部
２０７　　　：記憶部
２０７Ａ　　：検査動画像
２０７Ｂ　　：レポート情報
２０７Ｃ　　：レポート情報解析結果
２０７Ｄ　　：病変動画像
２０７Ｅ　　：検出結果
２０８　　　：操作部
２０９　　　：音声処理部
２０９Ａ　　：スピーカ
２１０　　　：ＣＰＵ
２１１　　　：ＲＯＭ
２１２　　　：ＲＡＭ
３００　　　：光源装置
３１０　　　：光源
３１０Ｂ　　：青色光源
３１０Ｇ　　：緑色光源
３１０Ｒ　　：赤色光源
３３０　　　：絞り
３４０　　　：集光レンズ
３５０　　　：光源制御部
４００　　　：モニタ
５００　　　：第１の画像表示領域
５０２　　　：画像
５０３　　　：画像
５０４Ａ　　：ポリープ
５０４Ｂ　　：ポリープ
５０４Ｃ　　：ポリープ
５０６Ａ　　：枠
５０６Ｂ　　：枠
５０６Ｃ　　：枠
５０６Ｄ　　：枠
５１０　　　：第２の画像表示領域
５１２　　　：画像
５１４　　　：画像
５１６　　　：画像
５１８　　　：画像
５２０　　　：患者情報表示領域
１０１０　　：検査動画像
１０１０Ａ　：病変動画像
１０１０Ｂ　：病変動画像
１０１０Ｃ　：病変動画像
１０１０Ｄ　：病変動画像
１０１０Ｆ　：フォルダ
１０１１　　：小容量動画像
１０２０　　：検査動画像
１０４０　　：病変動画像
１０５０　　：病変動画像
Ｓ１００～Ｓ１３０　：画像処理方法の各ステップ

Claims (10)

  1. 　内視鏡による検査動画像を取得する動画像取得部と、
    　前記検査動画像に対応する検査のレポート情報であって、前記検査において取得された静止画像の被写体情報と前記静止画像の取得時間情報とのうち少なくとも一方を含むレポート情報を取得するレポート情報取得部と、
    　前記レポート情報から、病変画像の被写体情報と前記病変画像の取得時間情報とのうち少なくとも一方を抽出するレポート情報解析部と、
    　前記抽出の結果に基づいて、前記検査動画像のうち前記病変画像を含む時間範囲についての動画像である病変動画像を保存する動画像保存部と、
    　を備える画像処理装置。
  2. 　前記レポート情報取得部は、前記静止画像が前記病変画像であるか否かを示す病変情報を含む前記レポート情報を取得し、
    　前記レポート情報解析部は、前記病変情報に基づいて前記病変画像の前記被写体情報及び／または前記取得時間情報を抽出する請求項１に記載の画像処理装置。
  3. 　前記動画像保存部は、前記抽出の結果に基づいて前記病変動画像を保存するか否か決定する請求項１または２に記載の画像処理装置。
  4. 　前記レポート情報解析部は、前記レポート情報に含まれる前記被写体情報を前記検査動画像とマッチングすることにより、前記検査動画像のうち前記病変画像を含む前記時間範囲を決定し、
    　前記動画像保存部は、前記決定した前記時間範囲について前記病変動画像を保存する請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記レポート情報解析部は前記病変画像の前記取得時間情報を抽出し、
    　前記動画像保存部は前記抽出した前記取得時間情報に基づいて前記検査動画像を保存する請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記レポート情報取得部は、ユーザが入力した取得時間情報を前記静止画像の前記取得時間情報として取得し、
    　前記レポート情報解析部は、前記レポート情報取得部が取得した前記取得時間情報を前記病変画像の前記取得時間情報として抽出する請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記動画像保存部は、前記検査動画像のうち異なる病変が映された時間範囲を独立した動画像として保存する請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記動画像保存部は、前記検査動画像について前記病変動画像を保存する場合、前記検査動画像に対し前記時間範囲以外についてフレームレートを下げる処理及び／または前記時間範囲以外について解像度を下げる処理を施すことにより、前記検査動画像よりもデータ容量を少なくした小容量動画像を保存する請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　請求項１から８のいずれか１項に記載の画像処理装置と、
    　被検体に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された手元操作部と、を有する内視鏡と、
    　前記先端硬質部に設けられ前記被検体の光学像を結像させる撮影レンズと、前記撮影レンズにより前記光学像が結像する撮像素子と、を有する撮像部と、
    　を備え、
    　前記動画像取得部は前記撮像部により撮影した前記検査動画像を取得する内視鏡システム。
  10. 　内視鏡による検査動画像を取得する動画像取得工程と、
    　前記検査動画像に対応する検査のレポート情報であって、前記検査において取得された静止画像の被写体情報と前記静止画像の取得時間情報とのうち少なくとも一方を含むレポート情報を取得するレポート情報取得工程と、
    　前記レポート情報から、病変画像の被写体情報と前記病変画像の取得時間情報とのうち少なくとも一方を抽出するレポート情報解析工程と、
    　前記抽出の結果に基づいて、前記検査動画像のうち前記病変画像を含む時間範囲についての動画像である病変動画像を保存する動画像保存工程と、
    　を有する画像処理方法。
PCT/JP2019/015134 2018-04-13 2019-04-05 画像処理装置、内視鏡システム、及び画像処理方法 WO2019198637A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020513241A JP7170032B2 (ja) 2018-04-13 2019-04-05 画像処理装置、内視鏡システム、及び画像処理方法
CN201980023991.6A CN111936032B (zh) 2018-04-13 2019-04-05 图像处理装置、内窥镜系统及图像处理方法
EP19784471.5A EP3777644A4 (en) 2018-04-13 2019-04-05 IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM AND IMAGE PROCESSING METHOD
US17/035,738 US11992178B2 (en) 2018-04-13 2020-09-29 Image processing device, endoscope system, and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018077661 2018-04-13
JP2018-077661 2018-04-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/035,738 Continuation US11992178B2 (en) 2018-04-13 2020-09-29 Image processing device, endoscope system, and image processing method

Publications (1)

Publication Number Publication Date
WO2019198637A1 true WO2019198637A1 (ja) 2019-10-17

Family

ID=68164075

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/015134 WO2019198637A1 (ja) 2018-04-13 2019-04-05 画像処理装置、内視鏡システム、及び画像処理方法

Country Status (4)

Country Link
EP (1) EP3777644A4 (ja)
JP (1) JP7170032B2 (ja)
CN (1) CN111936032B (ja)
WO (1) WO2019198637A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021075418A1 (ja) * 2019-10-18 2021-04-22 国立大学法人鳥取大学 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体
WO2021224981A1 (ja) * 2020-05-08 2021-11-11 オリンパス株式会社 内視鏡システム及び照明制御方法
WO2023089718A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
WO2023089719A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 映像編集装置、映像編集方法、及び、記録媒体
WO2023166647A1 (ja) * 2022-03-03 2023-09-07 オリンパスメディカルシステムズ株式会社 医療支援システムおよび画像表示方法
JP7441452B2 (ja) 2019-10-28 2024-03-01 国立大学法人鳥取大学 教師データ生成方法、学習済みモデル生成方法、および発病予測方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210307597A1 (en) * 2018-07-23 2021-10-07 The Regents Of The University Of California Oral and oropharyngeal cancer screening system and methods of use
CN115277985A (zh) * 2022-06-24 2022-11-01 江苏济远医疗科技有限公司 一种多功能内窥镜图像处理装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008237640A (ja) 2007-03-28 2008-10-09 Fujifilm Corp カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の動作制御方法
WO2012165381A1 (ja) * 2011-05-30 2012-12-06 オリンパスメディカルシステムズ株式会社 医療情報記録装置
JP2014042727A (ja) 2012-08-28 2014-03-13 Fujifilm Corp 医療画像記録装置及びその記録方法並びに医療画像記録プログラム
JP2014147483A (ja) * 2013-01-31 2014-08-21 Olympus Corp 内視鏡装置
WO2015029584A1 (ja) 2013-08-30 2015-03-05 オリンパスメディカルシステムズ株式会社 画像管理装置
JP2015195845A (ja) * 2014-03-31 2015-11-09 富士フイルム株式会社 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法
WO2017104192A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 医用観察システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007075163A (ja) * 2005-09-09 2007-03-29 Olympus Medical Systems Corp 画像表示装置
JP4594835B2 (ja) * 2005-09-09 2010-12-08 オリンパスメディカルシステムズ株式会社 画像表示装置
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
JP2012014129A (ja) * 2010-07-05 2012-01-19 Olympus Corp 内視鏡装置及び内視鏡装置を用いた検査方法
JP6242072B2 (ja) 2012-09-27 2017-12-06 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
WO2015020093A1 (ja) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 手術画像観察装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008237640A (ja) 2007-03-28 2008-10-09 Fujifilm Corp カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の動作制御方法
WO2012165381A1 (ja) * 2011-05-30 2012-12-06 オリンパスメディカルシステムズ株式会社 医療情報記録装置
JP2014042727A (ja) 2012-08-28 2014-03-13 Fujifilm Corp 医療画像記録装置及びその記録方法並びに医療画像記録プログラム
JP2014147483A (ja) * 2013-01-31 2014-08-21 Olympus Corp 内視鏡装置
WO2015029584A1 (ja) 2013-08-30 2015-03-05 オリンパスメディカルシステムズ株式会社 画像管理装置
JP2015195845A (ja) * 2014-03-31 2015-11-09 富士フイルム株式会社 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法
WO2017104192A1 (ja) * 2015-12-17 2017-06-22 オリンパス株式会社 医用観察システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3777644A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021075418A1 (ja) * 2019-10-18 2021-04-22 国立大学法人鳥取大学 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体
JP7441452B2 (ja) 2019-10-28 2024-03-01 国立大学法人鳥取大学 教師データ生成方法、学習済みモデル生成方法、および発病予測方法
WO2021224981A1 (ja) * 2020-05-08 2021-11-11 オリンパス株式会社 内視鏡システム及び照明制御方法
WO2023089718A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
WO2023089719A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 映像編集装置、映像編集方法、及び、記録媒体
WO2023166647A1 (ja) * 2022-03-03 2023-09-07 オリンパスメディカルシステムズ株式会社 医療支援システムおよび画像表示方法

Also Published As

Publication number Publication date
EP3777644A4 (en) 2021-09-22
JPWO2019198637A1 (ja) 2021-04-15
US20210012495A1 (en) 2021-01-14
EP3777644A1 (en) 2021-02-17
JP7170032B2 (ja) 2022-11-11
CN111936032B (zh) 2024-03-26
CN111936032A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US11600385B2 (en) Medical image processing device, endoscope system, diagnosis support method, and program
JP7430287B2 (ja) 医用画像処理装置及び内視鏡システム
JP7176041B2 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP6941233B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7048732B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2020162275A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
JP2020069300A (ja) 医療診断支援装置、内視鏡システム、及び医療診断支援方法
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP6907324B2 (ja) 診断支援システム、内視鏡システム及び診断支援方法
US11398033B2 (en) Diagnosis support system, endoscope system, processor, and diagnosis support method
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JP2023026480A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
WO2020184257A1 (ja) 医用画像処理装置及び方法
JP7289241B2 (ja) ファイリング装置、ファイリング方法及びプログラム
CN116234487A (zh) 医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图像处理程序
US11992178B2 (en) Image processing device, endoscope system, and image processing method
WO2022181748A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19784471

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020513241

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019784471

Country of ref document: EP