WO2020059445A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2020059445A1
WO2020059445A1 PCT/JP2019/033598 JP2019033598W WO2020059445A1 WO 2020059445 A1 WO2020059445 A1 WO 2020059445A1 JP 2019033598 W JP2019033598 W JP 2019033598W WO 2020059445 A1 WO2020059445 A1 WO 2020059445A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
polygon
image processing
ellipse
time
Prior art date
Application number
PCT/JP2019/033598
Other languages
English (en)
French (fr)
Inventor
稔宏 臼田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020548220A priority Critical patent/JP7125499B2/ja
Publication of WO2020059445A1 publication Critical patent/WO2020059445A1/ja
Priority to US17/200,914 priority patent/US20210196101A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an image processing apparatus and an image processing method, and more particularly, to a technique for superimposing and displaying a graphic on a time-series image.
  • Patent Literature 1 describes displaying a rectangular marker (Bounding @ Box) surrounding a lesion candidate region on an observation image of a subject acquired by an endoscope apparatus.
  • the conventional technology did not support smooth observation while alerting the observer of the time-series image.
  • the present invention has been made in view of such circumstances, and has as its object to provide an image processing apparatus and an image processing method that support smooth observation while alerting a viewer of a time-series image.
  • an image processing apparatus includes an image input unit that inputs a time-series image, an information acquisition unit that obtains information of a region of interest in the time-series image, An area smaller than the area of a circumscribed rectangle which is a rectangle circumscribing the region, the rectangle being composed of two sides parallel to the horizontal axis of the time-series image and the other two sides parallel to the vertical axis of the time-series image
  • a display control unit that superimposes the figures arranged at the plurality of positions on the time-series image and displays the time-series image on the display device.
  • a figure is superimposed on the time-series image to call attention to the observer. Since the figure to be superimposed and displayed is a figure based on a polygon or an ellipse having an area equal to or smaller than the area of the circumscribed rectangle, it is possible to reduce a portion that is not the attention area and reduce the degree of obstruction of observation. Thus, smooth observation can be supported while alerting the observer of the time-series image. Note that it is preferable to display a graphic that does not overlap with the attention area in order not to hinder observation.
  • the type of the image or the subject is not particularly limited.
  • a medical image, an image of a person or a landscape, or the like may be used.
  • the “ellipse” includes a circle (true circle).
  • the display control unit causes the display device to display a graphic arranged at a vertex of the polygon and having a shape changed according to an inner angle at the vertex as a graphic.
  • the display control unit causes the display device to display a graphic arranged at a vertex of the polygon and having a shape changed according to an inner angle at the vertex as a graphic.
  • observation is prevented as much as possible by arranging figures at the vertices of a polygon.
  • the interior angle may not be equal depending on the type of the polygon, so the shape is changed according to the interior angle.
  • the image processing apparatus is the image processing apparatus according to the first aspect, wherein the display control unit displays, on the display device, a graphic arranged at a vertex of the polygon and whose size and / or shape does not depend on an inner angle at the vertex. Let it. In the third mode, the figure is arranged at the vertices of the polygon so that observation is not hindered as much as possible.
  • An image processing apparatus is the image processing apparatus according to any one of the first to third aspects, wherein the display control unit is configured to display a figure constituted by a side or a part of the side of the polygon, or a circumference of the ellipse or A graphic constituted by a part of the circumference is displayed on the display device as a graphic.
  • the display control unit is configured to display a figure constituted by a side or a part of the side of the polygon, or a circumference of the ellipse or A graphic constituted by a part of the circumference is displayed on the display device as a graphic.
  • a figure constituted by a side or a part of a side a circumference or a part of a circumference is displayed so as to minimize obstruction of observation.
  • the ratio of “part” can be set according to the degree of emphasizing or identifying the attention area.
  • the image processing apparatus is the image processing device according to any one of the first to fourth aspects, wherein the graphic calculation unit includes a first axis and a second axis intersecting the first axis with respect to the attention area. Are set, and a quadrangle formed by two sides parallel to the first axis and two sides parallel to the second axis is calculated as a polygon.
  • the fifth mode defines one mode of a quadrangle calculation method. For example, an axis having a longest length and a shortest axis which intersect with a region of interest are defined as a first axis and a second axis, respectively. Can be.
  • the graphic calculation section calculates the polygon or the ellipse by calculating the major axis and the minor axis of the ellipse by approximating the area of interest with the ellipse.
  • a quadrangle as a polygon can be calculated using one of the long axis and the short axis as a first axis and the other as a second axis.
  • Elliptic approximation is an aspect of an ellipse calculation method, and also an aspect of a two-axis calculation method that defines a polygon (quadrilateral).
  • the graphic calculation unit calculates a rectangle as a rectangle.
  • a rectangle is an embodiment of a rectangle.
  • the image input unit inputs an image of the subject acquired by the endoscope apparatus as a time-series image.
  • a lesion area, a lesion candidate area, and the like can be set as the attention area.
  • the information acquisition unit analyzes the time-series image to acquire information of the attention area.
  • a machine learning algorithm may be used for analyzing the time-series image.
  • An image processing apparatus is the image processing apparatus according to any one of the first to ninth aspects, wherein a user inputs a polygon or an ellipse calculated by the graphic calculation unit and / or a graphic displayed by the display control unit. And a condition setting unit for setting based on the condition. According to the tenth aspect, the user can calculate and / or display a graphic under desired conditions.
  • an image processing method includes an image inputting step of inputting a time-series image, an information obtaining step of obtaining information of an attention area in the time-series image, And has an area equal to or smaller than the area of a circumscribed rectangle which is a rectangle formed by two sides parallel to the horizontal axis of the time-series image and the other two sides parallel to the vertical axis of the time-series image.
  • a program for causing a computer to execute the image processing method according to these aspects, and a non-transitory recording medium that records a computer-readable code of such a program can also be mentioned as aspects of the present invention.
  • the “computer” in these programs and recording media can be realized using one or more processors such as a CPU (Central Processing Unit).
  • FIG. 1 is an external view illustrating the endoscope system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a main configuration of the endoscope system.
  • FIG. 3 is a diagram illustrating a functional configuration of the image processing unit.
  • FIG. 4 is a flowchart illustrating processing of the image processing method according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of the display condition setting screen.
  • FIG. 6 is a diagram showing another example of the display condition setting screen.
  • FIG. 7 is a diagram illustrating an example of a circumscribed rectangle for the attention area.
  • FIG. 8 is a diagram illustrating an example of a rectangular or parallelogram graphic.
  • FIG. 9 is a diagram illustrating a setting example of the first and second axes.
  • FIG. 1 is an external view illustrating the endoscope system according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a main configuration of the endoscope system.
  • FIG. 3 is a diagram illustrating
  • FIG. 10 is a diagram illustrating a state of calculating an ellipse.
  • FIG. 11 is a diagram showing a state in which a figure is arranged on the sides and vertices of a rectangle.
  • FIG. 12 is another diagram showing a state where a figure is arranged on a rectangular side.
  • FIG. 13 is a diagram illustrating a state in which a figure is arranged on a side of a parallelogram.
  • FIG. 14 is another view showing a state where a figure is arranged on a side of a parallelogram.
  • FIG. 15 is a diagram showing a state where a figure is arranged around the circumference of an ellipse.
  • FIG. 16 is a diagram illustrating a state in which a figure is arranged on the sides of a triangle.
  • FIG. 17 is a diagram illustrating an example of a graphic display when a part of the attention area is reflected in an image.
  • FIG. 1 is an external view showing an endoscope system 10 (endoscope apparatus, image processing apparatus, diagnosis support apparatus, endoscope system, medical image processing apparatus) according to the first embodiment
  • FIG. FIG. 2 is a block diagram illustrating a main configuration of the endoscope system 10.
  • the endoscope system 10 includes an endoscope main body 100 (endoscope device), a processor 200 (processor, image processing device, medical image processing device), and a light source device 300 (light source device). , And a monitor 400 (display device).
  • the endoscope main body 100 includes a hand operation unit 102 (hand operation unit) and an insertion unit 104 (insertion unit) connected to the hand operation unit 102.
  • the surgeon grasps and operates the operation unit 102 at hand, and inserts the insertion unit 104 into the body of the subject (living body) to observe.
  • the hand operation unit 102 is provided with an air / water supply button 141, a suction button 142, a function button 143 to which various functions are assigned, and a photographing button 144 for receiving a photographing instruction operation (still image, moving image). .
  • the insertion section 104 includes a flexible section 112 (flexible section), a curved section 114 (curved section), and a rigid distal section 116 (rigid distal section) in this order from the hand operation section 102 side. That is, the bending portion 114 is connected to the proximal end side of the distal end hard portion 116, and the flexible portion 112 is connected to the proximal end side of the bending portion 114.
  • the hand operation unit 102 is connected to the proximal end side of the insertion unit 104. The user can bend the bending section 114 by operating the hand operation section 102 to change the direction of the distal end hard section 116 up, down, left, and right.
  • the distal end hard section 116 is provided with a photographing optical system 130 (imaging section), an illumination section 123, a forceps port 126, and the like (see FIGS. 1 and 2).
  • white light and / or narrow-band light are emitted from the illumination lenses 123A and 123B of the illumination unit 123 by operating the operation unit 208 (see FIG. 2).
  • One or more of blue narrow-band light and purple narrow-band light are emitted from the illumination lenses 123A and 123B of the illumination unit 123 by operating the operation unit 208 (see FIG. 2).
  • One or more of blue narrow-band light and purple narrow-band light are discharged from a water supply nozzle (not shown) by operating the air supply / water supply button 141 to clean the photographing lens 132 (photographing lens, image pickup unit) of the photographing optical system 130 and the illumination lenses 123A and 123B.
  • a conduit (not shown) communicates with the forceps port 126 opened at the distal end hard portion 116, and a treatment tool (not shown) for removing a tumor or the like is inserted into the conduit, and is appropriately advanced and retracted to the subject. Necessary measures can be taken.
  • a photographing lens 132 (imaging unit) is disposed on the distal end face 116A of the distal end hard portion 116.
  • a CMOS (Complementary Metal-Oxide Semiconductor) type image pickup device 134 image pickup device, image pickup unit
  • a drive circuit 136 drive circuit 136
  • an AFE 138 Analog Front End
  • the image sensor 134 is a color image sensor, and is configured by a plurality of light receiving elements arranged in a matrix (two-dimensional array) in a specific pattern arrangement (Bayer arrangement, X-Trans (registered trademark) arrangement, honeycomb arrangement, or the like). A plurality of pixels.
  • Each pixel of the imaging element 134 includes a microlens, a red (R), green (G), or blue (B) color filter and a photoelectric conversion unit (such as a photodiode).
  • the imaging optical system 130 can generate a color image from pixel signals of three colors of red, green, and blue, and generates an image from pixel signals of any one or two colors of red, green, and blue. You can also.
  • the image sensor 134 is a CMOS type image sensor.
  • the image sensor 134 may be a CCD (Charge Coupled Device) type.
  • each pixel of the image sensor 134 may further include a violet color filter corresponding to a violet light source and / or an infrared filter corresponding to an infrared light source.
  • An optical image of the subject is formed on the light receiving surface (imaging surface) of the imaging device 134 by the imaging lens 132, converted into an electric signal, and output to the processor 200 via a signal cable (not shown). And converted into a video signal. As a result, the observation image is displayed on the monitor 400 connected to the processor 200.
  • illumination lenses 123A and 123B of the illumination unit 123 are provided adjacent to the photographing lens 132.
  • An emission end of a light guide 170 to be described later is disposed behind the illumination lenses 123A and 123B.
  • the light guide 170 is inserted into the insertion portion 104, the hand operation portion 102, and the universal cable 106, and The entrance end is arranged in the light guide connector 108.
  • the light source device 300 includes a light source 310 for illumination, a stop 330, a condenser lens 340, a light source control unit 350, and the like, and causes observation light to enter the light guide 170.
  • the light source 310 includes a red light source 310R, a green light source 310G, a blue light source 310B, and a violet light source 310V that irradiate red, green, blue, and violet narrow band light, respectively, and emits red, green, blue, and purple light. Band light can be emitted.
  • the illuminance of the observation light by the light source 310 is controlled by the light source control unit 350, and the illuminance of the observation light can be reduced and the illumination can be stopped as necessary.
  • the light source 310 can emit red, green, blue, and purple narrow band light in any combination.
  • red, green, blue, and purple narrow-band lights can be simultaneously emitted to irradiate white light (normal light) as observation light, or narrow-band light can be emitted by emitting one or two of them. (Special light) can also be applied.
  • the light source 310 may further include an infrared light source that emits infrared light (an example of narrow band light).
  • white light or narrow-band light may be emitted as observation light by a light source that emits white light and a filter that transmits white light and each narrow-band light.
  • the light source 310 may be a light source that generates light in a plurality of wavelength bands as white band light or white band light, or a light source that generates light in a specific wavelength band narrower than the white wavelength band.
  • the specific wavelength band may be a visible blue band or a green band, or a visible red band.
  • the specific wavelength band is a visible blue band or a green band, it includes a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm, and peaks in a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm. It may have a wavelength.
  • the wavelength band when the specific wavelength band is a visible red band, the wavelength band includes 585 nm or more and 615 nm or less, or 610 nm or more and 730 nm or less, and light of the specific wavelength band is 585 nm or more and 615 nm or less or 610 nm or more. It may have a peak wavelength within a wavelength band of 730 nm or less.
  • the light of the specific wavelength band described above includes a wavelength band having a different extinction coefficient between oxyhemoglobin and reduced hemoglobin, and may have a peak wavelength in a wavelength band having a different extinction coefficient between oxyhemoglobin and reduced hemoglobin.
  • the specific wavelength band includes a wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm or more and 750 nm, and 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm or more and 750 nm.
  • the following wavelength bands may have peak wavelengths.
  • the light generated by the light source 310 may include a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm, and may have a peak wavelength in a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm.
  • the light source 310 may include a light source that emits excitation light having a peak of 390 nm to 470 nm.
  • a medical image in-vivo image
  • a fluorescent dye may be used.
  • the light source type of the light source 310 (laser light source, xenon light source, LED light source (LED: Light-Emitting Diode), etc.), wavelength, presence or absence of a filter, and the like are preferably configured according to the type of subject, the purpose of observation, and the like. At the time of observation, it is preferable to combine and / or switch the wavelength of observation light according to the type of subject, the purpose of observation, and the like. When switching the wavelength, for example, by rotating a disk-shaped filter (rotary color filter) provided in front of the light source and provided with a filter that transmits or blocks light of a specific wavelength, the wavelength of the light to be irradiated is switched. Is also good.
  • a disk-shaped filter rotary color filter
  • the image pickup device used in carrying out the present invention is not limited to a color image pickup device in which a color filter is provided for each pixel like the image pickup device 134, but may be a monochrome image pickup device.
  • a monochrome image sensor it is possible to sequentially change the wavelength of the observation light to perform image capturing in a frame sequential (color sequential) manner.
  • the wavelength of the emitted observation light may be sequentially switched between (blue, green, and red), or observation may be performed by irradiating broadband light (white light) and emitting the light through a rotary color filter (red, green, blue, etc.). The wavelength of light may be switched.
  • the narrow band light may be infrared light having two or more different wavelengths (first narrow band light and second narrow band light).
  • the observation light emitted from the light source device 300 is transmitted to the illumination lenses 123A and 123B via the light guide 170, and the illumination lenses 123A and 123B are connected.
  • the observation area is irradiated from 123B.
  • the configuration of the processor 200 will be described based on FIG.
  • the processor 200 inputs an image signal output from the endoscope main body 100 via an image input controller 202, performs necessary image processing in an image processing unit 204, and outputs the processed image signal via a video output unit 206.
  • the observation image (in-vivo image) is displayed on the monitor 400 (display device).
  • These processes are performed under the control of the CPU 210 (CPU: Central Processing Unit). That is, the CPU 210 functions as an image acquisition unit, an acquisition instruction reception unit, an image acquisition control unit, a display control unit, a classification unit, an attention area detection unit, a classification result storage unit, an image processing unit, a parameter calculation unit, and an image generation unit. Have.
  • the communication control unit 205 controls communication with a not-shown hospital system (HIS: Hospital Information System), a hospital LAN (Local Area Network), and the like.
  • the recording unit 207 records an image of a subject (medical image, photographed image), information indicating a result of detection and / or classification of a region of interest, and the like.
  • the voice processing unit 209 outputs a message (voice) according to the detection and / or classification result of the attention area from the speaker 209A.
  • a ROM 211 (ROM: Read Only Memory) is a non-volatile storage element (non-temporary recording medium), and stores the image processing method according to the present invention in the CPU 210 and / or the image processing unit 204 (image processing apparatus, computer).
  • a computer-readable code of a program to be executed is stored.
  • a RAM 212 (RAM: Random Access Memory) is a storage element for temporary storage at the time of various processes, and can also be used as a buffer when acquiring an image.
  • FIG. 3 is a diagram illustrating a functional configuration of the image processing unit 204 (a medical image acquisition unit, a medical image analysis processing unit, and a medical image analysis result acquisition unit).
  • the image processing unit 204 includes an image input unit 204A (image input unit), an information acquisition unit 204B (information acquisition unit), a graphic calculation unit 204C (graphic calculation unit), a display control unit 204D (display control unit), and a condition setting unit 204E. (Condition setting unit).
  • the information acquisition unit 204B also operates as a medical image analysis processing unit.
  • the image processing unit 204 acquires a special light image having information of a specific wavelength band based on a normal light image obtained by irradiating light of a plurality of wavelength bands as light of a white band or light of a white band.
  • a special light image acquisition unit may be provided.
  • the signal of the specific wavelength band is converted into RGB (R: red, G: green, B: blue) or CMY (C: cyan, M: magenta, Y: yellow) color information included in the normal light image. It can be obtained by a calculation based on
  • the image processing unit 204 includes a normal light image obtained by irradiating light in a plurality of wavelength bands as white band light or white band light, and a special light image obtained by irradiating light in a specific wavelength band. May be provided with a feature image generating unit that generates a feature image by calculation based on at least one of the above, and a feature image as a medical image (medical image) may be acquired and displayed.
  • the information acquisition unit 204B may have the function of the feature image generation unit.
  • the details of the processing by these functions of the image processing unit 204 will be described later.
  • the processing by these functions is performed under the control of the CPU 210.
  • the function of the image processing unit 204 described above can be realized using various processors.
  • the various processors include, for example, a CPU (Central Processing Unit) that is a general-purpose processor that executes software (programs) to realize various functions.
  • the various processors described above include a programmable logic device (GPU) that can change the circuit configuration after manufacturing such as a GPU (Graphics Processing Unit) or an FPGA (Field Programmable Gate Array) that is a processor specialized in image processing.
  • Programmable Logic Device PLD
  • the above-mentioned various processors also include a dedicated electric circuit which is a processor having a circuit configuration specifically designed to execute a specific process such as an ASIC (Application ⁇ Specific ⁇ Integrated ⁇ Circuit).
  • ASIC Application ⁇ Specific ⁇ Integrated ⁇ Circuit
  • each unit may be realized by one processor or may be realized by a plurality of same or different processors (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a combination of a CPU and a GPU). Further, a plurality of functions may be realized by one processor. As an example in which a plurality of functions are configured by one processor, first, one processor is configured by a combination of one or more CPUs and software, as typified by a computer such as an image processing apparatus main body or a server. There is a form in which this processor is realized as a plurality of functions.
  • SoC system-on-chip
  • a processor that realizes the functions of the entire system with one integrated circuit (IC) chip
  • various functions are configured using one or more of the above-described various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit (circuitry) combining circuit elements such as semiconductor elements.
  • These electric circuits may be electric circuits that realize the above-described functions by using a logical operation, a logical product, a logical negation, an exclusive logical sum, and a logical operation in which these are combined.
  • the processor (computer) readable code of the software to be executed is stored in a non-transitory recording medium such as a ROM (Read Only Memory).
  • a non-transitory recording medium such as a ROM (Read Only Memory).
  • the software stored in the non-transitory recording medium includes a program for executing input, analysis, display control, and the like of an image.
  • the code may be recorded on a non-temporary recording medium such as a magneto-optical recording device or a semiconductor memory instead of the ROM.
  • a random access memory (RAM) is used as a temporary storage area.
  • RAM random access memory
  • data stored in an unillustrated EEPROM (Electronically Erasable and Programmable Read Only Memory) can be referred to. it can.
  • the processor 200 includes an operation unit 208.
  • the operation unit 208 includes an operation mode setting switch (not shown) and the like, and can set the wavelength of the observation light (white light, narrow band light, or which narrow band light is used in the case of narrow band light).
  • the operation unit 208 includes a keyboard and a mouse (not shown), and the user can perform an operation of setting imaging conditions and display conditions or an instruction to acquire (acquire an image of a moving image or a still image) via these devices ( An instruction to shoot a moving image or a still image may be given by the shooting button 144).
  • These setting operations may be performed through a foot switch (not shown), or may be performed by voice, eyes, gestures, or the like.
  • the recording unit 207 (recording device) includes various types of magneto-optical recording media, non-temporary recording media such as semiconductor memories, and a control unit for these recording media. And information of a figure to be superimposed on an image are recorded in association with each other. These images and information are displayed on the monitor 400 by operation via the operation unit 208 and control of the CPU 210 and / or the image processing unit 204.
  • an analysis result is recorded for a region of interest (region of interest), which is a region of interest included in a medical image (medical image), and whether or not there is a mode of interest.
  • the information may be recorded in the unit 207 (recording device).
  • the image processing unit 204 (medical image analysis processing unit, medical image analysis result acquisition unit) can acquire those analysis results from the recording unit 207 and display them on the monitor 400.
  • the monitor 400 (display device) is a time-series image input by operation through the operation unit 208, control of the CPU 210 and / or the image processing unit 204, information of a region of interest for the time-series image, and a graphic superimposed on the image. And so on.
  • the monitor 400 has a touch panel (not shown) for performing a shooting condition setting operation and / or a display condition setting operation.
  • FIG. 4 is a flowchart illustrating a procedure of the image processing method according to the first embodiment.
  • the condition setting unit 204E sets a polygon or an ellipse calculated by the graphic calculation unit and / or a graphic displayed by the display control unit based on an instruction input by the user via the operation unit 208 (step S100: condition setting) Process).
  • FIG. 5 is an example of a condition setting screen (screen for prompting the user to input an instruction).
  • FIG. 5 shows condition names (areas 501A to 505A), setting condition contents (areas 501B to 505B), and condition setting buttons 501C to 505C for each item of settable conditions.
  • a button 511 provided at the lower part of the screen is used to confirm the display condition, a button 512 is used to cancel the condition change, and a button 513 is used to clear the condition change (return to the initial value).
  • the screen in FIG. 5 is displayed on the monitor 400, and the condition can be set by a user's operation via a touch panel of the monitor 400 and / or a keyboard and a mouse (not shown) of the operation unit 208.
  • Such condition setting may be performed not only before the start of the process but also during execution of the flowchart of FIG. 4 or at any time after the execution. It should be noted that the layout and items of the condition setting screen described below show an example of the condition setting, and other modes can be adopted as necessary.
  • FIG. 6 is a view showing how to set a graphic display area (shape of an area for arranging a graphic; polygon or ellipse) among the items shown in FIG. 5 (other conditions are not shown).
  • the button 502C is designated on the screen of FIG. 5, selectable conditions are displayed in a pull-down manner as in the example of FIG.
  • the user can select a rectangle, a parallelogram, a triangle, an ellipse, or an automatic selection as the graphic display area by operating the button 502C.
  • “automatic selection” the endoscope system 10 selects from among a rectangle, a parallelogram, a triangle, and an ellipse according to the shape, size, and the like of the region of interest.
  • the monitor 400 is configured by a touch panel, a user's instruction operation may be received via the touch panel.
  • the user can set desired conditions via such a screen.
  • the image input unit 204A inputs a time-series image of the subject acquired by the endoscope system 10 (endoscope apparatus) (Step S110: image input step).
  • the information acquisition unit 204B acquires information (position, size, shape, and the like of the attention area) of the attention area (also referred to as the attention area) for each frame forming the time-series image (step S120: information acquisition step).
  • Information acquired in advance may be acquired, or an input time-series image may be analyzed to detect a region of interest.
  • the attention area can be detected by providing the information acquisition unit 204B with, for example, a CAD system (CAD: Computer Aided Diagnosis).
  • CAD Computer Aided Diagnosis
  • the information acquisition unit 204B divides the detection target image into, for example, a plurality of rectangular regions, and sets each of the divided rectangular regions as a local region.
  • the information acquiring unit 204B calculates a feature amount (for example, hue) of a pixel in the local region for each local region of the detection target image, and determines a local region having a specific hue from among the local regions as a region of interest.
  • the detection of the attention area may be performed by a learning device (learned model) constructed by machine learning. For example, each time a new image is recorded in the recording unit 207 (or each time a new image is photographed), the information acquisition unit 204B performs an image analysis process based on a machine learning algorithm, thereby obtaining a time-series image. It is analyzed whether or not each frame includes a region of interest.
  • a learning device learned model
  • the machine learning algorithm is, for example, a convolutional neural network (convolutional neural network) technique, that is, it is preferable to have an input layer and an intermediate layer (repetition of a convolutional layer and a pooling layer; if a target area is to be distinguished, it has a fully connected layer) ) And an output layer, it is possible to use an algorithm for recognizing whether or not an image includes a region of interest.
  • the output layer grasps the position of the region of interest in the image at the pixel level using a “feature map” obtained from the intermediate layer. That is, it is possible to detect whether or not each pixel of the endoscope image belongs to the attention area, and output the detection result.
  • the output layer outputs position information of the target.
  • a learning device generated by giving an image labeled as “a region of interest” or “not a region of interest” as teacher data may be used. “Whether or not to perform such machine learning” and / or “whether or not to use a learning result” may be set according to a user operation via the operation unit 208 and the monitor 400.
  • Examples of the region of interest for which information is obtained in step S120 include polyps, cancer, colonic diverticulum, inflammation, treatment scars (EMR scars (EMR: Endoscopic Mucusal Resection), ESD scars (ESD: Endoscopic Submucosal Dissection), clip points, etc.). Bleeding points, perforations, vascular atypia and the like.
  • ⁇ Figure to be superimposed> When a graphic is superimposed and displayed on an image, as shown in FIG. 7, a circumscribed rectangle 600 (a rectangle circumscribing the attention area 552) parallel to the horizontal axis of the time-series image 800 and the time-series image 800
  • a graphic larger than the circumscribed rectangle 600 or a figure larger than the circumscribed rectangle 600 is superimposed as it is, a portion (the upper left portion and the lower right portion) other than the attention area 550 increases, and obstruction of observation is hindered.
  • a figure based on “a polygon or an ellipse having an area equal to or smaller than the area of the circumscribed rectangle and surrounding the attention area” is calculated as a figure to be superimposed on the image.
  • Step S130 graphic calculation step
  • Step S140 display control step
  • an area 700 in FIG. 7 indicates the field of view of the endoscope (which is close to a circle due to a wide angle of view) (the same applies to the following figures).
  • the graphic calculation unit 204C calculates a polygon or an ellipse having an area equal to or less than the area of the circumscribed rectangle and surrounding the attention area (step S130: graphic calculation step).
  • a polygon or an ellipse having an area smaller than the area of the circumscribed rectangle may be calculated.
  • the calculation is performed according to the conditions set in step S100.
  • the calculated polygon or ellipse may be inclined with respect to the horizontal axis and the vertical axis.
  • an oblique rectangle 602 surrounding the attention area 552 may be calculated as shown in FIG. 8A, or an oblique parallelogram surrounding the attention area 550 as shown in FIG. 8B.
  • the shape 604 may be calculated. Note that it is preferable to calculate a polygon or an ellipse that does not overlap with the region of interest in order not to hinder observation.
  • the graphic calculation unit 204C sets a first axis and a second axis that intersects the first axis for the attention area, and sets two axes that are parallel to the first axis.
  • a quadrangle consisting of a side and two sides parallel to the second axis is calculated as a polygon (step S130: figure calculation step).
  • the first axis and the second axis are, for example, the first axis or the second axis set in the horizontal direction or the vertical direction, and the first axis is set in the direction in which the length across the region of interest is the maximum or the minimum.
  • FIG. 9 is a diagram showing a setting example of the first axis and the second axis.
  • 9A sets a first axis 901 (first axis) and a second axis 902 (second axis) orthogonal to the first axis 901 with respect to the attention area 550.
  • the figure shows how to calculate a rectangle 610 (polygon, square, rectangle) composed of two sides parallel to one axis 901 and two sides parallel to the second axis 902.
  • the figure sets the first axis 903 (first axis) and the second axis 904 (second axis) for the attention area 550, and is parallel to the first axis 903.
  • the figure shows how to calculate a parallelogram 612 (polygon, quadrangle, parallelogram) composed of two parallel sides and two sides parallel to the second axis 904.
  • the graphic calculation unit 204C can calculate an ellipse or a polygon (quadrilateral) by approximating the region of interest by ellipse and calculating the major axis and the minor axis of the ellipse (step S130: graphic calculation step).
  • the graphic calculation unit 204 ⁇ / b> C can calculate an ellipse 614 having a major axis 905 (major axis) and a minor axis 906 (minor axis) orthogonal to the major axis 905 for the attention area 550. .
  • the major axis and the minor axis are set in one of the horizontal and vertical directions, in the direction in which the length across the region of interest is maximum or minimum, and so on. Can be set in any direction. Also, it is preferable to calculate an ellipse that does not overlap with the region of interest, as in the case of calculating a polygon. Further, the graphic calculation unit 204C uses one of the long axis and the short axis calculated in this way as the first axis and the other as the second axis, and sets two sides parallel to the first axis and the second axis as the second axis. A quadrangle composed of two sides parallel to the axis may be calculated as a polygon. As described above, the ellipse approximation is an aspect of an ellipse calculation method, and is also an aspect of a two-axis calculation method that defines a polygon (quadrilateral).
  • the display control unit 204D causes the monitor 400 (display device) to superimpose the figure based on the polygon or the ellipse calculated by the figure calculation unit 204C on the time-series image (step S140: display control step). Specifically, a figure arranged on the side or the vertex of the calculated polygon, or a circle arranged on an ellipse or a plurality of positions on the circle is displayed.
  • step S140 display control step
  • FIG. 11A illustrates a state in which the figure 616 arranged on the side of the rectangle (polygon) surrounding the attention area 552 is displayed in a superimposed manner
  • FIG. It is a figure showing signs that arranged figure 618 (four L-shaped figures) was superimposed and displayed.
  • FIG. 11B a figure 618 (all four figures 618 are equal) whose size and shape do not depend on the interior angle at the vertex is displayed.
  • FIG. 12A shows a state in which a figure 620 constituted by a rectangular (polygonal) side surrounding the attention area 550 is displayed in a superimposed manner
  • FIG. FIG. 11 is a diagram showing a state in which a figure 622 (a rectangular figure drawn as a whole, drawn by a dotted line) constituted by a part is superimposed and displayed
  • 12C is a diagram showing a state in which a figure 624 composed of rectangular sides is superimposed and displayed as in the case of FIG. 12A, but the figure 624 is made larger than the figure 620.
  • a margin between the attention area 550 and the figure 624 is secured.
  • a blank space can be secured as in the case of the portion (c) of FIG.
  • FIG. 13A is a diagram showing a state in which a figure 626 composed of sides of a parallelogram (polygon) surrounding the attention area 550 is displayed in a superimposed manner
  • FIG. It is a figure which shows the mode which superimposedly displayed the figure 628 (the figure of the parallelogram drawn as a whole drawn by the dotted line) which consists of some side of a shape
  • FIG. 13C shows a state in which a figure 630 which is arranged at the vertex of the parallelogram and whose shape is changed according to the inner angle at the vertex is superimposed and displayed.
  • FIG. 14A shows a figure 632 (L-shaped or V-shaped figure 4) which is arranged at the vertices of a parallelogram (polygon) surrounding the attention area 550 and whose shape is changed according to the inner angle at the vertices.
  • FIG. 6B is a diagram showing a superimposed display of FIG. 6B.
  • FIG. 6B shows a figure 634 (center direction of the parallelogram) which is arranged at the vertex of the parallelogram and whose size and shape do not depend on the interior angle at the vertex.
  • FIG. 14 is a diagram showing a state in which four wedge-shaped figures pointing to the right are superimposed and displayed.
  • Part (a) of FIG. 15 is a diagram showing a state in which a figure 636 composed of elliptical sides surrounding the attention area 550 is displayed in a superimposed manner, and part (b) of FIG. 15 is composed of a part of the sides of the ellipse.
  • FIG. 6 is a diagram showing a state in which a figure 638 (an elliptical figure drawn as a whole, drawn by a dotted line) to be displayed is superimposed.
  • FIG. 15 (c) shows a figure 640 (four wedge-shaped figures facing the center of the ellipse, which are arranged at a plurality of positions on the circumference of the ellipse and whose shape and size do not depend on the position on the circumference of the ellipse). ) Is superimposed and displayed.
  • Part (a) of FIG. 16 is a diagram showing a state in which a figure 642 formed by the sides of a triangle (an aspect of a polygon) surrounding the attention area 550 is superimposed and displayed.
  • Part (b) of FIG. FIG. 10 is a diagram showing a state in which a figure 644 (a triangle figure as a whole drawn by a dotted line) constituted by a part of the sides of the image is superimposed and displayed.
  • FIG. 16C shows a state in which a figure 646 (three wedge-shaped figures 646) arranged at the vertices of a triangle and whose shape and size do not depend on the inner angle at the vertex is superimposed and displayed.
  • Part (d) of the figure shows a state in which a figure 648 (three wedge-shaped figures 648) arranged at the vertices of a triangle and having a shape changed according to the inner angle at the vertex is displayed in a superimposed manner.
  • Example 7 When only a part of the attention area is shown in the time-series image, the figure may be superimposed and displayed on the part shown. For example, when a part of the attention area 550 is shown as shown in FIG. 17A, a figure constituted by a part of a rectangular side such as a figure 652 can be superimposed and displayed. Similarly, a graphic such as the graphic 654 shown in FIG. 17B or the graphic 656 shown in FIG. 17C may be displayed.
  • step S140 the image input unit 204A determines whether the input of the time-series image has been completed (step S150: image input step). If the determination is affirmed, the process ends. If the determination is denied, the process returns to step S110 to input the next frame of the time-series image.
  • a smooth operation is performed while alerting the observer of the time-series image. Can support observation.
  • the medical image analysis processing unit detects a region of interest, which is a region of interest, based on the feature amounts of the pixels of the medical image,
  • the medical image analysis result acquisition unit is a medical image processing device that acquires an analysis result of the medical image analysis processing unit.
  • the medical image analysis processing unit detects the presence or absence of a target to be noted based on the feature amount of the pixel of the medical image
  • the medical image analysis result acquisition unit is a medical image processing device that acquires an analysis result of the medical image analysis processing unit.
  • the medical image analysis result acquisition unit Acquired from a recording device that records the analysis results of medical images,
  • the analysis result is a medical image processing apparatus in which either or both of a region of interest, which is a region of interest included in the medical image, and a target of interest, which are notable, are included.
  • a medical image processing apparatus wherein a medical image is a normal light image obtained by irradiating white band light or light of a plurality of wavelength bands as white band light.
  • a medical image is an image obtained by irradiating light in a specific wavelength band,
  • the medical image processing apparatus has a specific wavelength band narrower than the white wavelength band.
  • the specific wavelength band is a medical image processing device in a visible blue or green band.
  • the specific wavelength band includes a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm, and the light of the specific wavelength band has a peak wavelength in the wavelength band of 390 nm to 450 nm or 530 nm to 550 nm.
  • Image processing device includes a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm, and the light of the specific wavelength band has a peak wavelength in the wavelength band of 390 nm to 450 nm or 530 nm to 550 nm.
  • the medical image processing device has a specific wavelength band in a visible red band.
  • the specific wavelength band includes a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm, and the light of the specific wavelength band has a peak wavelength in the wavelength band of 585 nm to 615 nm or 610 nm to 730 nm.
  • Image processing device includes a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm, and the light of the specific wavelength band has a peak wavelength in the wavelength band of 585 nm to 615 nm or 610 nm to 730 nm.
  • the specific wavelength band includes a wavelength band having a different extinction coefficient between oxyhemoglobin and reduced hemoglobin, and light of a specific wavelength band has a peak wavelength in a wavelength band having a different extinction coefficient between oxyhemoglobin and reduced hemoglobin.
  • the specific wavelength band includes a wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or a wavelength band of 600 nm or more and 750 nm or less, and light of the specific wavelength band is 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ A medical image processing apparatus having a peak wavelength in a wavelength band of 10 nm or 600 nm to 750 nm.
  • a medical image is an in-vivo image of a living body
  • the in-vivo image is a medical image processing apparatus having information on fluorescence emitted by a fluorescent substance in a living body.
  • a medical image is an in-vivo image of a living body,
  • the specific wavelength band is a wavelength band of infrared light in the medical image processing apparatus.
  • the specific wavelength band includes a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm, and the light of the specific wavelength band has a peak wavelength in a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm. Processing equipment.
  • the medical image acquisition unit is configured to acquire a special light image having information of a specific wavelength band based on a normal light image obtained by irradiating light in a plurality of wavelength bands as light in a white band or light in a white band.
  • An optical image acquisition unit, The medical image is a medical image processing device that is a special light image.
  • Appendix 17 A medical image processing apparatus in which a signal in a specific wavelength band is obtained by an operation based on RGB or CMY color information included in a normal light image.
  • Appendix 18 Light in the white band, or a normal light image obtained by irradiating light in a plurality of wavelength bands as light in the white band, and a calculation based on at least one of the special light image obtained by irradiating light in a specific wavelength band, A feature image generating unit that generates a feature image; A medical image processing device in which the medical image is a feature image.
  • a diagnosis support device comprising the medical image processing device according to any one of supplementary notes 1 to 18.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Endoscopes (AREA)

Abstract

本発明は時系列画像の観察者に注意喚起をしつつ円滑な観察を支援する画像処理装置及び画像処理方法を提供することを目的とする。本発明の第１の態様に係る画像処理装置は、時系列画像を入力する画像入力部と、時系列画像における注目領域の情報を取得する情報取得部と、注目領域に外接する矩形であって、時系列画像の水平軸に平行な２辺と時系列画像の垂直軸に平行な他の２辺とで構成される矩形である外接矩形の面積以下の面積を有し、注目領域を囲む多角形または楕円を算出する図形算出部と、多角形または楕円に基づく図形であって、多角形の辺または頂点に配置された図形、または楕円の円周または円周上の複数の位置に配置された図形を時系列画像に重畳して表示装置に表示させる表示制御部と、を備える。

Description

画像処理装置及び画像処理方法
　本発明は画像処理装置及び画像処理方法に関し、特に時系列画像に図形を重畳して表示する技術に関する。
　時系列画像を取得する画像処理装置では、注目領域やその候補領域に図形を重畳して観察者に報知する技術が知られている。例えば、特許文献１では内視鏡装置で取得した被検体の観察画像に対して病変候補領域を囲む矩形のマーカ（Ｂｏｕｎｄｉｎｇ　Ｂｏｘ）を表示することが記載されている。
ＷＯ２０１７／０７３３３７号公報
　画像にマーカ等を重畳表示する際は観察者に注意喚起をしつつも観察の妨げにならないようにする必要がある。特に、画面内の注目領域が細長い楕円型で斜めに配置されている場合などは、生成される矩形が大きくなり、その大部分が注目領域でなくなって観察の妨げとなるケースが存在する。しかしながら、上述した特許文献１のような従来の技術では単に注目領域等を囲む矩形を表示するのみで矩形の形状や大きさ等については何ら考慮されておらず、マーカ等を表示することが観察の妨げになるおそれがあった。
　このように、従来の技術は時系列画像の観察者に注意喚起をしつつ円滑な観察を支援するものではなかった。
　本発明はこのような事情に鑑みてなされたもので、時系列画像の観察者に注意喚起をしつつ円滑な観察を支援する画像処理装置及び画像処理方法を提供することを目的とする。
　上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、時系列画像を入力する画像入力部と、時系列画像における注目領域の情報を取得する情報取得部と、注目領域に外接する矩形であって、時系列画像の水平軸に平行な２辺と時系列画像の垂直軸に平行な他の２辺とで構成される矩形である外接矩形の面積以下の面積を有し、注目領域を囲む多角形または楕円を算出する図形算出部と、多角形または楕円に基づく図形であって、多角形の辺または頂点に配置された図形、または楕円の円周または円周上の複数の位置に配置された図形を時系列画像に重畳して表示装置に表示させる表示制御部と、を備える。
　第１の態様では、時系列画像に図形を重畳表示して観察者に注意を喚起する。重畳表示する図形は外接矩形の面積以下の面積を有する多角形または楕円に基づく図形なので、注目領域でない部分を減らし、観察を妨げる度合いを低減することができる。これにより時系列画像の観察者に注意喚起をしつつ円滑な観察を支援することができる。なお、観察を妨げないようにするため、注目領域と重ならない図形を表示することが好ましい。
　第１の態様において、画像あるいは被写体の種類は特に限定されない。例えば医療画像、人物や風景の画像等でもよい。なお、「楕円」には円（真円）も含まれる。
　第２の態様に係る画像処理装置は第１の態様において、表示制御部は、多角形の頂点に配置され頂点における内角に応じて形状を変化させた図形を図形として表示装置に表示させる。第２の態様では、多角形の頂点に図形を配置することで、できるだけ観察を阻害しないようにしている。また、多角形の頂点に図形を配置する場合、多角形の種類によっては内角が等しくない場合があるため、内角に応じて形状を変化させている。
　第３の態様に係る画像処理装置は第１の態様において、表示制御部は、多角形の頂点に配置され、大きさ及び／または形状が頂点における内角に依存しない図形を図形として表示装置に表示させる。第３の態様では、多角形の頂点に図形を配置することで、できるだけ観察を阻害しないようにしている。
　第４の態様に係る画像処理装置は第１から第３の態様のうちいずれか１つにおいて、表示制御部は多角形の辺または辺の一部により構成される図形、または楕円の円周または円周の一部により構成される図形を図形として表示装置に表示させる。第４の態様では、辺または辺の一部、円周または円周の一部により構成される図形を表示することにより、できるだけ観察を阻害しないようにしている。辺の一部、または円周の一部により構成される図形を表示する場合、「一部」の割合は注目領域を強調あるいは識別する度合いに応じて設定することができる。
　第５の態様に係る画像処理装置は第１から第４の態様のうちいずれか１つにおいて、図形算出部は、注目領域に対し第１の軸と、第１の軸と交わる第２の軸と、を設定し、第１の軸に平行な２辺と第２の軸に平行な２辺とで構成される四角形を多角形として算出する。第５の態様は四角形算出手法の一態様を規定するもので、例えば、注目領域と交差する長さが最も長くなる軸と最も短くなる軸をそれぞれ第１の軸、第２の軸とすることができる。
　第６の態様に係る画像処理装置は第５の態様において、図形算出部は注目領域を楕円近似して楕円の長軸及び短軸を算出することにより多角形または楕円を算出する。多角形を算出する場合、長軸と短軸とのうち一方を第１の軸とし他方を第２の軸として多角形としての四角形を算出することができる。楕円近似は楕円算出方法の一態様であり、また多角形（四角形）を規定する２軸の算出手法の一態様でもある。
　第７の態様に係る画像処理装置は第５または第６の態様において、図形算出部は四角形として矩形を算出する。矩形は四角形の一態様である。
　第８の態様に係る画像処理装置は第１から第７の態様のいずれか１つにおいて、画像入力部は内視鏡装置で取得した被検体の画像を時系列画像として入力する。入力した時系列画像において、病変領域、病変候補領域等を注目領域とすることができる。
　第９の態様に係る画像処理装置は第１から第８の態様のいずれか１つにおいて、情報取得部は時系列画像を解析して注目領域の情報を取得する。時系列画像の解析に機械学習アルゴリズムを用いてもよい。
　第１０の態様に係る画像処理装置は第１から第９の態様のいずれか１つにおいて、図形算出部が算出する多角形または楕円、及び／または表示制御部が表示させる図形をユーザの指示入力に基づいて設定する条件設定部をさらに備える。第１０の態様によれば、ユーザは所望の条件で図形を算出及び／または表示させることができる。
　上述した目的を達成するため、本発明の第１１の態様に係る画像処理方法は時系列画像を入力する画像入力工程と、時系列画像における注目領域の情報を取得する情報取得工程と、注目領域に外接する矩形であって、時系列画像の水平軸に平行な２辺と時系列画像の垂直軸に平行な他の２辺とで構成される矩形である外接矩形の面積以下の面積を有し、注目領域を囲む多角形または楕円を算出する図形算出工程と、多角形または楕円に基づく図形であって、多角形の辺または頂点に配置された図形、または楕円の円周または円周上の複数の位置に配置された図形を時系列画像に重畳して表示装置に表示させる表示制御工程と、を有する。第１１の態様によれば、第１の態様と同様に時系列画像の観察者に注意喚起をしつつ円滑な観察を支援することができる。なお、第１１の態様に係る画像処理方法に対し第２～第１０の態様と同様の構成をさらに含めてもよい。また、これら態様の画像処理方法をコンピュータに実行させるプログラム、及び斯かるプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。これらプログラム及び記録媒体における「コンピュータ」は、ＣＰＵ（Central Processing Unit）等の各種プロセッサを１つ以上用いて実現することができる。
　以上説明したように、本発明の画像処理装置及び画像処理方法によれば、時系列画像の観察者に注意喚起をしつつ円滑な観察を支援することができる。
図１は、第１の実施形態に係る内視鏡システムを示す外観図である。 図２は、内視鏡システムの要部構成を示すブロック図である。 図３は、画像処理部の機能構成を示す図である。 図４は、第１の実施形態に係る画像処理方法の処理を示すフローチャートである。 図５は、表示条件設定画面の例を示す図である。 図６は、表示条件設定画面の他の例を示す図である。 図７は、注目領域に対する外接矩形の例を示す図である。 図８は、矩形、平行四辺形の図形の例を示す図である。 図９は、第１，第２の軸の設定例を示す図である。 図１０は、楕円を算出する様子を示す図である。 図１１は、矩形の辺、頂点に図形を配置した様子を示す図である。 図１２は、矩形の辺に図形を配置した様子を示す他の図である。 図１３は、平行四辺形の辺に図形を配置した様子を示す図である。 図１４は、平行四辺形の辺に図形を配置した様子を示す他の図である。 図１５は、楕円の円周に図形を配置した様子を示す図である。 図１６は、三角形の辺に図形を配置した様子を示す図である。 図１７は、注目領域の一部が画像に映っている場合の図形表示の例を示す図である。
　以下、添付図面を参照しつつ、本発明に係る画像処理装置及び画像処理方法の実施形態について詳細に説明する。
　＜第１の実施形態＞
　図１は、第１の実施形態に係る内視鏡システム１０（内視鏡装置、画像処理装置、診断支援装置、内視鏡システム、医療画像処理装置）を示す外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１，２に示すように、内視鏡システム１０は、内視鏡本体１００（内視鏡装置）、プロセッサ２００（プロセッサ、画像処理装置、医療画像処理装置）、光源装置３００（光源装置）、及びモニタ４００（表示装置）から構成される。
　＜内視鏡本体の構成＞
　内視鏡本体１００は、手元操作部１０２（手元操作部）と、この手元操作部１０２に連設される挿入部１０４（挿入部）とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２（軟性部）、湾曲部１１４（湾曲部）、先端硬質部１１６（先端硬質部）で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０（撮像部）、照明部１２３、鉗子口１２６等が設けられる（図１～図２参照）。
　観察、処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／または狭帯域光（赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２（撮影レンズ、撮像部）、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
　図１～図２に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２（撮像部）が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４（撮像素子、撮像部）、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮影光学系１３０は、赤，緑，青の３色の画素信号からカラー画像を生成することもできるし、赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、第１の実施形態では撮像素子１３４がＣＭＯＳ型の撮像素子である場合について説明するが、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。なお、撮像素子１３４の各画素は紫色光源に対応した紫色カラーフィルタ、及び／または赤外光源に対応した赤外用フィルタをさらに備えていてもよい。
　被検体（腫瘍部、病変部）の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ２００に出力されて映像信号に変換される。これにより、プロセッサ２００に接続されたモニタ４００に観察画像が表示される。
　また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ、１２３Ｂが設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。
　＜光源装置の構成＞
　図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、及び紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を下げること、及び照明を停止することができる。
　光源３１０は赤色、緑色、青色、紫色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色、紫色の狭帯域光を同時に発光させて白色光（通常光）を観察光として照射することもできるし、いずれか１つもしくは２つを発光させることで狭帯域光（特殊光）を照射することもできる。光源３１０は、赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を観察光として照射してもよい。
　＜光源の波長帯域＞
　光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。
　上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍの波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
　また、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
　また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する医用画像（生体内画像）を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤を使用してもよい。
　光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて観察光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
　また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、観察光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する観察光の波長を（青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する観察光の波長を切り替えてもよい。また、１または複数の狭帯域光（緑色、青色等）を照射してロータリカラーフィルタ（緑色、青色等）により出射する観察光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。
　ライトガイドコネクタ１０８（図１参照）を光源装置３００に連結することにより、光源装置３００から照射された観察光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。
　＜プロセッサの構成＞
　図２に基づきプロセッサ２００の構成を説明する。プロセッサ２００は、内視鏡本体１００から出力される画像信号を画像入力コントローラ２０２を介して入力し、画像処理部２０４で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００（表示装置）に観察画像（生体内画像）が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。すなわち、ＣＰＵ２１０は画像取得部、取得指示受付部、画像取得制御部、表示制御部、分類部、注目領域検出部、分類結果保存部、画像処理部、パラメータ算出部、画像生成部としての機能を有する。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）、病院内ＬＡＮ（Local Area Network）等との通信制御を行う。記録部２０７には、被写体の画像（医用画像、撮影画像）、注目領域の検出及び／または分類結果を示す情報等が記録される。音声処理部２０９は、ＣＰＵ２１０及び画像処理部２０４の制御により、注目領域の検出及び／または分類の結果に応じたメッセージ（音声）等をスピーカ２０９Ａから出力する。
　また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、本発明に係る画像処理方法をＣＰＵ２１０及び／または画像処理部２０４（画像処理装置、コンピュータ）に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。
　＜画像処理部の機能＞
　図３は画像処理部２０４（医療画像取得部、医療画像解析処理部、医療画像解析結果取得部）の機能構成を示す図である。画像処理部２０４は画像入力部２０４Ａ（画像入力部）、情報取得部２０４Ｂ（情報取得部）、図形算出部２０４Ｃ（図形算出部）、表示制御部２０４Ｄ（表示制御部）、及び条件設定部２０４Ｅ（条件設定部）を有する。情報取得部２０４Ｂは医療画像解析処理部としても動作する。
　また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。
　また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医用画像（医療画像）としての特徴量画像を取得及び表示してもよい。情報取得部２０４Ｂが特徴量画像生成部の機能を有していてもよい。
　画像処理部２０４のこれらの機能による処理については、詳細を後述する。なお、これらの機能による処理はＣＰＵ２１０の制御下で行われる。
　上述した画像処理部２０４の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
　各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。
　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力、解析、表示制御等を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。
　＜操作部の構成＞
　プロセッサ２００は操作部２０８を備えている。操作部２０８は図示せぬ操作モード設定スイッチ等を備えており、観察光の波長（白色光か狭帯域光か、狭帯域光の場合いずれの狭帯域光を用いるか）を設定することができる。また、操作部２０８は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件及び表示条件の設定操作、あるいは動画像、静止画像の撮影指示（取得指示）を行うことができる（動画像、静止画像の撮影指示は撮影ボタン１４４により行ってもよい）。これらの設定操作は図示せぬフットスイッチを介して行っても良いし、音声、視線、ジェスチャ等により行ってもよい。
　＜記録部の構成＞
　記録部２０７（記録装置）は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びこれら記録媒体の制御部を含んで構成され、入力した時系列画像、時系列画像についての注目領域の情報、画像に重畳表示する図形の情報等を互いに関連付けて記録する。これらの画像及び情報は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御によりモニタ４００に表示される。
　上述した画像の他に、医用画像（医療画像）に含まれる注目すべき領域である注目領域（関心領域）と、注目すべき態様の有無のいずれか、もしくは両方と、についての解析結果を記録部２０７（記録装置）に記録してもよい。この場合、画像処理部２０４（医療画像解析処理部、医療画像解析結果取得部）がそれら解析結果を記録部２０７から取得してモニタ４００に表示することができる。
　＜表示装置の構成＞
　モニタ４００（表示装置）は、操作部２０８を介した操作、ＣＰＵ２１０及び／または画像処理部２０４の制御により入力した時系列画像、時系列画像についての注目領域の情報、画像に重畳表示される図形等を表示する。また、モニタ４００は撮影条件設定操作及び／または表示条件設定操作を行うための図示せぬタッチパネルを有する。
　＜画像処理方法＞
　上述した構成の内視鏡システム１０を用いた画像処理方法について説明する。図４は第１の実施形態に係る画像処理方法の手順を示すフローチャートである。
　＜条件設定＞
　条件設定部２０４Ｅは、操作部２０８を介したユーザの指示入力に基づいて、図形算出部が算出する多角形または楕円、及び／または表示制御部が表示させる図形を設定する（ステップＳ１００：条件設定工程）。図５は条件設定画面（ユーザに指示入力させる画面）の例である。図５では、設定可能な条件の各項目について条件名（領域５０１Ａ～５０５Ａ）、設定条件の内容（領域５０１Ｂ～５０５Ｂ）、及び条件設定用のボタン５０１Ｃ～５０５Ｃが示されている。画面下部に設けられたボタン５１１は表示条件確定用、ボタン５１２は条件変更のキャンセル用、ボタン５１３は条件変更のクリア（初期値に戻す）用のボタンである。図５の画面はモニタ４００に表示され、モニタ４００のタッチパネル、及び／または操作部２０８の図示せぬキーボード及びマウスを介したユーザの操作により条件を設定することができる。このような条件設定は、処理開始前だけでなく図４のフローチャートの実行中、あるいは実行後に随時行ってよい。なお、以下に説明する条件設定画面のレイアウト及び項目は条件設定の一例を示すものであり、必要に応じて他の態様を採用することができる。
　図６は、図５に示した項目のうち図形表示領域（図形を配置する領域の形状；多角形または楕円）を設定する様子を示す図（他の条件については図示を省略）である。図５の画面でボタン５０２Ｃを指定すると、選択可能な条件が図６の例のようにプルダウン表示される。図６の例では、ユーザはボタン５０２Ｃの操作により、図形表示領域として矩形、平行四辺形、三角形、楕円、自動選択を選択することができる。「自動選択」の場合、矩形、平行四辺形、三角形、楕円のうちから、内視鏡システム１０が注目領域の形状、大きさ等に合わせて選択する。なお、モニタ４００がタッチパネルにより構成されている場合は、タッチパネルを介してユーザの指示操作を受け付けてもよい。第１の実施形態に係る内視鏡システム１０では、ユーザはこのような画面を介して所望の条件を設定することができる。
　＜時系列画像の入力及び注目領域の情報取得＞
　画像入力部２０４Ａは、内視鏡システム１０（内視鏡装置）で取得した被検体の時系列画像を入力する（ステップＳ１１０：画像入力工程）。また、情報取得部２０４Ｂは、時系列画像を構成する各フレームについて注目領域（関心領域ともいう）の情報（注目領域の位置、大きさ、形状等）を取得する（ステップＳ１２０：情報取得工程）。あらかじめ取得されている情報を取得してもよいし、入力した時系列画像を解析して注目領域を検出してもよい。
　＜ＣＡＤシステムによる注目領域の検出＞
　注目領域の検出は、情報取得部２０４Ｂが例えばＣＡＤシステム（ＣＡＤ：Computer Aided Diagnosis）を備えることにより行うことができる。具体的には、例えば医用画像の画素の特徴量に基づいて、注目領域（注目すべき領域である注目領域）及び注目領域における対象（注目すべき対象）の有無を抽出することができる。この場合、情報取得部２０４Ｂは検出対象画像を例えば複数の矩形領域に分割し、分割した各矩形領域を局所領域として設定する。情報取得部２０４Ｂは検出対象画像の局所領域ごとに局所領域内の画素の特徴量（例えば色相）を算出し、各局所領域の中から特定の色相を有する局所領域を注目領域として決定する。
　＜機械学習による注目領域の検出＞
　注目領域の検出は、機械学習により構築された学習器（学習済みモデル）により行ってもよい。例えば、新たな画像が記録部２０７に記録されるごとに（または新たな画像が撮影されるごとに）、情報取得部２０４Ｂが機械学習アルゴリズムに基づき画像解析処理を行うことにより、時系列画像の各フレームに注目領域が含まれるか否かを解析する。機械学習アルゴリズムは、例えばコンボリューションニューラルネットワーク（畳み込みニューラルネットワーク）の手法、すなわち入力層と、中間層（畳み込み層及びプーリング層の繰り返し；注目領域の鑑別を行う場合は全結合層を有することが好ましい）と、出力層とを経て、画像に注目領域が含まれているか否かを認識するアルゴリズムを用いることができる。注目領域のセグメンテーションを行う場合、出力層は、中間層から得られる「特徴マップ」により、画像に写っている注目領域の位置を画素レベルで把握する。すなわち、内視鏡画像の画素ごとに注目領域に属するか否かを検出し、その検出結果を出力することができる。一方、物体検出を行う場合は画素レベルでの判断は必要なく、出力層が対象物の位置情報を出力する。機械学習を用いた画像解析処理においては、「注目領域である」あるいは「注目領域ではない」とのラベルを付した画像を教師データとして与えて生成した学習器を用いてもよい。「このような機械学習を行うか否か」、及び／または「学習結果を利用するか否か」を、操作部２０８及びモニタ４００を介したユーザの操作に応じて設定してもよい。
　ステップＳ１２０で情報を取得する注目領域の例としては、ポリープ、癌、大腸憩室、炎症、治療痕（ＥＭＲ瘢痕（ＥＭＲ：Endoscopic Mucosal Resection）、ＥＳＤ瘢痕（ＥＳＤ：Endoscopic Submucosal Dissection）、クリップ箇所等）、出血点、穿孔、血管異型性などを挙げることができる。
　＜重畳表示する図形＞
　画像に図形を重畳表示する場合、図７に示すように画像に対し外接矩形６００（注目領域５５２に外接する矩形であって、時系列画像８００の水平軸に平行な２辺と時系列画像８００の垂直軸に平行な他の２辺とで構成される矩形）あるいは外接矩形６００より大きい図形をそのまま重畳すると、注目領域５５０以外の部分（左上部分及び右下部分）が多くなり、観察の妨げとなる。そこで、第１の実施形態に係る内視鏡システム１０では、「外接矩形の面積以下の面積を有し、注目領域を囲む多角形または楕円」に基づく図形を画像に重畳表示する図形として算出し（ステップＳ１３０：図形算出工程）、重畳表示する（ステップＳ１４０：表示制御工程）。なお、図７における領域７００は内視鏡の視野（撮影画角が広いため円形に近くなっている）を示す（以下の図でも同様である）。
　＜注目領域を囲む多角形または楕円の算出＞
　図形算出部２０４Ｃは、外接矩形の面積以下の面積を有し注目領域を囲む多角形または楕円を算出する（ステップＳ１３０：図形算出工程）。外接矩形の面積未満の面積を有する多角形または楕円を算出してもよい。算出は、ステップＳ１００で設定した条件に従って行う。算出する多角形または楕円は、水平軸及び垂直軸に対し傾いていてもよい。また、多角形としての四角形を算出する場合、矩形（長方形）を算出してもよいし、平行四辺形を算出してもよい。例えば、図８の（ａ）部分に示すように注目領域５５２を囲む斜めの矩形６０２を算出してもよいし、同図の（ｂ）部分に示すように注目領域５５０を囲む斜めの平行四辺形６０４を算出してもよい。なお、観察を妨げないようにするため、注目領域と重ならない多角形または楕円を算出することが好ましい。
　＜多角形の算出と軸の設定＞
　ステップＳ１３０で多角形を算出する場合、図形算出部２０４Ｃは、注目領域に対し第１の軸と、第１の軸と交わる第２の軸と、を設定し、第１の軸に平行な２辺と第２の軸に平行な２辺とで構成される四角形を多角形として算出する（ステップＳ１３０：図形算出工程）。第１の軸及び第２の軸は、例えば第１の軸または第２の軸を水平方向または垂直方向に設定する、注目領域を横切る長さが最大となる方向または最小となる方向に第１の軸及び／または第２の軸を設定する、等様々な方向に設定することができる。図９は第１の軸及び第２の軸の設定例を示す図である。図９の（ａ）部分は、注目領域５５０に対し第１の軸９０１（第１の軸）及び第１の軸９０１に直交する第２の軸９０２（第２の軸）を設定し、第１の軸９０１に平行な２辺と第２の軸９０２に平行な２辺で構成される矩形６１０（多角形、四角形、矩形）を算出する様子を示している。一方、図９の（ｂ）部分は、注目領域５５０に対し第１の軸９０３（第１の軸）及び第２の軸９０４（第２の軸）を設定し、第１の軸９０３に平行な２辺と第２の軸９０４に平行な２辺で構成される平行四辺形６１２（多角形、四角形、平行四辺形）を算出する様子を示している。
　＜楕円近似による楕円及び多角形の算出＞
　ステップＳ１３０において、図形算出部２０４Ｃは、注目領域を楕円近似して楕円の長軸及び短軸を算出することにより楕円または多角形（四角形）を算出することができる（ステップＳ１３０：図形算出工程）。例えば図１０に示すように、図形算出部２０４Ｃは、注目領域５５０に対し長軸９０５（長軸）及び長軸９０５に直交する短軸９０６（短軸）を有する楕円６１４を算出することができる。長軸及び短軸は、多角形を算出する場合と同様に、一方を水平方向または垂直方向に設定する、注目領域を横切る長さが最大となる方向または最小となる方向に設定する、等様々な方向に設定することができる。また、多角形を算出する場合と同様に、注目領域と重ならない楕円を算出することが好ましい。また、図形算出部２０４Ｃは、このようにして算出した長軸と短軸とのうち一方を第１の軸とし他方を第２の軸として、第１の軸に平行な２辺と第２の軸に平行な２辺とで構成される四角形を多角形として算出してもよい。このように、楕円近似は楕円算出方法の一態様であり、また多角形（四角形）を規定する２軸の算出手法の一態様でもある。
　＜図形の重畳表示＞
　表示制御部２０４Ｄは、図形算出部２０４Ｃが算出した多角形または楕円に基づく図形を時系列画像に重畳してモニタ４００（表示装置）に表示させる（ステップＳ１４０：表示制御工程）。具体的には、算出した多角形の辺または頂点に配置された図形、または楕円の円周または円周上の複数の位置に配置された図形を表示させる。以下、重畳表示する図形の例を説明する。
　＜重畳表示する図形の例＞
　（例１）
　図１１の（ａ）部分は注目領域５５２を囲む矩形（多角形）の辺に配置された図形６１６を重畳表示した様子を示した図であり、同図の（ｂ）部分は矩形の頂点に配置された図形６１８（Ｌ字型の図形４つ）を重畳表示した様子を示す図である。図１１の（ｂ）部分に示す例では、大きさ及び形状が頂点における内角に依存しない図形６１８（４つの図形６１８が全て等しい）を表示している。
　（例２）
　図１２の（ａ）部分は注目領域５５０を囲む矩形（多角形）の辺により構成される図形６２０を重畳表示した様子を示した図であり、同図の（ｂ）部分は矩形の辺の一部により構成される図形６２２（点線で描画された、全体として矩形の図形）を重畳表示した様子を示す図である。また、図１２の（ｃ）部分は同図の（ａ）部分と同様に矩形の辺により構成される図形６２４を重畳表示した様子を示す図であるが、図形６２４は図形６２０よりも大きくし、注目領域５５０と図形６２４の間の余白を確保している。なお、他の表示例においても図１２の（ｃ）部分と同様に余白を確保することができる。
　（例３）
　図１３の（ａ）部分は注目領域５５０を囲む平行四辺形（多角形）の辺により構成される図形６２６を重畳表示した様子を示した図であり、同図の（ｂ）部分は平行四辺形の辺の一部により構成される図形６２８（点線で描画された、全体として平行四辺形の図形）を重畳表示した様子を示す図である。また、図１３の（ｃ）部分は、平行四辺形の頂点に配置され頂点における内角に応じて形状を変化させた図形６３０を重畳表示した様子を示している。
　（例４）
　図１４の（ａ）部分は注目領域５５０を囲む平行四辺形（多角形）の頂点に配置され頂点における内角に応じて形状を変化させた図形６３２（Ｌ字型、あるいはＶ字型の図形４つ）を重畳表示した様子を示した図であり、同図の（ｂ）部分は平行四辺形の頂点に配置され大きさ及び形状が頂点における内角に依存しない図形６３４（平行四辺形の中心方向を向く楔形の図形４つ）を重畳表示した様子を示す図である。
　（例５）
　図１５の（ａ）部分は注目領域５５０を囲む楕円の辺により構成される図形６３６を重畳表示した様子を示した図であり、同図の（ｂ）部分は楕円の辺の一部により構成される図形６３８（点線で描画された、全体として楕円の図形）を重畳表示した様子を示す図である。また、図１５の（ｃ）部分は、楕円の円周上の複数の位置に配置され形状及び大きさが円周上の位置に依存しない図形６４０（楕円の中心方向を向く楔形の図形４つ）を重畳表示した様子を示している。
　（例６）
　図１６の（ａ）部分は注目領域５５０を囲む三角形（多角形の一態様）の辺により構成される図形６４２を重畳表示した様子を示した図であり、同図の（ｂ）部分は楕円の辺の一部により構成される図形６４４（点線で描画された、全体として三角形の図形）を重畳表示した様子を示す図である。また、図１６の（ｃ）部分は、三角形の頂点に配置され形状及び大きさが頂点における内角に依存しない図形６４６（楔形の図形６４６が３つ）を重畳表示した様子を示しており、同図の（ｄ）部分は三角形の頂点に配置され頂点における内角に応じて形状を変化させた図形６４８（楔形の図形６４８が３つ）を重畳表示した様子を示している。
　（例７）
　注目領域の一部だけが時系列画像に映っている場合は、その映っている部分について図形を重畳表示すればよい。例えば、図１７の（ａ）部分に示すように注目領域５５０の一部が映っている場合は、図形６５２のように矩形の辺の一部により構成される図形を重畳表示することができる。同様に、図１７の（ｂ）部分に示す図形６５４や、同図の（ｃ）部分に示す図形６５６のような図形を表示してもよい。
　ステップＳ１４０で重畳表示を行うと、画像入力部２０４Ａは時系列画像の入力が終了したか否かを判断する（ステップＳ１５０：画像入力工程）。判断が肯定されたら処理を終了し、否定されたらステップＳ１１０に戻って時系列画像の次のフレームを入力する。
　以上説明したように、第１の実施形態に係る内視鏡システム１０（内視鏡装置、画像処理装置）及び画像処理方法によれば、時系列画像の観察者に注意喚起をしつつ円滑な観察を支援することができる。
　（付記）
　上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
　（付記１）
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
　医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　（付記２）
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
　医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　（付記３）
　医療画像解析結果取得部は、
　医療画像の解析結果を記録する記録装置から取得し、
　解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
　（付記４）
　医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
　（付記５）
　医療画像は、特定の波長帯域の光を照射して得た画像であり、
　特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
　（付記６）
　特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
　（付記７）
　特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　（付記８）
　特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
　（付記９）
　特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　（付記１０）
　特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
　（付記１１）
　特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　（付記１２）
　医療画像は生体内を写した生体内画像であり、
　生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
　（付記１３）
　蛍光は、ピークが３９０以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
　（付記１４）
　医療画像は生体内を写した生体内画像であり、
　特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
　（付記１５）
　特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　（付記１６）
　医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
　医療画像は特殊光画像である医療画像処理装置。
　（付記１７）
　特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。
　（付記１８）
　白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
　医療画像は特徴量画像である医療画像処理装置。
　（付記１９）
　付記１から１８のいずれか１つに記載の医療画像処理装置と、
　白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
　を備える内視鏡装置。
　（付記２０）
　付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
　（付記２１）
　付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
　以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１０　　　内視鏡システム
１００　　内視鏡本体
１０２　　手元操作部
１０４　　挿入部
１０６　　ユニバーサルケーブル
１０８　　ライトガイドコネクタ
１１２　　軟性部
１１４　　湾曲部
１１６　　先端硬質部
１１６Ａ　先端側端面
１２３　　照明部
１２３Ａ　照明用レンズ
１２３Ｂ　照明用レンズ
１２６　　鉗子口
１３０　　撮影光学系
１３２　　撮影レンズ
１３４　　撮像素子
１３６　　駆動回路
１３８　　ＡＦＥ
１４１　　送気送水ボタン
１４２　　吸引ボタン
１４３　　機能ボタン
１４４　　撮影ボタン
１７０　　ライトガイド
２００　　プロセッサ
２０２　　画像入力コントローラ
２０４　　画像処理部
２０４Ａ　画像入力部
２０４Ｂ　情報取得部
２０４Ｃ　図形算出部
２０４Ｄ　表示制御部
２０４Ｅ　条件設定部
２０５　　通信制御部
２０６　　ビデオ出力部
２０７　　記録部
２０８　　操作部
２０９　　音声処理部
２０９Ａ　スピーカ
２１０　　ＣＰＵ
２１１　　ＲＯＭ
２１２　　ＲＡＭ
３００　　光源装置
３１０　　光源
３１０Ｂ　青色光源
３１０Ｇ　緑色光源
３１０Ｒ　赤色光源
３１０Ｖ　紫色光源
３３０　　絞り
３４０　　集光レンズ
３５０　　光源制御部
４００　　モニタ
５０１Ａ　領域
５０１Ｂ　領域
５０１Ｃ　ボタン
５０２Ａ　領域
５０２Ｂ　領域
５０２Ｃ　ボタン
５０３Ａ　領域
５０３Ｂ　領域
５０３Ｃ　ボタン
５０４Ａ　領域
５０４Ｂ　領域
５０４Ｃ　ボタン
５０５Ａ　領域
５０５Ｂ　領域
５０５Ｃ　ボタン
５１１　　ボタン
５１２　　ボタン
５１３　　ボタン
５５０　　注目領域
５５２　　注目領域
６００　　外接矩形
６０２　　矩形
６０４　　平行四辺形
６１０　　矩形
６１２　　平行四辺形
６１４　　楕円
６１６　　図形
６１８　　図形
６２０　　図形
６２２　　図形
６２４　　図形
６２６　　図形
６２８　　図形
６３０　　図形
６３２　　図形
６３４　　図形
６３６　　図形
６３８　　図形
６４０　　図形
６４２　　図形
６４４　　図形
６４６　　図形
６４８　　図形
６５２　　図形
６５４　　図形
６５６　　図形
７００　　領域
８００　　時系列画像
９０１　　第１の軸
９０２　　第２の軸
９０３　　第１の軸
９０４　　第２の軸
９０５　　長軸
９０６　　短軸
Ｓ１００～Ｓ１５０　画像処理方法の各ステップ

Claims (11)

  1. 　時系列画像を入力する画像入力部と、
    　前記時系列画像における注目領域の情報を取得する情報取得部と、
    　前記注目領域に外接する矩形であって、前記時系列画像の水平軸に平行な２辺と前記時系列画像の垂直軸に平行な他の２辺とで構成される矩形である外接矩形の面積以下の面積を有し、前記注目領域を囲む多角形または楕円を算出する図形算出部と、
    　前記多角形または前記楕円に基づく図形であって、前記多角形の辺または頂点に配置された図形、または前記楕円の円周または円周上の複数の位置に配置された図形を前記時系列画像に重畳して表示装置に表示させる表示制御部と、
    　を備える画像処理装置。
  2. 　前記表示制御部は、前記多角形の頂点に配置され前記頂点における内角に応じて形状を変化させた図形を前記図形として前記表示装置に表示させる請求項１に記載の画像処理装置。
  3. 　前記表示制御部は、前記多角形の頂点に配置され、大きさ及び／または形状が前記頂点における内角に依存しない図形を前記図形として前記表示装置に表示させる請求項１に記載の画像処理装置。
  4. 　前記表示制御部は前記多角形の前記辺または前記辺の一部により構成される図形、または前記楕円の前記円周または前記円周の一部により構成される図形を前記図形として前記表示装置に表示させる請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記図形算出部は、前記注目領域に対し第１の軸と、前記第１の軸と交わる第２の軸と、を設定し、前記第１の軸に平行な２辺と前記第２の軸に平行な２辺とで構成される四角形を前記多角形として算出する請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記図形算出部は前記注目領域を楕円近似して前記楕円の長軸及び短軸を算出することにより前記多角形または前記楕円を算出する請求項５に記載の画像処理装置。
  7. 　前記図形算出部は前記四角形として矩形を算出する請求項５または６に記載の画像処理装置。
  8. 　前記画像入力部は内視鏡装置で取得した被検体の画像を前記時系列画像として入力する請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　前記情報取得部は前記時系列画像を解析して前記注目領域の前記情報を取得する請求項１から８のいずれか１項に記載の画像処理装置。
  10. 　前記図形算出部が算出する前記多角形または前記楕円、及び／または前記表示制御部が表示させる前記図形をユーザの指示入力に基づいて設定する条件設定部をさらに備える請求項１から９のいずれか１項に記載の画像処理装置。
  11. 　時系列画像を入力する画像入力工程と、
    　前記時系列画像における注目領域の情報を取得する情報取得工程と、
    　前記注目領域に外接する矩形であって、前記時系列画像の水平軸に平行な２辺と前記時系列画像の垂直軸に平行な他の２辺とで構成される矩形である外接矩形の面積以下の面積を有し、前記注目領域を囲む多角形または楕円を算出する図形算出工程と、
    　前記多角形または前記楕円に基づく図形であって、前記多角形の辺または頂点に配置された図形、または前記楕円の円周または円周上の複数の位置に配置された図形を前記時系列画像に重畳して表示装置に表示させる表示制御工程と、
    　を有する画像処理方法。
PCT/JP2019/033598 2018-09-21 2019-08-28 画像処理装置及び画像処理方法 WO2020059445A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020548220A JP7125499B2 (ja) 2018-09-21 2019-08-28 画像処理装置及び画像処理方法
US17/200,914 US20210196101A1 (en) 2018-09-21 2021-03-15 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018177437 2018-09-21
JP2018-177437 2018-09-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/200,914 Continuation US20210196101A1 (en) 2018-09-21 2021-03-15 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
WO2020059445A1 true WO2020059445A1 (ja) 2020-03-26

Family

ID=69888768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/033598 WO2020059445A1 (ja) 2018-09-21 2019-08-28 画像処理装置及び画像処理方法

Country Status (3)

Country Link
US (1) US20210196101A1 (ja)
JP (1) JP7125499B2 (ja)
WO (1) WO2020059445A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7105369B2 (ja) 2019-03-28 2022-07-22 オリンパス株式会社 トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法
WO2020194664A1 (ja) * 2019-03-28 2020-10-01 オリンパス株式会社 トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法
CN114926440A (zh) * 2022-05-26 2022-08-19 之江实验室 一种基于同心椭圆弦长比的单晶硅直径检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073337A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置
WO2017115442A1 (ja) * 2015-12-28 2017-07-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2017212653A1 (ja) * 2016-06-10 2017-12-14 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318546A (ja) * 2004-03-29 2005-11-10 Fuji Photo Film Co Ltd 画像認識システム、画像認識方法、及び画像認識プログラム
JP2009237836A (ja) * 2008-03-27 2009-10-15 Sanyo Electric Co Ltd 手書き入力パネルを備えた車載用電子装置
JP2012257021A (ja) * 2011-06-08 2012-12-27 Sony Corp 表示制御装置および方法、プログラム、並びに記録媒体
JP6089401B2 (ja) * 2012-01-06 2017-03-08 富士ゼロックス株式会社 画像処理装置、指定印推定装置、及びプログラム
JP2015059768A (ja) * 2013-09-17 2015-03-30 株式会社Ｎｔｅｃ 段差計測装置、段差計測方法及びプログラム
JP6918581B2 (ja) * 2017-06-01 2021-08-11 キヤノン株式会社 制御装置、断層像撮影システム、制御方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073337A1 (ja) * 2015-10-27 2017-05-04 オリンパス株式会社 内視鏡装置
WO2017115442A1 (ja) * 2015-12-28 2017-07-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2017212653A1 (ja) * 2016-06-10 2017-12-14 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
JPWO2020059445A1 (ja) 2021-08-30
JP7125499B2 (ja) 2022-08-24
US20210196101A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
US20210235980A1 (en) Medical-use image processing device, endoscope system, and medical-use image processing method
JP7038641B2 (ja) 医療診断支援装置、内視鏡システム、及び作動方法
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US20210343011A1 (en) Medical image processing apparatus, endoscope system, and medical image processing method
US20210196101A1 (en) Image processing apparatus and image processing method
JP7333805B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
JP7278202B2 (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
US11948080B2 (en) Image processing method and image processing apparatus
WO2019220859A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2020170809A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
US11978550B2 (en) Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
US20220151462A1 (en) Image diagnosis assistance apparatus, endoscope system, image diagnosis assistance method , and image diagnosis assistance program
US20230157768A1 (en) Medical image processing apparatus, medical image processing method, endoscope system, and medical image processing program
US20230410303A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program
US20230389774A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program
US20220151461A1 (en) Medical image processing apparatus, endoscope system, and medical image processing method
US20220330825A1 (en) Medical image processing apparatus, medical image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19862269

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548220

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19862269

Country of ref document: EP

Kind code of ref document: A1