WO2019039259A1 - 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法 - Google Patents

診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法 Download PDF

Info

Publication number
WO2019039259A1
WO2019039259A1 PCT/JP2018/029489 JP2018029489W WO2019039259A1 WO 2019039259 A1 WO2019039259 A1 WO 2019039259A1 JP 2018029489 W JP2018029489 W JP 2018029489W WO 2019039259 A1 WO2019039259 A1 WO 2019039259A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
representative
imaging
display
unit
Prior art date
Application number
PCT/JP2018/029489
Other languages
English (en)
French (fr)
Inventor
駿平 加門
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019538048A priority Critical patent/JP6907324B2/ja
Publication of WO2019039259A1 publication Critical patent/WO2019039259A1/ja
Priority to US16/783,138 priority patent/US11103197B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485Automatic selection of region of interest
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence

Definitions

  • the present invention relates to a diagnosis support system, an endoscope system, a processor, and a diagnosis support method, and more particularly to acquisition and display of medical images.
  • an image of a subject (patient or the like) may be acquired, and diagnosis may be performed based on the acquired image.
  • diagnosis using such medical images a plurality of images are often obtained and displayed, and therefore a system capable of displaying images suitable for diagnosis is desired.
  • a period of displaying an electrocardiogram waveform is switched based on findings data and action information, and partial images It is stated that the display. Specifically, when the user operates the keyboard of the radiography terminal in a state where the nth electrocardiogram test image is displayed among the images in which the finding information is “tachycardia”, the (n ⁇ 1) th or It is described that a partial image of the (n + 1) th "tachycardia" is displayed.
  • the present invention has been made in view of such circumstances, and it is an object of the present invention to provide a diagnostic support system, an endoscope system, a processor, and a diagnostic support method capable of easily displaying an image suitable for diagnosis.
  • the diagnosis support system provides a medical image photographing unit for photographing a medical image according to a photographing instruction, and a medical image photographing unit to give a photographing instruction.
  • An imaging control unit for imaging a plurality of different medical images within an imaging period, a representative image storage unit for storing any one of the plurality of medical images as a representative image in the imaging period, and a representative image among the plurality of medical images
  • the near image storage unit stores the medical images except for the near image of the representative image in correspondence with the representative image
  • the representative image display control unit for displaying the representative images in a list on the display device, and selection for the representative images displayed in a list
  • a proximity image display control unit for causing the display device to display any one of proximity images corresponding to the selected representative image.
  • any one of the neighboring images corresponding to the selected representative image is displayed, so that the representative image is defective due to an instantaneous cause such as blurring or blurring.
  • a nearby image can be displayed.
  • an image suitable for diagnosis can be easily displayed, and diagnosis, report preparation, and the like can be performed efficiently.
  • the length of the imaging period can be set so that the change between the representative image and the neighboring image is within an allowable range.
  • the representative image may be any of the acquired images (of the plurality of images, the photographing time is first, last, middle, etc.).
  • representative images can be listed in an arrangement in consideration of imaging time, imaging site, region of interest, equipment and / or equipment used, coloring agent and / or staining agent used.
  • the medical image is also referred to as a medical image.
  • the light source used in medical imaging may be light in a white band, light including a plurality of wavelengths (narrow band light) as a white band, infrared light, and excitation light.
  • the medical image acquired in the first aspect may be a white light or a normal light image obtained by irradiating light of a plurality of wavelength bands as light of the white light band, or was obtained based on the normal light image. It may be a special light image having information of a specific wavelength band.
  • the diagnosis support system includes an imaging timing setting unit that sets an imaging timing based on a user's instruction input, and the imaging control unit instructs the medical image imaging unit to perform imaging according to the imaging timing.
  • the user can automatically perform imaging at a desired imaging timing set by itself and acquire an image.
  • the photographing timing for example, photographing start / end time, photographing time interval and the like can be set.
  • the diagnosis support system includes the region-of-interest detection unit for detecting the region of interest from the medical image captured by the medical image capturing unit according to the first or second aspect, and the imaging control unit detects the region of interest
  • the imaging instruction is given to the medical imaging unit according to According to the third aspect, it is possible to automatically perform imaging and acquire an image according to detection of a region of interest (ROI).
  • ROI region of interest
  • detecting the region of interest from the medical image captured by the medical image capturing unit can be performed, for example, by detecting the region of interest from the frame images constituting the continuously acquired live view image. Extraction of the region of interest may be performed using the result of machine learning.
  • a lesion area, a lesion candidate area and the like can be set as a region of interest.
  • the representative image display control unit displays a list of representative images captured according to the detection of the region of interest. According to the fourth aspect, it is possible to display a list of representative images obtained by imaging the region of interest, and to easily display images suitable for diagnosis.
  • the diagnosis support system includes an imaging instruction receiving unit for receiving an imaging instruction operation of a user, and the imaging control unit receives a medical image according to the imaging instruction operation. Give a shooting instruction to the shooting unit.
  • the user (such as a doctor) can acquire an image at a desired timing.
  • the proximity image is an image whose imaging time is earlier than the representative image and an image whose imaging time is later than the representative image And at least one of them.
  • the photographing time of the near image is earlier than the representative image
  • the near image is a past image with respect to the representative image.
  • the photographing time of the near image is later than the representative image
  • the near image is an image of the future with respect to the representative image.
  • the nearby image may include both an image whose imaging time is earlier than the representative image and an image whose imaging time is later than the representative image.
  • the diagnosis support system receives a switching instruction to switch a near image displayed on the display device to another near image having a different photographing time.
  • the proximity image display control unit displays another proximity image instead of the proximity image displayed on the display device. According to the seventh aspect, since the proximity image to be displayed on the display device is switched to another proximity image having a different photographing time and displayed, even when the displayed proximity image is inappropriate, such an inappropriate proximity image Instead, it is easy to display an appropriate nearby image.
  • the proximity image display control unit causes the display device to continuously display a plurality of proximity images corresponding to the selected representative image, When the display stop instruction of the continuous display is received, the proximity image displayed is continuously displayed on the display device.
  • the display stop instruction of the continuous display (sequential display) can be issued based on the user operation, whereby the user can display a desired nearby image from among a plurality of nearby images.
  • the diagnosis support system includes an image analysis unit that analyzes a near image and extracts a near image for diagnosis, and the near image display control unit performs diagnosis The display image is displayed on the display device. According to the ninth aspect, the user can efficiently perform diagnosis by displaying the diagnostic proximity image.
  • the image analysis unit includes the presence of a region of interest in the near image, the exposure of the near image, the amount of blurring of the near image, the presence of an instrument in the near image, the near image
  • the diagnostic proximity image is extracted based on at least one of the use of a coloring agent and / or a staining agent in A tenth aspect specifically defines extraction of a diagnostic proximity image.
  • the coloring agent and the staining agent are agents for coloring and observing a subject such as a lesion by contrast method, staining method or the like, and the device is a device for observing, treating, biopsying the subject, etc. ( It is dumpling etc.).
  • the near image display control unit displays the near image in a display mode different from that of the representative image. According to the eleventh aspect, the user can easily recognize that the proximity image is displayed.
  • the near image display control unit changes at least one of the display position of the near image, the display window, and the display size with the representative image.
  • the twelfth aspect specifically defines the difference in display mode between the representative image and the neighboring image in the eleventh aspect.
  • the proximity image display control unit changes the display mode of the proximity image based on a user instruction.
  • the user can display the proximity image in a desired display mode.
  • the near image display control unit substitutes the selected representative image for the near image corresponding to the selected representative image. Display one of them.
  • the representative image display control unit distinguishes and displays the selected representative image with another representative image according to the fifteenth aspect. According to the fifteenth aspect, it is possible to easily recognize which representative image is displayed with the near image.
  • the representative image display control unit selects another representative image in a state where one representative image is selected. In this case, the display of the adjacent image displayed at the time of selection is ended, and the display mode of one representative image is returned to the state where one representative image is not selected.
  • the diagnostic support system stores a designated image for storing an image designated among the representative image displayed in a list and the displayed neighboring image. It further comprises a department. According to the seventeenth aspect, since the user can save the specified image, diagnosis, report creation, and the like can be efficiently performed.
  • an endoscope system is inserted into a diagnostic support system according to any one of the first to seventeenth aspects, a display device, and a subject
  • An endoscope system comprising: an endoscope having an operation unit connected to an end side, wherein the medical image photographing unit comprises an imaging lens for imaging an optical image of an object, and an optical image by the imaging lens An imaging element for forming an image, and the imaging lens is provided at the distal end rigid portion.
  • An endoscope system includes the diagnosis support system according to any one of the first through seventeenth aspects, thereby enabling an image suitable for diagnosis based on an image acquired by the endoscope. It can be easily displayed, whereby diagnosis, report preparation, etc. can be performed efficiently.
  • a processor is a processor of an endoscope system according to the eighteenth aspect, comprising: a photographing control unit; a representative image storage unit; And a representative image display control unit, a representative image selection unit, and a near image display control unit.
  • processing for displaying an image suitable for diagnosis can be performed.
  • a diagnostic support method includes a medical image capturing unit configured to capture a medical image according to a capturing instruction;
  • a diagnosis support method by a diagnosis support system comprising: an imaging control step of giving an imaging instruction to an imaging device and imaging a plurality of medical images at different imaging times within an imaging period, and imaging any one of the plurality of medical images
  • a representative image display control step for displaying a list on the device, a representative image selection step for receiving a selection on the representative images displayed in a list, and a near corresponding to the selected representative image Having a near image display control step of displaying on the display device of any of the images.
  • an image suitable for diagnosis can be easily displayed, whereby diagnosis, report preparation, and the like can be efficiently performed.
  • the diagnostic support method further having the same configuration as the second to seventeenth aspects with respect to the configuration of the twentieth aspect, and a computer readable code of a program that causes the diagnostic support system to execute the diagnostic support methods of these aspects.
  • a recording medium recorded can also be mentioned as an aspect of the present invention.
  • an image suitable for diagnosis can be easily displayed.
  • FIG. 1 is an external view of an endoscope system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the endoscope system.
  • FIG. 3 is a view showing the configuration of the distal end rigid portion of the endoscope.
  • FIG. 4 is a diagram showing a functional configuration of the image processing unit.
  • FIG. 5 is a diagram showing information stored in the storage unit.
  • FIG. 6 is a diagram showing how representative images are associated with neighboring images.
  • FIG. 7 is a flowchart showing processing of the diagnosis support method.
  • FIG. 8 is another flowchart showing the process of the diagnosis support method.
  • FIG. 9 is a view showing an example of the photographing condition setting screen.
  • FIG. 10 is a view showing another example of the photographing condition setting screen.
  • FIG. 9 is a view showing an example of the photographing condition setting screen.
  • FIG. 11 is a diagram showing an example of the display condition setting screen.
  • FIG. 12 is a diagram showing an example of storage of representative images and neighboring images.
  • FIG. 13 is a diagram showing another example of storage of representative images and neighboring images.
  • FIG. 14 is a view showing a display example of a representative image and a near image.
  • FIG. 15 is a view showing another display example of the representative image and the near image.
  • FIG. 16 is a view showing still another display example of the representative image and the vicinity image.
  • FIG. 17 is a view showing a state of displaying a moving image of a nearby image.
  • FIG. 18 is a flowchart showing a process of displaying a moving image of a nearby image.
  • FIG. 19 is a diagram showing an example of identification display of the selected representative image.
  • FIG. 12 is a diagram showing an example of storage of representative images and neighboring images.
  • FIG. 13 is a diagram showing another example of storage of representative images and neighboring images.
  • FIG. 20 is a diagram showing how the designated image is stored.
  • FIG. 21 is a flow chart showing processing of automatic imaging according to detection of a region of interest.
  • FIG. 22 is a diagram illustrating an example of an image captured in response to detection of a region of interest and an image captured in response to detection of an instrument.
  • FIG. 23 is a flowchart showing extraction processing of a diagnostic near image.
  • FIG. 24 is a diagram showing an example of extraction of a diagnostic proximity image.
  • FIG. 1 is an external view showing an endoscope system 10 (diagnosis support system, diagnosis support apparatus, endoscope system, processor, medical image processing apparatus) according to the first embodiment
  • FIG. 2 is an endoscope
  • FIG. 1 is a block diagram showing the main configuration of a system 10;
  • the endoscope system 10 includes an endoscope main body 100 (endoscope), a processor 200 (processor, medical image processing apparatus), a light source 300, and a monitor 400 (display). Configured
  • the endoscope main body 100 includes a hand operation unit 102 (operation unit) and an insertion unit 104 (insertion unit) connected to the hand operation unit 102.
  • the operator holds and operates the hand operation unit 102, inserts the insertion unit 104 into the body of a subject (living body), and observes it.
  • the hand operation unit 102 is provided with an air / water supply button BT1, a suction button BT2, a function button BT3 to which various functions can be assigned, and a photographing button BT4 for receiving a photographing instruction operation.
  • the insertion part 104 is comprised from the soft part 112 (soft part), the curved part 114 (curved part), and the front-end
  • the proximal operating portion 102 is connected to the proximal end side of the insertion portion 104. The user can bend the bending portion 114 by operating the hand operation portion 102 to change the direction of the distal end hard portion 116 vertically and horizontally.
  • the distal end hard portion 116 is provided with a photographing optical system 130 (medical image photographing unit, photographing apparatus, medical image acquisition unit), an illumination unit 123, a forceps port 126 and the like (see FIGS. 1 to 3).
  • either or both of visible light and infrared light can be emitted from the illumination lenses 123A and 123B of the illumination unit 123 by the operation of the operation unit 208 (see FIG. 2). Further, washing water is released from a water feeding nozzle (not shown) by the operation of the air / water feeding button BT1, and the photographing lens 132 (photographing lens) of the photographing optical system 130 and the illumination lenses 123A and 123B can be cleaned.
  • a conduit (not shown) communicates with the forceps port 126 opened at the distal end hard portion 116, and a treatment tool (not shown) for tumor extraction and the like is inserted through this conduit, and advances and retracts as appropriate to the subject Necessary measures can be taken.
  • a photographing lens 132 is disposed on the distal end side end face 116 A of the distal end hard portion 116.
  • a CMOS (Complementary Metal-Oxide Semiconductor) type imaging device 134 imaging device, imaging device, medical image acquisition unit
  • drive circuit 136 drive circuit 136
  • AFE 138 Analog Front End
  • the image pickup device 134 is a color image pickup device, and includes a plurality of light receiving elements arranged (two-dimensionally arranged) in a matrix in a specific pattern arrangement (Bayer arrangement, X-Trans (registered trademark) arrangement, honeycomb arrangement etc.) And a plurality of pixels.
  • Each pixel of the imaging device 134 includes a microlens, a color filter of red (R), green (G), or blue (B) and a photoelectric conversion unit (such as a photodiode).
  • the photographing optical system 130 can also generate a color image from pixel signals of three colors of red, green and blue, or generate an image from pixel signals of any one color or two of red, green and blue. It can also be done.
  • the imaging device 134 is a CMOS imaging device will be described, but the imaging device 134 may be a CCD (Charge Coupled Device) type.
  • CCD Charge Coupled Device
  • the optical image of the subject is imaged on the light receiving surface (imaging surface) of the imaging device 134 by the imaging lens 132, converted into an electrical signal, and output to the processor 200 via a signal cable (not shown) And converted into a video signal.
  • the observation image (representative image, near image) is displayed on the monitor 400 connected to the processor 200.
  • illumination lenses 123A (for visible light) and 123B (for infrared light) of the illumination unit 123 are provided adjacent to the photographing lens 132 at the tip end face 116A of the distal end hard portion 116.
  • An emission end of a light guide 170 described later is disposed at the back of the illumination lenses 123A and 123B, and the light guide 170 is inserted into the insertion portion 104, the hand operation portion 102, and the universal cable 106.
  • An entrance end is disposed within the light guide connector 108.
  • the light source device 300 includes a light source 310 for illumination, a diaphragm 330, a condenser lens 340, a light source control unit 350, and the like, and lights illumination light (visible light or infrared light).
  • the light is incident on the guide 170.
  • the light source 310 includes a visible light source 310A and an infrared light source 310B, and can emit one or both of visible light and infrared light.
  • the illuminance of the illumination light by the visible light source 310A and the infrared light source 310B is controlled by the light source control unit 350, and the illuminance of the illumination light can be lowered or the illumination can be stopped as needed.
  • the light source 310 may be a light source generating white band light or light of a plurality of wavelength bands as white band light, or a light source generating light of a specific wavelength band narrower than the white wavelength band May be.
  • the specific wavelength band may be a blue band or a green band in the visible range, or a red band in the visible range.
  • the specific wavelength band is a blue band or a green band in the visible range, it includes a wavelength band of 390 nm or more and 450 nm or less, or 530 nm or more and 550 nm or less, and peaks in a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less It may have a wavelength.
  • the specific wavelength band when the specific wavelength band is a red band in the visible range, it includes a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm, and light of the specific wavelength band is 585 nm to 615 nm or 610 nm or more It may have a peak wavelength within a wavelength band of 730 nm or less.
  • the specific wavelength band includes the wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm, and 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm
  • the peak wavelength may be in the following wavelength band.
  • the light generated by the light source 310 includes a wavelength band of 790 nm to 820 nm, or 905 nm to 970 nm, and has a peak wavelength in the wavelength band of 790 nm to 820 nm or 905 nm to 970 nm. It may be done.
  • the light source 310 may include a light source that emits excitation light having a peak of 390 nm or more and 470 nm or less. In this case, it is possible to acquire a medical image (in-vivo image) having information on fluorescence emitted by a fluorescent substance in a subject (living body).
  • the light source type of the light source 310 (laser light source, xenon light source, LED light source (LED: Light-Emitting Diode), etc.), wavelength, presence or absence of a filter, etc. are preferably configured according to the type of object, purpose of observation At the time of observation, it is preferable to combine and / or switch the wavelength of the illumination light in accordance with the type of subject, the purpose of observation, and the like.
  • the wavelength of the light to be irradiated is switched by rotating a disk-shaped filter (rotary color filter) provided in front of the light source and provided with a filter for transmitting or blocking light of a specific wavelength. It is also good.
  • the imaging device used in practicing the present invention is not limited to a color imaging device in which a color filter is disposed for each pixel as in the imaging device 134, and may be a monochrome imaging device.
  • the wavelength of the illumination light can be switched sequentially to capture an image in a frame-sequential (color-sequential) manner.
  • the wavelength of the illumination light to be emitted may be sequentially switched among (purple, blue, green, red), or broadband light (white light) is irradiated and emitted by a rotary color filter (red, green, blue, etc.)
  • the wavelength of the illumination light may be switched.
  • one or more narrow band lights may be irradiated to switch the wavelength of the illumination light emitted by the rotary color filter (green, blue, etc.).
  • the narrow band light may be infrared light of two or more wavelengths different in wavelength.
  • the illumination light emitted from the light source device 300 is transmitted to the illumination lenses 123A and 123B through the light guide 170, and the illumination lens 123A, It irradiates to the observation range from 123B.
  • the configuration of the processor 200 will be described based on FIG.
  • the processor 200 inputs an image signal output from the endoscope main body 100 via the image input controller 202 and the image input interface 205, performs necessary image processing in the image processing unit 204, and outputs the image signal via the video output unit 206. Output.
  • an observation image (an in-vivo image such as a representative image or a proximity image) is displayed on the monitor 400 (display device).
  • CPU 210 Central Processing Unit
  • the CPU 210 includes a medical image photographing unit, an imaging control unit, a representative image storage unit, a proximity image storage unit, a representative image display control unit, a representative image selection unit, a proximity image display control unit, an imaging timing setting unit, a region of interest detection unit, It has functions as a photographing instruction reception unit, a switching instruction reception unit, an image analysis unit, and a designated image storage unit.
  • the image processing unit 204 performs setting, storing, switching of display, and the like of the representative image and / or the neighboring image as described in detail later.
  • the storage unit 207 representsative image storage unit, near image storage unit
  • an image (representative image, near image, etc.) of the subject is stored.
  • the sound processing unit 209 outputs, from the speaker 209A, a warning message (sound) and the like in setting display conditions.
  • a ROM 211 (ROM: Read Only Memory) is a non-volatile storage element (non-temporary recording medium), and computer readable by a program that causes the CPU 210 and / or the image processing unit 204 to execute the diagnosis support method according to the present invention. Code is stored.
  • a RAM 212 (RAM: Random Access Memory) is a storage element for temporary storage at the time of various processing, and can also be used as a buffer at the time of acquiring a nearby image.
  • FIG. 4 is a diagram showing a functional configuration of the image processing unit 204 (medical image acquisition unit, medical image analysis processing unit, medical image analysis result acquisition unit).
  • the image processing unit 204 includes a photographing timing setting unit 204A, a photographing instruction reception unit 204B, a photographing control unit 204C, a representative image storage unit 204D, a proximity image storage unit 204E, a representative image display control unit 204F, a representative image selection unit 204G, a proximity image display A control unit 204H, a region of interest detection unit 204I, a switching instruction reception unit 204J, an image analysis unit 204K, and a designated image storage unit 204L.
  • the imaging control unit 204C also operates as a medical image acquisition unit, and the region of interest detection unit 204I and the image analysis unit 204K also operate as a medical image analysis processing unit.
  • the image processing unit 204 acquires a special light image having information of a specific wavelength band based on a normal light image obtained by irradiating light of a plurality of wavelength bands as light of the white band or light of the white band. May be provided.
  • the signal of the specific wavelength band is usually the color information of RGB (R: red, G: green, B: blue) or CMY (C: cyan, M: magenta, Y: yellow) included in the light image. It can be obtained by calculation based on.
  • the image processing unit 204 generates a normal light image obtained by irradiating light of a plurality of wavelength bands as light of a white band or light of a white band, and a special light image obtained by irradiating light of a specific wavelength band.
  • a feature amount image generation unit that generates a feature amount image by calculation based on at least one of the above may be provided, and a feature amount image as a medical image (medical image) may be acquired and displayed.
  • the functions of the image processing unit 204 described above can be realized using various processors.
  • the various processors include, for example, a central processing unit (CPU) that is a general-purpose processor that executes software (programs) to realize various functions.
  • the various processors described above also include a programmable logic device (PLD) which is a processor whose circuit configuration can be changed after manufacturing an FPGA (Field Programmable Gate Array) or the like.
  • PLD programmable logic device
  • FPGA Field Programmable Gate Array
  • dedicated electric circuits and the like which are processors having a circuit configuration specially designed to execute specific processing such as application specific integrated circuits (ASICs) are also included in the various processors described above.
  • ASICs application specific integrated circuits
  • each unit may be realized by one processor or may be realized by combining a plurality of processors. Also, multiple functions may be realized by one processor. As an example in which a plurality of functions are configured by one processor, first, one processor or more is configured by a combination of one or more CPUs and software, as represented by computers such as clients and servers; Is realized as a plurality of functions. Second, as typified by a system on chip (SoC) or the like, there is a mode using a processor that realizes the functions of the entire system with one integrated circuit (IC) chip. Thus, the function of each part is configured using one or more of the various processors described above as a hardware-like structure.
  • SoC system on chip
  • circuitry circuitry
  • the processor executes software (program)
  • the computer readable code of the software to be executed (including the program for executing the diagnosis support method according to the present invention) is ROM 211 (see FIG. 2). Etc.) and the processor refers to the software.
  • the RAM 212 (see FIG. 2) is used as a temporary storage area, and data stored in, for example, an EEPROM (Electronically Erasable and Programmable Read Only Memory) is referred to. Note that illustration of devices such as an EEPROM is omitted in FIG.
  • the processor 200 includes an operation unit 208.
  • the operation unit 208 includes an operation mode setting switch (not shown) and the like, and can operate irradiation of visible light and / or infrared light. Further, the operation unit 208 includes a keyboard and a mouse (not shown), and the user can select a representative image and / or a nearby image, switch operations, and the like through these devices.
  • the setting of the imaging condition and the display condition by the operation unit 208 will be described later in detail (see FIGS. 9 to 11).
  • the setting of the operation mode may be performed by assigning the operation mode setting function to the function button BT3 (see FIG. 1) of the hand operation unit 102 as described above.
  • the storage unit 207 (representative image storage unit, proximity image storage unit, designated image storage unit, recording device) is a non-temporary device such as a CD (Compact Disk), a DVD (Digital Versatile Disk), a hard disk (Hard Disk), and various semiconductor memories. It comprises a recording medium and stores the image and information shown in FIG. 5 in association with each other. As shown in FIG. 5, the storage unit 207 stores a representative image 207A, a near image 207B (including a near image for diagnosis), and a designated image 207C. For example, as shown in FIG. 6, the representative image 207A (representative image) and the vicinity image 207B (nearby image) are recorded in correspondence with each other.
  • the designated image 207C (designated image) is an image designated from among the representative image 207A and the neighboring image 207B (see FIG. 20). These images are displayed on the monitor 400 by the operation through the operation unit 208 and the control of the CPU 210 and / or the image processing unit 204.
  • region of interest which is a region of interest included in a medical image (medical image) and / or presence or absence of an aspect to be noted It may be stored in the unit 207 (recording device).
  • the image processing unit 204 (medical image analysis processing unit, medical image analysis result acquisition unit) can acquire the analysis results from the storage unit 207 and can display the results on the monitor 400.
  • the monitor 400 displays a representative image, a proximity image, a shooting condition setting screen, a display condition setting screen, and the like by the operation through the operation unit 208 and the control of the CPU 210 and / or the image processing unit 204 (FIG. 11 mag)). In addition, it has a touch panel for performing the monitor 400 imaging condition setting operation and / or the display condition setting operation.
  • FIG. 7 and 8 are flowcharts showing processing of the diagnosis support method according to the first embodiment.
  • FIG. 9 is a view showing an example of a photographing condition setting screen.
  • condition names areas C01 to C10
  • contents of setting conditions areas V01 to V10
  • pull-down buttons buttons A01 to A10
  • a button B01 provided at the lower part of the screen is for display condition determination
  • a button B02 is for cancellation of the condition change
  • a button B03 is a button for returning to the initial setting.
  • the screen of FIG. 9 is displayed on the monitor 400, and display conditions can be set by the user's operation via the touch panel of the monitor 400 and / or the unshown keyboard and mouse of the operation unit 208.
  • Regions C01 and V01 indicate the number of images acquired in one shooting, and the number of images acquired can be designated by a selection operation via the button A01.
  • Regions C02 and V02 indicate imaging periods, and the imaging period can be designated by an operation via the button A02. In the photographing period designated by the area C02 etc., the number of images designated by the area C01 etc. is acquired.
  • Areas C03 and V03 indicate "how many of the images acquired in one shooting are to be used as a representative image", and the specific numerical values (first and fifth images) can be obtained by operating the button A03. The eye, the tenth sheet, etc.) can be selected.
  • FIG. 10 is a view showing an example of a screen for setting the number of a representative image, and the operation of the touch panel provided on the monitor 400 on the screen of FIG. 9, or the operation via the operation unit 208 (the same applies to other items)
  • the button A03 is designated by
  • the area V03 is in the state of pull-down display, and the state transitions to the state of FIG.
  • illustration is abbreviate
  • values that can be set as the representative image number are displayed in the area V03 (in this case, although only 1 to 10, only a part of the values can be set), to set the values
  • the user may move the selection range up and down with the buttons A03a, A03b and the slide bar A03c to select a numerical value, and designate the button B01 (OK button).
  • the button B01 is designated in the state of FIG. 10, the representative image is the “first sheet”.
  • Regions C04 and V04 in FIG. 9 indicate "whether or not to automatically detect the region of interest from the photographed image", and are turned ON (automatically detected) or ON (automatically detected) by the selection operation via the button A04. ) Can be selected.
  • the image processing unit 204 region of interest detection unit 204I
  • detects a region of interest region, lesion candidate region, etc .; also referred to as a region of interest.
  • regions C05 and V05 indicate "whether or not to automatically perform imaging when a region of interest is detected", and are ON (automatic imaging) or OFF (automatic) by a selection operation via button A05. You can choose not to shoot.
  • the image processing unit 204 controls the imaging optical system 130 and imaging is performed according to the detection of the region of interest by the region of interest detection unit 204I.
  • Regions C06 and V06 indicate "whether or not to automatically detect an instrument or the like from the photographed image", and select ON (automatic detection) or OFF (not automatic detection) by the selection operation via button A06. can do.
  • the “apparatus etc.” includes a treatment tool (eg, forceps, an injection needle, a clip, a tube, etc.) for performing biopsy, excision and the like on the subject, and can be inserted into the subject from the forceps port 126.
  • Regions C07 and V07 indicate "whether or not to automatically shoot when an instrument or the like is detected", and are turned on (automatically shot) or turned off (automatically) by a selection operation via button A07. You can choose not to shoot.
  • the image processing unit 204 controls the imaging optical system 130 and imaging is performed according to the detection of an instrument or the like by the image analysis unit 204K.
  • the areas C08 and V08 indicate "whether or not to automatically detect a coloring agent or the like from a photographed image", and are turned on (automatically detected) by a selection operation via the button A08. Or ON (automatic detection) can be selected.
  • the "pigment etc.” means a drug containing a pigment and a staining agent for observing the shape, unevenness and the like of a lesion.
  • Regions C09 and V09 indicate "whether or not to automatically shoot when a pigment or the like is detected", and are turned on (automatically shot) or off (selected) by a selection operation via button A09. You can select not to shoot automatically.
  • the image processing unit 204 controls the imaging optical system 130 and imaging is performed according to the detection of the coloring agent and the like by the image analysis unit 204K.
  • Regions C10 and V10 indicate "whether or not to automatically extract a proximity image for diagnosis", and it is possible to select ON (automatic detection) or OFF (not automatic detection) by a selection operation via button A10. it can.
  • the “nearby image for diagnosis” means an image suitable for diagnosis among the near images, and is extracted based on at least one of exposure, blurring, presence of a region of interest, instruments and the like, and / or use of dyes and the like .
  • ON is selected, a diagnostic proximity image is extracted based on the analysis result of the proximity image by the image analysis unit 204K.
  • the extraction conditions are set by operations via the areas C10a and V10a and the button A10a.
  • the setting of the conditions in FIGS. 9 and 10 is an example, and addition or deletion of the conditions and change of the contents (numerical values and the like) may be performed.
  • the imaging timing setting unit 204A imaging timing setting unit
  • the imaging control unit 204C sets the imaging optical system 130 (medical image) according to the set imaging timing. It is possible to give a shooting instruction to the shooting unit) and perform shooting.
  • FIG. 11 is a view showing an example of the display condition setting screen of the representative image and the vicinity image.
  • Regions C11 and V11 indicate the identification display mode for the selected representative image, and marking by a circle with a selection operation via button A11, addition of a frame line, and designation of graying out other than the selected image, etc. Yes (see Figures 14-18).
  • the regions C12 and V12 indicate "whether or not to display a nearby image corresponding to the selected representative image as a moving image" (see FIG. 17), and it is possible to specify ON or OFF by selection operation via the button A12. it can.
  • Regions C13 and V13 indicate "whether or not to replace the representative image with the selected neighboring image when any neighboring image is selected", and specify ON or OFF by a selection operation via button A13. can do.
  • Regions C14 and V14 indicate "whether or not the replaced nearby image is to be identified and displayed when the representative image is replaced by the nearby image” (see the portion (c) in FIG. 14), and the button A14 It is possible to specify ON or OFF by selection operation via the interface.
  • Areas C15 and V15 show the display mode of the adjacent image when the representative image is selected, and the "same window (the same window as the representative image)" ((b) part in FIG. 14) is selected by the selection operation via the button A15. (Refer to FIG. 16 and 17) can be designated.
  • the imaging optical system 130 and the image processing unit 204 (imaging control unit 204C)
  • acquisition of the live view image and display on the monitor 400 are started (step S104).
  • the imaging instruction receiving unit 204B (imaging instruction receiving unit) receives the imaging instruction operation.
  • step S106 determination (presence or absence of the imaging instruction) in step S106 is affirmed, and the process proceeds to step S108 (imaging control step), and the imaging optical system 130 (medical image imaging unit, imaging device, medical image acquisition unit) and imaging control unit 204C.
  • a plurality of medical images are acquired by (the imaging control unit, the medical image acquisition unit).
  • the shooting button BT4 is not operated, if automatic shooting by interest area detection, dye agent detection, etc. (see FIG. 9) is ON, the shooting control unit 204C gives a shooting instruction when the setting conditions are satisfied ((4) YES in step S106) A plurality of medical images are captured (step S108).
  • one of the acquired medical images is set as a representative image (representative image 207A) in the imaging period by the representative image storage unit 204D (representative image storage unit) and stored.
  • the information is stored in the unit 207 (step S110: representative image storage step).
  • an image other than the representative image is set as a near image (near image 207B) by the near image storage unit 204E (the near image storage unit), and stored in the storage unit 207 in correspondence with the representative image.
  • Step S112 near image storage step.
  • FIG. 12 is a diagram showing an example of storage of representative images and neighboring images.
  • images i1 to i10 are acquired (imaging interval: ⁇ t) in the imaging period T1.
  • the image i1 captured at the beginning of the imaging period T1 may be used as a representative image, and the remaining images (images i2 to i10) may be used as nearby images.
  • the image i6 captured in the middle of the imaging period T1 may be used as a representative image, and the remaining images (the images i1 to i5 and the images i7 to i10) may be used as nearby images.
  • the image i10 captured at the end of the imaging period T1 may be used as a representative image and the remaining images (images i1 to i9) may be used as nearby images.
  • which image is to be used as a representative image can be set on the photographing condition setting screen shown in FIG. 9 (step S100).
  • FIG. 13 is a diagram showing another example of storage of representative images and neighboring images.
  • a plurality of medical images are acquired according to the imaging instruction, but in the example shown in FIG. 13, acquisition of images is continued by the imaging control unit and the imaging optical system 130 regardless of the presence or absence of the imaging instruction.
  • a fixed number (five in this case) of images is temporarily stored in the buffer (RAM 212) and sequentially updated (every time an image is acquired, the oldest image is deleted). Images acquired in this manner are referred to as images i1 to i5.
  • a plurality of medical images are acquired according to the imaging instruction (step S108).
  • any one of the images i1 to i5 recorded in the buffer and the images i6 to i10 acquired according to the photographing instruction is set as a representative image (representative image 207A) and stored in the storage unit 207.
  • Step S110: Representative Image Storage Step The remaining image is set as a near image (near image 207B) and stored in association with the representative image (step S112: near image storage step).
  • the image i6 is set as a representative image in FIG. 13, another image (image i1, i10, etc.) may be set as a representative image.
  • FIG. 14 is a view showing a display example of a representative image.
  • representative images iR1 to iR6 are displayed.
  • a button B04 is a button for displaying an image captured before a displayed image
  • a button B05 is a button for displaying an image captured after the displayed image.
  • the representative image iR2 is an image which has poor exposure and is not suitable for diagnosis.
  • the user operates the cursor CR with the mouse of the operation unit 208 to select the representative image iR2 (YES in step S118 (representative image selection step)), as shown in the portion (b) of FIG.
  • the corresponding nearby images are superimposed and displayed on the representative images iR1 to iR6 (step S120: nearby image display control step).
  • step S120 nearby image display control step.
  • the proximity image display control unit 204H changes at least one of the display position of the proximity image, the display window, and the display size with the representative image.
  • step S122 When the user operates the operation unit 208, an instruction to switch the proximity image is accepted (YES in step S122), and the displayed proximity image iN1 is switched to another proximity image having a different photographing time (step S124: proximity image display control step) .
  • the user can select an image suitable for diagnosis from among the nearby images.
  • the operation of switching the close image includes, for example, the operation of the arrow key (upward / downward or rightward / leftward) of the keyboard, the click of the mouse button, the rotation of the scroll wheel, the operation of a foot pedal not shown, etc. But not limited thereto.
  • a representative image for example, representative image iR2
  • another representative image for example, representative image iR4
  • the representative selected earlier is selected.
  • the display of the proximity image to the image in this case, the representative image iR2
  • the display mode of the representative image iR2 is returned to the state in which the representative image iR2 is not selected (the identification display such as marking by a circle is ended).
  • the newly selected representative image in this case, the representative image iR4 is identified and displayed, and the corresponding neighboring image is displayed.
  • the image processing unit 204 (specifically, a representative image display control unit 204F (representative image display control unit), a representative image selection unit 204G (representative image selection unit) This is performed by the display control unit 204H (nearby image display control unit) and the switching instruction receiving unit 204J (switching instruction receiving unit).
  • step S126 When the user selects a desired nearby image by the above-described operation, when the button B06 is operated with the mouse, the selection of the nearby image is confirmed (YES in step S126; NO until the selection is confirmed).
  • the button B07 When the button B07 is operated, the display of the near image with respect to the representative image (the representative image iR2 in the example of FIG. 14) is ended, and the display state of the representative images is returned (refer to part (a) of FIG. 14).
  • “replace representative image with nearby image” is ON as described for the regions C13 and V13 in FIG. 11, the representative initially displayed as shown in the (c) part of FIG.
  • the selected nearby image is displayed instead of the image iR2 (step S128).
  • a state in which the near image iN2 is displayed is shown.
  • the display device monitoror 400
  • an image suitable for diagnosis can be easily displayed.
  • the length of the imaging period can be set on the imaging condition setting screen (see FIG. 9) so that the change between the representative image and the neighboring image is within the allowable range.
  • the representative image is switched to the adjacent image.
  • the replaced nearby image is identified and displayed (in the example of FIG. 14, a frame is added to the nearby image iN2).
  • identification display makes it possible to easily grasp which image has been switched / replaced.
  • FIG. 15 is a view showing an aspect in which the representative image and the neighboring image are displayed in another area of the same window.
  • the representative images depictative images iR1 to iR4
  • the display area R1 of the monitor 400 step S116.
  • a representative image here, representative image iR2
  • one of the neighboring images corresponding to the selected representative image here, neighboring image iN1
  • the enlarged display is performed in the display area R2 which is the area (step S120: refer to part (b) of FIG. 15).
  • the switching operation for the displayed proximity image is the same as that shown in FIG. 14 (steps S122 to S126). That is, when the button B06 is operated, a near image is determined (YES in step S126), and a near image selected here (in place of the representative image iR2 initially displayed, as shown in part (c) of FIG. Then, the near image iN3) is displayed in the display area R1 (step S128).
  • the proximity image iN3 displayed in place of the representative image iR2 is displayed in an identification manner (here, as shown in FIG. 14C). Then, the border is added).
  • FIG. 16 is a view showing an aspect in which the representative image and the neighboring image are displayed in different windows.
  • the representative image display control unit 204F displays representative images (representative images iR1 to iR6) in a list on the window W1 of the monitor 400 (step S116).
  • a representative image here, representative image iR2
  • one of the neighboring images corresponding to the selected representative image here, neighboring image iN1 is displayed in window W2 other than window W1.
  • the display is enlarged (step S120: see part (b) of FIG. 16).
  • the switching operation for the displayed proximity image is the same as the mode shown in FIG. 14 and the mode shown in FIG. 15 (steps S122 to S126). That is, when the button B06 is operated, the near image is determined (YES in step S126), and the selected near image (here, the near image iN3) is initially displayed as in the case of (c) of FIG.
  • the image iR2 is displayed in the window W1 instead of the image iR2 (step S128).
  • step S118 when the representative image (here, the representative image iR2) is selected (YES in step S118), moving image display (continuous display, sequential display) of nearby images is started in the window W3 ((b) in FIG. 17).
  • step S119-1 in FIG. Part (b) of FIG. 17 is a state in which the proximity image iN1 with poor exposure in moving image display is displayed, and part (c) in FIG. 17 is a state with the proximity image iN3 with proper exposure displayed.
  • the button B08 is a button for moving image display stop instruction
  • the button B09 is a button for starting moving image display.
  • the indicator P1 indicates the progress of the moving image display, and the indicator P2 interlocks with the indicator P1 to indicate "the number of all the displayed nearby images".
  • step S119-2 in FIG. 18 an instruction to stop moving image display (continuous display) is issued (YES in step S119-2 in FIG. 18)
  • the display is stopped (step S119-3 in FIG. 18).
  • step S119-4 in FIG. 18 the proximity image displayed is continuously displayed on the monitor 400.
  • step S119-5 in FIG. 18 selection of the near image is confirmed (step S119-6 in FIG. 18), and the selected neighborhood is selected instead of the representative image displayed initially.
  • An image is displayed on the monitor 400 (step S128).
  • step S119-2 when the user operates button B08 in the state shown in part (c) of FIG. 17 (YES in step S119-2), moving image display is stopped (step S119-3), and operation of button B08 (display stop instruction) Is displayed on the window W3 of the monitor 400 (step S119-4).
  • button B06 when button B06 is operated (YES in step S119-5), the selection of nearby image iN3 is determined (step S119-6), and the representative image iR2 is substituted in the same manner as in part (c) of FIG. Then, the near image iN3 is displayed (step S128).
  • the button B09 is operated in the state where the near image iN3 is displayed, the moving image display is resumed.
  • the identification display of the selected representative image is not limited to such an aspect.
  • an aspect in which a frame line iR2a is added to the representative image iR2 (selected image), gray out other than the representative image iR2 as shown in part (b) of FIG. It is also possible to use a mode that is displayed and excluded from the operation. The selection of such an aspect can be performed via the display condition setting screen (areas C11 and V11 and the button A11) shown in FIG.
  • the image processing unit 204 determines whether or not the storage image is designated (step S130). In this determination, as shown in the example of FIG. 20, a check box CB is provided for each image, and whether or not there is an image checked when the button B06 is operated, the designated image storage unit 204L (specified image storage It can do by judgment.
  • the images with the check boxes checked in the example of FIG. 20, representative images iR1, iR3, iR4, iR5, iR6) are stored as the designated image 207C in the storage unit 207 (step S132). These images can be attached to the diagnostic report template, which allows for efficient reporting.
  • the CPU 210 and the image processing unit 204 determine whether the processing is to be ended (step S134). If YES, the process ends, and if NO, the process returns to the live view image display start in step S104.
  • the extraction of the region of interest can be performed by providing the region of interest detection unit 204I with, for example, a known CAD system (CAD: Computer Aided Diagnosis). CAD: Computer Aided Diagnosis). Specifically, based on, for example, feature amounts of pixels of a medical image, it is possible to extract the presence / absence of an area of interest (an area of interest that is an area to be noted) and an object (an object to be observed) in the area of interest. At this time, the result of machine learning (deep learning, etc.) may be used by using an image of a region of interest prepared in advance as teacher data.
  • CAD Computer Aided Diagnosis
  • the user can easily display an image suitable for diagnosis and can efficiently perform report creation.
  • contact image with respect to the displayed representative image can be performed similarly to the aspect mentioned above.
  • the automatic imaging according to the detection of the coloring agent, the instrument, etc. is also executed by the condition setting (the regions V06 to V09 are ON) via the imaging condition setting screen of FIG. 9 as in the case of the region of interest described above. be able to.
  • the image analysis unit 204 K calculates G / R and B / G as feature quantities from pixel values of red (R), green (G), and blue (B) of the imaging device 134. It can carry out by comparing the feature quantity with the feature quantity of each pigment.
  • detection of an instrument or the like can be performed, for example, by using the image obtained when each instrument is inserted through the forceps port 126 as a reference image, the image analysis unit 204K compares the reference image with the image at the examination.
  • Part (b) of FIG. 22 shows a state where images (representative images) automatically captured by detection of forceps FR are displayed as a list.
  • the user can easily display an image suitable for diagnosis and can efficiently perform report creation.
  • contact image with respect to the displayed representative image can be performed similarly to the aspect mentioned above.
  • Extraction and display of diagnostic proximity images are executed by setting the areas C10 and V10 to ON in the imaging condition setting screen of FIG.
  • Extraction conditions include at least one of the presence of a region of interest in the near image, the exposure of the near image, the amount of blurring of the near image, the presence of an instrument in the near image, and the use of a coloring agent and / or a staining agent in the near image. be able to.
  • Such a specific extraction condition can be set by turning on a desired condition (one or more may be set) on the same setting screen as that of FIG.
  • FIG. 23 is a flow chart showing processing of extraction and display of a diagnostic near image.
  • regions C10 and V10 are set to ON in the shooting condition setting screen of FIG. 9, when any of the representative images displayed in a list (for example, refer to the portion (a) of FIG. 14) is selected (step From the neighboring image corresponding to the selected representative image, the image analysis unit 204K extracts the diagnostic neighboring image according to the extraction condition (YES in S118) (step S121-1).
  • the extraction conditions can be set by operations via the areas C10a and V10a and the button A10a as described above with reference to FIG.
  • the proximity image display control unit 204H displays the extracted diagnosis proximity image on the monitor 400 (step S121-2).
  • the vicinity image to be extracted is the vicinity images iN4 to iN8 shown in FIG. 24 and the extraction conditions are “exposure is appropriate”, “region of interest is present”, and “existence of instruments etc.”, the exposure is appropriate.
  • the vicinity image iN8 in which the region of interest ROI and the forceps FR are shown can be extracted and displayed on the monitor 400.
  • the result of machine learning (depth learning etc.) which made the image for a diagnosis prepared beforehand as teacher data may be used.
  • the extraction and display of such diagnostic proximity images allow the user to efficiently diagnose.
  • the medical image analysis processing unit detects an attention area which is an area to be noted based on the feature amount of pixels of the medical image
  • the medical image analysis result acquisition unit is a medical image processing apparatus that acquires the analysis result of the medical image analysis processing unit.
  • the medical image analysis processing unit detects the presence or absence of an object to be noted based on the feature amount of the pixel of the medical image
  • the medical image analysis result acquisition unit is a medical image processing apparatus that acquires the analysis result of the medical image analysis processing unit.
  • An analysis result is a medical image processing apparatus, which is one or both of a focused area which is a notable area included in a medical image and a presence or absence of a notable object.
  • the medical image processing apparatus is a medical image, which is a normal light image obtained by irradiating light of a plurality of wavelength bands as light of a white band or light of a white band.
  • a medical image is an image obtained by irradiating light of a specific wavelength band, The medical image processing apparatus, wherein the specific wavelength band is a band narrower than the white wavelength band.
  • a medical image processing apparatus in which a specific wavelength band is a blue or green band in the visible range.
  • the specific wavelength band includes a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less, and light of the specific wavelength band has a peak wavelength within the wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less Image processing device.
  • the specific wavelength band is a medical image processing apparatus that is a red band in the visible range.
  • the specific wavelength band includes a wavelength band of 585 nm to 615 nm or less and 610 nm to 730 nm, and light of a specific wavelength band is a medical having a peak wavelength within a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm.
  • Image processing device
  • the specific wavelength band includes wavelength bands in which the absorption coefficients of oxygenated hemoglobin and reduced hemoglobin differ, and light of a specific wavelength band has peak wavelengths in wavelength bands in which the absorption coefficients of oxygenated hemoglobin and reduced hemoglobin are different. Medical imaging device.
  • the specific wavelength band includes wavelength bands of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm to 750 nm, and light of the specific wavelength band is 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm.
  • a medical image processing apparatus having a peak wavelength in a wavelength band of 10 nm or 600 nm to 750 nm.
  • the medical image is an in-vivo image of the inside of the body
  • An in-vivo image is a medical image processing apparatus having information of fluorescence emitted from a fluorescent substance in the living body.
  • Fluorescence is a medical image processing apparatus obtained by irradiating excitation light having a peak of 390 nm or more and 470 nm or less into a living body.
  • the medical image is an in-vivo image of the inside of the body,
  • the specific wavelength band is a medical image processing apparatus that is a wavelength band of infrared light.
  • a specific wavelength band includes a wavelength band of 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less, and light of a specific wavelength band is a medical image having a peak wavelength in a wavelength band of 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less Processing unit.
  • the medical image acquisition unit acquires a special light image having information of a specific wavelength band based on a normal light image obtained by irradiating white band light or light of a plurality of wavelength bands as white band light. It has an optical image acquisition unit, A medical image processing apparatus whose medical image is a special light image.
  • a medical image processing apparatus for obtaining a signal in a specific wavelength band by calculation based on RGB or CMY color information usually included in a light image.
  • Appendix 18 By an operation based on at least one of a normal light image obtained by irradiating light of a plurality of wavelength bands as light of a white band or light of a white band, and a special light image obtained by irradiating light of a specific wavelength band A feature amount image generation unit that generates a feature amount image; A medical image processing apparatus whose medical image is a feature image.
  • Appendix 19 A medical image processing apparatus according to any one of appendices 1 to 18, An endoscope which emits light of a white wavelength band and / or light of a specific wavelength band to acquire an image; Endoscope apparatus provided with.
  • a diagnostic support apparatus comprising the medical image processing apparatus according to any one of appendices 1 to 18.
  • a medical service support device comprising the medical image processing device according to any one of appendices 1 to 18.
  • Reference Signs List 100 endoscope main body 102 hand operation unit 104 insertion unit 106 universal cable 108 light guide connector 112 flexible portion 114 curved portion 116 distal end hard portion 116A distal end side end face 123 illumination portion 123A illumination lens 123B illumination lens 126 forceps aperture 130 photographing optical System 132 Shooting lens 134 Image sensor 136 Drive circuit 138 AFE 170 light guide 200 processor 202 image input controller 204 image processing unit 204A imaging timing setting unit 204B imaging instruction receiving unit 204C imaging control unit 204D representative image storage unit 204E near image storage unit 204F representative image display control unit 204G representative image selection unit 204H Image display control unit 204I Region of interest detection unit 204J Switching instruction reception unit 204K Image analysis unit 204L Specified image storage unit 205 Image input interface 206 Video output unit 207 Storage unit 207A Representative image 207B Near image 207C Specified image 208 Operation unit 209 Voice processing unit 209A Speaker 210 CPU 211 ROM 212 RAM

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本発明は、診断に適した画像を容易に表示することができる診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法を提供することを目的とする。 本発明の一の態様に係る診断支援システムによれば、代表画像を選択すると、選択された代表画像に対応する近傍画像のうちいずれかが表示されるので、代表画像がブレ、ボケ等の瞬時的原因により不良な場合に近傍画像を表示させることができる。これにより診断に適した画像を容易に表示することができ、診断、レポート作成等を効率的に行うことができる。また、代表画像及び近傍画像は撮影期間の内に撮影されるので、代表画像と近傍画像とで画像の変化を少なくすることができる。撮影期間の長さは、代表画像と近傍画像との変化が許容範囲になるよう設定することができる。

Description

診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法
 本発明は診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法に係り、特に医用画像の取得及び表示に関する。
 医用機器を用いた診断では、被検体(患者等)の画像を取得し、取得した画像に基づいて診断が行われることがある。このような医用画像を用いた診断では複数の画像を取得及び表示することが多く、したがって診断に適した画像を表示できるシステムが望まれる。
 医用画像を取得及び表示するシステムについては、例えば特許文献1に、複数のモダリティで取得した画像を一覧表示するとともに、心電図波形について、表示する期間を所見データ及び行動情報に基づいて切り替え、部分画像を表示することが記載されている。具体的には、所見情報が「頻脈」の画像のうち、第n番目の心電図検査画像が表示されている状態でユーザが読影端末のキーボードを操作すると、第(n-1)番目または第(n+1)番目の「頻脈」の部分画像を表示することが記載されている。
特開2013-17755号公報
 医用画像を撮影する際にブレ、ボケ等の瞬時的不良が発生して適切な画像を表示できず、診断に支障をきたす場合がある。このような問題は、診断のために多数の画像を表示する状況において顕著になる。このような問題に関し、上述した特許文献1では心電図波形を表示期間が異なる部分画像に切り替えているが、不適切な波形の画像を適切な波形の画像に切り替えているわけではない。また特許文献1では、CT(Computed Tomography),MRI(Magnetic Resonance Imaging)等の画像についても、不適切な画像があった場合の対応は記載されていない。このように、従来の技術は診断に適した画像を容易に表示できず、このため診断、レポート作成等を効率的に行うことができなかった。
 本発明はこのような事情に鑑みてなされ、診断に適した画像を容易に表示することができる診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法を提供することを目的とする。
 上述した目的を達成するため、本発明の第1の態様に係る診断支援システムは、撮影指示に応じて医用画像を撮影する医用画像撮影部と、医用画像撮影部に撮影指示を与え、撮影時刻が異なる複数の医用画像を撮影期間の内に撮影させる撮影制御部と、複数の医用画像のうちいずれかを撮影期間における代表画像として記憶する代表画像記憶部と、複数の医用画像のうち代表画像を除く医用画像を、代表画像の近傍画像として代表画像と対応させて記憶する近傍画像記憶部と、代表画像を表示装置に一覧表示させる代表画像表示制御部と、一覧表示された代表画像に対する選択を受け付ける代表画像選択部と、選択された代表画像に対応する近傍画像のうちいずれかを、表示装置に表示させる近傍画像表示制御部と、を備える。
 第1の態様によれば、代表画像を選択すると、選択された代表画像に対応する近傍画像のうちいずれかが表示されるので、代表画像がブレ、ボケ等の瞬時的原因により不良な場合に近傍画像を表示させることができる。これにより診断に適した画像を容易に表示することができ、診断、レポート作成等を効率的に行うことができる。また、代表画像及び近傍画像は撮影期間の内に撮影されるので、代表画像と近傍画像とで画像の変化(画像における被写体の位置、向き、露出条件等の変化)を少なくすることができる。撮影期間の長さは、代表画像と近傍画像との変化が許容範囲になるように設定することができる。
 第1の態様において、代表画像は取得した画像のうちいずれでもよい(複数の画像のうちで撮影時刻が最初、最後、中間等)。また、代表画像は撮影時刻、撮影部位、関心領域、使用器具及び/または器材、使用色素剤及び/または染色剤等を考慮した配置で一覧表示することができる。
 第1の態様及び以下の各態様において、医用画像は医療画像ともいう。また、医用画像撮影の際に用いる光源は白色帯域の光、白色帯域として複数の波長(狭帯域光)を含む光、赤外光、励起光を発生する光源を用いることができる。また、第1の態様で取得する医用画像は白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像でもよいし、通常光画像に基づいて取得した、特定の波長帯域の情報を有する特殊光画像でもよい。
 第2の態様に係る診断支援システムは第1の態様において、ユーザの指示入力に基づいて撮影タイミングを設定する撮影タイミング設定部を備え、撮影制御部は撮影タイミングに従って医用画像撮影部に撮影指示を与える。第2の態様によれば、ユーザは自ら設定した所望の撮影タイミングで自動的に撮影を行って画像を取得することができる。撮影タイミングは、例えば撮影開始/終了時刻、撮影時間間隔等を設定することができる。
 第3の態様に係る診断支援システムは第1または第2の態様において、医用画像撮影部が撮影した医用画像から関心領域を検出する関心領域検出部を備え、撮影制御部は、関心領域の検出に応じて医用画像撮影部に撮影指示を与える。第3の態様によれば、関心領域(ROI:Region Of Interest)の検出に応じて自動的に撮影を行って画像を取得することができる。なお「医用画像撮影部が撮影した医用画像から関心領域を検出する」とは、例えば連続的に取得しているライブビュー画像を構成するフレーム画像から関心領域を検出することにより行うことができる。関心領域の抽出は機械学習の結果を用いて行ってもよい。また第3の態様において、例えば病変部分、病変候補部分等を関心領域として設定することができる。
 第4の態様に係る診断支援システムは第3の態様において、代表画像表示制御部は、関心領域の検出に応じて撮影された代表画像を一覧表示する。第4の態様によれば、関心領域を撮影した代表画像を一覧表示することができ、診断に適した画像を容易に表示することができる。
 第5の態様に係る診断支援システムは第1から第4の態様のいずれか1つにおいて、ユーザの撮影指示操作を受け付ける撮影指示受付部を備え、撮影制御部は撮影指示操作に応じて医用画像撮影部に撮影指示を与える。第5の態様によれば、ユーザ(医師等)は所望のタイミングで画像を取得することができる。
 第6の態様に係る診断支援システムは第1から第5の態様のいずれか1つにおいて、近傍画像は、代表画像よりも撮影時刻が前の画像と、代表画像よりも撮影時刻が後の画像と、のうち少なくとも一方を含む。近傍画像の撮影時刻が代表画像より前の場合、近傍画像は代表画像に対し過去の画像である。一方、近傍画像の撮影時刻が代表画像より後の場合、近傍画像は代表画像に対し未来の画像である。なお近傍画像は代表画像よりも撮影時刻が前の画像と代表画像よりも撮影時刻が後の画像との両方を含んでいてもよい。
 第7の態様に係る診断支援システムは第1から第6の態様のいずれか1つにおいて、表示装置に表示する近傍画像を撮影時刻が異なる他の近傍画像に切り替える切替指示を受け付ける切替指示受付部を備え、近傍画像表示制御部は、切替指示に応じて、表示装置に表示されている近傍画像に代えて他の近傍画像を表示させる。第7の態様によれば、表示装置に表示する近傍画像を撮影時刻が異なる他の近傍画像に切り替えて表示するので、表示した近傍画像が不適切な場合でも、そのような不適切な近傍画像に代えて適切な近傍画像を表示させることが容易である。
 第8の態様に係る診断支援システムは第1から第7の態様のいずれか1つにおいて、近傍画像表示制御部は選択された代表画像に対応する複数の近傍画像を表示装置に連続表示させ、連続表示の表示停止指示を受け付けた際に表示されている近傍画像を継続して表示装置に表示させる。第8の態様において連続表示(順次表示)の表示停止指示はユーザ操作に基づいて行うことができ、これによりユーザは複数の近傍画像のうちから所望の近傍画像を表示させることができる。
 第9の態様に係る診断支援システムは第1から第8の態様のいずれか1つにおいて、近傍画像を解析して診断用近傍画像を抽出する画像解析部を備え、近傍画像表示制御部は診断用近傍画像を表示装置に表示させる。第9の態様によれば、ユーザは診断用近傍画像を表示させて効率的に診断を行うことができる。
 第10の態様に係る診断支援システムは第9の態様において、画像解析部は、近傍画像における関心領域の存在、近傍画像の露出、近傍画像のブレの量、近傍画像における器具の存在、近傍画像における色素剤及び/または染色剤の使用、のうち少なくとも1つに基づいて診断用近傍画像を抽出する。第10の態様は診断用近傍画像の抽出を具体的に規定する。なお、色素剤、染色剤とはコントラスト法、染色法等により病変等の被写体を着色して観察するための薬剤であり、器具とは被写体の観察、処置、生検等を行うための器具(鉗子等)である。
 第11の態様に係る診断支援システムは第1から第10の態様のいずれか1つにおいて、近傍画像表示制御部は、近傍画像を代表画像と異なる表示態様で表示させる。第11の態様によれば、ユーザは近傍画像が表示されていることを容易に認識することができる。
 第12の態様に係る診断支援システムは第11の態様において、近傍画像表示制御部は、近傍画像の表示位置、表示ウインドウ、表示サイズ、のうち少なくとも1つを代表画像と変える。第12の態様は第11の態様における代表画像と近傍画像との表示態様の相違を具体的に規定する。
 第13の態様に係る診断支援システムは第11または第12の態様において、近傍画像表示制御部は、ユーザ指示に基づいて近傍画像の表示態様を変更する。第13の態様によれば、ユーザは所望の表示態様で近傍画像を表示させることができる。
 第14の態様に係る診断支援システムは第1から第13の態様のいずれか1つにおいて、近傍画像表示制御部は、選択された代表画像に代えて、選択された代表画像に対応する近傍画像のうちいずれかを表示させる。
 第15の態様に係る診断支援システムは第1から第14の態様のいずれか1つにおいて、代表画像表示制御部は、選択された代表画像を他の代表画像と識別表示する。第15の態様によれば、いずれの代表画像に対し近傍画像が表示されているのかを容易に認識することができる。
 第16の態様に係る診断支援システムは第1から第15の態様のいずれか1つにおいて、代表画像表示制御部は、一の代表画像を選択している状態で他の代表画像が選択された場合は、選択の時点で表示されている近傍画像の表示を終了し、一の代表画像の表示態様を一の代表画像が選択されていない状態に復帰させる。
 第17の態様に係る診断支援システムは第1から第16の態様のいずれか1つにおいて、一覧表示された代表画像と表示された近傍画像とのうちで指定された画像を保存する指定画像保存部をさらに備える。第17の態様によればユーザは指定した画像を保存できるので、診断、レポート作成等を効率的に行うことができる。
 上述した目的を達成するため、本発明の第18の態様に係る内視鏡システムは第1から第17の態様のいずれか1つに係る診断支援システムと、表示装置と、被検体に挿入される挿入部であって、先端硬質部と、先端硬質部の基端側に接続された湾曲部と、湾曲部の基端側に接続された軟性部とを有する挿入部と、挿入部の基端側に接続された操作部と、を有する内視鏡と、を備える内視鏡システムであって、医用画像撮影部は、被写体の光学像を結像させる撮影レンズと、撮影レンズにより光学像が結像する撮像素子と、を備え、撮影レンズは先端硬質部に設けられる。第18の態様に係る内視鏡システムは、第1から第17の態様のいずれか1つに係る診断支援システムを備えることにより、内視鏡で取得した画像に基づいて診断に適した画像を容易に表示することができ、これにより診断、レポート作成等を効率的に行うことができる。
 上述した目的を達成するため、本発明の第19の態様に係るプロセッサは、第18の態様に係る内視鏡システムのプロセッサであって、撮影制御部と、代表画像記憶部と、近傍画像記憶部と、代表画像表示制御部と、代表画像選択部と、近傍画像表示制御部と、を備える。第19の態様によれば、第18の態様に係る内視鏡システムにおいて診断に適した画像を表示するための処理を実行することができる。
 上述した目的を達成するため、本発明の第20の態様に係る診断支援方法は撮影指示に応じて医用画像を撮影する医用画像撮影部と、撮影した医用画像を表示する表示装置と、を備える診断支援システムによる診断支援方法であって、撮影装置に撮影指示を与え、撮影時刻が異なる複数の医用画像を撮影期間の内に撮影させる撮影制御工程と、複数の医用画像のうちいずれかを撮影期間における代表画像として記憶する代表画像記憶工程と、複数の医用画像のうち代表画像を除く画像を、代表画像の近傍画像として代表画像と対応させて記憶する近傍画像記憶工程と、代表画像を表示装置に一覧表示させる代表画像表示制御工程と、一覧表示された代表画像に対する選択を受け付ける代表画像選択工程と、選択された代表画像に対応する近傍画像のうちいずれかを表示装置に表示させる近傍画像表示制御工程と、を有する。第20の態様によれば、第1の態様と同様に診断に適した画像を容易に表示することができ、これにより診断、レポート作成等を効率的に行うことができる。なお、第20の態様の構成に対し第2から第17の態様と同様の構成をさらに有する診断支援方法、及びこれら態様の診断支援方法を診断支援システムに実行させるプログラムのコンピュータ読み取り可能なコードを記録した記録媒体も本発明の態様として挙げることができる。
 以上説明したように、本発明の診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法によれば、診断に適した画像を容易に表示することができる。
図1は、本発明の一実施形態に係る内視鏡システムの外観図である。 図2は、内視鏡システムの構成を示すブロック図である。 図3は、内視鏡の先端硬質部の構成を示す図である。 図4は、画像処理部の機能構成を示す図である。 図5は、記憶部に記憶される情報を示す図である。 図6は、代表画像と近傍画像の対応付けの様子を示す図である。 図7は、診断支援方法の処理を示すフローチャートである。 図8は、診断支援方法の処理を示す他のフローチャートである。 図9は、撮影条件設定画面の例を示す図である。 図10は、撮影条件設定画面の他の例を示す図である。 図11は、表示条件設定画面の例を示す図である。 図12は、代表画像及び近傍画像の記憶の例を示す図である。 図13は、代表画像及び近傍画像の記憶の他の例を示す図である。 図14は、代表画像及び近傍画像の表示例を示す図である。 図15は、代表画像及び近傍画像の他の表示例を示す図である。 図16は、代表画像及び近傍画像のさらに他の表示例を示す図である。 図17は、近傍画像の動画表示の様子を示す図である。 図18は、近傍画像の動画表示の処理を示すフローチャートである。 図19は、選択した代表画像の識別表示の例を示す図である。 図20は、指定画像の保存の様子を示す図である。 図21は、関心領域の検出に応じた自動撮影の処理を示すフローチャートである。 図22は、関心領域の検出に応じて撮影された画像及び器具の検出に応じて撮影された画像の例を示す図である。 図23は、診断用近傍画像の抽出処理を示すフローチャートである。 図24は、診断用近傍画像の抽出の例を示す図である。
 以下、添付図面を参照しつつ、本発明に係る診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法の実施形態について、詳細に説明する。
 <第1の実施形態>
 図1は、第1の実施形態に係る内視鏡システム10(診断支援システム、診断支援装置、内視鏡システム、プロセッサ、医療画像処理装置)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体100(内視鏡)、プロセッサ200(プロセッサ、医療画像処理装置)、光源装置300、及びモニタ400(表示装置)から構成される。
 <内視鏡本体の構成>
 内視鏡本体100は、手元操作部102(操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者(ユーザ)は手元操作部102を把持して操作し、挿入部104を被検体(生体)の体内に挿入して観察する。また、手元操作部102には送気送水ボタンBT1、吸引ボタンBT2、及び各種の機能を割り付けられる機能ボタンBT3、及び撮影指示操作を受け付ける撮影ボタンBT4が設けられている。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。すなわち、先端硬質部116の基端側に湾曲部114が接続され、湾曲部114の基端側に軟性部112が接続される。挿入部104の基端側に手元操作部102が接続される。ユーザは、手元操作部102を操作することにより湾曲部114を湾曲させて先端硬質部116の向きを上下左右に変えることができる。先端硬質部116には、撮影光学系130(医用画像撮影部、撮影装置、医療画像取得部)、照明部123、鉗子口126等が設けられる(図1~図3参照)。
 観察、処置の際には、操作部208(図2参照)の操作により、照明部123の照明用レンズ123A,123Bから可視光と赤外光のいずれか、または両方を照射することができる。また、送気送水ボタンBT1の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系130の撮影レンズ132(撮影レンズ)、及び照明用レンズ123A,123Bを洗浄することができる。先端硬質部116で開口する鉗子口126には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
 図1~図3に示すように、先端硬質部116の先端側端面116Aには撮影レンズ132が配設されている。撮影レンズ132の奥にはCMOS(Complementary Metal-Oxide Semiconductor)型の撮像素子134(撮像素子、撮影装置、医療画像取得部)、駆動回路136、AFE138(AFE:Analog Front End)が配設されて、これらの要素により画像信号を出力する。撮像素子134はカラー撮像素子であり、特定のパターン配列(ベイヤー配列、X-Trans(登録商標)配列、ハニカム配列等)でマトリクス状に配置(2次元配列)された複数の受光素子により構成される複数の画素を備える。撮像素子134の各画素はマイクロレンズ、赤(R)、緑(G)、または青(B)のカラーフィルタ及び光電変換部(フォトダイオード等)を含んでいる。撮影光学系130は、赤,緑,青の3色の画素信号からカラー画像を生成することもできるし、赤,緑,青のうち任意の1色または2色の画素信号から画像を生成することもできる。なお、第1の実施形態では撮像素子134がCMOS型の撮像素子である場合について説明するが、撮像素子134はCCD(Charge Coupled Device)型でもよい。
 被検体(腫瘍部、病変部)の光学像は撮影レンズ132により撮像素子134の受光面(撮像面)に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ200に出力されて映像信号に変換される。これにより、プロセッサ200に接続されたモニタ400に観察画像(代表画像、近傍画像)が表示される。
 また、先端硬質部116の先端側端面116Aには、撮影レンズ132に隣接して照明部123の照明用レンズ123A(可視光用)、123B(赤外光用)が設けられている。照明用レンズ123A,123Bの奥には、後述するライトガイド170の射出端が配設され、このライトガイド170が挿入部104、手元操作部102、及びユニバーサルケーブル106に挿通され、ライトガイド170の入射端がライトガイドコネクタ108内に配置される。
 <光源装置の構成>
 図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、照明光(可視光または赤外光)をライトガイド170に入射させる。光源310は、可視光源310A及び赤外光源310Bを備えており、可視光及び赤外光の一方または両方を照射可能である。可視光源310A及び赤外光源310Bによる照明光の照度は光源制御部350により制御され、必要に応じて照明光の照度を下げたり、照明を停止したりすることができる。
 <光源の波長帯域>
 光源310(可視光源310A)は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、390nm以上450nm以下、または530nm以上550nm以下の波長帯域を含み、かつ、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、585nm以上615nm以下、または610nm以上730nm以下、の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有していてもよい。
 上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nmの波長帯域を含み、かつ、400±10nm、440±10nm、470±10nm、または600nm以上750nm以下の波長帯域にピーク波長を有していてもよい。
 また、光源310(赤外光源310B)が発生する光は790nm以上820nm以下、または905nm以上970nm以下の波長帯域を含み、かつ、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有していてもよい。
 また、光源310は、ピークが390nm以上470nm以下である励起光を照射する光源を備えていてもよい。この場合、被検体(生体)内の蛍光物質が発する蛍光の情報を有する医用画像(生体内画像)を取得することができる。
 光源310の光源種類(レーザ光源、キセノン光源、LED光源(LED:Light-Emitting Diode)等)、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて照明光の波長を組合せ及び/または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ(ロータリカラーフィルタ)を回転させることにより、照射する光の波長を切り替えてもよい。
 また、本発明を実施する際に用いる撮像素子は撮像素子134のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されず、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、照明光の波長を順次切り替えて面順次(色順次)で撮像することができる。例えば出射する照明光の波長を(紫色、青色、緑色、赤色)の間で順次切り替えてもよいし、広帯域光(白色光)を照射してロータリカラーフィルタ(赤色、緑色、青色等)により出射する照明光の波長を切り替えてもよい。また、1または複数の狭帯域光(緑色、青色等)を照射してロータリカラーフィルタ(緑色、青色等)により出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる2波長以上の赤外光でもよい。
 ライトガイドコネクタ108(図1参照)を光源装置300に連結することにより、光源装置300から照射された照明光がライトガイド170を介して照明用レンズ123A、123Bに伝送され、照明用レンズ123A、123Bから観察範囲に照射される。
 <プロセッサの構成>
 図2に基づきプロセッサ200の構成を説明する。プロセッサ200は、内視鏡本体100から出力される画像信号を画像入力コントローラ202及び画像入力インタフェース205を介して入力し、画像処理部204で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像(代表画像、近傍画像等の生体内画像)が表示される。これらの処理はCPU210(CPU:Central Processing Unit)の制御下で行われる。すなわち、CPU210は医用画像撮影部、撮影制御部、代表画像記憶部、近傍画像記憶部、代表画像表示制御部、代表画像選択部、近傍画像表示制御部、撮影タイミング設定部、関心領域検出部、撮影指示受付部、切替指示受付部、画像解析部、指定画像保存部としての機能を有する。画像処理部204では、詳細を後述するように、代表画像及び/または近傍画像の設定、記憶、表示の切り替え等を行う。記憶部207(代表画像記憶部、近傍画像記憶部)には、被写体の画像(代表画像、近傍画像等)が記憶される。音声処理部209は、CPU210及び画像処理部204の制御により、表示条件設定の際の警告メッセージ(音声)等をスピーカ209Aから出力する。
 また、ROM211(ROM:Read Only Memory)は不揮発性の記憶素子(非一時的記録媒体)であり、本発明に係る診断支援方法をCPU210及び/または画像処理部204に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。RAM212(RAM:Random Access Memory)は各種処理の際の一時記憶用の記憶素子であり、また近傍画像取得時のバッファとしても使用することができる。
 <画像処理部の機能>
 図4は画像処理部204(医療画像取得部、医療画像解析処理部、医療画像解析結果取得部)の機能構成を示す図である。画像処理部204は撮影タイミング設定部204A、撮影指示受付部204B、撮影制御部204C、代表画像記憶部204D、近傍画像記憶部204E、代表画像表示制御部204F、代表画像選択部204G、近傍画像表示制御部204H、関心領域検出部204I、切替指示受付部204J、画像解析部204K、指定画像保存部204Lを有する。撮影制御部204Cは医療画像取得部としても動作し、関心領域検出部204I及び画像解析部204Kは医療画像解析処理部としても動作する。
 また、画像処理部204は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるRGB(R:赤、G:緑、B:青)あるいはCMY(C:シアン、M:マゼンタ、Y:イエロー)の色情報に基づく演算により得ることができる。
 また、画像処理部204は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医用画像(医療画像)としての特徴量画像を取得及び表示してもよい。
 画像処理部204のこれらの機能による処理については、詳細を後述する。なお、これらの機能による処理はCPU210の制御下で行われる。
 上述した画像処理部204の機能は、各種のプロセッサ(processor)を用いて実現できる。各種のプロセッサには、例えばソフトウェア(プログラム)を実行して各種の機能を実現する汎用的なプロセッサであるCPU(Central Processing Unit)が含まれる。
また、上述した各種のプロセッサには、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)も含まれる。さらに、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
 各部の機能は1つのプロセッサにより実現されてもよいし、複数のプロセッサを組み合わせて実現されてもよい。また、複数の機能を1つのプロセッサで実現してもよい。複数の機能を1つのプロセッサで構成する例としては、第1に、クライアント、サーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、システム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各部の機能は、ハードウェア的な構造として、上述した各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
 上述したプロセッサ(あるいは電気回路)がソフトウェア(プログラム)を実行する際は、実行するソフトウェア(本発明に係る診断支援方法を実行するプログラムを含む)のコンピュータ読み取り可能なコードをROM211(図2を参照)等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。ソフトウェアを用いた処理の際には例えばRAM212(図2を参照)が一時的記憶領域として用いられ、また例えばEEPROM(Electronically Erasable and Programmable Read Only Memory)に記憶されたデータが参照される。なお、図4ではEEPROM等のデバイスの図示は省略する。
 <操作部の構成>
 プロセッサ200は操作部208を備えている。操作部208は図示せぬ操作モード設定スイッチ等を備えており、可視光及び/または赤外光の照射を操作することができる。また、操作部208は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して代表画像及び/または近傍画像の選択、切替操作等を行うことができる。操作部208による撮影条件及び表示条件の設定については詳細を後述する(図9~11を参照)。なお、操作モードの設定は、上述のように手元操作部102の機能ボタンBT3(図1参照)に操作モード設定機能を割り付けて行ってもよい。
 <記憶部の構成>
 記憶部207(代表画像記憶部、近傍画像記憶部、指定画像保存部、記録装置)はCD(Compact Disk)、DVD(Digital Versatile Disk)、ハードディスク(Hard Disk)、各種半導体メモリ等の非一時的記録媒体により構成され、図5に示す画像及び情報を互いに関連づけて記憶する。図5に示すように、記憶部207には代表画像207A、近傍画像207B(診断用近傍画像を含む)、指定画像207Cが記憶される。代表画像207A(代表画像)と近傍画像207B(近傍画像)とは、例えば図6に示すように対応させて記録される。図6において、「i101」等は画像の識別情報である。指定画像207C(指定画像)は、代表画像207A及び近傍画像207Bのうちから指定された画像である(図20を参照)。これらの画像は、操作部208を介した操作、CPU210及び/または画像処理部204の制御によりモニタ400に表示される。
 上述した画像の他に、医用画像(医療画像)に含まれる注目すべき領域である注目領域(関心領域)と、注目すべき態様の有無のいずれか、もしくは両方と、についての解析結果を記憶部207(記録装置)に記憶してもよい。この場合、画像処理部204(医療画像解析処理部、医療画像解析結果取得部)がそれら解析結果を記憶部207から取得してモニタ400に表示することができる。
 <表示装置の構成>
 モニタ400(表示装置)は、操作部208を介した操作、CPU210及び/または画像処理部204の制御により代表画像、近傍画像、撮影条件設定画面、表示条件設定画面等を表示する(図9~11等を参照)。また、モニタ400撮影条件設定操作及び/または表示条件設定操作を行うためのタッチパネルを有する。
 <診断支援方法の処理>
 内視鏡システム10を用いた被検体の診断支援方法について説明する。図7,8は第1の実施形態に係る診断支援方法の処理を示すフローチャートである。
 <撮影条件の設定>
 図7,8のフローチャートでは、撮影に先立って、ユーザ指示に基づいて撮影条件及び表示条件の設定を行う(ステップS100,S102)。ただしこの設定は撮影中、あるいは撮影後に行ってもよい。図9は撮影条件設定画面の例を示す図である。図9では、撮影条件の各項目について条件名(領域C01~C10)、設定条件の内容(領域V01~V10)、及びプルダウン用のボタン(ボタンA01~A10)が示されている。画面下部に設けられたボタンB01は表示条件確定用、ボタンB02は条件変更のキャンセル用、ボタンB03は初期設定に戻すためのボタンである。図9の画面はモニタ400に表示され、モニタ400のタッチパネル及び/または操作部208の図示せぬキーボード及びマウスを介したユーザの操作により表示条件を設定することができる。
 領域C01,V01は1回の撮影で取得する画像の数を示しており、ボタンA01を介した選択操作により取得する画像の数を指定することができる。領域C02,V02は撮影期間を示しており、ボタンA02を介した操作により、撮影期間を指定することができる。領域C02等で指定した撮影期間において、領域C01等で指定した数の画像が取得される。領域C03,V03は「1回の撮影で取得した画像のうち、何枚目を代表画像とするか」を示しており、ボタンA03を介した操作により具体的な数値(1枚目、5枚目、10枚目等)を選択することができる。
 図10は代表画像の番号を設定する画面の例を示す図であり、図9の画面でモニタ400に備えられたタッチパネルの操作、あるいは操作部208を介した操作等(他の項目についても同様)によりボタンA03を指定すると領域V03がプルダウン表示の状態になり図10の状態に遷移する。なお、図10において代表画像の番号以外の項目については図示を省略している。図10では、代表画像の番号として設定可能な値が領域V03に表示され(この場合1から10までであるが、一部の値のみ設定可能にすることができる)、値を設定するにはユーザはボタンA03a,A03b、及びスライドバーA03cで選択範囲を上下に移動させて数値を選択し、ボタンB01(OKボタン)を指定すればよい。図10の状態でボタンB01を指定すると、代表画像は「1枚目」となる。
 図9の領域C04,V04は「撮影した画像から関心領域を自動的に検出するか否か」を示しており、ボタンA04を介した選択操作によりON(自動検出する)またはON(自動検出する)を選択することができる。ONが選択された場合、画像処理部204(関心領域検出部204I)により関心領域(病変領域、病変候補領域等;注目領域ともいう)が検出される。また、領域C05,V05は「関心領域が検出された場合に、自動的に撮影を行うか否か」を示しており、ボタンA05を介した選択操作によりON(自動撮影する)またはOFF(自動撮影しない)を選択することができる。ONが選択された場合、関心領域検出部204Iによる関心領域の検出に応じて、画像処理部204(撮影制御部204C)が撮影光学系130を制御して撮影が行われる。
 領域C06,V06は「撮影した画像から器具等を自動的に検出するか否か」を示しており、ボタンA06を介した選択操作によりON(自動検出する)またはOFF(自動検出しない)を選択することができる。「器具等」は被検体に対して生検、切除等を行うための処置具(例えば鉗子、注射針、クリップ、チューブ等)を含み、鉗子口126から被検体内に挿入できる。また、領域C07,V07は「器具等が検出された場合に、自動的に撮影を行うか否か」を示しており、ボタンA07を介した選択操作によりON(自動撮影する)またはOFF(自動撮影しない)を選択することができる。ONが選択された場合、画像解析部204Kによる器具等の検出に応じて、画像処理部204(撮影制御部204C)が撮影光学系130を制御して撮影が行われる。
 領域C06,V06と同様に、領域C08,V08は「撮影した画像から色素剤等を自動的に検出するか否か」を示しており、ボタンA08を介した選択操作によりON(自動検出する)またはON(自動検出する)を選択することができる。「色素剤等」とは、病変の形状、凹凸等を観察するための、色素剤及び染色剤を含む薬剤を意味する。また、領域C09,V09は「色素剤等が検出された場合に、自動的に撮影を行うか否か」を示しており、ボタンA09を介した選択操作によりON(自動撮影する)またはOFF(自動撮影しない)を選択することができる。ONが選択された場合、画像解析部204Kによる色素剤等の検出に応じて、画像処理部204(撮影制御部204C)が撮影光学系130を制御して撮影が行われる。
 領域C10,V10は「診断用近傍画像の自動抽出を行うか否か」を示しており、ボタンA10を介した選択操作によりON(自動検出する)またはOFF(自動検出しない)を選択することができる。「診断用近傍画像」とは近傍画像のうち診断に適した画像を意味し、露出、ブレ、関心領域の存在、器具等及び/または色素等の使用のうち少なくとも1つに基づいて抽出される。ONが選択された場合、画像解析部204Kによる近傍画像の解析結果に基づいて診断用近傍画像が抽出される。抽出条件は、領域C10a,V10a,ボタンA10aを介した操作により設定される。
 なお、図9,10における条件設定は一例であり、条件の追加または削除、内容(数値等)の変更を行ってもよい。例えば、ユーザの指示入力に基づいて撮影タイミング(一定の間隔で撮影するインターバル撮影のONまたはOFF,及びインターバル撮影を行う場合の撮影間隔により決定される撮影タイミング)を設定する領域を設けることができる。この場合、設定した条件に基づいて撮影タイミング設定部204A(撮影タイミング設定部)が撮影タイミングを設定し、設定された撮影タイミングに従って撮影制御部204C(撮影制御部)が撮影光学系130(医用画像撮影部)に撮影指示を与えて撮影を行うことができる。
 <表示条件の設定>
 図11は代表画像及び近傍画像の表示条件設定画面の例を示す図である。領域C11,V11は選択された代表画像に対する識別表示の態様を示しており、ボタンA11を介した選択操作により丸印でマーキング、枠線追加、選択した画像以外をグレーアウトする等を指定することができる(図14~18を参照)。領域C12,V12は「選択された代表画像に対応する近傍画像を動画表示するか否か」(図17参照)を示しており、ボタンA12を介した選択操作によりONまたはOFFを指定することができる。領域C13,V13は「いずれかの近傍画像が選択された場合に、選択された近傍画像により代表画像を差し替えるか否か」を示しており、ボタンA13を介した選択操作によりONまたはOFFを指定することができる。領域C14,V14は「代表画像が近傍画像により差し替えられた場合に、差し替えられた近傍画像を識別表示するか否か」(図14の(c)部分を参照)を示しており、ボタンA14を介した選択操作によりONまたはOFFを指定することができる。領域C15,V15は代表画像を選択した場合の近傍画像の表示態様を示しており、ボタンA15を介した選択操作により「同一ウインドウ(代表画像と同じウインドウ)」(図14の(b)部分を参照)、「別ウインドウ」等(図16,17を参照)を指定することができる。
 ステップS100,S102で撮影条件及び表示条件の設定が終了し、内視鏡本体100の挿入部104が被検体内に挿入されると、撮影光学系130及び画像処理部204(撮影制御部204C)によりライブビュー画像の取得及びモニタ400への表示が開始される(ステップS104)。これによりユーザは被検体内の様子を観察することができる。ユーザが挿入部104の挿入操作及び湾曲操作により先端硬質部116を所望の方向に向け、撮影ボタンBT4を操作すると撮影指示受付部204B(撮影指示受付部)が撮影指示操作を受け付ける。これによりステップS106での判断(撮影指示の有無)が肯定されてステップS108(撮影制御工程)へ進み、撮影光学系130(医用画像撮影部、撮影装置、医療画像取得部)及び撮影制御部204C(撮影制御部、医療画像取得部)により複数の医用画像(医療画像)が取得される。また、撮影ボタンBT4の操作がない場合でも、関心領域検出、色素剤検出等による自動撮影(図9参照)がONの場合、設定条件が満たされると撮影制御部204Cにより撮影指示がなされて(ステップS106でYES)複数の医用画像が撮影される(ステップS108)。
 ステップS108で複数の医用画像が取得されたら、取得された医用画像のうちいずれかを代表画像記憶部204D(代表画像記憶部)により撮影期間における代表画像(代表画像207A)に設定して、記憶部207に記憶する(ステップS110:代表画像記憶工程)。また、取得された医用画像のうち代表画像以外の画像を近傍画像記憶部204E(近傍画像記憶部)により近傍画像(近傍画像207B)に設定して、代表画像と対応させて記憶部207に記憶する(ステップS112:近傍画像記憶工程)。
 <代表画像及び近傍画像の記憶>
 図12は代表画像及び近傍画像の記憶の例を示す図である。ここでは、図12の(a)部分に示すように撮影期間T1において10枚の画像(画像i1~i10)が取得(撮影間隔:Δt)されたものとする。この場合、図12の(b)部分に示すように撮影期間T1の最初に撮影した画像i1を代表画像とし残りの画像(画像i2~i10)を近傍画像としてもよいし、図12の(c)部分に示すように撮影期間T1の中間で撮影した画像i6を代表画像とし残りの画像(画像i1~i5及び画像i7~i10)を近傍画像としてもよい。また、図12の(d)部分に示すように、撮影期間T1の最後に撮影した画像i10を代表画像とし残りの画像(画像i1~i9)を近傍画像としてもよい。いずれの画像を代表画像とするかは、上述のように図9に示す撮影条件設定画面で設定できる(ステップS100)。
 <代表画像及び近傍画像の記憶(他の例)>
 図13は代表画像及び近傍画像の記憶の他の例を示す図である。図12に示す例では撮影指示に応じて複数の医用画像を取得しているが、図13に示す例では撮影指示の有無に関わらず撮影制御部及び撮影光学系130により画像の取得を継続して一定数(ここでは5枚とする)の画像をバッファ(RAM212)に一時記憶し、逐次更新する(1枚の画像を取得するごとに、一番古い画像を削除する)。このようにして取得された画像を画像i1~i5とする。ユーザによる撮影指示がなされると(ステップS106でYES)、撮影指示に応じてさらに複数の医用画像を取得する(ステップS108)。図13の例では5枚(画像i6~i10)である。図13の例では、バッファに記録されている画像i1~i5と撮影指示に応じて取得した画像i6~i10のうちいずれかを代表画像(代表画像207A)に設定して記憶部207に記憶し(ステップS110:代表画像記憶工程)、残りを近傍画像(近傍画像207B)に設定し代表画像と対応させて記憶する(ステップS112:近傍画像記憶工程)。図13では画像i6を代表画像として設定しているが、他の画像(画像i1,i10等)を代表画像としてもよい。
 図12,13の例に示すような複数の医用画像の取得、代表画像及び近傍画像の記憶を撮影終了(ステップS114でYES)まで継続する。
 <代表画像の表示及び選択、近傍画像の表示(態様1)>
 複数の医用画像の取得、代表画像及び近傍画像の記憶が終了すると、代表画像が代表画像表示制御部204F(代表画像表示制御部)によりモニタ400に一覧表示される(ステップS116:代表画像表示制御工程)。図14の(a)部分は代表画像の表示例を示す図である。ここでは代表画像iR1~iR6が表示されている。なおボタンB04は表示された画像より前に撮影された画像を表示させるためのボタンであり、ボタンB05は表示された画像より後に撮影された画像を表示させるためのボタンである。
 図14の(a)部分で示した代表画像iR1~iR6のうち、代表画像iR2は露出が悪く診断に適さない画像であるものとする。そこでユーザは操作部208のマウスによりカーソルCRを操作して代表画像iR2を選択すると(ステップS118(代表画像選択工程)でYES)、図14の(b)部分に示すように、代表画像iR2に対応する近傍画像が代表画像iR1~iR6に重ねて拡大表示される(ステップS120:近傍画像表示制御工程)。ここでは、近傍画像iN1が表示された様子を示している。態様1及び以下の各態様に示すように、近傍画像表示制御部204Hは、近傍画像の表示位置、表示ウインドウ、表示サイズ、のうち少なくとも1つを代表画像と変える。
 ユーザが操作部208を操作すると近傍画像の切替指示が受け付けられ(ステップS122でYES)、表示された近傍画像iN1が撮影時刻の異なる他の近傍画像に切り替わる(ステップS124:近傍画像表示制御工程)。このような操作(切替指示)により、ユーザは近傍画像の中から診断に適した画像を選択することができる。なお近傍画像を切り替える操作としては、例えばキーボードの矢印キー(上向き/下向き、あるいは右向き/左向き)の操作、マウスのボタンのクリック、スクロールホイールの回動、図示せぬフットペダルの操作等を挙げることができるが、これらに限定されない。
 なお、ある代表画像(例えば、代表画像iR2)を選択しており近傍画像が表示されている状態で他の代表画像(例えば、代表画像iR4)が選択された場合、先に選択されていた代表画像(この場合、代表画像iR2)に対する近傍画像の表示を終了する。また、代表画像iR2の表示態様を代表画像iR2が選択されていない状態に復帰させる(丸印によるマーキング等の識別表示を終了する)。これらと合わせて、新たに選択された代表画像(この場合、代表画像iR4)を識別表示し、対応する近傍画像を表示する。
 上述した処理は、CPU210による制御の下で、画像処理部204(具体的には、代表画像表示制御部204F(代表画像表示制御部)、代表画像選択部204G(代表画像選択部)、近傍画像表示制御部204H(近傍画像表示制御部)、切替指示受付部204J(切替指示受付部))により行われる。
 ユーザが上述した操作により所望の近傍画像を選択したら、マウスでボタンB06を操作すると近傍画像の選択が確定し(ステップS126でYES;選択が確定するまでNO)する。ボタンB07が操作されると代表画像(図14の例では代表画像iR2)に対する近傍画像の表示を終了して代表画像の一覧表示状態(図14の(a)部分を参照)に戻る。この際、図11の領域C13,V13について説明したように「代表画像を近傍画像で差し替え」がONになっていると、図14の(c)部分に示すように、当初表示されていた代表画像iR2に代えて選択された近傍画像が表示される(ステップS128)。ここでは近傍画像iN2が表示された様子を示している。
 このように、第1の実施形態に係る内視鏡システム10では、一覧表示された代表画像から選択した代表画像について、代表画像に対応する近傍画像のうちいずれかを表示装置(モニタ400)に表示させるので、診断に適した画像を容易に表示することができる。また、代表画像及び近傍画像は撮影期間の内に撮影されるので、代表画像と近傍画像とで画像の変化(画像における被写体の位置、向き、露出条件等の変化)を少なくすることができる。撮影期間の長さは、撮影条件設定画面(図9参照)により代表画像と近傍画像との変化が許容範囲になるように設定することができる。
 なお、表示条件の設定について説明したように「差し替えた近傍画像の識別表示」の設定がONになっていると(図11の領域C14,V14を参照)、代表画像を近傍画像に切り替える際に差し替えた近傍画像が識別表示(図14の例では近傍画像iN2に枠線を追加)される。このような識別表示により、いずれの画像を切り替え/差し替えしたのか容易に把握することができる。
 <画像の表示及び選択の他の態様(態様2)>
 代表画像及び近傍画像の表示、選択の他の態様(態様2)について説明する。図15は代表画像と近傍画像とを同じウインドウの別の領域に表示する態様を示す図である。図15の例では、図15の(a)部分に示すように、代表画像(代表画像iR1~iR4)をモニタ400の表示領域R1に一覧表示する(ステップS116)。代表画像(ここでは代表画像iR2)が選択されると(ステップS118)、選択された代表画像に対応する近傍画像のうちいずれか(ここでは近傍画像iN1)が表示領域R1と同一ウインドウの別の領域である表示領域R2に拡大表示される(ステップS120:図15の(b)部分を参照)。表示した近傍画像に対する切替操作は図14に示す態様と同様である(ステップS122~S126)。すなわち、ボタンB06を操作すると近傍画像が確定(ステップS126でYES)して、図15の(c)部分に示すように、当初表示されていた代表画像iR2に代えて選択された近傍画像(ここでは近傍画像iN3)が表示領域R1に表示される(ステップS128)。この際、表示条件設定画面(図11参照)での設定に応じて、図14の(c)部分に示すのと同様に、代表画像iR2に代えて表示される近傍画像iN3が識別表示(ここでは、枠線追加)される。
 <画像の表示及び選択のさらに他の態様(態様3)>
 代表画像及び近傍画像の表示、選択のさらに他の態様(態様3)について説明する。図16は代表画像と近傍画像とを別のウインドウに表示する態様を示す図である。図16の例では、図16の(a)部分に示すように、代表画像表示制御部204Fが代表画像(代表画像iR1~iR6)をモニタ400のウインドウW1に一覧表示する(ステップS116)。代表画像(ここでは代表画像iR2)が選択されると(ステップS118)、選択された代表画像に対応する近傍画像のうちいずれか(ここでは近傍画像iN1)がウインドウW1とは別のウインドウW2に拡大表示される(ステップS120:図16の(b)部分を参照)。表示した近傍画像に対する切替操作は図14に示す態様、図15に示す態様と同様であり(ステップS122~S126)。すなわち、ボタンB06を操作すると近傍画像が確定(ステップS126でYES)して、図14の(c)部分と同様に、選択された近傍画像(ここでは近傍画像iN3)が当初表示されていた代表画像iR2に代えてウインドウW1に表示される(ステップS128)。
 <画像の表示及び選択のさらに他の態様(態様4)>
 代表画像及び近傍画像の表示、選択のさらに他の態様(態様4)について説明する。態様1~態様3ではユーザの切替操作により近傍画像を切り替え表示しているが、態様4では近傍画像の動画表示(連続表示、順次表示)に基づいて切り替え表示を行う。図17の(a)部分は代表画像(代表画像iR1~iR6)をウインドウW1に一覧表示した状態(ステップS116)であり、図14の(a)部分及び図16の(a)部分と同じである。図17の例では、代表画像(ここでは代表画像iR2)を選択すると(ステップS118でYES)、ウインドウW3で近傍画像の動画表示(連続表示、順次表示)が開始する(図17の(b)部分;図18のステップS119-1)。図17の(b)部分は動画表示において露出が不良な近傍画像iN1が表示された状態であり、図17の(c)部分は露出が適正な近傍画像iN3が表示された状態である。図17の(b)部分及び(c)部分において、ボタンB08は動画表示停止指示用のボタンであり、ボタンB09は動画表示開始用のボタンである。また、インジケータP1は動画表示の進行状況を示し、インジケータP2はインジケータP1に連動して「表示されている近傍画像が全何枚中の何枚目であるか」を示す。
 ユーザが上述した動画表示を閲覧して適切な近傍画像が表示された時点でボタンB08を操作すると動画表示(連続表示)の表示停止指示がなされて(図18のステップS119-2でYES)動画表示が停止する(図18のステップS119-3)。この表示停止指示を受け付けた際に表示されている近傍画像が継続してモニタ400に表示される(図18のステップS119-4)。この状態でボタンB06を操作すると(図18のステップS119-5でYES)近傍画像の選択が確定して(図18のステップS119-6)、当初表示されていた代表画像に代えて選択した近傍画像がモニタ400に表示される(ステップS128)。
 例えば、ユーザが図17の(c)部分に示す状態でボタンB08を操作すると(ステップS119-2でYES)、動画表示が停止し(ステップS119-3)、ボタンB08の操作(表示停止指示)を受け付けた際に表示されている近傍画像iN3がモニタ400のウインドウW3に継続して表示される(ステップS119-4)。この状態でボタンB06が操作されると(ステップS119-5でYES)、近傍画像iN3の選択が確定して(ステップS119-6)、図14の(c)部分と同様に代表画像iR2に代えて近傍画像iN3が表示される(ステップS128)。なお、近傍画像iN3が表示された状態でボタンB09が操作されると、動画表示が再開される。
 上述した態様2~4の場合も、態様1と同様に診断に適した画像を容易に表示することができる。
 <選択された代表画像の識別表示の他の態様>
 図14~17に示す例では選択された代表画像iR2を丸印でマーキングしているが、選択された代表画像の識別表示はこのような態様に限定されない。例えば図19の(a)部分に示すように代表画像iR2(選択画像)に枠線iR2aを追加する態様、図19の(b)部分に示すように代表画像iR2以外をグレーアウトする(薄いグレーで表示され、操作の対象外となる)態様を用いてもよい。このような態様の選択は、図11に示す表示条件設定画面(領域C11,V11及びボタンA11)を介して行うことができる。
 <指定画像の保存>
 ステップS128までの処理で代表画像に対する近傍画像の選択及び表示が終了したら、画像処理部204(指定画像保存部204L)は保存画像の指定があるか否かを判断する(ステップS130)。この判断は、図20の例に示すように各画像に対しチェックボックスCBを設け、ボタンB06が操作された時点でチェックされている画像があるか否かを指定画像保存部204L(指定画像保存部)が判断することにより行うことができる。チェックボックスがチェックされている画像(図20の例では、代表画像iR1,iR3,iR4,iR5,iR6)が指定画像207Cとして記憶部207に保存される(ステップS132)。これらの画像は診断レポートのひな形に添付する(関連づける)ことができ、これによりレポート作成を効率的に行うことができる。
 指定画像を保存したら、CPU210及び画像処理部204は処理を終了するか否か判断する(ステップS134)。YESなら処理を終了し、NOならステップS104のライブビュー画像表示開始に戻る。
 <撮影及び表示の他の態様>
 医用画像の撮影及び表示の他の態様について、以下説明する。以下で説明する態様は、撮影条件設定画面(図9、10)、表示条件設定画面(図11)を介した設定に応じて実行される。
 <関心領域の検出に応じた自動撮影>
 図9の撮影条件設定画面において「関心領域検出」(領域C04,V04)及び「自動撮影」(領域C05,V05)がONの場合、関心領域の検出及び検出時の自動撮影が実行される。具体的には、関心領域検出部204I(関心領域検出部)がライブビュー画像において関心領域を検出したら(図21のステップS105でYES)、撮影光学系130及び撮影制御部204Cにより複数の医用画像が取得される(ステップS108)。図22の(a)部分は関心領域ROIの検出により自動撮影された画像(代表画像)が一覧表示された様子を示す。関心領域(病変候補等)の抽出は、関心領域検出部204Iが例えば公知のCADシステム(CAD:Computer Aided Diagnosis)を備えることにより行うことができる。具体的には、例えば医用画像の画素の特徴量に基づいて、関心領域(注目すべき領域である注目領域)及び関心領域における対象(注目すべき対象)の有無を抽出することができる。この際、あらかじめ用意した関心領域の画像を教師データとした機械学習(深層学習等)の結果を利用してもよい。
 関心領域の検出に応じた自動撮影を行う態様によれば、ユーザは診断に適した画像を容易に表示することができ、またレポート作成を効率的に行うことができる。なお、表示された代表画像に対する近傍画像の表示は、上述した態様と同様に行うことができる。
 色素剤、器具等の検出及び検出に応じた自動撮影についても、上述した関心領域の場合と同様に、図9の撮影条件設定画面を介した条件設定(領域V06~V09をON)により実行することができる。色素剤の検出は、例えば画像解析部204Kが撮像素子134の赤(R)、緑(G)、青(B)の画素値から特徴量としてG/R及びB/Gを算出し、これらの特徴量を各色素剤の特徴量と比較することにより行うことができる。また器具等の検出は、例えば各器具を鉗子口126に挿通した際の画像を基準画像として、画像解析部204Kが基準画像と検査時の画像とを比較することにより行うことができる。図22の(b)部分は鉗子FRの検出により自動撮影された画像(代表画像)が一覧表示された様子を示す。このような態様によれば、ユーザは診断に適した画像を容易に表示することができ、またレポート作成を効率的に行うことができる。なお、表示された代表画像に対する近傍画像の表示は、上述した態様と同様に行うことができる。
 <診断用近傍画像の抽出及び表示>
 診断用近傍画像の抽出及び表示は、図9の撮影条件設定画面で領域C10,V10をONに設定することで実行される。抽出条件は、近傍画像における関心領域の存在、近傍画像の露出、近傍画像のブレの量、近傍画像における器具の存在、近傍画像における色素剤及び/または染色剤の使用、のうち少なくとも1つとすることができる。このような具体的な抽出条件の設定は、図10と同様の設定画面において所望の条件(1つでもよいし、複数設定してもよい)をONにすることにより行うことができる。
 図23は診断用近傍画像の抽出及び表示の処理を示すフローチャートである。図9の撮影条件設定画面で領域C10,V10がONに設定されている場合、一覧表示(例えば、図14の(a)部分を参照)された代表画像のいずれかが選択されると(ステップS118でYES)、選択された代表画像に対応する近傍画像から、画像解析部204Kが抽出条件に従って診断用近傍画像を抽出する(ステップS121-1)。抽出条件は、図9について上述したように領域C10a,V10a、及びボタンA10aを介した操作により設定することができる。近傍画像表示制御部204Hは、抽出された診断用近傍画像をモニタ400に表示する(ステップS121-2)。例えば、抽出対象の近傍画像が図24に示す近傍画像iN4~iN8であり抽出条件が「露出が適正」、「関心領域が存在」、及び「器具等の存在」である場合、露出が適正で関心領域ROI及び鉗子FRが映っている近傍画像iN8を抽出し、モニタ400に表示することができる。なお、診断用近傍画像の抽出の際に、あらかじめ用意した診断用の画像を教師データとした機械学習(深層学習等)の結果を利用してもよい。このような診断用近傍画像の抽出及び表示により、ユーザは効率的に診断を行うことができる。また、上述した指定画像の保存(図20を参照)と同様に、関心領域検出画像、色素剤及び/または器具等の検出画像、診断用近傍画像についても指定、保存、レポートのひな形に添付等してもよい。これによりユーザは診断、レポート作成等を効率的に行うことができる。
 (付記)
 上述した態様及び例に加えて、以下に記載の構成も本発明の範囲に含まれる。
 (付記1)
 医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
 医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
 (付記2)
 医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
 医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
 (付記3)
 医療画像解析結果取得部は、
 医療画像の解析結果を記録する記録装置から取得し、
 解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
 (付記4)
 医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
 (付記5)
 医療画像は、特定の波長帯域の光を照射して得た画像であり、
 特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
 (付記6)
 特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
 (付記7)
 特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有する 医療画像処理装置。
 (付記8)
 特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
 (付記9)
 特定の波長帯域は、585nm以上615nm以下または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
 (付記10)
 特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
 (付記11)
 特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有する医療画像処理装置。
 (付記12)
 医療画像は生体内を写した生体内画像であり、
 生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
 (付記13)
 蛍光は、ピークが390nm以上470nm以下である励起光を生体内に照射して得る医療画像処理装置。
 (付記14)
 医療画像は生体内を写した生体内画像であり、
 特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
 (付記15)
 特定の波長帯域は、790nm以上820nm以下または905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有する医療画像処理装置。
 (付記16)
 医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
 医療画像は特殊光画像である医療画像処理装置。
 (付記17)
 特定の波長帯域の信号は、通常光画像に含まれるRGBあるいはCMYの色情報に基づく演算により得る医療画像処理装置。
 (付記18)
 白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
 医療画像は特徴量画像である医療画像処理装置。
 (付記19)
 付記1から18のいずれか1つに記載の医療画像処理装置と、
 白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
 を備える内視鏡装置。
 (付記20)
 付記1から18のいずれか1つに記載の医療画像処理装置を備える診断支援装置。
 (付記21)
 付記1から18のいずれか1つに記載の医療画像処理装置を備える医療業務支援装置。
 以上で本発明の実施形態及び他の態様に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
100  内視鏡本体
102  手元操作部
104  挿入部
106  ユニバーサルケーブル
108  ライトガイドコネクタ
112  軟性部
114  湾曲部
116  先端硬質部
116A 先端側端面
123  照明部
123A 照明用レンズ
123B 照明用レンズ
126  鉗子口
130  撮影光学系
132  撮影レンズ
134  撮像素子
136  駆動回路
138  AFE
170  ライトガイド
200  プロセッサ
202  画像入力コントローラ
204  画像処理部
204A 撮影タイミング設定部
204B 撮影指示受付部
204C 撮影制御部
204D 代表画像記憶部
204E 近傍画像記憶部
204F 代表画像表示制御部
204G 代表画像選択部
204H 近傍画像表示制御部
204I 関心領域検出部
204J 切替指示受付部
204K 画像解析部
204L 指定画像保存部
205  画像入力インタフェース
206  ビデオ出力部
207  記憶部
207A 代表画像
207B 近傍画像
207C 指定画像
208  操作部
209  音声処理部
209A スピーカ
210  CPU
211  ROM
212  RAM
300  光源装置
310  光源
310A 可視光源
310B 赤外光源
330  絞り
340  集光レンズ
350  光源制御部
400  モニタ
A01  ボタン
A02  ボタン
A03  ボタン
A03a ボタン
A03c スライドバー
A04  ボタン
A05  ボタン
A06  ボタン
A07  ボタン
A08  ボタン
A09  ボタン
A10  ボタン
A10a ボタン
A11  ボタン
A12  ボタン
A13  ボタン
A14  ボタン
A15  ボタン
B01  ボタン
B02  ボタン
B03  ボタン
B04  ボタン
B05  ボタン
B06  ボタンB07  ボタン
B08  ボタン
B09  ボタン
BT1  送気送水ボタン
BT2  吸引ボタン
BT3  機能ボタン
BT4  撮影ボタン
C01  領域
C02  領域
C03  領域
C04  領域
C05  領域
C06  領域
C07  領域
C08  領域
C09  領域
C10  領域
C10a 領域
C11  領域
C12  領域
C13  領域
C14  領域
C15  領域
CB   チェックボックス
CR   カーソル
FR   鉗子
P1   インジケータ
P2   インジケータ
R1   表示領域
R2   表示領域
ROI  関心領域
S100~S134 診断支援方法の各ステップ
T1   撮影期間
V01  領域
V02  領域
V03  領域
V04  領域
V05  領域
V06  領域
V07  領域
V08  領域
V09  領域
V10  領域
V10a 領域
V11  領域
V12  領域
V13  領域
V14  領域
V15  領域
W1   ウインドウW2   ウインドウ
W3   ウインドウ
i1   画像
i2   画像
i3   画像
i4   画像
i5   画像
i6   画像
i7   画像
i8   画像
i9   画像
i10  画像
iN1  近傍画像
iN2  近傍画像
iN3  近傍画像
iN4  近傍画像
iN5  近傍画像
iN6  近傍画像
iN7  近傍画像
iN8  近傍画像
iR1  代表画像
iR2  代表画像
iR2a 枠線
iR3  代表画像
iR4  代表画像
iR5  代表画像
iR6  代表画像

Claims (20)

  1.  撮影指示に応じて医用画像を撮影する医用画像撮影部と、
     前記医用画像撮影部に前記撮影指示を与え、撮影時刻が異なる複数の医用画像を撮影期間の内に撮影させる撮影制御部と、
     前記複数の医用画像のうちいずれかを前記撮影期間における代表画像として記憶する代表画像記憶部と、
     前記複数の医用画像のうち前記代表画像を除く医用画像を、前記代表画像の近傍画像として前記代表画像と対応させて記憶する近傍画像記憶部と、
     前記代表画像を表示装置に一覧表示させる代表画像表示制御部と、
     前記一覧表示された前記代表画像に対する選択を受け付ける代表画像選択部と、
     前記選択された前記代表画像に対応する前記近傍画像のうちいずれかを、前記表示装置に表示させる近傍画像表示制御部と、
     を備える診断支援システム。
  2.  ユーザの指示入力に基づいて撮影タイミングを設定する撮影タイミング設定部を備え、
     前記撮影制御部は前記撮影タイミングに従って前記医用画像撮影部に前記撮影指示を与える請求項1に記載の診断支援システム。
  3.  前記医用画像撮影部が撮影した前記医用画像から関心領域を検出する関心領域検出部を備え、
     前記撮影制御部は、前記関心領域の検出に応じて前記医用画像撮影部に前記撮影指示を与える請求項1または2に記載の診断支援システム。
  4.  前記代表画像表示制御部は前記関心領域の検出に応じて撮影された前記代表画像を一覧表示する請求項3に記載の診断支援システム。
  5.  ユーザの撮影指示操作を受け付ける撮影指示受付部を備え、
     前記撮影制御部は前記撮影指示操作に応じて前記医用画像撮影部に前記撮影指示を与える請求項1から4のいずれか1項に記載の診断支援システム。
  6.  前記近傍画像は、前記代表画像よりも前記撮影時刻が前の画像と、前記代表画像よりも前記撮影時刻が後の画像と、のうち少なくとも一方を含む請求項1から5のいずれか1項に記載の診断支援システム。
  7.  前記表示装置に表示する前記近傍画像を撮影時刻が異なる他の近傍画像に切り替える切替指示を受け付ける切替指示受付部を備え、
     前記近傍画像表示制御部は、前記切替指示に応じて、前記表示装置に表示されている近傍画像に代えて前記他の近傍画像を表示させる請求項1から6のいずれか1項に記載の診断支援システム。
  8.  前記近傍画像表示制御部は前記選択された前記代表画像に対応する複数の前記近傍画像を前記表示装置に連続表示させ、前記連続表示の表示停止指示を受け付けた際に表示されている近傍画像を継続して前記表示装置に表示させる請求項1から7のいずれか1項に記載の診断支援システム。
  9.  前記近傍画像を解析して診断用近傍画像を抽出する画像解析部を備え、
     前記近傍画像表示制御部は前記診断用近傍画像を前記表示装置に表示させる請求項1から8のいずれか1項に記載の診断支援システム。
  10.  前記画像解析部は、前記近傍画像における関心領域の存在、前記近傍画像の露出、前記近傍画像のブレの量、前記近傍画像における器具の存在、前記近傍画像における色素剤及び/または染色剤の使用、のうち少なくとも1つに基づいて前記診断用近傍画像を抽出する請求項9に記載の診断支援システム。
  11.  前記近傍画像表示制御部は、前記近傍画像を前記代表画像と異なる表示態様で表示させる請求項1から10のいずれか1項に記載の診断支援システム。
  12.  前記近傍画像表示制御部は、前記近傍画像の表示位置、表示ウインドウ、表示サイズ、のうち少なくとも1つを前記代表画像と変える請求項11に記載の診断支援システム。
  13.  前記近傍画像表示制御部は、ユーザ指示に基づいて前記近傍画像の前記表示態様を変更する請求項11または12に記載の診断支援システム。
  14.  前記近傍画像表示制御部は、前記選択された代表画像に代えて、前記選択された代表画像に対応する前記近傍画像のうちいずれかを表示させる請求項1から13のいずれか1項に記載の診断支援システム。
  15.  前記代表画像表示制御部は、前記選択された代表画像を他の代表画像と識別表示する請求項1から14のいずれか1項に記載の診断支援システム。
  16.  前記代表画像表示制御部は、一の代表画像を選択している状態で他の代表画像が選択された場合は、前記選択の時点で表示されている前記近傍画像の表示を終了し、前記一の代表画像の表示態様を前記一の代表画像が選択されていない状態に復帰させる請求項1から15のいずれか1項に記載の診断支援システム。
  17.  前記一覧表示された代表画像と前記表示された前記近傍画像とのうちで指定された画像を保存する指定画像保存部をさらに備える請求項1から16のいずれか1項に記載の診断支援システム。
  18.  請求項1から17のいずれか1項に記載の診断支援システムと、
     前記表示装置と、
     被検体に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された操作部と、を有する内視鏡と、
     を備える内視鏡システムであって、
     前記医用画像撮影部は、被写体の光学像を結像させる撮影レンズと、前記撮影レンズにより前記光学像が結像する撮像素子と、を備え、
     前記撮影レンズは前記先端硬質部に設けられる内視鏡システム。
  19.  請求項18に記載の内視鏡システムのプロセッサであって、
     前記撮影制御部と、前記代表画像記憶部と、前記近傍画像記憶部と、前記代表画像表示制御部と、前記代表画像選択部と、前記近傍画像表示制御部と、を備えるプロセッサ。
  20.  撮影指示に応じて医用画像を撮影する医用画像撮影部と、前記撮影した医用画像を表示する表示装置と、を備える診断支援システムによる診断支援方法であって、
     撮影装置に撮影指示を与え、撮影時刻が異なる複数の医用画像を撮影期間の内に撮影させる撮影制御工程と、
     前記複数の医用画像のうちいずれかを前記撮影期間における代表画像として記憶する代表画像記憶工程と、
     前記複数の医用画像のうち前記代表画像を除く画像を、前記代表画像の近傍画像として前記代表画像と対応させて記憶する近傍画像記憶工程と、
     前記代表画像を表示装置に一覧表示させる代表画像表示制御工程と、
     前記一覧表示された前記代表画像に対する選択を受け付ける代表画像選択工程と、
     前記選択された前記代表画像に対応する前記近傍画像のうちいずれかを前記表示装置に表示させる近傍画像表示制御工程と、
     を有する診断支援方法。
PCT/JP2018/029489 2017-08-25 2018-08-06 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法 WO2019039259A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019538048A JP6907324B2 (ja) 2017-08-25 2018-08-06 診断支援システム、内視鏡システム及び診断支援方法
US16/783,138 US11103197B2 (en) 2017-08-25 2020-02-05 Diagnosis support system, endoscope system, processor and diagnosis support method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017162546 2017-08-25
JP2017-162546 2017-08-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/783,138 Continuation US11103197B2 (en) 2017-08-25 2020-02-05 Diagnosis support system, endoscope system, processor and diagnosis support method

Publications (1)

Publication Number Publication Date
WO2019039259A1 true WO2019039259A1 (ja) 2019-02-28

Family

ID=65438701

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/029489 WO2019039259A1 (ja) 2017-08-25 2018-08-06 診断支援システム、内視鏡システム、プロセッサ、及び診断支援方法

Country Status (3)

Country Link
US (1) US11103197B2 (ja)
JP (1) JP6907324B2 (ja)
WO (1) WO2019039259A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188682A1 (ja) * 2019-03-18 2020-09-24 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム
JP2021045337A (ja) * 2019-09-18 2021-03-25 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2021176852A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6522539B2 (ja) * 2016-03-18 2019-05-29 富士フイルム株式会社 内視鏡システム及びその作動方法
EP3861921A4 (en) * 2018-10-04 2021-12-01 NEC Corporation INFORMATION PROCESSING DEVICE, CONTROL METHOD AND PROGRAM

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010094185A (ja) * 2008-10-14 2010-04-30 Olympus Medical Systems Corp 画像表示装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60203077A (ja) * 1984-03-27 1985-10-14 Olympus Optical Co Ltd 静止画像撮影装置
JP2001359039A (ja) * 2000-06-09 2001-12-26 Olympus Optical Co Ltd 画像記録装置
JP4914680B2 (ja) * 2006-09-05 2012-04-11 オリンパスメディカルシステムズ株式会社 画像表示装置
JP5147308B2 (ja) 2007-06-20 2013-02-20 オリンパス株式会社 画像抽出装置および画像抽出プログラム
JP5148227B2 (ja) * 2007-09-25 2013-02-20 富士フイルム株式会社 内視鏡システム
JP2009211118A (ja) * 2008-02-29 2009-09-17 Konica Minolta Medical & Graphic Inc 医用画像管理装置、印刷画像順設定方法及びプログラム
EP2177149A1 (en) 2008-10-14 2010-04-21 Olympus Medical Systems Corporation Image display device, image display method, and image display program
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2011156203A (ja) * 2010-02-02 2011-08-18 Olympus Corp 画像処理装置、内視鏡システム、プログラム及び画像処理方法
JP2011200283A (ja) * 2010-03-24 2011-10-13 Olympus Corp 制御装置、内視鏡システム、プログラム及び制御方法
WO2012121368A1 (ja) * 2011-03-10 2012-09-13 株式会社 東芝 医用画像診断装置、医用画像表示装置、医用画像処理装置、及び医用画像処理プログラム
JP5818520B2 (ja) * 2011-06-06 2015-11-18 株式会社東芝 医用画像処理システム
JP5824264B2 (ja) 2011-07-14 2015-11-25 株式会社日立メディコ 検査情報表示システム、検査情報表示方法、検査情報表示装置
JP2013128723A (ja) * 2011-12-22 2013-07-04 Olympus Corp 内視鏡装置
JP5856931B2 (ja) * 2012-09-06 2016-02-10 富士フイルム株式会社 医療画像管理装置、医療画像管理方法、医療画像管理プログラム
US9582916B2 (en) * 2014-11-10 2017-02-28 Siemens Healthcare Gmbh Method and system for unsupervised cross-modal medical image synthesis
DE102016219694A1 (de) * 2016-10-11 2018-04-12 Siemens Healthcare Gmbh Verfahren zur Ermittlung eines dreidimensionalen Bilddatensatzes durch eine Röntgeneinrichtung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010094185A (ja) * 2008-10-14 2010-04-30 Olympus Medical Systems Corp 画像表示装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020188682A1 (ja) * 2019-03-18 2020-09-24 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム
CN113613543A (zh) * 2019-03-18 2021-11-05 奥林巴斯株式会社 诊断辅助装置、诊断辅助方法以及程序
JPWO2020188682A1 (ja) * 2019-03-18 2021-11-25 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム
JP7138771B2 (ja) 2019-03-18 2022-09-16 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム
JP2021045337A (ja) * 2019-09-18 2021-03-25 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム
JP2023014288A (ja) * 2019-09-18 2023-01-26 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7373335B2 (ja) 2019-09-18 2023-11-02 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
JP7387859B2 (ja) 2019-09-18 2023-11-28 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2021176852A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム

Also Published As

Publication number Publication date
US11103197B2 (en) 2021-08-31
US20200170484A1 (en) 2020-06-04
JP6907324B2 (ja) 2021-07-21
JPWO2019039259A1 (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
JP6907324B2 (ja) 診断支援システム、内視鏡システム及び診断支援方法
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP7383105B2 (ja) 医療画像処理装置及び内視鏡システム
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP2010172673A (ja) 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JP7091349B2 (ja) 診断支援システム、内視鏡システム、プロセッサ、及び診断支援システムの作動方法
JP6941233B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2019220801A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
JP2024023832A (ja) 画像処理装置及び内視鏡システム並びに画像処理プログラム
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
WO2020184257A1 (ja) 医用画像処理装置及び方法
JP7130038B2 (ja) 内視鏡画像処理装置、内視鏡画像処理装置の作動方法、内視鏡画像処理プログラム及び記憶媒体
US20220007942A1 (en) Medical imaging systems and methods that facilitate use of different fluorescence imaging agents
US20220007925A1 (en) Medical imaging systems and methods
JP7214886B2 (ja) 画像処理装置及びその作動方法
WO2019039252A1 (ja) 医療画像処理装置及び医療画像処理方法
CN116134363A (zh) 内窥镜系统及其工作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18847939

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2019538048

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18847939

Country of ref document: EP

Kind code of ref document: A1