WO2021153471A1 - 医療画像処理装置、医療画像処理方法、及びプログラム - Google Patents

医療画像処理装置、医療画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2021153471A1
WO2021153471A1 PCT/JP2021/002354 JP2021002354W WO2021153471A1 WO 2021153471 A1 WO2021153471 A1 WO 2021153471A1 JP 2021002354 W JP2021002354 W JP 2021002354W WO 2021153471 A1 WO2021153471 A1 WO 2021153471A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical image
observation state
observation
image processing
display
Prior art date
Application number
PCT/JP2021/002354
Other languages
English (en)
French (fr)
Inventor
駿平 加門
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021574003A priority Critical patent/JPWO2021153471A1/ja
Priority to CN202180009915.7A priority patent/CN114980799A/zh
Priority to EP21748213.2A priority patent/EP4099080A4/en
Publication of WO2021153471A1 publication Critical patent/WO2021153471A1/ja
Priority to US17/857,419 priority patent/US20220330825A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852—Catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Definitions

  • the present invention relates to a medical image processing apparatus, a medical image processing method, and a program.
  • Patent Document 1 describes a technique aimed at preventing omission of photography in an inspection using an endoscopic system.
  • a map image showing a photographed area and an unphotographed area of an organ to be imaged is displayed on a monitor as a notification display.
  • the monitor of the endoscope system displays the endoscopic image taken in real time during the examination in the main display area. Therefore, when the notification display as described in Patent Document 1 is displayed in the main display area, it will be superimposed on the endoscopic image, and the visibility of the endoscopic image will be reduced. It ends up. Further, when the notification display is displayed in the sub display area of the monitor, the display area is small and the visibility of the notification display is lowered. On the other hand, it is conceivable to display the notification on a sub monitor different from the main monitor, but there is a problem that the user cannot gaze at the endoscopic image displayed on the main monitor at the time of inspection.
  • Patent Document 1 does not mention a display mode in consideration of the visibility of the endoscopic image and the visibility of the notification display (map image).
  • the present invention has been made in view of such circumstances, and an object of the present invention is medical image processing that effectively displays an observation state display relating to comprehensiveness of observation while suppressing a decrease in visibility of an endoscopic image. It is to provide an apparatus, a medical image processing method, and a program.
  • the medical image processing device for achieving the above object is a medical image processing device including a processor and a memory, and the processor acquires a plurality of medical images in time series and medical images.
  • the observation state of a small area of the subject is determined based on the above, the judgment result is recorded in the memory, and when the observation state of the subject changes, the subject is based on the judgment result recorded in the memory. Display the observation status display on the monitor.
  • the observation state display of the subject when the observation state of the subject changes, the observation state display of the subject is displayed on the monitor.
  • the observation state display of the subject is displayed on the monitor.
  • the processor hides the observation status display displayed on the monitor after a predetermined time has elapsed.
  • the user operation reception unit is further provided, and the processor displays or hides the observation state display based on the command from the user operation reception unit.
  • the processor determines that the observation is completed when the observation of the small area is completed, and that the observation is not completed when the observation is not completed.
  • the processor displays the observation status display on the monitor by character information.
  • the processor adds information regarding the completion or incompleteness of observation in units of a small area of the subject to the text information and displays it as an observation state display.
  • the processor displays the observation state display by a subject model that schematically represents the subject.
  • the processor adds information regarding the completion or incompleteness of observation in units of a small area of the subject to the subject model and displays it as an observation state display.
  • the processor displays the display of only the completion or only the incomplete observation of the unit of the small area of the subject as the observation state display.
  • the processor displays the medical image on the monitor and superimposes the observation state display on the medical image.
  • the processor is a monitor having a first display area and a second display area smaller than the first display area, and the observation state is provided by different aspects of the first display area and the second display area. Display the display.
  • the processor constantly displays the observation status display in the second display area.
  • the processor is a monitor having a first display area and a third display area different from the second display area, and displays a medical image in the third display area.
  • the medical image processing method is a medical image processing method of a medical image processing apparatus including a processor and a memory, wherein the processor includes a medical image acquisition step of acquiring a plurality of medical images in a time series. , An observation state determination step that determines the observation state of a small area of the subject based on a medical image, a recording step that records the determination result in the memory, and a memory when the observation state of the subject changes. A display step of displaying the observation state display of the subject based on the recorded determination result on the monitor is executed.
  • a program according to another aspect of the present invention is a program that causes a medical image processing apparatus including a processor and a memory to execute a medical image processing method, in which the processor acquires a plurality of medical images in a time series.
  • An observation state determination step for determining the observation state of a small area of the subject based on a medical image, a recording step for recording the determination result in the memory, and a memory when the observation state of the subject changes.
  • the medical image processing method for executing the display step of displaying the observation state display of the subject based on the result of the determination recorded in the monitor on the monitor is performed.
  • the observation state display of the subject when the observation state of the subject changes, the observation state display of the subject is displayed on the monitor. Therefore, by displaying the observation state display of the subject at an appropriate timing, the endoscopic image is displayed. It is possible to display effectively while suppressing the influence on the observation of.
  • FIG. 1 is an external view of the endoscope system.
  • FIG. 2 is a block diagram showing a main configuration of an endoscope system.
  • FIG. 3 is a functional block diagram of the medical image processing apparatus in the image processing unit.
  • FIG. 4 is a diagram showing main information recorded in the recording unit.
  • FIG. 5 is a diagram showing a configuration of a neural network.
  • FIG. 6 is a schematic view showing a configuration example of the intermediate layer.
  • FIG. 7 is a flowchart showing a medical image processing method.
  • FIG. 8 is a diagram showing an example of an observation state display.
  • FIG. 9 is a diagram showing a modified example 1 of the observation state display.
  • FIG. 10 is a diagram showing a modified example 2 of the observation state display.
  • FIG. 11 is a diagram showing a modified example 3 of the observation state display.
  • FIG. 12 is a diagram showing a modified example 4 of the observation state display.
  • FIG. 13 is a diagram showing a modified example 5 of the observation state display.
  • FIG. 14 is a diagram showing a modified example 6 of the observation state display.
  • FIG. 15 is a diagram illustrating an example of a monitor having a main display area and a sub display area.
  • FIG. 16 is a diagram illustrating an example in which different observation state displays are displayed in the main display area and the sub display area.
  • FIG. 17 is a diagram illustrating an example in which different observation state displays are displayed in the main display area and the sub display area.
  • FIG. 1 is an external view of the endoscope system 10
  • FIG. 2 is a block diagram showing a main configuration of the endoscope system 10.
  • the endoscope system 10 includes an endoscope scope 100, an endoscope processor device 200, a light source device 300, and a monitor 400.
  • the endoscope processor device 200 is equipped with the medical image processing device of the present invention.
  • the endoscope scope 100 includes a hand operation unit 102 and an insertion unit 104 connected to the hand operation unit 102.
  • the operator grasps and operates the hand operation unit 102, inserts the insertion unit 104 into the body of the subject (living body), and observes it.
  • the hand operation unit 102 is provided with an air supply / water supply button 141, a suction button 142, a function button 143 to which various functions are assigned, and a shooting button 144 for receiving a shooting instruction operation (still image, moving image). ..
  • the insertion portion 104 is composed of a soft portion 112, a curved portion 114, and a tip hard portion 116 in this order from the hand operation portion 102 side.
  • the curved portion 114 is connected to the base end side of the hard tip portion 116, and the soft portion 112 is connected to the base end side of the curved portion 114.
  • the hand operation unit 102 is connected to the base end side of the insertion unit 104. The user can bend the curved portion 114 and change the direction of the hard tip portion 116 up, down, left and right by operating the hand operating portion 102.
  • the tip rigid portion 116 is provided with a photographing optical system 130, an illumination portion 123, a forceps opening 126, and the like (see FIGS. 1 and 2).
  • white light and / or narrow band light red narrow band light, green narrow band light, One or more of blue narrow band light and purple narrow band light
  • white light and / or narrow band light red narrow band light, green narrow band light, One or more of blue narrow band light and purple narrow band light
  • the air supply / water supply button 141 cleaning water is discharged from a water supply nozzle (not shown), and the photographing lens 132 of the photographing optical system 130 and the illumination lenses 123A and 123B can be cleaned.
  • a conduit (not shown) communicates with the forceps opening 126 opened by the hard tip 116, and a treatment tool (not shown) for removing a tumor or the like is inserted into this conduit, and the patient moves back and forth as appropriate to the subject. You can take the necessary measures.
  • a photographing lens 132 is arranged on the tip end surface 116A of the tip rigid portion 116.
  • a CMOS (Complementary Metal-Oxide Semiconductor) type image sensor 134, a drive circuit 136, and an AFE 138 (AFE: Analog Front End) are arranged behind the photographing lens 132, and an image signal is output by these elements.
  • the image pickup element 134 is a color image pickup element, and is composed of a plurality of light receiving elements arranged in a matrix (two-dimensional arrangement) in a specific pattern arrangement (Bayer arrangement, X-Trans (registered trademark) arrangement, honeycomb arrangement, etc.). It has a plurality of pixels.
  • Each pixel of the image sensor 134 includes a microlens, a red (R), green (G), or blue (B) color filter and a photoelectric conversion unit (photodiode or the like).
  • the photographing optical system 130 can also generate a color image from pixel signals of three colors of red, green, and blue, and generate an image from pixel signals of any one or two colors of red, green, and blue. You can also do it.
  • the image sensor 134 may be a CCD (Charge Coupled Device) type. Further, each pixel of the image sensor 134 may further include a purple color filter corresponding to a purple light source 310V and / or an infrared filter corresponding to an infrared light source.
  • the optical image of the subject is imaged on the light receiving surface (imaging surface) of the image sensor 134 by the photographing lens 132, converted into an electric signal, and output to the endoscope processor device 200 via a signal cable (not shown) to form an image. Converted to a signal.
  • the endoscope image (medical image) of the subject is displayed on the screen on the monitor 400 connected to the endoscope processor device 200.
  • the illumination lenses 123A and 123B of the illumination portion 123 are provided adjacent to the photographing lens 132.
  • the ejection ends of the light guide 170 which will be described later, are arranged behind the illumination lenses 123A and 123B, and the light guide 170 is inserted into the insertion portion 104, the hand operation portion 102, and the universal cable 106 to form the light guide 170.
  • the incident end is arranged within the light guide connector 108.
  • the user sequentially captures time-series endoscopic images in the living body by taking pictures at a predetermined frame rate while inserting or removing the endoscopic scope 100 having the above-described configuration into the living body which is the subject. can do.
  • the light source device 300 includes a light source 310 for illumination, a diaphragm 330, a condenser lens 340, a light source control unit 350, and the like, and causes observation light to enter the light guide 170.
  • the light source 310 includes a red light source 310R, a green light source 310G, a blue light source 310B, and a purple light source 310V that irradiate narrow band light of red, green, blue, and purple, respectively, and is narrow in red, green, blue, and purple. It can irradiate band light.
  • the illuminance of the observation light by the light source 310 is controlled by the light source control unit 350, and the illuminance of the observation light can be changed (increased or decreased) and the illumination can be stopped as needed.
  • the light source 310 can emit red, green, blue, and purple narrow-band light in any combination.
  • narrow-band light of red, green, blue, and purple can be emitted at the same time to irradiate white light (normal light) as observation light, or one or two of them can be emitted to emit narrow-band light. It is also possible to irradiate light (special light).
  • the light source 310 may further include an infrared light source that irradiates infrared light (an example of narrow band light).
  • white light or narrow band light may be irradiated as observation light by a light source that irradiates white light and a filter that transmits white light and each narrow band light.
  • the light source 310 may be a light source having a white band or a light source having a plurality of wavelength bands as the light having a white band, or a light source having a specific wavelength band narrower than the white wavelength band.
  • the specific wavelength band may be a blue band or a green band in the visible region, or a red band in the visible region.
  • a specific wavelength band is a visible blue band or green band, it includes a wavelength band of 390 nm or more and 450 nm or less, or 530 nm or more and 550 nm or less, and peaks in a wavelength band of 390 nm or more and 450 nm or less or 530 nm or more and 550 nm or less. It may have a wavelength.
  • the light in the specific wavelength band includes the wavelength band of 585 nm or more and 615 nm or less, or 610 nm or more and 730 nm or less, and the light in the specific wavelength band is 585 nm or more and 615 nm or less or 610 nm or more. It may have a peak wavelength in the wavelength band of 730 nm or less.
  • the specific wavelength band includes a wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm or more and 750 nm, and 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm or more and 750 nm. It may have a peak wavelength in the following wavelength band.
  • the light generated by the light source 310 may include a wavelength band of 790 nm or more and 820 nm or less, or 905 nm or more and 970 nm or less, and may have a peak wavelength in a wavelength band of 790 nm or more and 820 nm or less or 905 nm or more and 970 nm or less.
  • the light source 310 may include a light source that irradiates excitation light having a peak of 390 nm or more and 470 nm or less. In this case, it is possible to acquire an endoscopic image having information on the fluorescence emitted by the fluorescent substance in the subject (living body).
  • a dye for the fluorescence method fluorestin, acridine orange, etc. may be used.
  • the light source type (laser light source, xenon light source, LED light source (LED: Light-Emitting Diode), etc.), wavelength, presence / absence of filter, etc. of the light source 310 are preferably configured according to the type of subject, the part, the purpose of observation, and the like.
  • switching the wavelength for example, by rotating a disk-shaped filter (rotary color filter) arranged in front of the light source and provided with a filter that transmits or blocks light of a specific wavelength, the wavelength of the emitted light is switched. May be good.
  • the image sensor used in carrying out the present invention is not limited to the color image sensor in which the color filter is arranged for each pixel like the image sensor 134, and may be a monochrome image sensor.
  • the wavelength of the observation light can be sequentially switched to perform surface-sequential (color-sequential) imaging.
  • the wavelength of the emitted observation light may be sequentially switched between (purple, blue, green, red), or a rotary color filter (red, green, blue, purple, etc.) is irradiated with broadband light (white light). You may switch the wavelength of the observation light emitted by.
  • the wavelength of the observation light emitted by the rotary color filter (green, blue, purple, etc.) by irradiating one or a plurality of narrow band lights (green, blue, purple, etc.) may be switched.
  • the narrow-band light may be infrared light having two or more wavelengths (first narrow-band light, second narrow-band light) having different wavelengths.
  • the observation light emitted from the light source device 300 is transmitted to the illumination lenses 123A and 123B via the light guide 170, and the illumination lens
  • the observation range is irradiated from 123A and 123B.
  • the configuration of the endoscope processor device 200 will be described with reference to FIG.
  • the endoscope processor device 200 inputs the image signal output from the endoscope scope 100 via the image input controller 202, performs necessary image processing in the image processing unit 204, and outputs the image signal via the video output unit 206. do.
  • the endoscopic image is displayed on the monitor 400.
  • These processes are performed under the control of the CPU 210 (CPU: Central Processing Unit).
  • the CPU 210 functions as a processor of a medical image processing device.
  • the communication control unit 205 controls communication with respect to the acquisition of medical images, etc. between an in-hospital system (HIS: Hospital Information System), an in-hospital LAN (Local Area Network), and / or an external system or network (not shown). I do.
  • the image processing unit 204 calculates the feature amount of the endoscopic image, processes to emphasize or reduce the components of a specific frequency band, and emphasizes or makes a specific target (area of interest, blood vessel of a desired depth, etc.) inconspicuous. Processing can be performed.
  • the image processing unit 204 acquires special light having information in a specific wavelength band based on a normal light image obtained by irradiating light in a white band or light in a plurality of wavelength bands as light in the white band.
  • An image acquisition unit (not shown) may be provided.
  • the signal of a specific wavelength band is used for RGB (R: red, G: green, B: blue) or CMY (C: cyan, M: magenta, Y: yellow) color information included in a normal optical image. It can be obtained by the calculation based on.
  • the image processing unit 204 includes a normal light image obtained by irradiating light in a white band or light in a plurality of wavelength bands as light in the white band, and a special light image obtained by irradiating light in a specific wavelength band.
  • a feature amount image generation unit (not shown) that generates a feature amount image by an operation based on at least one of the above may be provided, and a feature amount image as an endoscopic image may be acquired and displayed. The above-mentioned processing is performed under the control of the CPU 210.
  • the image processing unit 204 has each function in the medical image processing device as described below.
  • FIG. 3 is a functional block diagram of the medical image processing device in the image processing unit 204.
  • the image processing unit 204 includes a medical image acquisition unit 220, an observation state determination unit 222, and a display control unit 224.
  • Various processors include, for example, a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs) to realize various functions.
  • the various processors described above include programmable logic devices (PLCs) such as GPUs (Graphics Processing Units) and FPGAs (Field Programmable Gate Arrays), which are specialized processors for image processing, whose circuit configurations can be changed after manufacturing.
  • PLCs programmable logic devices
  • GPUs Graphics Processing Units
  • FPGAs Field Programmable Gate Arrays
  • PLD Programmable Logic Device
  • the above-mentioned various processors also include a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as an ASIC (Application Specific Integrated Circuit).
  • each part may be realized by one processor, or may be realized by a plurality of processors of the same type or different types (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a combination of a CPU and a GPU). Further, a plurality of functions may be realized by one processor. As an example of configuring a plurality of functions with one processor, first, as represented by a computer, one processor is configured by a combination of one or more CPUs and software, and this processor is used as a plurality of functions. There is a form to be realized.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system with one IC (Integrated Circuit) chip
  • various functions are configured by using one or more of the above-mentioned various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • These electric circuits may be electric circuits that realize the above-mentioned functions by using logical sum, logical product, logical denial, exclusive logical sum, and logical operations combining these.
  • the above-mentioned processor or electric circuit executes software (program), it can be read by a computer of the software (for example, various processors and electric circuits constituting the image processing unit 204, and / or a combination thereof).
  • the code is stored in a non-temporary recording medium such as ROM 211 (ROM: Read Only Memory), and the computer refers to the software.
  • the software stored in the non-temporary recording medium includes a program for executing the medical image processing method of the medical image processing apparatus according to the present invention and data used in the execution.
  • the code may be recorded on a non-temporary recording medium such as various optical magnetic recording devices or semiconductor memories instead of the ROM 211.
  • RAM212 Random Access Memory
  • EEPROM Electrical Erasable and Programmable Read Only Memory
  • the recording unit 207 may be used as the “non-temporary recording medium”.
  • ROM 211 (ROM: Read Only Memory) is a non-volatile storage element (non-temporary recording medium), and is a computer-readable code of a program that causes the CPU 210 and / or the image processing unit 204 to execute various image processing methods. Is remembered.
  • the RAM 212 (RAM: Random Access Memory) is a storage element for temporary storage during various processes, and can also be used as a buffer for image acquisition.
  • the voice processing unit 209 outputs voice and sound from the speaker 209A under the control of the CPU 210.
  • the operation unit 208 can be configured by a device such as a keyboard and a mouse (not shown), and the user can specify the execution instruction of the process and the conditions necessary for the execution via the operation unit 208.
  • FIG. 4 is a diagram showing main information recorded in the recording unit 207.
  • the recording unit (memory) 207 records a medical image (endoscopic image) 260, a determination result 262 of the observation state determination unit 222, and the like.
  • information about a series of small areas to be observed is recorded in the examination performed using the endoscope system 10.
  • the small area of the subject is, for example, each part of the organ.
  • the lesser regions are the cardia, fundus, angular incisure, body of the stomach (upper, middle, lower), vestibule, and anterior.
  • the observation state determination unit 222 in the image processing unit 204 described above is a small area of the subject configured by using a learned model such as a neural network (a model learned using an image set composed of images of a living body). Includes a recognizer that can recognize. Then, the observation state determination unit 222 determines whether or not the small area is completed by the position of the small area recognized by the recognizer, the number of endoscopic images recognized by the small area, and the like. Judgment is made on a regional basis.
  • a CNN Convolutional Neural Network
  • FIG. 5 is a diagram showing the configuration of CNN232 (neural network).
  • the CNN 232 has an input layer 232A, an intermediate layer 232B, and an output layer 232C.
  • the input layer 232A inputs the endoscopic image acquired by the medical image acquisition unit 220 and outputs the feature amount.
  • the intermediate layer 232B includes the convolution layer 234 and the pooling layer 235, and the feature amount output by the input layer 232A is input to calculate other feature amounts.
  • These layers have a structure in which a plurality of "nodes” are connected by “edges”, and the weighting coefficient applied to the input image is associated with the node and the edge and stored in a weighting coefficient storage unit (not shown). It is remembered. The value of the weighting factor changes as the learning progresses.
  • the intermediate layer 232B calculates the feature amount by the convolution calculation and the pooling process.
  • the convolution operation performed in the convolution layer 234 is a process of acquiring a feature map by a convolution operation using a filter, and plays a role of feature extraction such as edge extraction from an image. By the convolution operation using this filter, one channel (one sheet) of "feature map” is generated for one filter. The size of the "feature map”, if downscaled by convolution, becomes smaller as each layer is convolved.
  • the pooling process performed in the pooling layer 235 is a process of reducing (or enlarging) the feature map output by the convolution operation to make a new feature map, so that the extracted features are not affected by translation or the like. Plays the role of giving robustness to.
  • the intermediate layer 232B can be composed of one or a plurality of layers that perform these processes.
  • the CNN232 may be configured without the pooling layer 235.
  • CNN232 may include a fully bonded layer 236 as in the example shown in part (b) of FIG.
  • the layer structure of CNN232 is not limited to the case where the convolution layer 234 and the pooling layer 235 are repeated one by one, and any one layer (for example, the convolution layer 234) may be continuously included.
  • FIG. 6 is a schematic view showing a configuration example of the intermediate layer 232B of the CNN 232 shown in FIG.
  • the image set is composed of N images (N channels) having an image size of H in the vertical direction and W in the horizontal direction.
  • the images constituting the image set are three-channel images of R (red), G (green), and B (blue). Since the image set of the filter F 1 to be convolved with this image set has N channels (N sheets), for example, in the case of a filter of size 5 (5 ⁇ 5), the filter size is 5 ⁇ 5 ⁇ N. Become.
  • the filter F 2 used in the second convolution layer has a filter size of 3 ⁇ 3 ⁇ M, for example, in the case of a size 3 (3 ⁇ 3) filter.
  • the second to nth convolution layers perform convolution operations using filters F 2 to F n.
  • the size of the "feature map" in the nth convolution layer is smaller than the size of the "feature map” in the second convolution layer because it is downscaled by the convolution layer or pooling layer up to the previous stage. Is.
  • lower-order feature extraction (edge extraction, etc.) is performed in the convolution layer closer to the input side, and higher-order feature extraction (features related to the shape, structure, etc. of the recognition target) is performed as the intermediate layer 232B approaches the output side. Extraction) is performed.
  • the intermediate layer 232B may include a layer for batch normalization in addition to the convolution layer 234 and the pooling layer 235.
  • the batch normalization process is a process of normalizing the distribution of data in units of mini-batch when learning, and plays a role of advancing learning quickly, reducing dependence on initial values, suppressing overfitting, and the like.
  • the output layer 232C outputs the feature amount calculated by the intermediate layer 232B in a format suitable for recognition.
  • the output layer 232C may include a fully connected layer.
  • FIG. 7 is a flowchart showing a medical image processing method. Each step will be described below with reference to FIG. In the following, when inspecting the organ A which is the subject, a case where the small areas of the area 1, the area 2, and the area 3 are observed for each area will be described.
  • the medical image acquisition unit 220 sequentially acquires a plurality of medical images obtained by photographing the organ A in chronological order (step S10). In addition, it is recorded in the recording unit 207 that the observation of the area 1, the area 2, and the area 3 is performed with respect to the organ A, and as an initial state, the observation of the area 1, the area 2, and the area 3 is not completed. It has been recorded.
  • the observation state determination unit 222 determines the observation state of the area 1, the area 2, and the area 3 of the organ A based on the acquired medical image (step S11). The observation state determination unit 222 recognizes the area 1, the area 2, or the area 3 in the medical image. Then, based on the recognition result, the observation state of the area 1, the area 2, and the area 3 is determined. For example, the observation state determination unit 222 determines that the observation is completed when the area 1 is recognized as the center of the medical image in 10 consecutive medical images in chronological order.
  • the recording unit 207 records the result of the determination by the observation state determination unit 222 (step S12). At the start of the inspection (initial state), it is recorded that the observation is not completed in the areas 1, the area 2, and the area 3, but when the observation state determination unit 222 determines that the observation is completed, the observation is completed. Complete observations and update records.
  • the display control unit 224 determines whether or not the observation state of the subject has changed (step S13). Then, when the display control unit 224 determines that the observation state of the subject has changed, the display control unit 224 displays the observation state display 501 of the subject on the monitor 400 (step S14).
  • the time when the observation state of the subject changes occurs when the change in the observation state is recorded in the recording unit 207 in a plurality of small area units where the observation recorded in the recording unit 207 is scheduled to be performed. be. For example, the recording unit 207 recorded that the observation was not completed in the area 1, the area 2 and the area 3, but the observation state determination unit 222 determined that the observation was completed in the area 1, and the recording unit 207 determined that the observation was completed in the area 1.
  • observation state display 501 of the subject is a display for notifying the user of the observation state of each small area constituting the subject to be observed. By looking at the observation state display 501, the user can confirm whether or not the small area to be observed can be comprehensively observed.
  • FIG. 8 is a diagram showing an example of the observation state display 501 of the organ A displayed on the monitor 400.
  • the endoscopic image 503 is displayed on the entire surface of the monitor 400. Then, when the area 3 is updated from the incomplete observation to the complete observation in the recording of the recording unit 207, the display control unit 224 superimposes the observation state display 501 on the endoscopic image 503 and displays it on the monitor 400.
  • the observation state display 501 is a list display having character information indicating an area where observation is completed and an area where observation is not completed. In the observation state display 501, the observation completed area (described as area in the figure) 1 and the area 3 are described under "complete", and the observation uncompleted area 2 is described under "not yet”. ..
  • the display control unit 224 continues to display the observation state display 501 until a predetermined display time elapses.
  • the display time can be appropriately set by the user. If the user can confirm the observation state, the observation state display 501 is preferably hidden and the endoscopic image 503 can be observed. Therefore, the observation state display 501 is based on the time when the user can confirm the observation state. Is preferably set. For example, the display time can be set to 10 seconds or 30 seconds. After that, the display control unit 224 hides the observation state display 501 after a predetermined time has elapsed (step S15).
  • the medical image acquisition unit 220 determines whether or not the observation of all the small area units has been completed (step S16), and since the observation of the area 2 has not been completed yet, further acquire the medical image (step S10). ..
  • the observation state display 501 I do.
  • the observation state display 501 is performed when necessary, and the display is refrained from in other cases, so that the display can be effectively performed while suppressing the influence on the observation of the endoscopic image.
  • observation state display 501 displays the observation completed area and the observation incomplete area in character information is displayed has been described, but the example of the observation state display 501 is limited to this. It's not a thing.
  • the observation state display 501 is not particularly limited in display form as long as the observation state of the subject to be observed can be notified to the user by using characters or figures. A specific example of the observation state display 501 will be described below.
  • FIG. 9 is a diagram showing a modification 1 of the observation state display 501.
  • This example is the observation state display 501 of character information.
  • the observation state display 501 of this example displays only the area where the observation has not been completed. Specifically, when the observation of the area 2 is not completed, the area 2 and the character information are described under "not yet".
  • the user can clearly recognize the small area where the observation is not completed, and comprehensive observation can be realized.
  • FIG. 9 an example in which the small area where the observation is not completed is displayed on the observation state display 501 has been described, but the small area where the observation is completed may be displayed on the observation state display 501. In this case, the small area may be displayed on the observation state display 501. The user can clearly recognize the small area of observation completion.
  • FIG. 10 is a diagram showing a modification 2 of the observation state display 501.
  • This example is the observation state display 501 of character information.
  • the observation state display 501 of this example all the small areas (areas 1 to 5) constituting the subject to be observed are displayed as a list. Then, in the observation state display 501, the areas where the observation is completed and the observation is not completed are displayed by changing the color of the characters. Specifically, in the observation state display 501, areas 3 and 5 are displayed in the same color characters because the observation is not completed, and areas 1, 2, and 4 are displayed in the same color characters because the observation is completed. NS. In this way, all the small areas are displayed in a list, and by adding the observation completed or unobserved information to the characters in units of small areas, the user can comprehensively recognize the observed completed or unobserved areas. Can be done.
  • FIG. 11 is a diagram showing a modification 3 of the observation state display 501.
  • This example is an observation state display 501 based on character information.
  • the observation state display 501 of this example all the small areas (areas 1 to 5) constituting the subject to be observed are displayed as a list. Then, in the observation state display 501, " ⁇ " or "x” is displayed next to the characters in the areas of observation completed and observation not completed. Specifically, in the observation state display 501, "x" is given to areas 3 and 5 because the observation is not completed, and " ⁇ " is given to areas 1, 2, and 4 because the observation is completed. In this way, all the small areas are displayed in a list, and by displaying the observation completed or unobserved information in units of small areas next to the characters, the user comprehensively recognizes the observed or unobserved areas. can do.
  • FIG. 12 is a diagram showing a modified example 4 of the observation state display 501.
  • This example is an observation state display 501 based on character information.
  • the observation state display 501 of this example shows the rate of uncompleted observation as the observation state display 501.
  • the unobserved ratio is the ratio of the unobserved small areas in the plurality of small areas to be observed. The ratio may be calculated based on the number of small regions or the area of the small regions. Further, in the example shown in FIG. 12, the ratio is indicated by characters, but the ratio may be indicated by using a figure such as a bar display indicating the ratio. In this way, by showing the rate of unobserved completion, the user can clearly know the area where observation is not completed.
  • FIG. 13 is a diagram showing a modified example 5 of the observation state display 501.
  • This example is an observation state display 501 by a subject model M that schematically represents a subject.
  • the subject model M is a diagram schematically showing the stomach, which is the subject to be observed.
  • different colors are arranged in the observed area 513 and the unobserved area 511 in small area units.
  • the subject model M may be provided with information regarding the completion of observation and the incomplete observation by changing the color density.
  • FIG. 14 is a diagram showing a modification 6 of the observation state display 501.
  • This example is an observation state display 501 by a subject model M that schematically represents a subject.
  • the subject model M only a small area where the observation is completed is shown. Then, when the observation of all the small areas is completed, the entire subject model M (stomach) is displayed. In this way, by giving the subject model M the information that the observation is completed and the observation is not completed, the user can recognize the position of the small area where the observation is completed and the position of the small area where the observation is not completed in the subject. can.
  • a cut-out view of the stomach which is the subject, is used as the subject model M, but the present invention is not limited to this.
  • the subject model M may be a developed view of the stomach, which is the subject.
  • FIG. 15 is a diagram illustrating an example of a monitor 401 having a main display area and a sub display area.
  • the monitor 401 has a main display area 402 and a sub display area 404.
  • the endoscope image 503 taken by the endoscope scope 100 is displayed in real time.
  • the sub display area 404 is set smaller than the main display area 402, and information such as imaging conditions, dates, and patient information is displayed. Note that in FIG. 15, the illustration of these pieces of information displayed in the sub-display area 404 is omitted.
  • the observation state display 501 is performed in the main display area 402 and the sub display area 404.
  • the observation state display 501 is displayed when the observation state of the subject changes as described above, and the display ends when the display time elapses. Note that FIG. 15 shows a case where the observation state display 501 of the main display area 402 is not displayed.
  • the observation state display 501B is always displayed. Since the sub-display area 404 has a small display area, the observation state display 501B is also smaller than the observation state display 501A displayed in the main display area 402, but it is an aid for comprehensive observation. The same observation state display may be displayed or different observation state displays may be displayed in the main display area 402 and the sub display area 404.
  • 16 and 17 are diagrams for explaining an example in which different observation state displays are displayed in the main display area and the sub display area.
  • a detailed observation state display 501A in which a small area is shown in a list is performed in the main display area 402. Further, in the sub display area 404, the observation state display 501B of the subject model M is displayed.
  • a detailed observation state display 501A in which a small area is shown in a list is performed in the main display area 402. Further, in the sub display area 404, the observation state display 501B indicating the rate of uncompleted observation is displayed.
  • the observation state display 501A in which the small area is shown in a list, which allows the observation state of each small area to be grasped in detail, is displayed in the observation state of the subject. Is displayed when is changed. As a result, the user can grasp the detailed observation state of the subject when the small area where the observation is completed increases. Further, in the sub display area 404, the subject model M and the observation state display 501B indicating the rate of incomplete observation are constantly displayed. As a result, the user can roughly grasp the observation state of the subject even when the observation state display 501A is not displayed in the main display area 402.
  • the monitor 401 having the main display area (first display area) 402 and the sub display area (second display area) 404 has been described, but for example, the monitor having the third display area is observed.
  • the status display 501 may be displayed. Further, the observation state display 501 may be performed on a plurality of monitors.
  • the display control unit 224 may hide the observation state display 501 based on a command input by the user via the hand operation unit 102 (user operation reception unit) (see FIG. 1). Further, the display control unit 224 may display the once hidden observation state display 501 again based on a command input by the user via the hand operation unit 102 (user operation reception unit). In this way, the user controls the display and non-display of the observation state display 501 by the hand operation unit 102, so that the user can confirm the observation state display at a desired timing.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Endoscopes (AREA)

Abstract

認識器の認識とユーザの認識との乖離を軽減することができる医用画像処理装置、医用画像処理方法及びプログラムを提供する。医療画像処理装置は、プロセッサ（２１０）及びメモリ（２０７）を備える医用画像処理装置であって、プロセッサ（２１０）は、時系列に複数の医療画像を取得し、医療画像に基づいて被写体の小領域の単位の観察状態を判定し、判定の結果をメモリ（２０７）に記録させ、被写体の観察状態に変化が生じた時点で、メモリ（２０７）に記録された判定の結果に基づいた被写体の観察状態表示をモニタ（４００）に表示させる。

Description

医療画像処理装置、医療画像処理方法、及びプログラム
　本発明は、医療画像処理装置、医療画像処理方法、及びプログラムに関する。
　従来より、内視鏡システムを使用して行われる検査において、検査対象の臓器等の領域を網羅的に観察することが求められている。
　特許文献１には、内視鏡システムを使用した検査において撮影漏れを防ぐことを目的とした技術が記載されている。特許文献１に記載された技術では、撮影対象臓器の既撮影領域及び未撮影領域を表すマップ画像を報知表示としてモニタに表示させている。
特開２０１８－５０８９０号公報
　ここで通常、内視鏡システムのモニタには、メイン表示領域に、検査中のリアルタイムで撮影されている内視鏡画像が表示されている。従って、特許文献１に記載されているような報知表示を、メイン表示領域に表示させた場合には、内視鏡画像に重畳されることになり、内視鏡画像の視認性が低下してしまう。また、報知表示をモニタのサブ表示領域に表示した場合には、表示領域が小さく報知表示の視認性が低下してしまう。一方、メインのモニタとは別のサブモニタに報知表示を行うことも考えられるが、ユーザが検査時にメインのモニタに表示される内視鏡画像を注視できないとう問題がある。
　上述した特許文献１では、内視鏡画像の視認性や報知表示（マップ画像）の視認性を考慮した表示態様に関しては言及されていない。
　本発明はこのような事情に鑑みてなされたもので、その目的は、内視鏡画像の視認性の低下を抑制しつつ、観察の網羅性に関する観察状態表示を効果的に表示する医療画像処理装置、医療画像処理方法、及びプログラムを提供することである。
　上記目的を達成するための本発明の一の態様である医療画像処理装置は、プロセッサ及びメモリを備える医療画像処理装置であって、プロセッサは、時系列に複数の医療画像を取得し、医療画像に基づいて被写体の小領域の単位の観察状態を判定し、判定の結果をメモリに記録させ、被写体の観察状態に変化が生じた時点で、メモリに記録された判定の結果に基づいた被写体の観察状態表示をモニタに表示させる。
　本態様によれば、被写体の観察状態に変化が生じた時点で、被写体の観察状態表示がモニタに表示される。これにより、被写体の観察状態表示を適切なタイミングで表示させることにより、内視鏡画像の観察への影響を抑制しつつ効果的に表示を行うことができる。
　好ましくは、プロセッサは、モニタに表示した観察状態表示を予め決められた時間が経過した後に非表示とする。
　好ましくは、ユーザ操作受付部をさらに備え、プロセッサは、ユーザ操作受付部からの指令に基づいて、観察状態表示を表示又は非表示とする。
　好ましくは、プロセッサは、小領域の観察状態を判定する場合には、小領域の観察が完了した場合には観察完了、観察が未完了の場合には観察未完了と判定する。
　好ましくは、プロセッサは、観察状態表示を文字情報によりモニタに表示させる。
　好ましくは、プロセッサは、被写体の小領域の単位の観察の完了又は未完了に関する情報を文字情報に付与して、観察状態表示として表示する。
　好ましくは、プロセッサは、観察状態表示を、被写体を模式的に表した被写体モデルによって表示させる。
　好ましくは、プロセッサは、被写体の小領域の単位の観察の完了又は未完了に関する情報を被写体モデルに付与し、観察状態表示として表示する。
　好ましくは、プロセッサは、被写体の小領域の単位の観察の完了のみ、又は未完了のみの表示を、観察状態表示として表示する。
　好ましくは、プロセッサは、モニタに医療画像を表示させ、医療画像に観察状態表示を重畳させて表示させる。
　好ましくは、プロセッサは、第１の表示領域と第１の表示領域より小さな第２の表示領域を有するモニタであって、第１の表示領域と第２の表示領域とに異なる態様により、観察状態表示を表示させる。
　好ましくは、プロセッサは、第２の表示領域に観察状態表示を常時表示させる。
　好ましくは、プロセッサは、第１の表示領域及び第２の表示領域とは異なる第３の表示領域を有するモニタであって、第３の表示領域に医療画像を表示させる。
　本発明の他の態様である医療画像処理方法は、プロセッサ及びメモリを備える医療画像処理装置の医療画像処理方法であって、プロセッサは、時系列に複数の医療画像を取得する医療画像取得ステップと、医療画像に基づいて被写体の小領域の単位の観察状態を判定する観察状態判定ステップと、判定の結果をメモリに記録させる記録ステップと、被写体の観察状態に変化が生じた時点で、メモリに記録された判定の結果に基づいた被写体の観察状態表示をモニタに表示させる表示ステップと、を実行する。
　本発明の他の態様であるプログラムは、プロセッサ及びメモリを備える医療画像処理装置に医療画像処理方法を実行させるプログラムであって、プロセッサは、時系列に複数の医療画像を取得する医療画像取得ステップと、医療画像に基づいて被写体の小領域の単位の観察状態を判定する観察状態判定ステップと、判定の結果をメモリに記録させる記録ステップと、被写体の観察状態に変化が生じた時点で、メモリに記録された判定の結果に基づいた被写体の観察状態表示をモニタに表示させる表示ステップと、を実行する医療画像処理方法を行わせる。
　本発明によれば、被写体の観察状態に変化が生じた時点で、被写体の観察状態表示がモニタに表示されるので、被写体の観察状態表示を適切なタイミングで表示させることにより、内視鏡画像の観察への影響を抑制しつつ効果的に表示を行うことができる。
図１は、内視鏡システムの外観図である。 図２は、内視鏡システムの要部構成を示すブロック図である。 図３は、画像処理部における医療画像処理装置の機能ブロック図である。 図４は、記録部に記録される主な情報を示す図である。 図５は、ニューラルネットワークの構成を示す図である。 図６は、中間層の構成例を示す模式図である。 図７は、医療画像処理方法を示すフローチャートである。 図８は、観察状態表示の一例を示した図である。 図９は、観察状態表示の変形例１を示す図である。 図１０は、観察状態表示の変形例２を示す図である。 図１１は、観察状態表示の変形例３を示す図である。 図１２は、観察状態表示の変形例４を示す図である。 図１３は、観察状態表示の変形例５を示す図である。 図１４は、観察状態表示の変形例６を示す図である。 図１５は、メイン表示領域及びサブ表示領域を有するモニタの例に関して説明する図である。 図１６は、メイン表示領域及びサブ表示領域に異なる観察状態表示を表示する場合の例に関して説明する図である。 図１７は、メイン表示領域及びサブ表示領域に異なる観察状態表示を表示する場合の例に関して説明する図である。
　以下、添付図面に従って本発明に係る医療画像処理装置、医療画像処理方法及びプログラムの好ましい実施の形態について説明する。
　＜内視鏡システムの構成＞
　図１は、内視鏡システム１０の外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１、２に示すように、内視鏡システム１０は、内視鏡スコープ１００、内視鏡プロセッサ装置２００、光源装置３００、及びモニタ４００から構成される。なお、内視鏡プロセッサ装置２００は、本発明の医療画像処理装置を搭載する。
　＜内視鏡スコープの構成＞
　内視鏡スコープ１００は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端硬質部１１６で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０、照明部１２３、鉗子口１２６等が設けられる（図１、２参照）。
　観察及び処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／又は狭帯域光（赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
　図１及び図２に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、又は青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮影光学系１３０は、赤、緑、青の３色の画素信号からカラー画像を生成することもできるし、赤、緑、青のうち任意の１色又は２色の画素信号から画像を生成することもできる。なお、撮像素子１３４はＣＣＤ（Charge Coupled Device）型でもよい。また、撮像素子１３４の各画素は紫色光源３１０Ｖに対応した紫色カラーフィルタ、及び／又は赤外光源に対応した赤外用フィルタをさらに備えていてもよい。
　被検体の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介して内視鏡プロセッサ装置２００に出力されて映像信号に変換される。これにより、内視鏡プロセッサ装置２００に接続されたモニタ４００に被写体の内視鏡画像（医療画像）が画面表示される。
　また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ、１２３Ｂが設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。
　ユーザは、上述した構成の内視鏡スコープ１００を被検体である生体内に挿入又は抜去しながら決められたフレームレートで撮影を行うことにより、生体内の時系列の内視鏡画像を順次撮影することができる。
　＜光源装置の構成＞
　図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、及び紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を変更する（上げる、又は下げる）こと、及び照明を停止することができる。
　光源３１０は赤色、緑色、青色、及び紫色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色、及び紫色の狭帯域光を同時に発光させて白色光（通常光）を観察光として照射することもできるし、いずれか１つもしくは２つを発光させることで狭帯域光（特殊光）を照射することもできる。光源３１０は、赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光又は狭帯域光を観察光として照射してもよい。
　＜光源の波長帯域＞
　光源３１０は白色帯域の光、又は白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、又は６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。
　上述した特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は、６００ｎｍ以上７５０ｎｍの波長帯域を含み、かつ、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
　また、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下、又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。
　また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する内視鏡画像を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤（フルオレスチン、アクリジンオレンジ等）を使用してもよい。
　光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、部位、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、部位、観察の目的等に応じて観察光の波長を組合せ及び／又は切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
　また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、観察光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する観察光の波長を（紫色、青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。また、１又は複数の狭帯域光（緑色、青色、紫色等）を照射してロータリカラーフィルタ（緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。
　ライトガイドコネクタ１０８（図１、２参照）を光源装置３００に連結することにより、光源装置３００から照射された観察光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。
　＜内視鏡プロセッサ装置の構成＞
　図２に基づき内視鏡プロセッサ装置２００の構成を説明する。内視鏡プロセッサ装置２００は、内視鏡スコープ１００から出力される画像信号を画像入力コントローラ２０２を介して入力し、画像処理部２０４で必要な画像処理を行ってビデオ出力部２０６を介して出力する。これによりモニタ４００に内視鏡画像が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit）の制御下で行われる。なおＣＰＵ２１０は、医療画像処理装置のプロセッサとして機能する。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）や病院内ＬＡＮ（Local Area Network）、及び／又は外部のシステムやネットワークとの間で医療画像の取得等についての通信制御を行う。
　＜画像処理部の機能＞
　画像処理部２０４は、内視鏡画像の特徴量の算出、特定の周波数帯域の成分を強調又は低減する処理、特定の対象（注目領域、所望の深さの血管等）を強調又は目立たなくする処理を行うことができる。画像処理部２０４は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部（不図示）を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。また、画像処理部２０４は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって特徴量画像を生成する特徴量画像生成部（不図示）を備え、内視鏡画像としての特徴量画像を取得及び表示してもよい。なお、上述した処理はＣＰＵ２１０の制御下で行われる。
　さらに、画像処理部２０４は医療画像処理装置における各機能を以下に記載するように有する。
　図３は、画像処理部２０４における医療画像処理装置の機能ブロック図である。画像処理部２０４は、医療画像取得部２２０、観察状態判定部２２２、及び表示制御部２２４を備える。
　＜各種のプロセッサによる機能の実現＞
　上述した画像処理部２０４の各部の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。本発明のように画像の学習や認識を行う場合は、ＧＰＵを用いた構成が効果的である。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。
　各部の機能は１つのプロセッサにより実現されてもよいし、同種又は異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。
　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、画像処理部２０４を構成する各種のプロセッサや電気回路、及び／又はそれらの組み合わせ）で読み取り可能なコードをＲＯＭ２１１（ＲＯＭ：Read Only Memory）等の非一時的記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る医療画像処理装置の医療画像処理方法を実行するためのプログラム及び実行に際して用いられるデータを含む。ＲＯＭ２１１ではなく各種の光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ２１２（ＲＡＭ：Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。「非一時的記録媒体」として記録部２０７を用いてもよい。
　また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、各種の画像処理方法をＣＰＵ２１０及び／又は画像処理部２０４に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。音声処理部２０９は、ＣＰＵ２１０の制御により、スピーカ２０９Ａから音声及び音を出力する。
　操作部２０８は図示せぬキーボード、マウス等のデバイスにより構成することができ、ユーザは操作部２０８を介して処理の実行指示や実行に必要な条件の指定を行うことができる。
　＜記録部に記録される情報＞
　図４は、記録部２０７に記録される主な情報を示す図である。記録部（メモリ）２０７には医療画像（内視鏡画像）２６０、観察状態判定部２２２の判定結果２６２等が記録される。また、内視鏡システム１０を使用して行う検査において、観察すべき一連の小領域に関する情報が記録されている。ここで被写体の小領域は、例えば臓器の各部位である。具体的には、胃内部位の全てを観察する検査を行う場合には、小領域は、噴門部、胃底部、胃角部、胃体部(上部、中部、下部)、前庭部、前壁、後壁、大彎、小彎である。
　＜ニューラルネットワークによる認識部＞
　上述した画像処理部２０４における観察状態判定部２２２は、ニューラルネットワーク等の学習済みモデル（生体を撮影した画像から構成される画像セットを用いて学習したモデル）を用いて構成する、被写体の小領域を認識することができる認識器を含む。そして、観察状態判定部２２２は、認識器で認識された小領域の位置や、その小領域が認識された内視鏡画像の枚数等で、その小領域が観察完了であるか否かを小領域単位で判定する。以下、ニューラルネットワークとしてＣＮＮ（Convolutional Neural Network）を用いる場合の観察状態判定部２２２に含まれる認識器の構成について説明する。
　＜認識器の構成の例＞
　図５はＣＮＮ２３２（ニューラルネットワーク）の構成を示す図である。図５の（ａ）部分に示す例では、ＣＮＮ２３２は、入力層２３２Ａ、中間層２３２Ｂ、及び出力層２３２Ｃを有する。入力層２３２Ａは医療画像取得部２２０が取得した内視鏡画像を入力して特徴量を出力する。中間層２３２Ｂは畳み込み層２３４及びプーリング層２３５を含み、入力層２３２Ａが出力する特徴量を入力して他の特徴量を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、入力した画像に適用される重み係数が、ノード及びエッジに関連付けられて、図示せぬ重み係数記憶部に記憶されている。重み係数の値は、学習が進むにつれて変化していく。
　＜中間層における処理＞
　中間層２３２Ｂは、畳み込み演算及びプーリング処理によって特徴量を算出する。畳み込み層２３４で行われる畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル（１枚）の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされる場合は、各層で畳み込みが行われるにつれて小さくなって行く。プーリング層２３５で行われるプーリング処理は畳み込み演算により出力された特徴マップを縮小（又は拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。中間層２３２Ｂは、これらの処理を行う１又は複数の層により構成することができる。なお、ＣＮＮ２３２はプーリング層２３５なしで構成されていてもよい。
　ＣＮＮ２３２は、図５の（ｂ）部分に示す例のように全結合層２３６を含んでいてもよい。ＣＮＮ２３２の層構成は、畳み込み層２３４とプーリング層２３５とが１つずつ繰り返される場合に限らず、いずれかの層（例えば、畳み込み層２３４）が複数連続して含まれていてもよい。
　図６は、図５に示したＣＮＮ２３２の中間層２３２Ｂの構成例を示す模式図である。中間層２３２Ｂの最初（１番目）の畳み込み層では、複数の内視鏡画像により構成される画像セットとフィルタＦ１との畳み込み演算が行われる。画像セットは、縦がＨ、横がＷの画像サイズを有するＮ枚（Ｎチャンネル）の画像により構成される。通常光画像を入力する場合、画像セットを構成する画像はＲ（赤色），Ｇ（緑色），Ｂ（青色）の３チャンネルの画像である。この画像セットと畳み込み演算されるフィルタＦ１は、画像セットがＮチャンネル（Ｎ枚）であるため、例えばサイズ５（５×５）のフィルタの場合、フィルタサイズは５×５×Ｎのフィルタになる。このフィルタＦ１を用いた畳み込み演算により、１つのフィルタＦ１に対して１チャンネル(１枚)の「特徴マップ」が生成される。２番目の畳み込み層で使用されるフィルタＦ２は、例えばサイズ３（３×３）のフィルタの場合、フィルタサイズは３×３×Ｍになる。
　１番目の畳み込み層と同様に、２番目からｎ番目の畳み込み層ではフィルタＦ２～Ｆｎを用いた畳み込み演算が行われる。ｎ番目の畳み込み層における「特徴マップ」のサイズが、２番目の畳み込み層における「特徴マップ」のサイズよりも小さくなっているのは、前段までの畳み込み層又はプーリング層によりダウンスケーリングされているからである。
　中間層２３２Ｂの層のうち、入力側に近い畳み込み層では低次の特徴抽出（エッジの抽出等）が行われ、出力側に近づくにつれて高次の特徴抽出（認識対象の形状、構造等に関する特徴の抽出）が行われる。
　なお、中間層２３２Ｂは畳み込み層２３４及びプーリング層２３５の他にバッチノーマライゼーションを行う層を含んでいてもよい。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。
　出力層２３２Ｃは、中間層２３２Ｂが算出した特徴量を、認識に即した形式で出力する。出力層２３２Ｃは全結合層を含んでいてもよい。
　＜医療画像処理方法の各処理＞
　次に、医療画像処理装置を使用した医療画像処理方法に関して説明する。
　図７は、医療画像処理方法を示すフローチャートである。以下に、図６に沿って各ステップを説明する。なお、以下では被写体である臓器Ａを検査する上で、小領域であるエリア１、エリア２、及びエリア３の観察をエリア単位で行う場合について説明する。
　（医療画像取得ステップ）
　医療画像取得部２２０は、臓器Ａを撮影した複数の医療画像を時系列に順次取得する（ステップＳ１０）。なお、記録部２０７には、臓器Ａに関してエリア１、エリア２、及びエリア３の観察が行われることが記録されており、初期状態として、エリア１、エリア２、及びエリア３は観察未完了と記録されている。
　（観察状態判定ステップ）
　観察状態判定部２２２は、取得した医療画像に基づいて臓器Ａのエリア１、エリア２、及びエリア３の観察状態を判定する（ステップＳ１１）。観察状態判定部２２２は、医療画像において、エリア１、エリア２、又はエリア３を認識する。そして、その認識結果に基づいて、エリア１、エリア２、エリア３の観察状態を判定する。例えば、観察状態判定部２２２は、時系列的に連続した１０枚の医療画像においてエリア１が医療画像の中心に認識された場合には、エリア１は観察完了と判定する。
　（記録ステップ）
　記録部２０７は、観察状態判定部２２２での判定の結果を記録する（ステップＳ１２）。検査の開始時（初期状態）には、エリア１、エリア２、エリア３は観察未完了と記録されているが、観察状態判定部２２２においてそれぞれのエリアが観察完了と判定された場合には、観察完了と記録を更新する。
　（表示ステップ）
　表示制御部２２４は、被写体の観察状態に変化が生じているか否かを判定する（ステップＳ１３）。そして、表示制御部２２４は、被写体の観察状態に変化が生じていると判定した時点で、被写体の観察状態表示５０１をモニタ４００に表示する（ステップＳ１４）。ここで、被写体の観察状態に変化が生じた時点とは、記録部２０７に記録された観察が行われる予定の複数の小領域単位において、観察状態について変化が記録部２０７に記録された場合である。例えば、記録部２０７においてエリア１、エリア２及びエリア３は観察未完了と記録されていたが、観察状態判定部２２２によりエリア１に関して観察完了と判定され、記録部２０７においてエリア１が観察完了と観察状態が変化した場合である。また、被写体の観察状態表示５０１とは、観察対象の被写体を構成する小領域単位の観察状態をユーザに報知する表示である。ユーザは観察状態表示５０１を見ることにより、観察対象の小領域を網羅的に観察できているかを確認することができる。
　図８は、モニタ４００に表示される臓器Ａの観察状態表示５０１の一例を示した図である。
　図８に示した場合では、モニタ４００の全面に内視鏡画像５０３が表示されている。そして、記録部２０７の記録においてエリア３が観察未完了から観察完了に更新された時点で、表示制御部２２４は、観察状態表示５０１を内視鏡画像５０３に重畳させてモニタ４００に表示させる。観察状態表示５０１は、観察完了のエリアと観察未完了のエリアを示す文字情報を有するリスト表示である。観察状態表示５０１では、観察完了のエリア（図中ではａｒｅａと記載する）１及びエリア３が「完」の下に記載され、観察未完了のエリア２を「未」の下に記載されている。
　図７に戻って、その後表示制御部２２４は、予め決められた表示時間が経過するまで、観察状態表示５０１の表示を行い続ける。表示時間はユーザにより、適宜設定することができる。観察状態表示５０１は、ユーザが観察状態を確認することができれば、非表示になり内視鏡画像５０３を観察することができる状態になることが好ましいので、ユーザが観察状態を確認できる時間に基づいて設定されることが好ましい。例えば表示時間は、１０秒、又は３０秒と設定することができる。その後、表示制御部２２４は、予め決められた時間が経過した後に、観察状態表示５０１を非表示とする（ステップＳ１５）。
　その後、医療画像取得部２２０は全ての小領域単位の観察が終了したか否かについて判定し（ステップＳ１６）、未だエリア２が観察未完了であるので、医療画像をさらに取得する（ステップＳ１０）。
　以上で説明したように、本発明では、臓器Ａの小領域であるエリア１、エリア２、及びエリア３を観察する際に、臓器Ａの観察状態に変化が生じた時点で、観察状態表示５０１を行う。これにより、観察状態表示５０１を、必要な場合に行い、それ以外の場合には表示を控えることで、内視鏡画像の観察への影響を抑制しつつ効果的に表示を行うことができる。
　＜観察状態表示の変形例＞
　図８で説明した例では、観察完了したエリアと観察未完了エリアとを文字情報で表示する観察状態表示５０１が表示される場合について説明したが、観察状態表示５０１の例はこれに限定されるものではない。観察状態表示５０１としては、文字や図形を使用して、観察対象の被写体の観察状態をユーザに報知することができれば特に表示形態は限定されない。以下に、観察状態表示５０１の具体例を説明する。
　図９は、観察状態表示５０１の変形例１を示す図である。本例は、文字情報の観察状態表示５０１である。本例の観察状態表示５０１は、観察未完了のエリアのみ表示する。具体的には、エリア２が観察未完了の場合に、「未」の下にエリア２と文字情報が記載される。
　このように、観察未完了の小領域のみを有する観察状態表示５０１をモニタ４００に行うことにより、ユーザは明確に観察未完了の小領域を認識することができ網羅的な観察を実現できる。なお、図９の例では、観察未完了の小領域を観察状態表示５０１に表示する例について説明したが、観察完了の小領域を観察状態表示５０１に表示してもよい、この場合には、ユーザは明確に観察完了の小領域を認識することができる。
　図１０は、観察状態表示５０１の変形例２を示す図である。本例は、文字情報の観察状態表示５０１である。本例の観察状態表示５０１は、観察対象の被写体を構成する小領域（エリア１～５）が全てリストとして表示されている。そして観察状態表示５０１では、観察完了と観察未完了とのエリアを文字の色を変えて表示している。具体的には、観察状態表示５０１では、エリア３及び５は観察未完了であるので同じ色の文字で表示され、エリア１、２、及び４は観察完了であるので同じ色の文字で表示される。このように、全ての小領域がリスト表示され、小領域単位で観察完了又は観察未完了の情報を文字に付与することにより、ユーザは観察完了又は観察未完了のエリアを網羅的に認識することができる。
　図１１は、観察状態表示５０１の変形例３を示す図である。本例は、文字情報による観察状態表示５０１である。本例の観察状態表示５０１は、観察対象の被写体を構成する小領域（エリア１～５）が全てリストとして表示されている。そして観察状態表示５０１では、観察完了と観察未完了とのエリアの文字の横に「○」又は「×」を表示している。具体的には、観察状態表示５０１では、エリア３及び５は観察未完了であるので「×」が付与され、エリア１、２、及び４は観察完了であるので「○」が付与される。このように、全ての小領域がリスト表示され、小領域単位で観察完了又は観察未完了の情報を文字の横に表示することにより、ユーザは観察完了又は観察未完了のエリアを網羅的に認識することができる。
　図１２は、観察状態表示５０１の変形例４を示す図である。本例は、文字情報による観察状態表示５０１である。本例の観察状態表示５０１は、観察未完了の割合を観察状態表示５０１として示している。ここで観察未完了の割合とは、観察予定である複数の小領域における、観察未完了の小領域の割合である。なお、この割合の算出は、小領域の個数で算出されても良いし、小領域の面積で算出されてもよい。また、図１２に示す例では、割合を文字で示しているが、割合を示すバー表示などの図形を用いて割合を示してもよい。このように、観察未完了の割合を示すことにより、ユーザは観察未完了のエリアを明確に知ることができる。
　図１３は、観察状態表示５０１の変形例５を示す図である。本例は、被写体を模式的に表した被写体モデルＭによる観察状態表示５０１である。被写体モデルＭは、観察対象の被写体である胃を模式的に示した図である。被写体モデルＭは、小領域単位において、観察完了した領域５１３と観察未完了の領域５１１で異なる色が配色される。このように、被写体モデルＭに、観察完了及び観察未完了の情報を付与することにより、ユーザは、被写体において観察完了の小領域の位置と、観察未完了の小領域の位置を認識することができる。なお、図１３に示した例では、被写体モデルＭの領域の色を変えることにより、観察完了と観察未完了の情報を付与しているが、この例に限定されない。例えば、色の濃度を変えることにより観察完了と観察未完了とに関する情報を被写体モデルＭに付与してもよい。
　図１４は、観察状態表示５０１の変形例６を示す図である。本例は、被写体を模式的に表した被写体モデルＭによる観察状態表示５０１である。本例では、被写体モデルＭにおいて、観察完了の小領域だけを示す。そして、全ての小領域の観察が完了すると、被写体モデルＭ（胃）の全体が表示される。このように、被写体モデルＭに、観察完了及び観察未完了の情報を付与することにより、ユーザは、被写体において観察完了の小領域の位置と、観察未完了の小領域の位置を認識することができる。なお、図１３及び図１４では、被写体である胃の切断図を被写体モデルＭとしているが、これに限定されるものではない。例えば、被写体モデルＭは、被写体である胃の展開図でもよい。
　＜モニタの変形例＞
　上述した説明では、メイン表示領域のみ有するモニタ４００の例について説明したが本発明はこれに限定されるものではない。以下に、モニタの変形について説明する。
　図１５は、メイン表示領域及びサブ表示領域を有するモニタ４０１の例に関して説明する図である。
　図１５に示すように、モニタ４０１はメイン表示領域４０２とサブ表示領域４０４を有する。メイン表示領域４０２には、内視鏡スコープ１００で撮影された内視鏡画像５０３がリアルタイムで表示される。サブ表示領域４０４は、メイン表示領域４０２より小さく設定されており、撮影条件、日付、患者情報等の情報が表示される。なお、図１５においては、サブ表示領域４０４で表示されるこれらの情報の図示は省略されている。モニタ４０１においては、観察状態表示５０１はメイン表示領域４０２及びサブ表示領域４０４に行われる。メイン表示領域４０２では、上述で説明したように被写体の観察状態に変化が生じた時点で、観察状態表示５０１が表示され、表示時間が経過すると表示が終了する。なお、図１５ではメイン表示領域４０２の観察状態表示５０１が非表示である場合について図示されている。
　サブ表示領域４０４では、常時、観察状態表示５０１Ｂを表示させる。サブ表示領域４０４は、表示面積が小さいので、観察状態表示５０１Ｂもメイン表示領域４０２に表示させる観察状態表示５０１Ａに比べると小さくなるが、観察を網羅的に行うための補助となる。なお、メイン表示領域４０２及びサブ表示領域４０４には、同一の観察状態表示の表示を行ってもよいし、異なる観察状態表示の表示を行ってもよい。
　図１６及び図１７は、メイン表示領域及びサブ表示領域に異なる観察状態表示を表示する場合の例に関して説明する図である。
　図１６に示す例では、メイン表示領域４０２に小領域がリストで示された詳細な観察状態表示５０１Ａを行う。また、サブ表示領域４０４では、被写体モデルＭの観察状態表示５０１Ｂが表示されている。
　図１７に示す例では、メイン表示領域４０２に小領域がリストで示された詳細な観察状態表示５０１Ａを行う。また、サブ表示領域４０４では、観察未完了の割合を示す観察状態表示５０１Ｂが表示されている。
　図１６及び図１７に示すように、メイン表示領域４０２では、小領域単位の観察状態を詳細に把握することが可能な、小領域がリストで示された観察状態表示５０１Ａを、被写体の観察状態が変化した時に表示する。これにより、ユーザは、観察完了の小領域が増えた場合に、被写体の詳細な観察状態を把握することができる。また、サブ表示領域４０４では、被写体モデルＭや観察未完了の割合を示す観察状態表示５０１Ｂを常時表示する。これにより、ユーザは、メイン表示領域４０２に観察状態表示５０１Ａが非表示の場合にも、被写体の観察状態を概略的に把握することができる。なお、上述した例では、メイン表示領域（第１の表示領域）４０２とサブ表示領域（第２の表示領域）４０４を有するモニタ４０１に関して説明したが、例えば第３の表示領域を有するモニタに観察状態表示５０１の表示を行ってもよい。また、複数台のモニタに、観察状態表示５０１を行ってもよい。
　＜その他の例＞
　上述した説明では、予め決められた表示時間の期間で観察状態表示５０１を行う態様に関して説明を行ったが、一旦表示された観察状態表示５０１を非表示にする態様はこれに限定されない。
　例えば表示制御部２２４は、ユーザが手元操作部１０２（ユーザ操作受付部）（図１参照）を介して入力した指令に基づいて、観察状態表示５０１を非表示としてもよい。さらに表示制御部２２４は、一旦非表示となった観察状態表示５０１を、ユーザが手元操作部１０２（ユーザ操作受付部）を介して入力した指令に基づいて、再び表示してもよい。このように、ユーザが手元操作部１０２により、観察状態表示５０１の表示及び非表示を制御することにより、ユーザは所望のタイミングで観察状態表示を確認することができる。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０　　　：内視鏡システム
１００　　：内視鏡スコープ
１０２　　：手元操作部
１０４　　：挿入部
１０６　　：ユニバーサルケーブル
１０８　　：ライトガイドコネクタ
１１２　　：軟性部
１１４　　：湾曲部
１１６　　：先端硬質部
１１６Ａ　：先端側端面
１２３　　：照明部
１２３Ａ　：照明用レンズ
１２３Ｂ　：照明用レンズ
１２６　　：鉗子口
１３０　　：撮影光学系
１３２　　：撮影レンズ
１３４　　：撮像素子
１３６　　：駆動回路
１４１　　：送気送水ボタン
１４２　　：吸引ボタン
１４３　　：機能ボタン
１４４　　：撮影ボタン
１７０　　：ライトガイド
２００　　：内視鏡プロセッサ装置
２０２　　：画像入力コントローラ
２０４　　：画像処理部
２０５　　：通信制御部
２０６　　：ビデオ出力部
２０７　　：記録部
２０８　　：操作部
２０９　　：音声処理部
２０９Ａ　：スピーカ
２１０　　：ＣＰＵ
２１１　　：ＲＯＭ
２１２　　：ＲＡＭ
２２０　　：医療画像取得部
２２２　　：観察状態判定部
２２４　　：表示制御部
２３２Ａ　：入力層
２３２Ｂ　：中間層
２３２Ｃ　：出力層
２３４　　：畳み込み層
２３５　　：プーリング層
２３６　　：全結合層
３００　　：光源装置
３１０　　：光源
３１０Ｂ　：青色光源
３１０Ｇ　：緑色光源
３１０Ｒ　：赤色光源
３１０Ｖ　：紫色光源
３３０　　：絞り
３４０　　：集光レンズ
３５０　　：光源制御部
４００　　：モニタ

Claims (16)

  1. 　プロセッサ及びメモリを備える医療画像処理装置であって、
    　前記プロセッサは、
    　時系列に複数の医療画像を取得し、
    　前記医療画像に基づいて被写体の小領域の単位の観察状態を判定し、
    　前記判定の結果を前記メモリに記録させ、
    　前記被写体の観察状態に変化が生じた時点で、前記メモリに記録された前記判定の結果に基づいた前記被写体の観察状態表示をモニタに表示させる、
    　医療画像処理装置。
  2. 　前記プロセッサは、前記モニタに表示した前記観察状態表示を予め決められた時間が経過した後に非表示とする請求項１に記載の医療画像処理装置。
  3. 　ユーザ操作受付部をさらに備え、
    　前記プロセッサは、前記ユーザ操作受付部からの指令に基づいて、前記観察状態表示を表示又は非表示とする請求項１又は２に記載の医療画像処理装置。
  4. 　前記プロセッサは、前記小領域の観察状態を判定する場合には、前記小領域の観察が完了した場合には観察完了、観察が未完了の場合には観察未完了と判定する請求項１から３のいずれか１項に記載の医療画像処理装置。
  5. 　前記プロセッサは、前記観察状態表示を文字情報により前記モニタに表示させる請求項１から４のいずれか１項に記載の医療画像処理装置。
  6. 　前記プロセッサは、前記被写体の前記小領域の単位の観察の完了又は未完了に関する情報を前記文字情報に付与して、前記観察状態表示として表示する請求項５に記載の医療画像処理装置。
  7. 　前記プロセッサは、前記観察状態表示を、前記被写体を模式的に表した被写体モデルによって表示させる請求項１から４のいずれか１項に記載の医療画像処理装置。
  8. 　前記プロセッサは、前記被写体の前記小領域の単位の観察の完了又は未完了に関する情報を前記被写体モデルに付与し、前記観察状態表示として表示する請求項７に記載の医療画像処理装置。
  9. 　前記プロセッサは、前記被写体の前記小領域の単位の観察の完了のみ、又は未完了のみの表示を、前記観察状態表示として表示する請求項４から８のいずれか１項に記載の医療画像処理装置。
  10. 　前記プロセッサは、前記モニタに前記医療画像を表示させ、前記医療画像に前記観察状態表示を重畳させて表示させる請求項１から９のいずれか１項に記載の医療画像処理装置。
  11. 　前記プロセッサは、第１の表示領域と前記第１の表示領域より小さな第２の表示領域を有するモニタであって、前記第１の表示領域と前記第２の表示領域とに異なる態様により、前記観察状態表示を表示させる請求項１から１０のいずれか１項に記載の医療画像処理装置。
  12. 　前記プロセッサは、前記第２の表示領域に前記観察状態表示を常時表示させる請求項１１に記載の医療画像処理装置。
  13. 　前記プロセッサは、前記第１の表示領域及び前記第２の表示領域とは異なる第３の表示領域を有するモニタであって、前記第３の表示領域に前記医療画像を表示させる請求項１１又は１２に記載の医療画像処理装置。
  14. 　プロセッサ及びメモリを備える医療画像処理装置の医療画像処理方法であって、
    　前記プロセッサは、
    　時系列に複数の医療画像を取得する医療画像取得ステップと、
    　前記医療画像に基づいて被写体の小領域の単位の観察状態を判定する観察状態判定ステップと、
    　前記判定の結果を前記メモリに記録させる記録ステップと、
    　前記被写体の観察状態に変化が生じた時点で、前記メモリに記録された前記判定の結果に基づいた前記被写体の観察状態表示をモニタに表示させる表示ステップと、
    　を実行する医療画像処理方法。
  15. 　プロセッサ及びメモリを備える医療画像処理装置に医療画像処理方法を実行させるプログラムであって、
    　前記プロセッサは、
    　時系列に複数の医療画像を取得する医療画像取得ステップと、
    　前記医療画像に基づいて被写体の小領域の単位の観察状態を判定する観察状態判定ステップと、
    　前記判定の結果を前記メモリに記録させる記録ステップと、
    　前記被写体の観察状態に変化が生じた時点で、前記メモリに記録された前記判定の結果に基づいた前記被写体の観察状態表示をモニタに表示させる表示ステップと、
    　を実行する医療画像処理方法を行わせるプログラム。
  16. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１５に記載のプログラムが記録された記録媒体。
PCT/JP2021/002354 2020-01-27 2021-01-25 医療画像処理装置、医療画像処理方法、及びプログラム WO2021153471A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021574003A JPWO2021153471A1 (ja) 2020-01-27 2021-01-25
CN202180009915.7A CN114980799A (zh) 2020-01-27 2021-01-25 医疗图像处理装置、医疗图像处理方法及程序
EP21748213.2A EP4099080A4 (en) 2020-01-27 2021-01-25 MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING METHOD AND PROGRAM
US17/857,419 US20220330825A1 (en) 2020-01-27 2022-07-05 Medical image processing apparatus, medical image processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020010917 2020-01-27
JP2020-010917 2020-01-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/857,419 Continuation US20220330825A1 (en) 2020-01-27 2022-07-05 Medical image processing apparatus, medical image processing method, and program

Publications (1)

Publication Number Publication Date
WO2021153471A1 true WO2021153471A1 (ja) 2021-08-05

Family

ID=77079094

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002354 WO2021153471A1 (ja) 2020-01-27 2021-01-25 医療画像処理装置、医療画像処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US20220330825A1 (ja)
EP (1) EP4099080A4 (ja)
JP (1) JPWO2021153471A1 (ja)
CN (1) CN114980799A (ja)
WO (1) WO2021153471A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016002206A (ja) * 2014-06-16 2016-01-12 オリンパス株式会社 医療情報処理システム
WO2017203814A1 (ja) * 2016-05-25 2017-11-30 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法
JP2018050890A (ja) 2016-09-28 2018-04-05 富士フイルム株式会社 画像表示装置及び画像表示方法並びにプログラム
WO2018221033A1 (ja) * 2017-06-02 2018-12-06 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
WO2019244255A1 (ja) * 2018-06-19 2019-12-26 オリンパス株式会社 内視鏡画像処理装置および内視鏡画像処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015168066A1 (en) * 2014-05-01 2015-11-05 Endochoice, Inc. System and method of scanning a body cavity using a multiple viewing elements endoscope

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016002206A (ja) * 2014-06-16 2016-01-12 オリンパス株式会社 医療情報処理システム
WO2017203814A1 (ja) * 2016-05-25 2017-11-30 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法
JP2018050890A (ja) 2016-09-28 2018-04-05 富士フイルム株式会社 画像表示装置及び画像表示方法並びにプログラム
WO2018221033A1 (ja) * 2017-06-02 2018-12-06 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
WO2019244255A1 (ja) * 2018-06-19 2019-12-26 オリンパス株式会社 内視鏡画像処理装置および内視鏡画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4099080A4

Also Published As

Publication number Publication date
JPWO2021153471A1 (ja) 2021-08-05
CN114980799A (zh) 2022-08-30
US20220330825A1 (en) 2022-10-20
EP4099080A4 (en) 2023-07-12
EP4099080A1 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
WO2020162275A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
JP2021100555A (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
JP7048732B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US11948080B2 (en) Image processing method and image processing apparatus
JP6941233B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
WO2021149552A1 (ja) 医療画像処理装置、医療画像処理装置の作動方法、及び内視鏡システム
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
JP2021086350A (ja) 画像学習装置、画像学習方法、ニューラルネットワーク、及び画像分類装置
JP2023026480A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
US20220285010A1 (en) Medical image processing apparatus, medical image processing method, and program
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2021157487A1 (ja) 医用画像処理装置、内視鏡システム、医用画像処理方法、及びプログラム
WO2021153471A1 (ja) 医療画像処理装置、医療画像処理方法、及びプログラム
WO2022044606A1 (ja) 医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラム
WO2022064901A1 (ja) 学習済みモデル変換方法、推論方法、学習済みモデル変換装置、学習済みモデル、及び推論装置
WO2022181748A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
WO2021029293A1 (ja) 医用画像処理装置、内視鏡システム、及び医用画像処理方法
US20230074314A1 (en) Image processing device, image processing method, and program
JP2023041458A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21748213

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021574003

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021748213

Country of ref document: EP

Effective date: 20220829