WO2020054543A1 - 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム - Google Patents

医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム Download PDF

Info

Publication number
WO2020054543A1
WO2020054543A1 PCT/JP2019/034791 JP2019034791W WO2020054543A1 WO 2020054543 A1 WO2020054543 A1 WO 2020054543A1 JP 2019034791 W JP2019034791 W JP 2019034791W WO 2020054543 A1 WO2020054543 A1 WO 2020054543A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
classification
gesture
motion
Prior art date
Application number
PCT/JP2019/034791
Other languages
English (en)
French (fr)
Inventor
星矢 竹之内
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020545949A priority Critical patent/JP7326308B2/ja
Publication of WO2020054543A1 publication Critical patent/WO2020054543A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to a medical image processing device and method, an endoscope system, a processor device, a diagnosis support device, and a program, and more particularly, to image processing that provides information that supports diagnosis by processing time-series medical images.
  • image processing that provides information that supports diagnosis by processing time-series medical images.
  • the processor device recognizes the region of the lesion from the image by performing image analysis, and recognizes whether the cancerous or non-cancerous, Notify the user of the recognition result.
  • the user can observe the lesion in more detail with reference to the notified information, and take measures such as removing the lesion when it is determined that the lesion is cancerous.
  • a system having such a function supports a doctor or the like in making a decision such as a diagnostic finding.
  • a non-cancerous lesion is erroneously recognized as cancerous, or a cancerous lesion is erroneously recognized as non-cancerous, resulting in an erroneous recognition result.
  • Notifying the user is a problem.
  • the lesion site may be hidden or the observation image may be blurred due to scope operation, fetal movement, or residue, and it is difficult to accurately recognize the lesion by image analysis. There are cases.
  • Patent Document 3 when an abnormality is detected, a technique of an abnormal display processing method of switching from a normal image display to an abnormal message display is applied to perform image recognition. May be notified that the image is inappropriate.
  • the operation of the endoscope is complicated, and it is necessary for the user to operate the scope and check the observation image in parallel.
  • the notification of the recognition result by the diagnosis support function increases the efficiency of the user's discrimination work, for example, the result of the image recognition is reported even when the user observing the image does not intend to discriminate the lesion. In this case, the user's attention may be impaired, observation may be hindered, and an attention area such as another lesion area may be overlooked.
  • This problem is not limited to the endoscope system, but is a common problem for systems that process and support medical images taken in time series, such as an ultrasonic diagnostic apparatus.
  • the present invention has been made in view of such circumstances, and a medical image capable of supporting a diagnosis without hindering observation of an image by a user and without impairing a user's attention required for observation. It is an object to provide a processing device and method, an endoscope system, a diagnosis support device, and a program.
  • a medical image processing device is an image acquisition unit that acquires a plurality of time-series images including a subject image, and whether an image obtained from the image acquisition unit is an image that is inappropriate for recognition.
  • a motion estimating unit for estimating motion from two or more images obtained from the image acquiring unit, and an operation for judging the user's actions based on the motion information obtained from the motion estimating unit.
  • a determination unit, a classification unit that recognizes an image obtained from the image acquisition unit and performs a classification process, and controls broadcast information based on the operation information obtained from the operation determination unit and the classification result obtained from the classification unit.
  • a notification control unit is an image acquisition unit that acquires a plurality of time-series images including a subject image, and whether an image obtained from the image acquisition unit is an image that is inappropriate for recognition.
  • a motion estimating unit for estimating motion from two or more images obtained from the image acquiring unit, and an operation for judging the user's actions based on the motion information obtained from the motion estimating unit.
  • the user's actions are determined from the acquired images, and the classification result is notified by image recognition in a form suited to the intention of the actions, or support such as non-notification is performed. be able to. Further, according to this aspect, it is possible to take measures such as avoiding notification of a classification result for an image that is unsuitable for recognition, and it is possible to suppress erroneous information from being provided. Can be provided.
  • the plurality of images in the time series may be moving images, or may be a group of images photographed at specific time intervals such as continuous shooting or interval shooting.
  • the time interval of photographing in time series does not necessarily have to be constant.
  • the medical image processing device may be configured as a single device, or may be configured by combining a plurality of devices.
  • the medical image processing apparatus can be realized using one or a plurality of computers.
  • Apparatus includes the concepts of “system” and “module”.
  • the “unsuitable image” may be, for example, an image in which the subject is blurred, an image in which the subject is blurred, an image in which the subject is covered with water, or an image in which the subject has residues.
  • the availability determination unit may include a recognition unit that recognizes whether an image obtained from the image acquisition unit is an image unsuitable for recognition. .
  • the term “recognition” includes concepts such as identification, discrimination, inference, estimation, detection, classification, and region extraction.
  • the “recognition unit” includes concepts such as a recognizer, a classifier, a classifier, a detector, a classifier, and a recognition model.
  • the “recognition model” may be, for example, a learned model that has obtained recognition performance by machine learning.
  • a configuration may be adopted in which the processing performed by the motion estimation unit and the behavior determination unit is not performed on an image determined by the availability determination unit to be an inappropriate image.
  • a configuration may be adopted in which the classification unit does not perform the classification process on an image determined by the availability determination unit to be an inappropriate image.
  • the motion information may include a motion vector
  • the gesture determining unit may determine the user's gesture based on the magnitude of the motion vector
  • the gesture determining unit may determine the gesture using a database in which the correspondence between the motion information and the gesture of the user is defined.
  • the medical image processing apparatus may be configured to include a storage unit that stores a database.
  • the action may include a discrimination action.
  • the notification control unit is configured to set the classification result of the classification unit to non-notification for an image in which the determination result of the gesture determination unit does not correspond to a discrimination gesture. May be.
  • the classification unit may be configured to recognize a lesion area from an image obtained from the image acquisition unit and to classify the lesion.
  • the classification unit may be configured using a convolutional neural network.
  • the medical image processing device may be configured to include a notification unit that notifies the classification result of the classification unit based on the control of the notification control unit.
  • each of the plurality of time-series images may be an endoscope image captured using an electronic endoscope.
  • a medical image processing method includes an image acquisition step of acquiring a plurality of time-series images including a subject image, and whether an image obtained from the image acquisition step is an image unsuitable for recognition. Determining whether or not the user has performed the motion, estimating the motion from two or more images obtained from the image acquisition process, and determining the user's actions based on the motion information obtained from the motion estimation process. Information determination based on the information obtained from the action determination step and the classification result obtained from the classification step. And a notification control step of controlling
  • the same items as those specified in each aspect of the medical image processing apparatus described above can be appropriately combined.
  • the elements of the processing unit and the functional unit as means for performing the processing and operation specified in the medical image processing apparatus can be grasped as the elements of the process (step) of the corresponding processing and operation.
  • the medical image processing method according to the present embodiment can be understood as an operation method of the medical image processing apparatus.
  • An endoscope system is an endoscope system that includes an electronic endoscope that captures an image of a body cavity and a processor that processes an image signal obtained from the electronic endoscope.
  • the processor device includes an image acquisition unit configured to acquire a plurality of time-series images including a subject image captured using an electronic endoscope, and an image acquired from the image acquisition unit is an image unsuitable for recognition.
  • a motion estimating unit for estimating motion from two or more images obtained from the image obtaining unit, and a user action based on the motion information obtained from the motion estimating unit.
  • a gesture determining unit for determining, a classifying unit for recognizing an image obtained from the image acquiring unit and performing a classification process, and a notification based on the gesture information obtained from the gesture determining unit and the classification result obtained from the classifying unit.
  • a notification control unit for controlling information.
  • a processor device is a processor device that processes an image signal obtained from an electronic endoscope, and includes a plurality of time-series images including a subject image captured using the electronic endoscope.
  • An image acquisition unit that acquires an image
  • an availability determination unit that determines whether an image obtained from the image acquisition unit is an image that is unsuitable for recognition, and motion from two or more images obtained from the image acquisition unit.
  • a notification control unit that controls the notification information based on the action information obtained from the action determination unit and the classification result obtained from the classification unit.
  • a diagnosis support device includes an image acquisition unit that acquires a plurality of time-series images including a subject image, and whether an image obtained from the image acquisition unit is an image unsuitable for recognition.
  • a motion estimating unit for estimating motion from two or more images obtained from the image obtaining unit, and determining a user's action based on the motion information obtained from the motion estimating unit.
  • a gesture determining unit, a classifying unit that recognizes an image obtained from the image acquiring unit and performs a classification process, and broadcasts information based on the gesture information obtained from the gesture determining unit and the classification result obtained from the classifying unit.
  • the control unit includes a notification control unit for controlling, and a notification unit for notifying information including a classification result of the classification unit based on control of the notification control unit.
  • the display unit that displays the classification result of the classification unit can be one form of the notification unit.
  • a program provides a computer with an image acquisition step of acquiring a plurality of time-series images including a subject image, and whether the image obtained from the image acquisition step is an image unsuitable for recognition. Determining whether or not the user has performed the motion, estimating the motion from two or more images obtained from the image acquisition process, and determining the user's actions based on the motion information obtained from the motion estimation process. Information determination based on the information obtained from the action determination step and the classification result obtained from the classification step. And a notification control step of controlling the control.
  • the same items as those specified in each aspect of the medical image processing apparatus described above can be appropriately combined.
  • the elements of the processing unit and the function unit as means for performing the processing and operation specified in the medical image processing apparatus can be grasped as program elements for realizing the corresponding processing and operation steps or functions. .
  • the user's actions are determined from the time-series images, and the notification information is controlled on the basis of the obtained action information, so that it is possible to realize support in accordance with the user's actions.
  • ADVANTAGE OF THE INVENTION According to this invention, useful support information, such as a classification result of an image, can be provided, without obstructing a user's observation of an image, and without impairing the user's attention required at the time of observation.
  • FIG. 1 is an overall configuration diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention.
  • FIG. 2 is a front view showing a distal end surface of a distal end hard portion of the electronic endoscope.
  • FIG. 3 is a block diagram showing a control system of the endoscope system.
  • FIG. 4 is a block diagram illustrating functions of the medical image processing apparatus according to the first embodiment of the present invention.
  • FIG. 5 is an example of an image without a lesion.
  • FIG. 6 is an example of an image in which a lesion is blurred due to defocus.
  • FIG. 7 is an example of an image in which a lesion is blurred due to motion blur.
  • FIG. 8 is an example of a group of three images obtained in time series.
  • FIG. 1 is an overall configuration diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention.
  • FIG. 2 is a front view showing a distal end surface of a distal end hard portion of
  • FIG. 9 is an example of an image when the motion of the image is small.
  • FIG. 10 is an example of an image when the motion of the image is large.
  • FIG. 11 is an explanatory diagram illustrating an example of a database that defines the correspondence between motion information and user actions.
  • FIG. 12 is a diagram illustrating an example of notification of a classification result obtained from the classification unit.
  • FIG. 13 is a diagram illustrating an example of notification when the classification result is not notified.
  • FIG. 14 is a diagram illustrating a notification example in which information for notifying that the classification process has not been activated is presented.
  • FIG. 15 is a flowchart illustrating an example of the operation of the medical image processing apparatus according to the first embodiment.
  • FIG. 16 is a block diagram illustrating a configuration example of a medical information management system according to the second embodiment.
  • FIG. 1 is an overall configuration diagram showing a schematic configuration of an endoscope system according to an embodiment of the present invention.
  • the endoscope system 10 includes an electronic endoscope 12, a light source device 14, and a processor device 16.
  • a display device 18 and an input device 19 are connected to the processor device 16.
  • the electronic endoscope 12 may be called a “scope”, an “electronic scope”, or simply an “endoscope”.
  • the electronic endoscope 12 of the present example is a flexible endoscope.
  • the electronic endoscope 12 includes an insertion section 20, an operation section 30, and a universal cord 40.
  • the insertion part 20 is a part to be inserted into the body cavity of the test subject.
  • the insertion portion 20 is configured to include a distal end hard portion 22, a curved portion 24, and a flexible portion 26 in order from the distal side toward the proximal side. Inside the distal end hard portion 22, an illumination optical system, an objective optical system, an image sensor, and the like are arranged.
  • the bending portion 24 is configured to smoothly bend in four directions, up, down, left, and right, from a reference position in accordance with the operation of the angle knob 31.
  • the proximal side of the flexible section 26 is referred to as the proximal end of the insertion section 20.
  • the operation unit 30 is provided at the base end of the insertion unit 20.
  • the operation unit 30 includes various operation members operated by an operator.
  • the operation unit 30 includes an angle knob 31 used for the bending operation of the bending unit 24, an air / water button 32 for performing an air / water operation, and a suction button 33 for performing a suction operation. Is provided.
  • the operation unit 30 further includes a mode changeover switch 34 used for the operation of switching the observation mode, a zoom operation unit 35, and a still image shooting instruction unit (not shown) for giving an instruction to shoot a still image of the observed region. Is provided.
  • the operation unit 30 is provided with a treatment instrument introduction port 36.
  • the treatment instrument introduction port 36 is an opening for inserting a treatment instrument (not shown) into a treatment instrument insertion passage (not shown) passing through the insertion section 20.
  • the treatment tool include a biopsy forceps, a catheter, a high-frequency snare, and the like.
  • the treatment tool also includes a guide tube, a trocar tube, a sliding tube, and the like.
  • the treatment instrument introduction port 36 may be called a forceps port.
  • the universal cord 40 is a cord for connecting the electronic endoscope 12 to the light source device 14 and the processor device 16.
  • a cable and a light guide extending from the insertion section 20 are inserted into the universal cord 40.
  • the cables extending from the insertion section 20 include a communication cable used for transmitting a signal and a power supply cable used for supplying power.
  • a connector 42 is provided at one end of the universal cord 40.
  • the connector 42 is a composite connector including a video connector 42A and a light guide connector 42B. One end of the cable is arranged in the video connector 42A.
  • the video connector 42A is detachably connected to the processor device 16.
  • One end of the light guide is arranged in the light guide connector 42B.
  • the light guide connector 42B is detachably connected to the light source device 14.
  • the light guide connector 42B is provided with a water supply connector 42C, and the water supply tank 44 is connected via the water supply connector 42C.
  • the processor device 16 is electrically connected to the light source device 14 via the connector 42.
  • the processor device 16 totally controls the operation of the endoscope system 10 including the light source device 14.
  • the processor device 16 supplies power to the electronic endoscope 12 via a cable inserted into the universal cord 40, and controls driving of the image sensor.
  • the processor device 16 receives an image signal transmitted from the electronic endoscope 12 via a cable, performs various signal processing on the received image signal, and converts the image signal into image data.
  • the image data converted by the processor device 16 is displayed on the display device 18 as an endoscopic photographed image (observed image).
  • FIG. 2 is a front view showing the distal end surface 22A of the distal end hard portion 22 of the electronic endoscope 12.
  • FIG. An illumination window 50, an observation window 52, a forceps outlet 54, and an air / water nozzle 56 are provided on the distal end surface 22A of the distal end hard portion 22.
  • an emission end 122 of a light guide 120 that guides light from the light source device 14 is disposed behind the illumination window 50 (see FIG. 3). Illumination light is emitted from the illumination window 50 to the observation area.
  • Two illumination windows 50 are arranged at symmetrical positions with respect to the observation window 52.
  • the observation window 52 is a window for capturing reflected light from the observation region and capturing an image of the observation region.
  • an objective optical system 60 and an image sensor 62 for taking in image light of the region to be observed in the body cavity are arranged behind the observation window 52 (see FIG. 3). .
  • the forceps outlet 54 is connected to a forceps channel (not shown) arranged in the insertion section 20 and communicates with the treatment instrument introduction port 36 (see FIG. 1) provided in the operation section 30.
  • the treatment tool inserted from the treatment instrument introduction port 36 is taken out of the body cavity from the forceps outlet 54.
  • the air / water nozzle 56 ejects washing water or air toward the observation window 52 and / or the body cavity in response to the operation of the air / water button 32 (see FIG. 1) provided on the operation unit 30. .
  • the cleaning water and the air are supplied from an air / water supply device built in the light source device 14.
  • FIG. 3 is a block diagram showing a control system of the endoscope system 10.
  • an objective optical system 60 In the distal end hard portion 22 of the electronic endoscope 12, an objective optical system 60, an image sensor 62, an analog front end (AFE: Analog Front End) circuit 64, a timing generator (TG: Timing Generator) 65, and a CPU are provided. (Central Processing Unit) 66.
  • AFE Analog Front End
  • TG Timing Generator
  • CPU Central Processing Unit
  • the objective optical system 60 is configured using a zoom lens.
  • a light guiding prism (not shown) is arranged between the objective optical system 60 and the image sensor 62.
  • the image sensor 62 may be a complementary metal oxide semiconductor (CMOS) image sensor or a charged coupled device (CCD) image sensor.
  • CMOS complementary metal oxide semiconductor
  • CCD charged coupled device
  • the imaging device 62 is a solid-state imaging device of a single-chip color imaging system having a color filter including a plurality of color segments.
  • the color filter may be, for example, a Bayer array primary color filter including red (R), green (G), and blue (B).
  • a large number of pixels are arranged in a matrix on the imaging surface of the imaging element 62, and each pixel is provided with a photo sensor. Light incident on the imaging surface of the imaging element 62 is accumulated as a charge in the photosensor of each pixel.
  • the signal charge amount accumulated in the photo sensor of each pixel is sequentially read out as pixel signals by vertical and horizontal scanning by a vertical scanning circuit and a horizontal scanning circuit (both not shown), and at a predetermined frame rate. Is output.
  • the timing generator 65 generates a drive pulse for the image sensor 62 and a synchronization pulse for the analog front-end circuit 64 based on the control of the CPU 66.
  • the driving pulse of the image sensor 62 includes a vertical scanning pulse, a horizontal scanning pulse, a reset pulse, and the like.
  • the image sensor 62 is driven by a driving pulse input from the timing generator 65, photoelectrically converts an optical image formed on an image capturing surface via the objective optical system 60, and outputs the image as an image signal.
  • the analog front end circuit 64 includes a correlated double sampling (CDS) circuit, an automatic gain control (AGC) circuit, and an A / D converter.
  • the CDS circuit performs a correlated double sampling process on an image signal output from the image sensor 62 to remove reset noise and amplifier noise generated in the image sensor 62.
  • the AGC circuit amplifies the imaging signal from which noise has been removed by the CDS circuit with a gain (amplification factor) specified by the CPU 66.
  • the A / D converter converts the image signal amplified by the AGC circuit into a digital signal having a predetermined number of bits and outputs the digital signal.
  • the imaging signal digitized and output by the analog front-end circuit 64 is input to the processor device 16 through a signal line.
  • the image sensor 62, the analog front-end circuit 64, and the timing generator 65 can be configured as a monolithic integrated circuit, and these circuit elements are included in one image pickup chip 68.
  • the imaging chip 68 mounted on the electronic endoscope 12 of this example is a so-called “CMOS sensor chip” and is mounted on a support substrate (not shown).
  • the processor device 16 includes a CPU 70, a ROM (read-only memory) 72, a RAM (Random Access Memory) 74, a digital signal processing circuit (DSP: Digital Signal Processor) 76, and a display control circuit 78.
  • ROM read-only memory
  • RAM Random Access Memory
  • DSP Digital Signal Processor
  • the CPU 70 controls each unit in the processor device 16 and totally controls the entire endoscope system 10.
  • the ROM 72 stores various programs and control data for controlling the operation of the processor device 16.
  • the program and data executed by the CPU 70 are temporarily stored in the RAM 74.
  • the digital signal processing circuit 76 performs various signal processing such as color interpolation, color separation, color balance adjustment, gamma correction, and image enhancement processing on the image pickup signal input from the analog front end circuit 64 based on the control of the CPU 70. To generate image data. Further, the digital signal processing circuit 76 performs an image recognition process. The digital signal processing circuit 76 functions as an image processing unit. Further, the digital signal processing circuit 76 includes a function of an image recognition unit that performs image recognition processing.
  • the image data output from the digital signal processing circuit 76 is input to the display control circuit 78.
  • the display control circuit 78 converts the image data input from the digital signal processing circuit 76 into a signal format corresponding to the display device 18 and displays the signal format on the screen of the display device 18.
  • the display device 18 may be, for example, a liquid crystal display, an organic EL (organic electro-luminescence: OEL) display, a projector, or an appropriate combination of these.
  • the display device 18 can display various setting information necessary for the processing of the processor device 16 or various information such as information indicating a processing result.
  • the display device 18 and the input device 19 function as a user interface.
  • the input device 19 may be, for example, a keyboard, a mouse, a touch panel, operation buttons, or a voice input device, or an appropriate combination thereof.
  • the user can input various instructions and / or information using the input device 19.
  • the processor device 16 can execute various processes according to instructions and / or information input from the input device 19.
  • the light source device 14 generates light for illuminating the inside of the body cavity through the light guide 120 inserted into the electronic endoscope 12.
  • the light source device 14 includes a first light source 100, a first light source driving circuit 101, a second light source 102, a second light source driving circuit 103, a CPU 104, and a multiplexing unit 105.
  • the CPU 104 communicates with the CPU 70 of the processor device 16 to control the first light source driving circuit 101 and the second light source driving circuit 103.
  • the first light source drive circuit 101 causes the first light source 100 to emit light in accordance with an instruction from the CPU 104.
  • the second light source driving circuit 103 causes the second light source 102 to emit light in accordance with an instruction from the CPU 104.
  • the first light source 100 is, for example, a laser diode that emits a blue laser having a wavelength of 445 nm.
  • the first light source 100 is pulse-driven by the first light source driving circuit 101 to control the light emission amount.
  • the second light source 102 is, for example, a laser diode that emits a blue laser having a wavelength of 405 nm.
  • the second light source 102 is pulse-driven by the second light source driving circuit 103 to control the light emission amount. Blue light having a wavelength of 405 nm is used for special light observation.
  • the multiplexing unit 105 multiplexes the respective output lights of the first light source 100 and the second light source 102 and outputs the multiplexed light to the incident end 121 of the light guide 120.
  • a phosphor 124 is provided between the emission end 122 of the light guide 120 and the illumination window 50 of the electronic endoscope 12.
  • the blue laser light that has passed through the light guide 120 is applied to the phosphor 124 to put the phosphor 124 into an excited state, and a part of the blue laser light passes through the phosphor 124 and is emitted from the illumination window 50 as blue light.
  • the phosphor 124 is excited by the blue laser light and emits a wide range of light (yellow as a color) from a wavelength range around a boundary between blue and green to a red wavelength range in terms of the wavelength range of light.
  • the yellow light and the blue light passing through the phosphor 124 are mixed to form white light, which illuminates the subject through the illumination window 50. Note that the blue light transmitted through the phosphor 124 partially includes the blue light emitted by the phosphor 124.
  • the phosphor 124 emits yellow light and transmits blue light having a wavelength of 445 nm when irradiated with blue laser light having a wavelength of 445 nm, but has been irradiated with blue laser light having a wavelength of 405 nm. In some cases, it has the property of transmitting most of it.
  • the ratio between the blue light transmitted through the phosphor 124 and the yellow light emitted by the phosphor 124 is controlled. Is possible.
  • the reflected light from the subject illuminated with the white light is received by the image sensor 62 to reproduce a color image of the subject.
  • the electronic endoscope 12, the light source device 14, the processor device 16, and the display device 18 are turned on. Then, while inserting the insertion section 20 of the electronic endoscope 12 into the body cavity and illuminating the inside of the body cavity with the illumination light from the light source device 14, an image of the inside of the body cavity captured by the imaging element 62 is displayed on the screen of the display device 18. Will be observed.
  • the endoscope system 10 of this example has a white light observation mode and a narrow band light observation mode.
  • the white light observation mode is a mode in which an observation image having a natural tint is displayed on the display device 18 using a captured image obtained by imaging an observation target using white light as illumination light.
  • An image obtained by imaging the observation target in the white light observation mode is referred to as a “white light observation image”.
  • the illumination light may be referred to as “observation light”.
  • the narrow-band light observation mode uses, for example, an image signal obtained by imaging the observation target using narrow-band light of a specific wavelength band as illumination light, for example, visualization in which a blood vessel in a specific depth region of the observation target is emphasized.
  • an image is generated and an image suitable for observing a blood vessel is displayed on the display device 18.
  • An image obtained by imaging the observation target in the narrow-band light observation mode is referred to as a “narrow-band light observation image”.
  • the endoscope system 10 may have a plurality of types of narrow-band light observation modes in which the types of wavelength bands of the narrow-band light to be used or combinations thereof are different.
  • a screening process is performed in which a user, a physician, operates a scope to detect a lesion, and a discrimination process is performed to check the state of a detected lesion in detail, thereby preventing oversight of the lesion.
  • a discrimination process is performed to check the state of a detected lesion in detail, thereby preventing oversight of the lesion.
  • the user seamlessly performs the transition from the screening work to the discrimination work and the transition from the discrimination work to the screening work, and the diagnosis support system is required to operate in accordance with the operation of the user.
  • the medical image processing apparatus operates to determine a user's actions from a plurality of images acquired in a time series and to provide support in a form suited to the intention of the actions.
  • a plurality of images acquired in a time series are referred to as “time series images”.
  • the time-series image may be, for example, a moving image.
  • each of the plurality of images acquired in a time series may be a frame image of a moving image obtained at fixed time intervals.
  • the processor device 16 is an example of the medical image processing device according to the embodiment of the present invention.
  • FIG. 4 is a block diagram illustrating functions of the medical image processing apparatus according to the first embodiment.
  • the medical image processing device 160 illustrated in FIG. 4 includes an image acquisition unit 162, an availability determination unit 164, a motion estimation unit 166, a behavior determination unit 168, a classification unit 170, a notification control unit 172, and a notification unit 174. , Is provided.
  • the functions of the image acquisition unit 162, the availability determination unit 164, the motion estimation unit 166, the gesture determination unit 168, and the classification unit 170 can be realized by the digital signal processing circuit 76 described in FIG. 3, the CPU 70, or a combination thereof.
  • the notification control unit 172 may include the display control circuit 78 described with reference to FIG.
  • the image acquisition unit 162 may be, for example, a connector terminal to which the video connector 42A is connected, or a signal input terminal of the digital signal processing circuit 76. Further, the image acquisition unit 162 may be a communication network terminal provided in the processor device 16, a media interface terminal for an external storage medium, a connection terminal of an external device, or an appropriate combination of these.
  • the medical image processing apparatus 160 performs automatic classification of lesions from images acquired in time series via the electronic endoscope 12, and supports the diagnosis by the user by reporting the classification result.
  • images acquired in endoscopy may include images that are difficult to classify, as illustrated in FIGS. 5 to 7.
  • FIG. 5 is an example of an image without a lesion.
  • FIG. 6 is an example of an image in which the lesion 182 is blurred due to defocus.
  • FIG. 7 is an example of an image in which the lesion 182 is blurred due to motion blur.
  • FIG. 7 is an example of a “blurred image”.
  • the availability determination unit 164 determines whether the image acquired from the image acquisition unit 162 is an image inappropriate for recognition.
  • the availability determination unit 164 includes a recognition unit 164A.
  • the recognizing unit 164A recognizes whether the input image is appropriate or inappropriate for image recognition.
  • “appropriate for image recognition” means that the image is suitable for recognition processing for classifying lesions, which is the main purpose of recognition.
  • “Inappropriate for image recognition” means that the image is inappropriate for recognition such as classification of lesions, which is the main purpose.
  • Examples of images that are not suitable for recognition include, for example, blurred images, blurred images, images of subjects being covered with water, and images of subjects having residues. An image that is unsuitable for recognition is called an “unsuitable image”.
  • the recognition unit 164A can be configured using, for example, a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the recognizing unit 164A is configured using a first learned model learned by machine learning so as to perform a task of two classifications of an image suitable for recognition and an image unsuitable for recognition.
  • the recognizing unit 164A may calculate the feature amount of each frame image of the moving image or the thinned-out frame image at a fixed interval, and determine whether or not the image is inappropriate for recognition using the calculated feature amount. .
  • An image that is not suitable for recognition is an image that is difficult to classify by the classification processing of the classification unit 170.
  • An image that is not suitable for recognition is an image that is not suitable for the motion estimation processing in the motion estimation unit 166.
  • the process proceeds to the notification control unit 172 without performing the processes by the motion estimation unit 166, the behavior determination unit 168, and the classification unit 170.
  • the motion estimation unit 166 detects motion information of a group of images acquired in time series. Examples of a method for estimating the motion of an image include, for example, optical flow, block matching, and template matching. The technique for estimating the motion is not limited to the technique exemplified here, and various algorithms can be applied.
  • FIG. 8 shows an example of three image groups obtained in time series.
  • FIG. 8 shows a frame image of a moving image captured at regular time intervals.
  • the state information of the image recognized by the availability determination unit 164 may be used for the motion estimation by the motion estimation unit 166.
  • the template itself of the template matching may be blurred.
  • a process of removing a blur component in the motion estimation target image may be performed.
  • the gesture determining unit 168 determines the gesture of the user according to the motion information detected by the motion estimating unit 166.
  • 9 and 10 show examples of determining a user's action based on the result of motion estimation.
  • FIG. 9 shows an example of an image when the motion of the image is small.
  • An arrow A displayed in the observation image in FIG. 9 indicates a motion vector of the area of the lesion 182 between the image IM (t) and the image IM (t + 1) of the next frame.
  • FIG. 10 shows an example of an image when the motion of the image is large.
  • An arrow B displayed in the observation image in FIG. 10 indicates a motion vector of the area of the lesion 182 between the image IM (t) and the image IM (t + 1) of the next frame.
  • FIG. 9 when the motion vector is small, it can be determined that the position of the scope has moved during the discrimination of the user.
  • FIG. 10 when the motion vector is large, it can be determined that the user has no intention of discrimination.
  • the gesture determining unit 168 determines the gesture of the user by comparing the magnitude of the motion vector with a threshold value.
  • the magnitude of the motion vector reflects the amount of movement of the image. That is, it can be determined from the magnitude of the motion vector whether or not the user's action is intended for discrimination. Note that the motion vector may be obtained as the motion of the entire image, or may be obtained as the motion of only a certain attention area.
  • the gesture determining unit 168 determines the gesture of the user not only in a mode of determining the gesture of the user based on the moving amount of the image but also in a database defined in advance or updated in a time series. May be.
  • FIG. 11 is an example of a database that defines the correspondence between motion information and user actions.
  • the medical image processing device 160 may include a storage unit 169 that stores a database 167.
  • the storage unit 169 may be a storage device exemplified by a semiconductor memory, a hard disk drive, a solid state drive, an optical disk, or the like, or may be an appropriate combination thereof.
  • the storage unit 169 may be an internal storage device built in the medical image processing device 160 or an external storage device connected to the medical image processing device 160.
  • the gesture determining unit 168 can determine the intention of the user's gesture by collating with the database 167 based on the motion information obtained from the motion estimating unit 166. For example, when the motion of the image indicated by the motion information is stopped or when the motion is very small, it is determined that the discrimination is being performed. If the motion of the image indicated by the motion information is a uniform motion or a rotational motion, it is determined that the discrimination is being performed. If the motion of the image indicated by the motion information is a uniform acceleration motion, it is determined that screening is being performed. The determination result of the behavior determination unit 168 is sent to the notification control unit 172 (see FIG. 4). The determination result of the gesture determining unit 168 corresponds to the gesture information that estimates the gesture intention of the user.
  • the classification unit 170 shown in FIG. 4 performs a classification process on a certain class for an image determined to be classifiable by the availability determination unit 164.
  • Examples of the classification method include the following classification classes.
  • Example 1 Two classifications, neoplastic or non-neoplastic, can be employed.
  • Example 2 An endoscope finding classification, specifically, a NICE classification or a JNET classification may be adopted.
  • Example 3 Classification by disease type, for example, an embodiment of classification into hyperplastic polyps, adenomas, intramucosal cancer, highly invasive cancer, inflammatory polyps, and the like can be adopted.
  • NICE is an abbreviation of NBI (Narrow Band Imaging) International Colorectal Endoscopic.
  • JNET is an abbreviation for “the Japan NBI Expert Team”.
  • the NICE classification is a classification based on non-expanded NBI, and is classified into Type1, Type2, and Type3 for each of three items of a color tone of a lesion, a microvascular pattern (Vessels), and a surface pattern (Surface @ pattern).
  • Type 1 is a diagnostic index for hyperplastic lesions
  • Type 2 is a diagnostic marker for adenoma to intramucosal cancer
  • Type 3 is a diagnostic index for SM (submucosa) deep invasive cancer.
  • the JNET classification is a classification of NBI magnifying endoscopic findings for colorectal tumors.
  • the JNET classification is classified into Type1, Type2A, Type2B, and Type3 for each item of "vessel @ pattern" and "surface @ pattern”.
  • the classifying unit 170 may perform two types of recognition, that is, “cancer” or “non-cancerous”, instead of or in combination with the detailed classification such as the NICE classification.
  • a convolutional neural network For the classification processing of the classification unit 170 shown in FIG. 4, for example, a convolutional neural network (CNN) is used.
  • the classification unit 170 is configured using a second learned model learned by machine learning so as to perform an image classification task of classifying the image into a specific class as exemplified in [Example 1] to [Example 3]. be able to.
  • the classification unit 170 executes a classification process.
  • the classification unit 170 extracts a feature amount from the image and classifies the image.
  • the classification unit 170 may detect a region of interest (eg, a lesion region), detect a lesion region, and / or perform segmentation based on the calculated feature amount. Further, the classification unit 170 may perform the classification process using the feature amount calculated by the recognition unit 164A.
  • the notification control unit 172 controls the operation of the notification unit 174 based on the determination result obtained from the availability determination unit 164, the determination result obtained from the behavior determination unit 168, and the classification result obtained from the classification unit 170. .
  • the notification unit 174 may include the display device 18 (see FIGS. 1 and 2).
  • the notification unit 174 may be a display device different from the display device 18.
  • the notification control unit 172 can control the information content output to the notification unit 174.
  • FIG. 12 is a diagram illustrating an example of notification of a classification result obtained from the classification unit 170.
  • a polyp that is a lesion 182 is detected in the observation image, and “result: neoplasm” (tumor) as notification information indicating the classification result is displayed on the right side of the display area of the endoscope photographed image. Is displayed.
  • the notification information indicating the classification result is preferably displayed on the same screen together with the endoscope photographed image.
  • the notification control unit 172 performs notification control to perform a display as illustrated in FIG. 13 or FIG.
  • FIG. 13 shows an example in which the classification result is not notified.
  • information “result: ⁇ ” is displayed on the right side of the display area of the endoscope captured image as information indicating that the classification result is not notified.
  • FIG. 14 is an example of notification that presents information notifying that the classification process has not been started, instead of the character information indicating the classification result.
  • information “classification @ off” is displayed on the right side of the display area of the endoscope captured image as information indicating that the classification process has not been activated, and the character “on” is not displayed. It is displayed or grayed out.
  • a notification mode shown in FIG. 14 may be adopted.
  • a notification mode in which the notification mode illustrated in FIG. 13 and the notification mode illustrated in FIG. 14 are combined may be employed.
  • FIG. 15 is a flowchart illustrating an example of the operation of the medical image processing device 160 according to the first embodiment.
  • the operation of the medical image processing device may be understood as a method of operating the medical image processing device, or may be understood as a method of operating a processor device.
  • step S11 the medical image processing apparatus 160 receives the current image via the image acquisition unit 162.
  • the image acquired by the image acquisition unit 162 is a medical image including a subject image captured using the electronic endoscope 12, and is one image of a time-series image sequentially captured in a time-series manner.
  • the image is an image of one frame forming a moving image.
  • Step S11 is an example of the “image acquisition step” in the present disclosure.
  • step S12 the availability determination unit 164 performs a process of recognizing an image state of the input current image. Specifically, the availability determination unit 164 performs a process of recognizing whether or not the image is suitable for the classification process.
  • step S14 the availability determination unit 164 determines whether the classification is possible.
  • Step S12 and step S14 are an example of the “possibility determination step” in the present disclosure. If the availability determination unit 164 determines in the determination process of step S14 that the classification is possible, the process proceeds to steps S16 and S20.
  • step S16 the motion estimating unit 166 estimates the motion of an image using two or more images including a past or future image.
  • Step S16 is an example of the “motion estimation step” in the present disclosure.
  • step S18 the gesture determining unit 168 determines the gesture of the user based on the motion information that is the estimation result of the motion estimating unit 166.
  • Step S18 is an example of the "action determination step" in the present disclosure.
  • step S20 the classification unit 170 performs processing for recognizing a lesion area from within the image and classifying the lesion area into a predetermined class.
  • Step S20 is an example of the “classification step” in the present disclosure.
  • step S18 and step S20 proceed to step S22.
  • the processing from step S16 to step S20 is omitted, and the process proceeds to step S22.
  • step S22 the notification control unit 172 sets notification information to be output to the notification unit 174.
  • the notification control unit 172 sets the notification information to notify the classification result of the classification unit 170 when the determination result of the performance determination unit 168 corresponds to the “discrimination” operation (see FIG. 12).
  • the notification control unit 172 sets the notification information so that the classification result of the classification unit 170 is not notified when the result of the determination by the behavior determination unit 168 is not applicable to the operation of “discrimination” (FIG. 13 and FIG. 14).
  • Step S22 is an example of the “notification control step” in the present disclosure.
  • step S22 the flowchart of FIG. 15 ends.
  • the processing of the flowchart shown in FIG. 15 is repeated for each image acquired in time series.
  • processing of the flowchart illustrated in FIG. 15 is not limited to being performed for each image acquired in time series, but may be performed only for some of the images acquired in time series.
  • the intention of the user's action is determined from a plurality of images obtained in a time series, and the classification result is notified for the image determined to have the intention of discrimination, while the intention of discrimination is determined.
  • the classification result of an image determined not to be present can be unnotified. Accordingly, excessive notification at unnecessary timing can be suppressed, and appropriate information can be provided at timing when assistance is required.
  • the user's attention required for observation can be maintained without obstructing the user's observation of the image.
  • the medical image processing apparatus 160 when an image inappropriate for recognition is temporarily included in an image obtained in a time series, a motion estimation process and an action determination for the inappropriate image are performed. And the classification process are omitted, and these processes are not performed. For this reason, it is possible to avoid that a classification result with low truth (false recognition result) is generated from an image unsuitable for recognition and provided to the user. In addition, it is possible to avoid reporting a classification result for an image that is inappropriate for recognition, and to provide accurate classification result information in a time-series image group.
  • the user can be notified of the classification result in real time while displaying a moving image obtained by continuous imaging during the examination.
  • the medical image processing apparatus 160 it is possible to provide useful diagnostic support for a user such as a doctor.
  • the medical image processing device is not limited to the form applied to the processor device 16 of the endoscope system 10 illustrated in FIG. 1, but various applications are possible.
  • the medical image processing apparatus can be applied to a medical information management system that manages various medical information including an endoscope image.
  • FIG. 16 is a block diagram showing a configuration example of the medical information management system.
  • the medical information management system 200 includes an image capture terminal 202, an image storage server 204, an information management device 210, a display device 218, and an input device 219.
  • Each of the image capture terminal 202, the image storage server 204, and the information management device 210 is connected to a telecommunication line 230.
  • the term "connection" includes not only a wired connection but also a concept of a wireless connection.
  • the telecommunication line 230 may be a local area network or a wide area network.
  • the electric communication line 230 is configured by an appropriate combination of wired and wireless.
  • the processor device 16 of the endoscope system 10 is connected to the electric communication line 230.
  • the medical image generated by the processor device 16 is captured via the electric communication line 230 by at least one of the image capture terminal 202, the image storage server 204, and the information management device 210.
  • a medical image generated by the processor device 16 is sent to the image capture terminal 202.
  • the image capturing terminal 202 receives a medical image from the processor device 16.
  • the image capture terminal 202 sends the medical image received from the processor device 16 to the image storage server 204. Further, the image capturing terminal 202 may transmit the medical image received from the processor device 16 to the information management device 210.
  • the image storage server 204 serves as a storage device for storing databases of various medical images. Instead of the image storage server 204, a cloud storage may be used.
  • the image storage server 204 may store an image analysis result such as a region of interest (region of interest) included in the medical image, the presence or absence of a target to be noted, and the result of image classification, in addition to the medical image.
  • FIG. 16 shows one endoscope system 10, a plurality of endoscope systems can be connected to the electric communication line 230.
  • the electric communication line 230 is not limited to the endoscope system, and may be connected to another medical image capturing device such as an ultrasonic diagnostic device.
  • An ultrasonic image obtained from the ultrasonic diagnostic apparatus is an example of a “medical image”.
  • the medical imaging apparatus may be, for example, one or a combination of an X-ray imaging apparatus, a CT imaging apparatus, a magnetic resonance imaging (MRI) imaging apparatus, a nuclear medicine diagnostic apparatus, or a fundus camera.
  • MRI magnetic resonance imaging
  • the information management device 210 is realized by, for example, computer hardware and software.
  • a display device 218 and an input device 219 are connected to the information management device 210.
  • the information management device 210 may include some or all of the functions of the medical image processing device 160 shown in FIG.
  • the information management device 210 includes the functions of the image acquisition unit 162, the availability determination unit 164, the motion estimation unit 166, the behavior determination unit 168, the classification unit 170, and the notification control unit 172 illustrated in FIG.
  • the display device 218 illustrated in FIG. 16 can function as the notification unit 174.
  • the function of the information management device 210 can be realized by one or more computers, and can also be realized by cloud computing.
  • the information management device 210 may include the function of the image storage server 204.
  • the image capturing terminal 202 can function as the image acquiring unit 162. Note that a configuration in which the image capturing terminal 202 is omitted is also possible. In this case, the image storage server 204 and / or the information management device 210 are configured to capture a medical image from the processor device 16.
  • the medical information management system 200 not only a medical image obtained in real time from the electronic endoscope 12 but also a moving image stored in the image storage server 204 is reproduced.
  • the process of the flowchart described in can be performed.
  • the information management device 210 may be installed, for example, in an operating room, an examination room, a conference room, or the like in a hospital, or may be installed in a medical institution or a research institution outside the hospital.
  • the information management device 210 may be a workstation that supports medical examination, treatment, diagnosis, and the like, or may be a business support device that supports medical business.
  • the business support device may have a function of accumulating clinical information, supporting creation of a diagnostic document, supporting creation of a report, and the like.
  • the information management device 210 is an example of the “medical image processing device” in the present disclosure.
  • the medical information management system 200 is an example of the “diagnosis support device” in the present disclosure.
  • each processing unit and control unit A processing unit that performs various types of processing, such as the image acquisition unit 162, the availability determination unit 164, the motion estimation unit 166, the behavior determination unit 168, the classification unit 170, and the notification control unit 172 of the medical image processing apparatus 160 described with reference to FIG.
  • the hardware structure of the (processing unit) includes various processors as described below.
  • Various processors include a CPU (Central Processing Unit), which is a general-purpose processor that functions as various processing units by executing programs, a GPU (Graphics Processing Unit), a processor specialized in image processing, and an FPGA (Field Designed to execute specific processing such as Programmable Logic Device (PLD), which is a processor whose circuit configuration can be changed after manufacturing such as Programmable Gate Array, and ASIC (Application Specific Integrated Circuit).
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA Field Designed to execute specific processing
  • PLD Programmable Logic Device
  • a dedicated electric circuit which is a processor having a circuit configuration is included.
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types.
  • one processing unit may be configured by a plurality of FPGAs, a combination of a CPU and an FPGA, or a combination of a CPU and a GPU.
  • a plurality of processing units may be configured by one processor.
  • configuring a plurality of processing units with one processor first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which a processor functions as a plurality of processing units.
  • system-on-chip System On Chip
  • a form using a processor that realizes the functions of the entire system including a plurality of processing units with a single IC (Integrated Circuit) chip is known.
  • the various processing units are configured by using one or more of the above various processors as a hardware structure.
  • circuitry in which circuit elements such as semiconductor elements are combined.
  • the electronic endoscope is not limited to a flexible endoscope, but may be a rigid endoscope or a capsule endoscope.
  • the device that generates the time-series medical image including the subject image is not limited to the electronic endoscope, and may be, for example, an ultrasonic diagnostic device.
  • the medical image processing device can be used as a diagnosis support device that supports medical examination, treatment, diagnosis, or the like by a doctor or the like.
  • diagnosis support includes the concept of consultation support and / or treatment support.
  • the white light is light in a white wavelength band or light in a plurality of wavelength bands.
  • the “specific wavelength band” is a band narrower than the white wavelength band. A specific example relating to a specific wavelength band is shown below.
  • a first example of the specific wavelength band is, for example, a blue band or a green band in a visible region.
  • the wavelength band of the first example includes a wavelength band of 390 nm to 450 nm or a wavelength band of 530 nm to 550 nm, and the light of the first example is within a wavelength band of 390 nm to 450 nm or a wavelength of 530 nm to 550 nm. It has a peak wavelength in the band.
  • a second example of the specific wavelength band is, for example, a red band in a visible region.
  • the wavelength band of the second example includes a wavelength band of 585 nm or more and 615 nm or less, or a wavelength band of 610 nm or more and 730 nm or less, and the light of the second example has a wavelength band of 585 nm or more and 615 nm or less or a wavelength of 610 nm or more and 730 nm or less. It has a peak wavelength in the band.
  • the third example of the specific wavelength band includes a wavelength band in which the absorption coefficient differs between oxyhemoglobin and reduced hemoglobin, and the light of the third example has a peak wavelength in a wavelength band in which the absorption coefficient differs between oxyhemoglobin and reduced hemoglobin.
  • the wavelength band of the third example includes a wavelength band of 400 ⁇ 10 nm, a wavelength band of 440 ⁇ 10 nm, a wavelength band of 470 ⁇ 10 nm, or a wavelength band of not less than 600 nm and not more than 750 nm. It has a peak wavelength in a wavelength band of 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm or more and 750 nm or less.
  • the fourth example of the specific wavelength band is a wavelength band of excitation light, for example, 390 nm to 470 nm, which is used for observation of fluorescence emitted from a fluorescent substance in a living body (fluorescence observation) and which excites the fluorescent substance.
  • a fifth example of the specific wavelength band is a wavelength band of infrared light.
  • the wavelength band of the fifth example includes a wavelength band of 790 nm or more and 820 nm or less, or a wavelength band of 905 nm or more and 970 nm or less, and the light of the fifth example is within a wavelength band of 790 nm or more and 820 nm or less or a wavelength of 905 nm or more and 970 nm or less. It has a peak wavelength in the band.
  • ⁇ Switching observation light As the type of the light source, a laser light source, a xenon light source, an LED light source (LED: Light-Emitting Diode), or an appropriate combination thereof can be adopted. It is preferable to configure the type of light source, the wavelength, the presence or absence of a filter, etc. according to the type of the subject, the purpose of observation, and the like. And / or switching is preferred. When switching the wavelength, for example, by rotating a disk-shaped filter (rotary color filter) provided in front of the light source and provided with a filter that transmits or blocks light of a specific wavelength, the wavelength of the light to be irradiated is switched. Is also good.
  • rotary color filter rotary color filter
  • the imaging device used for the electronic endoscope is not limited to a color imaging device in which a color filter is arranged for each pixel, but may be a monochrome imaging device.
  • a monochrome image sensor it is possible to sequentially switch the wavelength of the illumination light and perform image capturing in a frame sequential (color sequential) manner.
  • the wavelength of the emitted illumination light may be sequentially switched between violet, blue, green, and red, or may be irradiated with broadband light (white light) and emitted by a rotary color filter (red, green, blue, etc.).
  • the wavelength of the illumination light to be emitted may be switched.
  • the wavelength of the illumination light emitted by the rotary color filter by irradiating one or a plurality of narrow band lights may be switched.
  • the narrow band light may be infrared light having two or more different wavelengths.
  • the processor device 16 may generate a special light image having information of a specific wavelength band based on a normal light image obtained by imaging using white light.
  • the generation here includes the concept of “acquisition”.
  • the processor device 16 functions as a special light image acquisition unit.
  • the processor device 16 converts the signal of the specific wavelength band into red (R), green (G), and blue (B), or cyan (C), magenta (M), and yellow (Y) included in the normal light image. ) Can be obtained by performing an operation based on the color information.
  • the processor device 16 includes a normal light image obtained by irradiating light in a plurality of wavelength bands as light in a white band or light in a white band as a medical image, and a special light image obtained by irradiating light in a specific wavelength band as light in a white band.
  • the feature amount image can be generated by using an operation based on at least one of the above.
  • the feature image is a form of a medical image.
  • a program that causes a computer to realize the functions of the medical image processing apparatus described in the above embodiment is recorded on an optical disk, a magnetic disk, or a computer readable medium that is a non-transitory information storage medium such as a semiconductor memory or other tangible material.
  • the program can be provided through the information storage medium.
  • the program signal can be provided as a download service using an electric communication line such as the Internet.
  • the medical image processing apparatus has a medical image analysis processing unit and a medical image analysis result acquisition unit, and the medical image analysis processing unit is a region that should be noted based on the feature amount of the pixel of the medical image.
  • a medical image processing device that detects an area and obtains a medical image analysis result obtaining unit by the medical image analysis processing unit.
  • the medical image analysis processing unit may include an image recognition unit.
  • the medical image analysis processing unit detects the presence or absence of a target to be noted based on the feature amount of the pixel of the medical image, and the medical image analysis result obtaining unit obtains an analysis result of the medical image analysis processing unit. apparatus.
  • the medical image analysis result obtaining unit obtains the medical image analysis result from a recording device that records the analysis result, and the analysis result is one of an attention area that is a notable area included in the medical image and a presence or absence of a notable target. Or a medical image processing device that is both.
  • a medical image processing apparatus wherein a medical image is a normal light image obtained by irradiating white band light or light of a plurality of wavelength bands as white band light.
  • the medical image is an image obtained by irradiating light of a specific wavelength band, and the specific wavelength band is a band narrower than a white wavelength band.
  • the specific wavelength band includes a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm, and the light of the specific wavelength band has a peak wavelength in the wavelength band of 390 nm to 450 nm or 530 nm to 550 nm.
  • Image processing device includes a wavelength band of 390 nm to 450 nm or 530 nm to 550 nm, and the light of the specific wavelength band has a peak wavelength in the wavelength band of 390 nm to 450 nm or 530 nm to 550 nm.
  • the medical image processing device has a specific wavelength band in a visible red band.
  • the specific wavelength band includes a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm, and the light of the specific wavelength band has a peak wavelength in a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm.
  • Image processing device includes a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm, and the light of the specific wavelength band has a peak wavelength in a wavelength band of 585 nm to 615 nm or 610 nm to 730 nm.
  • the specific wavelength band includes a wavelength band having a different extinction coefficient between oxyhemoglobin and reduced hemoglobin, and light of a specific wavelength band has a peak wavelength in a wavelength band having a different extinction coefficient between oxyhemoglobin and reduced hemoglobin.
  • the specific wavelength band includes a wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or a wavelength band of 600 nm or more and 750 nm or less, and light of the specific wavelength band is 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ A medical image processing apparatus having a peak wavelength in a wavelength band of 10 nm or 600 nm to 750 nm.
  • the medical image is an in-vivo image of the inside of a living body, and the in-vivo image is a medical image processing apparatus having information on fluorescence emitted from a fluorescent substance in the living body.
  • a medical image processing apparatus which obtains fluorescence by irradiating the living body with excitation light having a peak of 390 nm or more and 470 nm or less.
  • the medical image is an in-vivo image of the inside of a living body, and the specific wavelength band is a wavelength band of infrared light.
  • the specific wavelength band includes a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm, and the light of the specific wavelength band has a peak wavelength in a wavelength band of 790 nm to 820 nm or 905 nm to 970 nm. Processing equipment.
  • the medical image acquisition unit is configured to acquire a special light image having information of a specific wavelength band based on a normal light image obtained by irradiating light in a plurality of wavelength bands as white band light or white band light.
  • a medical image processing apparatus comprising an optical image acquisition unit, wherein the medical image is a special optical image.
  • Appendix 17 A medical image processing apparatus in which a signal in a specific wavelength band is obtained by an operation based on RGB or CMY color information included in a normal light image.
  • a medical image processing apparatus comprising a feature image generating unit for generating a feature image, wherein the medical image is a feature image.
  • An endoscope device comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

ユーザーによる画像の観察を阻害せず、かつ観察の際に要するユーザーの注意力を損ねずに、診断を支援することができる医療画像処理装置及び方法、内視鏡システム、診断支援装置、並びにプログラムを提供する。医療画像処理装置（１６０）は、被写体像を含む時系列の複数の画像を取得する画像取得部（１６２）と、得られた画像が認識に不適な画像であるか否かを判定する可否判定部（１６４）と、２つ以上の画像から動き推定を行う動き推定部（１６６）と、動き情報を基にユーザーの所作を判定する所作判定部（１６８）と、画像を認識して分類処理を行う分類部（１７０）と、所作判定部（１６８）から得られた所作情報及び分類部（１７０）から得られた分類結果を基に、報知情報を制御する報知制御部（１７２）と、を備える。

Description

医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
　本発明は、医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラムに係り、特に、時系列の医療画像を処理することにより、診断を支援する情報を提供する画像処理技術に関する。
　医療分野において、内視鏡システムを用いた検査が行われている。近年は画像解析の技術を用いることにより、医療画像に含まれる病変の認識を行うシステムが知られている。特許文献１及び特許文献２に示されているように、内視鏡システムにおいて、スコープの先端にあるカメラを用いて体腔を撮影し、得られた観察画像に対して、プロセッサ装置が認識処理を行い、認識結果をユーザーに報知することがある。ユーザーは、報知された認識結果に応じて適切な処置を講じることができる。
　例えば、病変が撮影されている場合であれば、プロセッサ装置は、画像解析を行うことによって画像から病変の領域を認識し、かつ、癌性であるか非癌性であるかを認識して、認識結果をユーザーに報知する。ユーザーは報知された情報を参考にして、病変を更に詳細に観察し、癌性であると判断できた際には、病変を切除するなどの処置を講じることができる。このような機能を持つシステムは、医師などによる診断所見などの意思決定を支援する。
特許第６１５０５５４号公報 国際公開第２０１７／００２１８４号 特公平７－２７４８１号公報
　上述した内視鏡システムのような診断支援機能において、非癌性の病変を癌性と誤認識したり、又は、癌性の病変を非癌性と誤認識したりして、誤った認識結果をユーザーに報知することは問題である。しかし、内視鏡検査においては、スコープの操作、胎動、又は残渣などにより病変の部位が隠れたり、観察画像がぼけたりすることがあり、画像解析によって病変の認識を正確に行うことが困難な場合がある。
　そのような場合には、例えば、特許文献３に記載されているように、異常を検出した際に通常の画像表示から異常メッセージの表示に切り替える異常表示処理方式の技術を応用して、画像認識には不適な画像であることを報知することが考えられる。
　しかし、内視鏡操作は複雑であり、ユーザーはスコープの操作と観察画像の確認などを並行して行う必要がある。診断支援機能による認識結果の報知は、ユーザーの鑑別作業を効率化する一方で、例えば、画像を観察しているユーザーに病変を鑑別する意図が無いような場合でも画像認識の結果が報知されると、却ってユーザーの注意力を損ない、観察の阻害に繋がり、また別の病変領域などの注目領域の見落としに繋がるおそれがある。
　かかる課題は、内視鏡システムに限らず、超音波診断装置など、時系列に撮影される医療画像を処理して支援を行うシステムについて共通する課題である。
　本発明はこのような事情に鑑みてなされたものであり、ユーザーによる画像の観察を阻害せず、かつ観察の際に要するユーザーの注意力を損ねずに、診断を支援することができる医療画像処理装置及び方法、内視鏡システム、診断支援装置、並びにプログラムを提供することを目的とする。
　本開示の一態様に係る医療画像処理装置は、被写体像を含む時系列の複数の画像を取得する画像取得部と、画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、画像取得部から得られた画像を認識して分類処理を行う分類部と、所作判定部から得られた所作情報及び分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、を備える。
　本態様に係る医療画像処理装置によれば、取得された画像からユーザーの所作を判定し、その所作の意図に合わせた形で画像認識による分類結果の報知、又は、非報知などの支援を行うことができる。また、本態様によれば、認識に不適な画像について分類結果の報知を回避するなどの対応が可能となり、誤った情報が提供されてしまうことを抑制でき、時系列の画像群の中で精度の高い分類結果の情報を提供することができる。
　時系列の複数の画像は、動画であってもよいし、連写若しくはインターバル撮影などのように、特定の時間間隔で撮影される画像群であってもよい。また、時系列による撮影の時間間隔は必ずしも一定でなくてもよい。
　医療画像処理装置は、単一の装置として構成されてもよいし、複数の装置を組み合わせて構成されてもよい。例えば、医療画像処理装置は、１台又は複数台のコンピュータを用いて実現し得る。「装置」は、「システム」及び「モジュール」の概念を含む。
　「不適な画像」は、例えば、被写体がボケている画像、被写体がブレている画像、被写体に水がかぶっている画像、又は、被写体に残渣がある画像のいずれかであってよい。
　本開示の他の態様に係る医療画像処理装置において、可否判定部は、画像取得部から得られた画像が認識に不適な画像であるか否かを認識する認識部を含む構成であってよい。
　「認識」という用語は、識別、判別、推論、推定、検出、分類、及び領域抽出などの概念を含む。「認識部」は、認識器、識別器、判別器、検出器、分類器及び認識モデルなどの概念を含む。「認識モデル」は、例えば、機械学習によって認識性能を獲得した学習済みモデルであってよい。
　本開示の更に他の態様に係る医療画像処理装置において、可否判定部が不適な画像であると判定した画像について、動き推定部及び所作判定部における処理を不実施とする構成であってよい。
　本開示の更に他の態様に係る医療画像処理装置において、可否判定部が不適な画像であると判定した画像について、分類部における分類処理を不実施とする構成であってよい。
　かかる態様によれば、不正確な分類結果の提供を回避することができる。
　本開示の更に他の態様に係る医療画像処理装置において、動き情報は、動きベクトルを含み、所作判定部は、動きベクトルの大きさを基にユーザーの所作を判定する構成であってよい。
　本開示の更に他の態様に係る医療画像処理装置において、所作判定部は、動き情報とユーザーの所作との対応関係が規定されたデータベースを用いて所作を判定する構成であってよい。
　本開示の更に他の態様に係る医療画像処理装置において、データベースを記憶しておく記憶部を備える構成であってよい。
　本開示の更に他の態様に係る医療画像処理装置において、所作は、鑑別の所作を含む構成であってよい。
　本開示の更に他の態様に係る医療画像処理装置において、報知制御部は、所作判定部の判定結果が鑑別の所作に非該当の画像について、分類部の分類結果を非報知とする構成であってよい。
　本開示の更に他の態様に係る医療画像処理装置において、分類部は、画像取得部から得られた画像から病変の領域を認識し、かつ、病変のクラス分類を行う構成であってよい。
　本開示の更に他の態様に係る医療画像処理装置において、分類部は、畳み込みニューラルネットワークを用いて構成されてよい。
　本開示の更に他の態様に係る医療画像処理装置において、報知制御部の制御に基づき、分類部の分類結果を報知する報知部を備える構成であってよい。
　本開示の更に他の態様に係る医療画像処理装置において、時系列の複数の画像の各々は、電子内視鏡を用いて撮影される内視鏡画像であってよい。
　本開示の更に他の態様に係る医療画像処理方法は、被写体像を含む時系列の複数の画像を取得する画像取得工程と、画像取得工程から得られた画像が認識に不適な画像であるか否かを判定する可否判定工程と、画像取得工程から得られた２つ以上の画像から動き推定を行う動き推定工程と、動き推定工程から得られた動き情報を基に、ユーザーの所作を判定する所作判定工程と、画像取得工程から得られた画像を認識して分類処理を行う分類工程と、所作判定工程から得られた所作情報及び分類工程から得られた分類結果を基に、報知情報を制御する報知制御工程と、を含む。
　本態様の医療画像処理方法において、上述した医療画像処理装置の各態様にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、医療画像処理装置において特定される処理や動作を担う手段としての処理部や機能部の要素は、これに対応する処理や動作の工程（ステップ）の要素として把握することができる。また、本態様の医療画像処理方法は、医療画像処理装置の作動方法と理解することができる。
　本開示の更に他の態様に係る内視鏡システムは、体腔内を撮影する電子内視鏡と、電子内視鏡から得られる画像信号を処理するプロセッサ装置と、を含む内視鏡システムであって、プロセッサ装置は、電子内視鏡を用いて撮影された被写体像を含む時系列の複数の画像を取得する画像取得部と、画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、画像取得部から得られた画像を認識して分類処理を行う分類部と、所作判定部から得られた所作情報及び分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、を備える。
　本態様の内視鏡システムにおいて、上述した医療画像処理装置の各態様にて特定した事項と同様の事項を適宜組み合わせることができる。
　本開示の更に他の態様に係るプロセッサ装置は、電子内視鏡から得られる画像信号を処理するプロセッサ装置であって、電子内視鏡を用いて撮影された被写体像を含む時系列の複数の画像を取得する画像取得部と、画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、画像取得部から得られた画像を認識して分類処理を行う分類部と、所作判定部から得られた所作情報及び分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、を備える。
　本態様のプロセッサ装置において、上述した医療画像処理装置の各態様にて特定した事項と同様の事項を適宜組み合わせることができる。
　本開示の更に他の態様に係る診断支援装置は、被写体像を含む時系列の複数の画像を取得する画像取得部と、画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、画像取得部から得られた画像を認識して分類処理を行う分類部と、所作判定部から得られた所作情報及び分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、報知制御部の制御に基づき、分類部の分類結果を含む情報を報知する報知部と、を備える。
　本態様の診断支援装置において、上述した医療画像処理装置の各態様にて特定した事項と同様の事項を適宜組み合わせることができる。分類部の分類結果を表示する表示部は、報知部の一形態となり得る。
　本開示の更に他の態様に係るプログラムは、コンピュータに、被写体像を含む時系列の複数の画像を取得する画像取得工程と、画像取得工程から得られた画像が認識に不適な画像であるか否かを判定する可否判定工程と、画像取得工程から得られた２つ以上の画像から動き推定を行う動き推定工程と、動き推定工程から得られた動き情報を基に、ユーザーの所作を判定する所作判定工程と、画像取得工程から得られた画像を認識して分類処理を行う分類工程と、所作判定工程から得られた所作情報及び分類工程から得られた分類結果を基に、報知情報を制御する報知制御工程と、を実行させる。
　本態様のプログラムにおいて、上述した医療画像処理装置の各態様にて特定した事項と同様の事項を適宜組み合わせることができる。その場合、医療画像処理装置において特定される処理や動作を担う手段としての処理部や機能部の要素は、これに対応する処理や動作の工程若しくは機能を実現するプログラム要素として把握することができる。
　本発明によれば、時系列の画像からユーザーの所作を判定し、得られた所作情報を基に報知情報を制御するため、ユーザーの所作に合わせた支援を実現することが可能である。本発明によれば、ユーザーによる画像の観察を阻害せずに、かつ観察の際に要するユーザーの注意力を損ねることなく、画像の分類結果などの有益な支援情報を提供することができる。
図１は、本発明の実施形態に係る内視鏡システムの概略構成を示した全体構成図である。 図２は、電子内視鏡の先端硬質部の先端面を示した正面図である。 図３は、内視鏡システムの制御系を示したブロック図である。 図４は、本発明の第１実施形態に係る医療画像処理装置の機能を示すブロック図である。 図５は、病変が映っていない画像の例である。 図６は、ピントずれによって病変がボケている画像の例である。 図７は、動きブレによって病変がボケている画像の例である。 図８は、時系列で得られる３枚の画像群の例である。 図９は、画像の動きが小さい場合の画像例である。 図１０は、画像の動きが大きい場合の画像例である。 図１１は、動き情報とユーザーの所作との対応関係を規定したデータベースの例を示す説明図である。 図１２は、分類部から得られる分類結果の報知例を示す図である。 図１３は、分類結果を非報知とした場合の報知例を示す図である。 図１４は、分類処理が起動していない旨を報知する情報を提示する報知例を示す図である。 図１５は、第１実施形態に係る医療画像処理装置の動作の例を示すフローチャートである。 図１６は、第２実施形態に係る医療情報管理システムの構成例を示すブロック図である。
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　《内視鏡システムの構成例》
　図１は、本発明の実施形態に係る内視鏡システムの概略構成を示した全体構成図である。内視鏡システム１０は、電子内視鏡１２と、光源装置１４と、プロセッサ装置１６と、を含む。プロセッサ装置１６には、表示装置１８と入力装置１９とが接続される。電子内視鏡１２は、「スコープ」、「電子スコープ」、或いは単に「内視鏡」と呼ばれる場合がある。
　本例の電子内視鏡１２は、軟性内視鏡である。電子内視鏡１２は、挿入部２０と、操作部３０と、ユニバーサルコード４０と、を備えている。挿入部２０は、検査対象者の体腔内に挿入される部分である。挿入部２０は、先端側から順に、手元側に向かって、先端硬質部２２、湾曲部２４、及び軟性部２６を含んで構成される。先端硬質部２２の内部には、照明光学系と対物光学系と撮像素子等が配置されている。湾曲部２４は、アングルノブ３１の操作に応じて、基準の位置から上下左右の４方向へ円滑に曲がる構造になっている。軟性部２６の手元側を挿入部２０の基端部という。
　操作部３０は、挿入部２０の基端部に設けられている。操作部３０は、術者によって操作される各種操作部材を含む。例えば、操作部３０には、湾曲部２４の湾曲操作に用いられるアングルノブ３１と、送気送水の操作を行うための送気送水ボタン３２と、吸引操作を行うための吸引ボタン３３と、が設けられている。術者（ユーザーの一例）は、アングルノブ３１を操作することにより、湾曲部２４を湾曲させて先端硬質部２２の向きを自在に変えることができる。操作部３０には、他に、観察モードの切り替え操作に用いられるモード切替スイッチ３４、ズーム操作部３５、及び被観察部位の静止画の撮影指示を行うための図示せぬ静止画撮影指示部が設けられている。
　また、操作部３０には、処置具導入口３６が設けられている。処置具導入口３６は、挿入部２０内を挿通している図示せぬ処置具挿通路内に、図示せぬ処置具を挿入するための開口部である。処置具としては、例えば、生検鉗子、カテーテル、高周波スネアなどがあり得る。また、処置具には、カイドチューブ、トラカールチューブ、スライディングチューブなども含まれる。処置具導入口３６は、鉗子口と呼ばれる場合がある。
　ユニバーサルコード４０は、電子内視鏡１２を光源装置１４及びプロセッサ装置１６に接続するためのコードである。ユニバーサルコード４０には、挿入部２０から延設されるケーブル及びライトガイドが挿通されている。挿入部２０から延設されるケーブルには、信号の伝達に用いる通信ケーブルと、電力供給に用いる給電ケーブルとが含まれる。ユニバーサルコード４０の一端には、コネクタ４２が設けられている。
　コネクタ４２は、ビデオコネクタ４２Ａとライトガイドコネクタ４２Ｂとを備えた複合タイプのコネクタである。ビデオコネクタ４２Ａには、ケーブルの一端が配置されている。ビデオコネクタ４２Ａはプロセッサ装置１６に対して着脱自在に接続される。ライトガイドコネクタ４２Ｂには、ライトガイドの一端が配置されている。ライトガイドコネクタ４２Ｂは光源装置１４に対して着脱自在に接続される。また、ライトガイドコネクタ４２Ｂには、送水コネクタ４２Ｃが設けられ、送水コネクタ４２Ｃを介して送水タンク４４が接続される。
　プロセッサ装置１６は、コネクタ４２を介して光源装置１４と電気的に接続されている。プロセッサ装置１６は、光源装置１４を含む内視鏡システム１０の動作を統括的に制御する。プロセッサ装置１６は、ユニバーサルコード４０内に挿通されたケーブルを介して電子内視鏡１２に給電を行い、かつ、撮像素子の駆動を制御する。また、プロセッサ装置１６は、電子内視鏡１２からケーブルを介して伝送された撮像信号を受信し、受信した撮像信号に各種信号処理を施して画像データに変換する。プロセッサ装置１６で変換された画像データは、表示装置１８に内視鏡撮影画像（観察画像）として表示される。
　図２は、電子内視鏡１２の先端硬質部２２の先端面２２Ａを示した正面図である。先端硬質部２２の先端面２２Ａには、照明窓５０と、観察窓５２と、鉗子出口５４と、送気送水用ノズル５６とが設けられている。図２には示されていないが、照明窓５０の奥には、光源装置１４からの光を導くライトガイド１２０の出射端１２２が配置されている（図３参照）。照明窓５０から被観察領域へ照明光が照射される。照明窓５０は、観察窓５２を挟んで対称な位置に２個配置されている。
　観察窓５２は、被観察領域からの反射光を取り込み、被観察領域を撮像するための窓である。図２には示されていないが、観察窓５２の奥には、体腔内の被観察領域の像光を取り込むための対物光学系６０と撮像素子６２とが配置されている（図３参照）。
　鉗子出口５４は、挿入部２０内に配置された図示せぬ鉗子チャンネルに接続され、操作部３０に設けられた処置具導入口３６（図１参照）に連通している。処置具導入口３６から挿入された処置具が鉗子出口５４から体腔内に出される。
　送気送水用ノズル５６は、操作部３０に設けられた送気送水ボタン３２（図１参照）の操作に応じて、洗浄水又は空気を、観察窓５２及び／又は体腔内に向けて噴射する。なお、洗浄水及び空気は、光源装置１４に内蔵された送気送水装置から供給される。
　図３は、内視鏡システム１０の制御系を示したブロック図である。電子内視鏡１２の先端硬質部２２には、対物光学系６０と、撮像素子６２と、アナログフロントエンド（ＡＦＥ：Analog Front End）回路６４と、タイミングジェネレータ（ＴＧ：Timing Generator）６５と、ＣＰＵ（Central Processing Unit）６６と、が設けられている。
　対物光学系６０は、ズームレンズを用いて構成される。対物光学系６０と撮像素子６２の間に、図示しない導光用のプリズムが配置される。撮像素子６２は、ＣＭＯＳ（complementary metal oxide semiconductor）型の撮像素子であってもよいし、ＣＣＤ（Charged Coupled Device）型の撮像素子であってもよい。ここではＣＭＯＳ型の撮像素子を用いる例を説明する。
　図示は省略するが、撮像素子６２は、複数の色セグメントからなるカラーフィルタを備えた単板カラー撮像方式の固体撮像素子である。カラーフィルタは、例えば、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）を含むベイヤー配列の原色カラーフィルタであってよい。
　撮像素子６２の撮像面には、多数の画素がマトリクス状に配置されており、各画素にはそれぞれフォトセンサが設けられている。撮像素子６２の撮像面に入射した光は各画素のフォトセンサに電荷として蓄積される。各画素のフォトセンサに蓄積された信号電荷量は、垂直走査回路及び水平走査回路（いずれも不図示）による垂直方向と水平方向の走査によって、画素信号として順次読み出され、所定のフレームレートで出力される。
　タイミングジェネレータ６５は、ＣＰＵ６６の制御に基づき、撮像素子６２の駆動パルスと、アナログフロントエンド回路６４への同期パルスとを発生する。撮像素子６２の駆動パルスには、垂直走査パルス、水平走査パルス、及びリセットパルス等が含まれる。
　撮像素子６２は、タイミングジェネレータ６５から入力される駆動パルスにより駆動され、対物光学系６０を介して撮像面に結像された光学像を光電変換して撮像信号として出力する。
　アナログフロントエンド回路６４は、相関二重サンプリング（ＣＤＳ：correlated double sampling）回路と、自動ゲイン制御（ＡＧＣ：Automatic Gain Control）回路と、Ａ／Ｄ変換器とを含む。ＣＤＳ回路は、撮像素子６２から出力される撮像信号に対して相関二重サンプリング処理を施し、撮像素子６２で生じるリセット雑音及びアンプ雑音の除去を行う。
　ＡＧＣ回路は、ＣＤＳ回路によりノイズ除去が行われた撮像信号を、ＣＰＵ６６から指定されたゲイン（増幅率）で増幅する。Ａ／Ｄ変換器は、ＡＧＣ回路により増幅された撮像信号を、所定のビット数のデジタル信号に変換して出力する。アナログフロントエンド回路６４にてデジタル化されて出力された撮像信号は、信号線を通してプロセッサ装置１６に入力される。
　なお、撮像素子６２、アナログフロントエンド回路６４及びタイミングジェネレータ６５は、モノリシック集積回路として構成することができ、これらの各回路素子は、１つの撮像チップ６８に含まれる。本例の電子内視鏡１２に搭載される撮像チップ６８は、いわゆる「ＣＭＯＳセンサチップ」であり、図示せぬ支持基板上に実装されている。
　プロセッサ装置１６は、ＣＰＵ７０と、ＲＯＭ（read-only memory）７２と、ＲＡＭ（Random Access Memory）７４と、デジタル信号処理回路（ＤＳＰ：Digital Signal Processor）７６と、表示制御回路７８とを備える。
　ＣＰＵ７０は、プロセッサ装置１６内の各部を制御し、かつ内視鏡システム１０の全体を統括的に制御する。ＲＯＭ７２には、プロセッサ装置１６の動作を制御するための各種プログラムや制御用データが記憶される。ＲＡＭ７４には、ＣＰＵ７０により実行されるプログラム及びデータなどが一時記憶される。
　デジタル信号処理回路７６は、ＣＰＵ７０の制御に基づき、アナログフロントエンド回路６４から入力された撮像信号に対し、色補間、色分離、色バランス調整、ガンマ補正、画像強調処理等の各種信号処理を施して、画像データを生成する。また、デジタル信号処理回路７６は、画像認識の処理を行う。デジタル信号処理回路７６は、画像処理部として機能する。また、デジタル信号処理回路７６は、画像認識の処理を行う画像認識部の機能を含んでいる。
　デジタル信号処理回路７６から出力された画像データは、表示制御回路７８に入力される。表示制御回路７８は、デジタル信号処理回路７６から入力された画像データを、表示装置１８に対応した信号形式に変換し、表示装置１８の画面に表示させる。
　表示装置１８は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせであってよい。表示装置１８は、プロセッサ装置１６の処理に必要な各種設定情報、又は、処理結果を示す情報などの各種情報を表示し得る。
　表示装置１８と入力装置１９は、ユーザーインターフェースとして機能する。入力装置１９は、例えば、キーボード、マウス、タッチパネル、操作ボタン、若しくは、音声入力装置、又はこれらの適宜の組み合わせであってよい。ユーザーは、入力装置１９を用いて各種の指示及び／又は情報を入力することができる。プロセッサ装置１６は、入力装置１９から入力された指示及び／又は情報に応じて各種処理を実行し得る。
　光源装置１４は、電子内視鏡１２内に挿通されたライトガイド１２０を通して体腔内を照明する光を発生する。光源装置１４は、第１光源１００と、第１光源駆動回路１０１と、第２光源１０２と、第２光源駆動回路１０３と、ＣＰＵ１０４と、合波部１０５とを含む。ＣＰＵ１０４は、プロセッサ装置１６のＣＰＵ７０と通信を行い、第１光源駆動回路１０１及び第２光源駆動回路１０３の制御を行う。
　第１光源駆動回路１０１は、ＣＰＵ１０４からの指示に従い、第１光源１００を発光させる。第２光源駆動回路１０３は、ＣＰＵ１０４からの指示に従い、第２光源１０２を発光させる。
　第１光源１００は、例えば、波長４４５ｎｍの青色レーザを発光するレーザダイオードである。第１光源１００は、第１光源駆動回路１０１によりパルス駆動されて発光量が制御される。第２光源１０２は、例えば、波長４０５ｎｍの青色レーザを発光するレーザダイオードである。第２光源１０２は、第２光源駆動回路１０３によりパルス駆動されて発光量が制御される。波長４０５ｎｍの青色光は、特殊光観察の際に使用される。
　合波部１０５は、第１光源１００と第２光源１０２のそれぞれの出射光を合波してライトガイド１２０の入射端１２１に出射する。
　ライトガイド１２０の出射端１２２と、電子内視鏡１２の照明窓５０との間には、蛍光体１２４が設けられている。ライトガイド１２０を通った青色レーザ光は蛍光体１２４に照射され、蛍光体１２４を励起状態にすると共に、その一部は蛍光体１２４を透過して青色光として照明窓５０から出射される。
　蛍光体１２４は、青色レーザ光で励起され、光の波長帯域でいうと、青色と緑色の境界当たりの波長域から赤色の波長域までの広範囲の光（色としては黄色）を発光する。この黄色光と蛍光体１２４を透過する青色光とが混合されて白色光となり、照明窓５０を通して被写体を照明することになる。なお、蛍光体１２４を透過する青色光には、蛍光体１２４で発光する青色光も一部含む。
　蛍光体１２４は、上述のように、波長４４５ｎｍの青色レーザ光の照射を受けた場合に黄色光を発光すると共に波長４４５ｎｍの青色光を透過するが、波長４０５ｎｍの青色レーザ光の照射を受けた場合にはその殆どを透過する性質を持つ。
　即ち、波長４４５ｎｍの青色レーザ光と波長４０５ｎｍの青色レーザ光との混合割合を制御することで、蛍光体１２４を透過する青色光と、蛍光体１２４で発光する黄色光との割合を制御することが可能である。
　白色光を用いて照明された被写体からの反射光を、撮像素子６２を用いて受光することにより、被写体のカラー画像が再現される。
　上述のように構成された内視鏡システム１０を用いて体腔内を観察する際には、電子内視鏡１２と、光源装置１４と、プロセッサ装置１６と、表示装置１８の各電源をオンにして、電子内視鏡１２の挿入部２０を体腔内に挿入し、光源装置１４からの照明光で体腔内を照明しながら、撮像素子６２により撮像される体腔内の画像を表示装置１８の画面で観察することになる。
　本例の内視鏡システム１０は、白色光観察モードと狭帯域光観察モードを有する。白色光観察モードは、照明光に白色光を用いて観察対象を撮像して得られる撮影画像を用いて、自然な色合いの観察画像を表示装置１８に表示するモードである。白色光観察モードで観察対象を撮像して得られる画像を「白色光観察画像」という。照明光は「観察光」と言い換えてもよい。
　狭帯域光観察モードは、特定の波長帯域の狭帯域光を照明光として観察対象を撮像して得られる画像信号を用いて、例えば、観察対象の特定深さ領域に在る血管を強調した可視化画像を生成し、血管の観察に適した画像を表示装置１８に表示するモードである。狭帯域光観察モードで観察対象を撮像して得られる画像を「狭帯域光観察画像」という。
　内視鏡システム１０は、使用する狭帯域光の波長帯域の種類又はその組み合わせが異なる複数種類の狭帯域光観察モードを有していてもよい。
　《内視鏡システム１０における診断支援機能の概要》
　内視鏡検査では、ユーザーである医師がスコープを操作して病変を検出するスクリーニング処理と、検出された病変の状態を詳細に確認する鑑別処理とが行われており、病変の見落としを防ぐことが重要な課題の１つである。例えば、ある病変の鑑別が終了した際に、ユーザーが周囲の病変の存在を忘れてしまう恐れがある。ユーザーは、スクリーニング作業から鑑別作業への移行、及び、鑑別作業からスクリーニング作業への移行をシームレスに実施しており、診断支援のシステムもそのようなユーザーの操作に合わせた動作が求められる。
　スクリーニング作業と鑑別作業とを切り替える手段として、光源の種類が切り替わるタイミングなどが考えられるが、同一光源のまま作業が移行している場合に対応できない。
　本発明の実施形態に係る医療画像処理装置は、時系列で取得される複数の画像からユーザーの所作を判定し、その所作の意図に合わせた形で支援を行うように動作する。時系列で取得される複数の画像を「時系列画像」という。時系列画像は、例えば、動画であってよい。また、時系列で取得される複数の画像の各々は、一定の時間間隔で得られる動画のフレーム画像であってよい。
　《第１実施形態に係る医療画像処理装置の構成》
　プロセッサ装置１６は、本発明の実施形態に係る医療画像処理装置の一例である。図４は、第１実施形態に係る医療画像処理装置の機能を示すブロック図である。図４に示す医療画像処理装置１６０は、画像取得部１６２と、可否判定部１６４と、動き推定部１６６と、所作判定部１６８と、分類部１７０と、報知制御部１７２と、報知部１７４と、を備える。
　画像取得部１６２、可否判定部１６４、動き推定部１６６、所作判定部１６８及び分類部１７０の機能は、図３で説明したデジタル信号処理回路７６、若しくは、ＣＰＵ７０、又はこれらの組み合わせによって実現できる。また、報知制御部１７２は、図３で説明した表示制御回路７８を含んでよい。
　図４に示す画像取得部１６２は、電子内視鏡１２を用いて撮影された時系列の画像ＩＭ１、ＩＭ２、ＩＭ３・・・を取得するインターフェースである。画像取得部１６２は、例えば、ビデオコネクタ４２Ａが接続されるコネクタ端子であってもよいし、デジタル信号処理回路７６の信号入力端子であってもよい。また、画像取得部１６２は、プロセッサ装置１６に設けられた通信ネットワーク端子、外部記憶メディア用のメディアインターフェース端子、若しくは、外部機器の接続用端子、又は、これらの適宜の組み合わせであってもよい。
　医療画像処理装置１６０は、電子内視鏡１２を介して時系列で取得される画像から病変の自動分類を行い、分類結果を報知することでユーザーによる診断を支援する。しかし、内視鏡検査において取得される画像には、図５から図７に例示するように、分類困難な画像が含まれ得る。
　図５は、病変が映っていない画像の例である。図６は、ピントずれによって病変１８２がボケている画像の例である。図７は、動きブレによって病変１８２がボケている画像の例である。図７は「ブレている画像」の一例である。
　可否判定部１６４は、画像取得部１６２から取得された画像が認識に不適な画像であるか否かを判定する。可否判定部１６４は認識部１６４Ａを含む。認識部１６４Ａは、入力された画像が画像認識に適切であるか不適切であるかの認識を行う。ここでの「画像認識に適切である」とは、認識の主目的である病変の分類等を行う認識の処理に適する画像であることを意味する。「画像認識に不適切である」とは、主目的である病変の分類等の認識に不適な画像であることを意味する。認識に不適な画像を例示すると、例えば、ボケている画像、ブレている画像、被写体に水がかぶっている画像、被写体に残渣がある画像などである。認識に不適な画像を「不適切画像」という。
　認識部１６４Ａは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いて構成することができる。認識部１６４Ａは、例えば、認識に適する画像であるか、認識に不適な画像であるかの２分類のタスクを行うように、機械学習によって学習した第１の学習済みモデルを用いて構成される。認識部１６４Ａは、動画の各フレーム画像、又は間引かれた一定間隔のフレーム画像の特徴量を算出し、算出された特徴量を用いて認識に不適な画像であるか否かを判定し得る。
　認識に不適な画像は、分類部１７０の分類処理にて分類が困難な画像である。また、認識に不適な画像は、動き推定部１６６での動き推定の処理にも適さない画像である。
　したがって、可否判定部１６４にて分類困難と判断された場合は、動き推定部１６６、所作判定部１６８及び分類部１７０による処理を行わずに、報知制御部１７２の処理に移行する。
　動き推定部１６６は、時系列で取得される画像群の動き情報を検出する。画像の動きを推定する方法の例としては、例えば、オプティカルフロー、ブロックマッチング、又は、テンプレートマッチングなどを挙げることができる。動きを推定する手法は、ここに例示した手法に限らず、様々なアルゴリズムを適用できる。
　また、動きを推定する際に使用する画像の枚数は２枚（現在の画像と１枚前の過去画像）に限らない。図８には、時系列で得られる３枚の画像群の例が示されている。図８は、一定の時間間隔で撮影される動画のフレーム画像を示している。図８に示す３枚のフレーム画像の各々に対して画像解析を行うことによって、画像ごとにクラス分類は可能である。
　しかし、例えば、現在の時刻ｔにおける画像ＩＭ（ｔ）に泡１８４などが映っており、泡１８４などによって画像が覆われている場合、現在の画像ＩＭ（ｔ）と１枚前の過去画像ＩＭ（ｔ－１）との２枚のみでは正確な動きを推定することが困難である。そのため、現在の画像ＩＭ（ｔ）から見て過去の画像又は未来の画像を含め２枚以上のフレーム画像を選択することにより、動きの推定精度を向上させることが好ましい。
　また、可否判定部１６４により認識された画像の状態情報を、動き推定部１６６での動きの推定に用いてもよい。例えば、入力された画像がブレれている場合に、テンプレートマッチングのテンプレート自体をブレ画像化してもよい。また、例えば、入力された画像がブレている場合に、動き推定の対象画像におけるブレの成分を除去する処理を実施してもよい。
　所作判定部１６８は、動き推定部１６６にて検出された動き情報に応じてユーザーの所作を判定する。図９及び図１０は、動き推定結果に基づくユーザー所作の判定例を示す。図９は、画像の動きが小さい場合の画像例を示す。図９において観察画像内に表示した矢印Ａは、画像ＩＭ（ｔ）と、次のフレームの画像ＩＭ（ｔ＋１）との画像間における病変１８２の領域の動きベクトルを表している。
　図１０は、画像の動きが大きい場合の画像例を示す。図１０において観察画像内に表示した矢印Ｂは、画像ＩＭ（ｔ）と、次のフレームの画像ＩＭ（ｔ＋１）との画像間における病変１８２の領域の動きベクトルを表している。例えば、図９に示すように、動きベクトルが小さい場合は、ユーザーの鑑別中にスコープの位置が動いたと判定できる。その一方、図１０に示すように、動きベクトルが大きい場合は、ユーザーに鑑別の意図が無いと判定できる。
　所作判定部１６８は、動きベクトルの大きさを閾値と比較するなどして、ユーザーの所作を判定する。動きベクトルの大きさは、画像の移動量を反映している。つまり、動きベクトルの大きさから、ユーザーの所作が鑑別を意図しているか、否かを判定することができる。なお、動きベクトルは、画像全体での動きとして取得してもよいし、ある注目領域のみの動きとして取得してもよい。
　また、所作判定部１６８は、画像の移動量に基づいてユーザーの所作を判定する態様に限らず、予め定義されたデータベース、若しくは時系列上で更新されるデータベースと照らし合わせてユーザーの所作を判定してもよい。
　図１１は、動き情報とユーザーの所作との対応関係を規定したデータベースの例である。医療画像処理装置１６０は、データベース１６７を格納しておく記憶部１６９を含んでよい。記憶部１６９は、半導体メモリ、ハードディスクドライブ、ソリッドステートドライブ、若しくは光ディスクなどに例示される記憶装置であってよく、又はこれらの適宜の組み合わせであってよい。記憶部１６９は、医療画像処理装置１６０に内蔵された内部記憶装置であってもよいし、医療画像処理装置１６０に接続される外部記憶装置であってもよい。
　所作判定部１６８は、動き推定部１６６から得られる動き情報を基にデータベース１６７と照合してユーザーの所作の意図を判定し得る。例えば、動き情報の示す画像の動きが停止している場合、若しくは動きは非常に小さい場合には鑑別中であると判定される。また、動き情報の示す画像の動きが等速運動又は回転運動である場合には鑑別中であると判定される。動き情報の示す画像の動きが等加速度運動である場合にはスクリーニング中であると判定される。所作判定部１６８の判定結果は、報知制御部１７２に送られる（図４参照）。所作判定部１６８の判定結果は、ユーザーの所作意図を推定した所作情報に相当する。
　図４に示す分類部１７０は、可否判定部１６４にて分類可能と判定された画像を対象に、ある特定のクラスへの分類処理が行われる。分類方法としては例えば、下記の分類クラスが挙げられる。
　〈分類クラスの具体例〉
　［例１］腫瘍性であるか、非腫瘍性であるかの２分類のクラス分けを採用し得る。
　［例２］内視鏡所見分類、具体的にはＮＩＣＥ分類、又はＪＮＥＴ分類などを採用し得る。
　［例３］病種による分類、例えば、過形成性ポリープ、腺腫、粘膜内癌、高度浸潤癌、炎症性ポリープなどに分類する態様を採用し得る。
　なお、「ＮＩＣＥ」は、NBI（Narrow band imaging） International Colorectal Endoscopic の略語である。「ＪＮＥＴ」は、「the Japan NBI Expert Team」の略語である。
　ＮＩＣＥ分類は、非拡大のＮＢＩによる分類であり、病変の色調（Color）、微小血管模様（Vessels）、及び表面模様（Surface pattern）の３項目の各項目について、Type1、Type２及びType３に分類される。Type1は過形成病変、Type2は腺腫～粘膜内癌、Type3はＳＭ（submucosa）深部浸潤癌の診断指標である。ＪＮＥＴ分類は、大腸腫瘍に対するＮＢＩ拡大内視鏡所見の分類である。ＪＮＥＴ分類は、「vessel pattern」と「surface pattern」の各項目について、Type1、Type2A、Type2B、及びType3に分類される。
　分類部１７０は、ＮＩＣＥ分類などの詳細な分類に代えて、又は、これと組み合わせて、単に「癌性」であるか「非癌性」であるかの２分類の認識を行ってもよい。
　図４に示す分類部１７０の分類処理には、例えば、畳み込みニューラルネットワーク（ＣＮＮ）が用いられる。分類部１７０は、［例１］～［例３］に例示したような特定のクラスに分類する画像分類のタスクを行うように、機械学習によって学習した第２の学習済みモデルを用いて構成することができる。
　可否判定部１６４から得られた判定結果が「認識に適する画像」である場合に、分類部１７０による分類処理が実行される。分類部１７０は、画像から特徴量を抽出し、画像の分類を行う。分類部１７０は、算出された特徴量を基に注目領域（例えば、病変の領域）の検出及び病変の領域の検出、及び／又は、セグメンテーションを実施してもよい。また、分類部１７０は、認識部１６４Ａで算出した特徴量を利用して分類処理を実施してもよい。
　報知制御部１７２は、可否判定部１６４から得られる判定結果と、所作判定部１６８から得られる判定結果と、分類部１７０から得られる分類結果と、に基づき、報知部１７４での動作を制御する。報知部１７４は、表示装置１８を含んで構成されてよい（図１及び図２参照）。また、報知部１７４は、表示装置１８とは別の表示装置であってもよい。報知制御部１７２は、報知部１７４に出力する情報内容を制御し得る。
　図１２は、分類部１７０から得られる分類結果の報知例を示す図である。図１２の例では、観察画像内に病変１８２であるポリープが検出されており、内視鏡撮影画像の表示領域の右横に、分類結果を示す報知情報としての「result:　neoplasm」（腫瘍）という文字情報が表示されている。分類結果を示す報知情報は、内視鏡撮影画像と共に同一画面内に表示されることが好ましい。
　その一方で、所作判定部１６８によりユーザーに鑑別の意図が無いと判定された場合にも、自動分類結果などを報知すると、ユーザーの注意力を損ない、観察の阻害、また別の病変の見落としに繋がる恐れがある。そこで、報知制御部１７２は、所作判定部１６８によりユーザーに鑑別の意図が無いと判定された場合には、図１３又は図１４に示すような表示を行うよう報知制御を実施する。
　図１３は、分類結果を報知させないようにした例である。図１３に示す例では、内視鏡撮影画像の表示領域の右横に、分類結果が報知されないことを明示する情報としての「result:　－　」という情報が表示されている。
　図１４は、分類結果を示す文字情報に代えて、分類処理が起動していない旨を報知する情報を提示する報知例である。図１４に示す例では内視鏡撮影画像の表示領域の右横に、分類処理が起動していないことを明示する情報としての「classification  off」という情報が表示され、「on」の文字は非表示又はグレーアウト表示となっている。図１３に示すような報知形態に代えて、図１４に示すような報知形態を採用してもよい。また、図１３に示す報知形態と図１４に示す報知形態とを組み合わせた報知形態を採用してもよい。
　《第１実施形態に係る医療画像処理装置の動作の例》
　医療画像処理装置１６０を用いた医療画像処理方法について説明する。図１５は、第１実施形態に係る医療画像処理装置１６０の動作の例を示すフローチャートである。医療画像処理装置の動作は、医療画像処理装置の作動方法と理解してもよいし、若しくはプロセッサ装置の作動方法と理解してもよい。
　ステップＳ１１において、医療画像処理装置１６０は、画像取得部１６２を介して現在の画像を受信する。画像取得部１６２が取得する画像は、電子内視鏡１２を用いて撮影された被写体像を含む医療画像であり、時系列で順次に撮影される時系列画像の１つの画像である。例えば、画像は、動画を構成する１フレームの画像である。ステップＳ１１は本開示における「画像取得工程」の一例である。
　ステップＳ１２において、可否判定部１６４は、入力された現在の画像について画像の状態を認識する処理を行う。具体的には、可否判定部１６４は、分類処理に適した画像であるか否かを認識する処理を行う。
　ステップＳ１４において、可否判定部１６４は、分類が可能であるか否かを判定する。ステップＳ１２とステップＳ１４は本開示における「可否判定工程」の一例である。ステップＳ１４の判定処理において可否判定部１６４が分類可能と判定した場合には、ステップＳ１６及びステップＳ２０に移行する。
　ステップＳ１６において、動き推定部１６６は、過去又は未来の画像を含む２枚以上の複数の画像を用いて画像の動きを推定する。ステップＳ１６は本開示における「動き推定工程」の一例である。
　ステップＳ１６の後、ステップＳ１８において、所作判定部１６８は、動き推定部１６６の推定結果である動き情報を基にユーザーの所作を判定する。ステップＳ１８は本開示における「所作判定工程」の一例である。
　また、ステップＳ１６及びステップＳ１８の処理と並行して、ステップＳ２０において、分類部１７０は、画像内から病変の領域を認識して所定のクラスに分類する処理を行う。ステップＳ２０は本開示における「分類工程」の一例である。
　ステップＳ１８及びステップＳ２０の後、ステップＳ２２に移行する。またステップＳ１４の判定結果が「Ｎｏ判定」すなわち、分類不能と判定された場合は、ステップＳ１６からステップＳ２０の処理を省略して、ステップＳ２２に移行する。
　ステップＳ２２において、報知制御部１７２は、報知部１７４に出力する報知情報の設定を行う。報知制御部１７２は、所作判定部１６８の判定結果が「鑑別」の所作に該当する場合には、分類部１７０の分類結果を報知するよう報知情報を設定する（図１２参照）。その一方、報知制御部１７２は、所作判定部１６８の判定結果が「鑑別」の所作に非該当である場合には、分類部１７０の分類結果を非報知とするよう報知情報を設定する（図１３及び図１４参照）。ステップＳ２２は本開示における「報知制御工程」の一例である。
　ステップＳ２２の後、図１５のフローチャートを終了する。時系列で取得される画像ごとに、図１５に示すフローチャートの処理が繰り返される。
　なお、図１５に示すフローチャートの処理は、時系列で取得される画像ごとに実施する態様に限らず、時系列で取得される画像の一部の画像のみについて実施してもよい。
　《第１実施形態による利点》
　上述した第１実施形態の構成によれば、次のような利点がある。
　（１）医療画像処理装置１６０によれば、時系列で得られる複数の画像からユーザーの所作の意図を判定し、鑑別の意図があると判定した画像について分類結果を報知する一方、鑑別の意図が無いと判定した画像について分類結果を非報知とすることができる。これにより、不必要なタイミングでの過剰な報知を抑制でき、支援が必要なタイミングで適切な情報を提供することができる。
　（２）医療画像処理装置１６０によれば、ユーザーによる画像の観察を阻害せずに、観察の際に要するユーザーの注意力を持続させることできる。医療画像処理装置１６０によれば、病変領域などの注目領域の見落としを抑制することができる。
　（３）医療画像処理装置１６０によれば、時系列で得られる画像の中に、認識に不適な画像が一時的に含まれた場合に、その不適な画像についての動き推定の処理、所作判定の処理、及び分類処理が省略され、これらの処理が不実施となる。このため、認識に不適な画像から真実性の低い分類結果（誤った認識結果）が生成されてユーザーに提供されてしまうことを回避できる。また、認識に不適な画像について分類結果の報知を回避することができ、時系列の画像群の中で正確性のある分類結果の情報を提供することができる。
　（４）医療画像処理装置１６０によれば、検査中の連続的な撮影によって得られる動画の表示中に、分類結果をリアルタイムでユーザーに報知することができる。
　（５）医療画像処理装置１６０によれば、医師等のユーザーにとって有益な診断支援を行うことができる。
　《第２実施形態：医療情報管理システムへの応用例》
　本発明に係る医療画像処理装置は、図１に例示した内視鏡システム１０のプロセッサ装置１６に適用する形態に限らず、様々な応用が可能である。例えば、医療画像処理装置は、内視鏡画像を含む様々な医療情報を管理する医療情報管理システムに応用することができる。
　図１６は、医療情報管理システムの構成例を示すブロック図である。医療情報管理システム２００は、画像取込端末２０２と、画像保存サーバ２０４と、情報管理装置２１０と、表示装置２１８と、入力装置２１９と、を備える。画像取込端末２０２、画像保存サーバ２０４及び情報管理装置２１０の各々は、電気通信回線２３０に接続される。「接続」という用語は、有線接続に限らず、無線接続の概念も含む。
　電気通信回線２３０は、ローカルエリアネットワークであってもよいし、ワイドエリアネットワークであってもよい。電気通信回線２３０は、有線及び無線の適宜の組み合わせによって構成される。
　内視鏡システム１０のプロセッサ装置１６は、電気通信回線２３０に接続される。プロセッサ装置１６によって生成された医療画像は、電気通信回線２３０を介して、画像取込端末２０２、画像保存サーバ２０４、及び情報管理装置２１０のうち少なくとも１つに取り込まれる。例えば、プロセッサ装置１６によって生成された医療画像は、画像取込端末２０２に送られる。画像取込端末２０２は、プロセッサ装置１６から医療画像を受信する。
　画像取込端末２０２は、プロセッサ装置１６から受信した医療画像を画像保存サーバ２０４に送る。また、画像取込端末２０２は、プロセッサ装置１６から受信した医療画像を情報管理装置２１０に送信してもよい。
　画像保存サーバ２０４は、様々な医療画像のデータベースを格納しておく記憶装置の役割を果たす。画像保存サーバ２０４に代えて、クラウドストレージであってもよい。画像保存サーバ２０４には、医療画像の他に、医療画像に含まれる注目領域（関心領域）、注目すべき対象の有無、画像分類の結果などの画像解析結果を記憶してもよい。
　なお、図１６には、１つの内視鏡システム１０を示したが、電気通信回線２３０には、複数の内視鏡システムを接続し得る。また、電気通信回線２３０には、内視鏡システムに限らず、超音波診断装置など、他の医療画像撮影装置が接続されてもよい。超音波診断装置から得られる超音波画像は「医療画像」の一例である。医療画像撮影装置は、例えば、Ｘ線撮影装置、ＣＴ撮影装置、ＭＲＩ（magnetic resonance imaging）撮影装置、核医学診断装置、若しくは、眼底カメラのうちの１つ又は組み合わせであってよい。
　情報管理装置２１０は、例えば、コンピュータのハードウェア及びソフトウェアによって実現される。情報管理装置２１０には、表示装置２１８と入力装置２１９が接続されている。情報管理装置２１０は、図４に示した医療画像処理装置１６０の機能の一部又は全部を含んでよい。例えば、情報管理装置２１０は、図４に示した画像取得部１６２、可否判定部１６４、動き推定部１６６、所作判定部１６８、分類部１７０及び報知制御部１７２の機能を含む。
　図１６に示す表示装置２１８は、報知部１７４として機能し得る。情報管理装置２１０の機能は、１台又は複数台のコンピュータによって実現することができ、また、クラウドコンピューティングによって実現することもできる。情報管理装置２１０は、画像保存サーバ２０４の機能を含んでいてもよい。また、画像取込端末２０２は、画像取得部１６２として機能し得る。なお、画像取込端末２０２を省略した構成も可能であり、その場合、画像保存サーバ２０４及び／又は情報管理装置２１０がプロセッサ装置１６から医療画像を取り込むよう構成される。
　本実施形態に係る医療情報管理システム２００によれば、電子内視鏡１２からリアルタイムで得られる医療画像に限らず、画像保存サーバ２０４に保存されている動画等の再生の際にも、図１５で説明したフローチャートの処理を行うことができる。
　情報管理装置２１０は、例えば、病院内の手術室、検査室、若しくは、カンファレンス室などに設置してもよいし、院外施設の医療機関、若しくは研究機関などに設置してもよい。情報管理装置２１０は、診察、治療、診断などの支援を行うワークステーションであってもよいし、医療業務を支援する業務支援装置であってもよい。業務支援装置は、臨床情報の蓄積、診断書類の作成支援、レポート作成支援などを行う機能を備えていてよい。情報管理装置２１０は本開示における「医療画像処理装置」の一例である。医療情報管理システム２００は本開示における「診断支援装置」の一例である。
　《各処理部及び制御部のハードウェア構成について》
　図４で説明した医療画像処理装置１６０の画像取得部１６２、可否判定部１６４、動き推定部１６６、所作判定部１６８、分類部１７０、及び報知制御部１７２などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。
　各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、若しくは、ＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　《変形例１》
　電子内視鏡は、軟性内視鏡に限らず、硬性内視鏡であってもよいし、カプセル内視鏡であってもよい。また、被写体像を含む時系列の医療画像を生成する装置は、電子内視鏡に限らず、例えば、超音波診断装置などであってもよい。
　《変形例２》
　本開示の医療画像処理装置は、医師等による診察、治療、又は診断などを支援する診断支援装置として用いることができる。「診断支援」という用語は、診察支援、及び／又は治療支援の概念を含む。
　《内視鏡システムの観察光について》
　観察光は、白色光、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。白色光は、白色の波長帯域の光又は複数の波長帯域の光である。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。
　〈第１例〉
　特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域内又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。
　〈第２例〉
　特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下の波長帯域又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍの波長帯域内以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。
　〈第３例〉
　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍの波長帯域、４７０±１０ｎｍの波長帯域、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域内にピーク波長を有する。
　〈第４例〉
　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ、且つこの蛍光物質を励起させる励起光の波長帯域、例えば、３９０ｎｍから４７０ｎｍである。
　〈第５例〉
　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域内又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域内にピーク波長を有する。
　《観察光の切り替えについて》
　光源の種類は、レーザ光源、キセノン光源、若しくは、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）又はこれらの適宜の組み合わせを採用し得る。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ及び／又は切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。
　電子内視鏡に用いる撮像素子は、各画素に対しカラーフィルタが配置されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、照明光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する照明光の波長を、紫色、青色、緑色、及び赤色の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する照明光の波長を切り替えてもよい。また、１又は複数の狭帯域光を照射してロータリカラーフィルタにより出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光でもよい。
　《特殊光画像の生成例》
　プロセッサ装置１６は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成には「取得」の概念が含まれる。この場合、プロセッサ装置１６は、特殊光画像取得部として機能する。プロセッサ装置１６は、特定の波長帯域の信号を、通常光画像に含まれる赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）、或いはシアン（Ｃ）、マゼンタ（Ｍ）、及びイエロー（Ｙ）の色情報に基づく演算を行うことで得ることができる。
　《特徴量画像の生成例》
　プロセッサ装置１６は、医療画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。特徴量画像は医療画像の一形態である。
　《コンピュータに医療画像処理装置の機能を実現させるプログラムについて》
　上述の実施形態で説明した医療画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
　また、上述の実施形態で説明した医療画像処理装置の機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。
　《実施形態及び変形例等の組み合わせについて》
　上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
　《付記》
　本明細書は、上述した各実施形態及び変形例等に加えて、以下に記載の発明の開示を含む。
　（付記１）
　医療画像処理装置は、医療画像解析処理部と、医療画像解析結果取得部と、を有し、医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　医療画像解析処理部は、画像認識部を含んでよい。
　（付記２）
　医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
　（付記３）
　医療画像解析結果取得部は、医療画像の解析結果を記録する記録装置から取得し、解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、若しくは両方である医療画像処理装置。
　（付記４）
　医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
　（付記５）
　医療画像は、特定の波長帯域の光を照射して得た画像であり、特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
　（付記６）
　特定の波長帯域は、可視域の青色若しくは、緑色帯域である医療画像処理装置。
　（付記７）
　特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　（付記８）
　特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
　（付記９）
　特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
　（付記１０）
　特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
　（付記１１）
　特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　（付記１２）
　医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
　（付記１３）
　蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
　（付記１４）
　医療画像は生体内を写した生体内画像であり、特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
　（付記１５）
　特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
　（付記１６）
　医療画像取得部は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、医療画像は特殊光画像である医療画像処理装置。
　（付記１７）
　特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ或いはＣＭＹの色情報に基づく演算により得る医療画像処理装置。
　（付記１８）
　白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医療画像は特徴量画像である医療画像処理装置。
　（付記１９）
　付記１から付記１８のいずれか１つに記載の医療画像処理装置と、白色の波長帯域の光、又は、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、を備える内視鏡装置。
　（付記２０）
　付記１から付記１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
　（付記２１）
　付記１から付記１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
　［その他］
　以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、又は削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で同等関連分野の通常の知識を有する者により、多くの変形が可能である。
１０　内視鏡システム
１２　電子内視鏡
１４　光源装置
１６　プロセッサ装置
１８　表示装置
１９　入力装置
２０　挿入部
２２　先端硬質部
２２Ａ　先端面
２４　湾曲部
２６　軟性部
３０　操作部
３１　アングルノブ
３２　送気送水ボタン
３３　吸引ボタン
３４　モード切替スイッチ
３５　ズーム操作部
３６　処置具導入口
４０　ユニバーサルコード
４２　コネクタ
４２Ａ　ビデオコネクタ
４２Ｂ　ライトガイドコネクタ
４２Ｃ　送水コネクタ
４４　送水タンク
５０　照明窓
５２　観察窓
５４　鉗子出口
５６　送気送水用ノズル
６０　対物光学系
６２　撮像素子
６４　アナログフロントエンド回路
６５　タイミングジェネレータ
６６　ＣＰＵ
６８　撮像チップ
７０　ＣＰＵ
７２　ＲＯＭ
７４　ＲＡＭ
７６　デジタル信号処理回路
７８　表示制御回路
１００　第１光源
１０１　第１光源駆動回路
１０２　第２光源
１０３　第２光源駆動回路
１０５　合波部
１２０　ライトガイド
１２１　入射端
１２２　出射端
１２４　蛍光体
１６０　医療画像処理装置
１６２　画像取得部
１６４　可否判定部
１６４Ａ　認識部
１６６　動き推定部
１６７　データベース
１６８　所作判定部
１６９　記憶部
１７０　分類部
１７２　報知制御部
１７４　報知部
１８２　病変
１８４　泡
２００　医療情報管理システム
２０２　画像取込端末
２０４　画像保存サーバ
２１０　情報管理装置
２１８　表示装置
２１９　入力装置
２３０　電気通信回線
ＩＭ１、ＩＭ２、ＩＭ３　画像
ＩＭ（ｔ）　現在の画像
ＩＭ（ｔ－１）　過去画像
ＩＭ（ｔ＋１）　次のフレームの画像
Ｓ１１～Ｓ２２　医療画像処理装置における処理のステップ

Claims (23)

  1. 　被写体像を含む時系列の複数の画像を取得する画像取得部と、
    　前記画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、
    　前記画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、
    　前記動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、
    　前記画像取得部から得られた画像を認識して分類処理を行う分類部と、
    　前記所作判定部から得られた所作情報及び前記分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、
    　を備える医療画像処理装置。
  2. 　前記不適な画像は、被写体がボケている画像である請求項１に記載の医療画像処理装置。
  3. 　前記不適な画像は、被写体がブレている画像である請求項１に記載の医療画像処理装置。
  4. 　前記不適な画像は、被写体に水がかぶっている画像である請求項１に記載の医療画像処理装置。
  5. 　前記不適な画像は、被写体に残渣がある画像である請求項１に記載の医療画像処理装置。
  6. 　前記可否判定部は、前記画像取得部から得られた画像が認識に不適な画像であるか否かを認識する認識部を含む請求項１から５のいずれか一項に記載の医療画像処理装置。
  7. 　前記可否判定部が前記不適な画像であると判定した画像について、前記動き推定部及び前記所作判定部における処理を不実施とする請求項１から６のいずれか一項に記載の医療画像処理装置。
  8. 　前記可否判定部が前記不適な画像であると判定した画像について、前記分類部における前記分類処理を不実施とする請求項１から７のいずれか一項に記載の医療画像処理装置。
  9. 　前記動き情報は、動きベクトルを含み、
    　前記所作判定部は、前記動きベクトルの大きさを基にユーザーの所作を判定する請求項１から８のいずれか一項に記載の医療画像処理装置。
  10. 　前記所作判定部は、前記動き情報とユーザーの所作との対応関係が規定されたデータベースを用いて前記所作を判定する請求項１から９のいずれか一項に記載の医療画像処理装置。
  11. 　前記データベースを記憶しておく記憶部を備える請求項１０に記載の医療画像処理装置。
  12. 　前記所作は、鑑別の所作を含む請求項１から１１のいずれか一項に記載の医療画像処理装置。
  13. 　前記報知制御部は、前記所作判定部の判定結果が前記鑑別の所作に非該当の画像について、前記分類部の分類結果を非報知とする請求項１２に記載の医療画像処理装置。
  14. 　前記分類部は、前記画像取得部から得られた画像から病変の領域を認識し、かつ、前記病変のクラス分類を行う請求項１から１３のいずれか一項に記載の医療画像処理装置。
  15. 　前記分類部は、畳み込みニューラルネットワークを用いて構成される請求項１から１４のいずれか一項に記載の医療画像処理装置。
  16. 　前記報知制御部の制御に基づき、前記分類部の分類結果を報知する報知部を備える請求項１から１５のいずれか一項に記載の医療画像処理装置。
  17. 　前記時系列の複数の画像の各々は、電子内視鏡を用いて撮影される内視鏡画像である請求項１から１６のいずれか一項に記載の医療画像処理装置。
  18. 　被写体像を含む時系列の複数の画像を取得する画像取得工程と、
    　前記画像取得工程から得られた画像が認識に不適な画像であるか否かを判定する可否判定工程と、
    　前記画像取得工程から得られた２つ以上の画像から動き推定を行う動き推定工程と、
    　前記動き推定工程から得られた動き情報を基に、ユーザーの所作を判定する所作判定工程と、
    　前記画像取得工程から得られた画像を認識して分類処理を行う分類工程と、
    　前記所作判定工程から得られた所作情報及び前記分類工程から得られた分類結果を基に、報知情報を制御する報知制御工程と、
    　を含む医療画像処理方法。
  19. 　体腔内を撮影する電子内視鏡と、
    　前記電子内視鏡から得られる画像信号を処理するプロセッサ装置と、
    を含む内視鏡システムであって、
    　前記プロセッサ装置は、
    　前記電子内視鏡を用いて撮影された被写体像を含む時系列の複数の画像を取得する画像取得部と、
    　前記画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、
    　前記画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、
    　前記動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、
    　前記画像取得部から得られた画像を認識して分類処理を行う分類部と、
    　前記所作判定部から得られた所作情報及び前記分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、
    　を備える内視鏡システム。
  20. 　電子内視鏡から得られる画像信号を処理するプロセッサ装置であって、
    　前記電子内視鏡を用いて撮影された被写体像を含む時系列の複数の画像を取得する画像取得部と、
    　前記画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、
    　前記画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、
    　前記動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、
    　前記画像取得部から得られた画像を認識して分類処理を行う分類部と、
    　前記所作判定部から得られた所作情報及び前記分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、
    　を備えるプロセッサ装置。
  21. 　被写体像を含む時系列の複数の画像を取得する画像取得部と、
    　前記画像取得部から得られた画像が認識に不適な画像であるか否かを判定する可否判定部と、
    　前記画像取得部から得られた２つ以上の画像から動き推定を行う動き推定部と、
    　前記動き推定部から得られた動き情報を基に、ユーザーの所作を判定する所作判定部と、
    　前記画像取得部から得られた画像を認識して分類処理を行う分類部と、
    　前記所作判定部から得られた所作情報及び前記分類部から得られた分類結果を基に、報知情報を制御する報知制御部と、
    　前記報知制御部の制御に基づき、前記分類部の分類結果を含む情報を報知する報知部と、
    　を備える診断支援装置。
  22. 　コンピュータに、
    　被写体像を含む時系列の複数の画像を取得する画像取得工程と、
    　前記画像取得工程から得られた画像が認識に不適な画像であるか否かを判定する可否判定工程と、
    　前記画像取得工程から得られた２つ以上の画像から動き推定を行う動き推定工程と、
    　前記動き推定工程から得られた動き情報を基に、ユーザーの所作を判定する所作判定工程と、
    　前記画像取得工程から得られた画像を認識して分類処理を行う分類工程と、
    　前記所作判定工程から得られた所作情報及び前記分類工程から得られた分類結果を基に、報知情報を制御する報知制御工程と、
    　を実行させるプログラム。
  23. 　非一時的かつコンピュータ読取可能な記憶媒体であって、前記記憶媒体に格納された指令がコンピュータによって読み取られた場合に、
    　被写体像を含む時系列の複数の画像を取得する画像取得工程と、
    　前記画像取得工程から得られた画像が認識に不適な画像であるか否かを判定する可否判定工程と、
    　前記画像取得工程から得られた２つ以上の画像から動き推定を行う動き推定工程と、
    　前記動き推定工程から得られた動き情報を基に、ユーザーの所作を判定する所作判定工程と、
    　前記画像取得工程から得られた画像を認識して分類処理を行う分類工程と、
    　前記所作判定工程から得られた所作情報及び前記分類工程から得られた分類結果を基に、報知情報を制御する報知制御工程と、
    　をコンピュータに実行させる記憶媒体。
PCT/JP2019/034791 2018-09-11 2019-09-04 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム WO2020054543A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020545949A JP7326308B2 (ja) 2018-09-11 2019-09-04 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018170038 2018-09-11
JP2018-170038 2018-09-11

Publications (1)

Publication Number Publication Date
WO2020054543A1 true WO2020054543A1 (ja) 2020-03-19

Family

ID=69777592

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034791 WO2020054543A1 (ja) 2018-09-11 2019-09-04 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム

Country Status (2)

Country Link
JP (1) JP7326308B2 (ja)
WO (1) WO2020054543A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199961A1 (ja) * 2020-03-30 2021-10-07 テルモ株式会社 コンピュータプログラム、情報処理方法及び情報処理装置
JPWO2022065301A1 (ja) * 2020-09-24 2022-03-31
WO2023026538A1 (ja) * 2021-08-27 2023-03-02 ソニーグループ株式会社 医療支援システム、医療支援方法及び評価支援装置
WO2023053991A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム
EP4285810A4 (en) * 2021-01-27 2024-06-12 FUJIFILM Corporation DEVICE, METHOD AND PROGRAM FOR PROCESSING MEDICAL IMAGES
WO2024166731A1 (ja) * 2023-02-07 2024-08-15 富士フイルム株式会社 画像処理装置、内視鏡、画像処理方法、及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512173A (ja) * 2006-08-21 2010-04-22 エスティーアイ・メディカル・システムズ・エルエルシー 内視鏡からの映像を用いるコンピュータ支援解析
JP2014188222A (ja) * 2013-03-27 2014-10-06 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2015146970A (ja) * 2014-02-07 2015-08-20 国立大学法人広島大学 内視鏡画像診断支援システム
JP2016158682A (ja) * 2015-02-27 2016-09-05 Hoya株式会社 画像処理装置
WO2018105063A1 (ja) * 2016-12-07 2018-06-14 オリンパス株式会社 画像処理装置
US20180225820A1 (en) * 2015-08-07 2018-08-09 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
WO2018159461A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6629639B2 (ja) * 2016-03-07 2020-01-15 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010512173A (ja) * 2006-08-21 2010-04-22 エスティーアイ・メディカル・システムズ・エルエルシー 内視鏡からの映像を用いるコンピュータ支援解析
JP2014188222A (ja) * 2013-03-27 2014-10-06 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP2015146970A (ja) * 2014-02-07 2015-08-20 国立大学法人広島大学 内視鏡画像診断支援システム
JP2016158682A (ja) * 2015-02-27 2016-09-05 Hoya株式会社 画像処理装置
US20180225820A1 (en) * 2015-08-07 2018-08-09 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
WO2018105063A1 (ja) * 2016-12-07 2018-06-14 オリンパス株式会社 画像処理装置
WO2018159461A1 (ja) * 2017-03-03 2018-09-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021199961A1 (ja) * 2020-03-30 2021-10-07 テルモ株式会社 コンピュータプログラム、情報処理方法及び情報処理装置
JP7561833B2 (ja) 2020-03-30 2024-10-04 テルモ株式会社 コンピュータプログラム、情報処理方法及び情報処理装置
JPWO2022065301A1 (ja) * 2020-09-24 2022-03-31
WO2022065301A1 (ja) * 2020-09-24 2022-03-31 富士フイルム株式会社 医療画像装置及びその作動方法
JP7478245B2 (ja) 2020-09-24 2024-05-02 富士フイルム株式会社 医療画像装置及びその作動方法
EP4285810A4 (en) * 2021-01-27 2024-06-12 FUJIFILM Corporation DEVICE, METHOD AND PROGRAM FOR PROCESSING MEDICAL IMAGES
WO2023026538A1 (ja) * 2021-08-27 2023-03-02 ソニーグループ株式会社 医療支援システム、医療支援方法及び評価支援装置
WO2023053991A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム
WO2024166731A1 (ja) * 2023-02-07 2024-08-15 富士フイルム株式会社 画像処理装置、内視鏡、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2020054543A1 (ja) 2021-08-30
JP7326308B2 (ja) 2023-08-15

Similar Documents

Publication Publication Date Title
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP7383105B2 (ja) 医療画像処理装置及び内視鏡システム
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
US11992178B2 (en) Image processing device, endoscope system, and image processing method
US12114832B2 (en) Medical image processing device, endoscope system, medical image processing method, and program
JPWO2019054045A1 (ja) 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
JP2010172673A (ja) 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
JP6941233B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2020162275A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2020170809A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理方法
CN116745861B (zh) 通过实时影像获得的病变判断系统的控制方法、装置及记录媒介
US20210366593A1 (en) Medical image processing apparatus and medical image processing method
JP7289241B2 (ja) ファイリング装置、ファイリング方法及びプログラム
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
US20230410304A1 (en) Medical image processing apparatus, medical image processing method, and program
CN114627045A (zh) 医用图像处理系统、医用图像处理系统的工作方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19858928

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020545949

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19858928

Country of ref document: EP

Kind code of ref document: A1