WO2019138772A1 - 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、プロセッサ装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2019138772A1
WO2019138772A1 PCT/JP2018/045952 JP2018045952W WO2019138772A1 WO 2019138772 A1 WO2019138772 A1 WO 2019138772A1 JP 2018045952 W JP2018045952 W JP 2018045952W WO 2019138772 A1 WO2019138772 A1 WO 2019138772A1
Authority
WO
WIPO (PCT)
Prior art keywords
score map
image
score
map
calculation
Prior art date
Application number
PCT/JP2018/045952
Other languages
English (en)
French (fr)
Inventor
正明 大酒
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019564350A priority Critical patent/JP7122328B2/ja
Publication of WO2019138772A1 publication Critical patent/WO2019138772A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an image processing device, a processor device, an image processing method, and a program, and more particularly to recognition of a region of interest in an endoscopic image.
  • An examination using an endoscope system is performed in the medical field.
  • a system which performs automatic recognition of a region of interest such as a lesion included in an endoscopic image by image analysis.
  • An endoscope system performs imaging of the inside of a body cavity using an imaging device provided at the tip of a scope.
  • the imaging device moves inside the body cavity, and sequentially images the inside of the body cavity.
  • a scope is synonymous with an endoscope.
  • the imaging device outputs the captured endoscopic image to a monitor.
  • Patent Document 1 generates a likelihood map for each of the reference image and the reference image, weights the difference between the reference image and the reference image using the likelihood, and generates a focused area of the reference image and the reference image.
  • An X-ray diagnostic apparatus is described which calculates the degree of dissimilarity with the candidate region of.
  • Patent Document 2 describes an image processing apparatus that determines a specific area from an observation image of an endoscope.
  • the discrimination criterion used for discrimination of the specific region is created based on the weighted average of the initial value of the discrimination criterion and the feature amount of the specific region in the image that has already been discriminated.
  • blurring, blurring or the like of the subject image may occur due to the effects of scope operation, liquid feeding, residuals, and the like.
  • a phenomenon such as blurring or blurring of the subject image may lead to an erroneous recognition of the attention area.
  • the region of interest is a lesion
  • the presence of a structure similar to the lesion may lead to misrecognition of the lesion.
  • a reference image is generated based on projection data acquired by transmitting an X-ray to an object in the first imaging direction.
  • the reference image is generated based on projection data acquired by transmitting X-rays to the object in the second imaging direction.
  • Patent Document 1 generates a likelihood map for each of a plurality of X-ray transmission images obtained by transmitting X-rays to the same object at a plurality of viewpoints with different imaging directions. Therefore, it does not recognize the attention area of the endoscopic image which is a time-series medical image.
  • Patent Document 2 The invention described in Patent Document 2 is to create a discrimination reference used for discrimination of a specific area in consideration of individual differences among subjects, differences in observation positions, etc. There is a concern that misidentification of a specific area may occur if
  • the present invention has been made in view of such circumstances, and provides an image processing device, a processor device, an image processing method, and a program that can suppress erroneous recognition when recognizing a region of interest from an endoscopic image.
  • the purpose is
  • the image processing apparatus represents a distribution of scores of regions of interest likeness with respect to two or more medical images acquired using an image acquisition unit that acquires a plurality of medical images in time series and the image acquisition unit.
  • the score map generation unit that generates the score map
  • the score map storage unit that stores the score map
  • the score map stored in the score map storage unit the score map of the attention time and at least one score past the attention time
  • a score map calculation unit that generates one calculation score map from the map and the image processing apparatus.
  • a map which is a distribution of scores indicating the likelihood of a region of interest, is generated for a plurality of time-series medical images.
  • One operation score map is generated from the score map of the attention time and at least one score map past the attention time.
  • an endoscope image obtained by imaging the inside of a body cavity using an endoscope can be mentioned.
  • the endoscopic image may be a moving image or a time-series still image.
  • the score may be a number obtained by normalizing the numbers in any numerical range. As an example of normalization, there is an example of dividing a numerical value represented using 0 to 255 by 255.
  • the score map may apply an image representing a score using tone values, colors, and densities.
  • the score map is preferably one in which position information of a medical image is held.
  • An example of an operation at the time of generating the operation score map is an operation of calculating an average value such as an arithmetic average operation.
  • the image processing apparatus is an image processing apparatus including one or more processors and one or more memories, wherein the processor acquires a plurality of medical images in time series and an image acquisition unit A score map representing the distribution of scores of attention area likeness is generated for two or more medical images acquired by using, and one operation is performed from the score map of attention time and at least one score map past the attention time
  • the score map may be generated and the memory may be configured as an image processing device that stores the score map.
  • the score map generation unit may be configured to generate a score map using a convolution neural network.
  • recognition of a region of interest based on a score map generated using a convolution neural network is possible.
  • the score map calculation unit may be configured to generate a calculation score map by performing a weighted average calculation on the calculation target score map.
  • a weighted average operation is performed on the score map to generate an operation score map.
  • the display control unit may be configured to cause the display device for displaying the medical image to display a notification image representing the attention area based on the operation score map.
  • the region of interest in the medical image displayed on the display device can be visually recognized.
  • Examples of the notification image include a bounding box surrounding the region of interest, and a heat map representing the region of interest and another region using differences in color or color intensity.
  • the display control unit may be configured to superimpose the notification image on the medical image and to display the notification image offset from the position of the attention area of the medical image.
  • the fifth aspect it is possible to superimpose a notification image on a medical image without reducing the visibility of the attention area.
  • the notification image when the medical image is stopped, the notification image may be superimposed and displayed at the position of the attention area.
  • a sixth aspect is the image processing device according to the fourth aspect, wherein the score map calculation unit performs a weighted average calculation using a weight that relatively reduces the influence of the score map of the attention time on the calculation score map and calculates a calculation score
  • the map may be generated, and the display control unit may be configured to superimpose and display the notification image generated based on the operation score map on the medical image.
  • the influence of the score map of the attention time in the operation score map can be relatively reduced.
  • the notification image can follow the position of interest of the medical image in a delayed manner.
  • a weighted average operation parameter setting unit may be provided to set parameters such as weights applied to the weighted average operation.
  • the weighted average calculation parameter setting unit may set a parameter to be applied to the weighted average calculation based on the information input through the input interface.
  • the score map calculation unit performs weighted average calculation with the weight of the score map of the attention time being less than the arithmetic average of the weights of the score map in the past than the attention time
  • the calculation score map may be generated.
  • the seventh aspect it is possible to realize a weight that relatively reduces the influence of the score map of the attention time in the operation score map.
  • the score map calculation unit generates a calculation score map by performing a weighted average calculation of applying the minimum value of weights used in the weighted average calculation to the score map of the time of interest. It may be configured to
  • the influence of the score map of the attention time in the operation score map is the same as the influence of the score map of the past time than the attention time, or less than the influence of the score map of the past time than the attention time It is possible to
  • a ninth aspect relates to the image processing device according to any one of the first aspect to the eighth aspect, wherein the score map calculation unit determines that two or more defined number of score maps of the time series including the score map of the time of interest When stored in the score map storage unit, the operation score map may be generated for two or more defined number of score maps in time series, including the score map of the attention time.
  • the ninth aspect it is possible to generate an operation score map based on a defined number of score maps. Thereby, it is possible to maintain the degree of influence of the score map of the attention time in the operation score map.
  • the ninth aspect may be configured to include a display processing unit that causes a display device that displays a medical image to display a notification image representing a region of interest based on a calculation score map.
  • the image acquiring unit may be configured to acquire an observation image acquired using an endoscope.
  • the processor device is obtained by imaging using an endoscope control unit that controls the operation of the endoscope, an imaging control unit that controls imaging using the endoscope, and the endoscope.
  • An image processing unit configured to process the endoscopic image, the image processing unit acquiring an endoscopic image as a plurality of time-series medical images, and 2 acquired using the image acquiring unit
  • a score map generation unit that generates a score map representing the distribution of scores of attention area likelihood for one or more medical images
  • a score map storage unit that stores the score map
  • a score map stored in the score map storage unit It is a processor apparatus provided with the score map operation part which generates one operation score map from the score map of time, and at least one score map before the attention time.
  • the same matters as the matters identified in the second to tenth aspects can be combined as appropriate.
  • the component carrying the processing or function specified in the image processing apparatus can be grasped as the component of the processor carrying the processing or function corresponding thereto.
  • the processor unit is a processor unit comprising one or more processors and one or more memories, wherein the processor controls the operation of the endoscope and performs imaging using the endoscope Control an endoscope image, process an endoscope image obtained by imaging using an endoscope, and obtain an endoscope image as a plurality of time-series medical images, and obtain 2 using an image acquisition unit.
  • a score map representing the distribution of scores of attention area likelihood for one or more medical images, and for the score map stored in the score map storage unit, the score map of attention time and at least one score past the attention time
  • One calculated score map may be generated from the maps, and the memory may constitute a processor unit for storing the score map.
  • An image processing method includes: an image acquiring step of acquiring a plurality of medical images in time series; and a score map representing a distribution of scores of attention area likelihood for two or more medical images acquired in the image acquiring step.
  • a score map calculation step of generating one calculation score map from the above.
  • the same matters as the matters identified in the second to tenth aspects can be combined as appropriate.
  • the component carrying the processing or function specified in the image processing apparatus can be grasped as the component of the image processing method carrying the processing or function corresponding thereto.
  • the program according to the thirteenth aspect represents, on a computer, the distribution of scores of regions of interest likeness for two or more medical images acquired using an image acquisition function for acquiring a plurality of time-series medical images and an image acquisition function.
  • the score map generation function that generates a score map
  • the score map storage function that stores the score map
  • the score map stored using the score map storage function the score map of the attention time and at least one past the attention time
  • the same matters as the matters identified in the second to tenth aspects can be combined as appropriate.
  • the component carrying the processing or function specified in the image processing apparatus can be grasped as the component of the program carrying the processing or function corresponding thereto.
  • a map which is a distribution of scores representing the likelihood of a region of interest, is generated for a plurality of time-series medical images.
  • One operation score map is generated from the score map of the attention time and at least one score map past the attention time.
  • FIG. 1 is a schematic view showing an entire configuration of an endoscope system.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the image processing apparatus.
  • FIG. 3 is a functional block diagram showing functions of the image processing apparatus.
  • FIG. 4 is a functional block diagram showing the function of the image analysis processing unit shown in FIG.
  • FIG. 5 is a schematic view of a score map.
  • FIG. 6 is a schematic view of the operation score map.
  • FIG. 7 is a schematic view of an endoscope image showing an example of notification of a region of interest during moving image observation.
  • FIG. 8 is a schematic view of an endoscopic image showing an example of notification of a region of interest during still image observation.
  • FIG. 9 is a flowchart showing the flow of the image processing method.
  • FIG. 1 is a schematic view showing an entire configuration of an endoscope system.
  • An endoscope system 9 illustrated in FIG. 1 includes an endoscope 10, a light source device 11, a processor device 12, a display device 13, an image processing device 14, an input device 15, and a monitor device 16.
  • the endoscope system 9 is communicably connected to the storage device 18 via the network 17.
  • the endoscope 10 is an electronic endoscope.
  • the endoscope 10 is a flexible endoscope.
  • the endoscope 10 includes an insertion unit 20, an operation unit 21, and a universal cord 22.
  • the insertion unit 20 is inserted into the subject.
  • the insertion part 20 is formed in a long and narrow shape as a whole.
  • the insertion portion 20 includes a flexible portion 25, a bending portion 26, and a tip portion 27.
  • the insertion portion 20 is configured by continuously connecting the flexible portion 25, the bending portion 26, and the distal end portion 27.
  • the flexible portion 25 has flexibility in order from the proximal side to the distal side of the insertion portion 20.
  • the bending portion 26 has a structure that can be bent when the operation portion 21 is operated.
  • the distal end portion 27 incorporates an imaging optical system and an imaging device 28 which are not shown.
  • CMOS is an abbreviation of Complementary Metal Oxide Semiconductor.
  • CCD is an abbreviation of Charge Coupled Device.
  • An observation window (not shown) is disposed on the distal end surface 27 a of the distal end portion 27.
  • the observation window is an opening formed in the distal end surface 27 a of the distal end portion 27.
  • An imaging optical system (not shown) is disposed behind the observation window. Reflected light from the region to be observed is incident on the imaging surface of the imaging element 28 through the observation window, the imaging optical system, and the like.
  • the imaging device 28 captures an image of the reflected light from the region to be observed that has entered the imaging surface of the imaging device 28, and outputs an imaging signal.
  • imaging as used herein includes the meaning of converting the reflected light from the observation site into an electrical signal.
  • the operation unit 21 is continuously provided on the proximal end side of the insertion unit 20.
  • the operation unit 21 includes various operation members operated by the operator. Specifically, the operation unit 21 includes two types of bending operation knobs 29.
  • the bending operation knob 29 is used when bending the bending portion 26. Note that the operator may be called a doctor, an operator, a user, or the like.
  • the operation unit 21 includes an air / water supply button 30 and a suction button 31.
  • the air / water supply button 30 is used when the operator performs an air / water supply operation.
  • the suction button 31 is used when the operator performs a suction operation.
  • the operation unit 21 includes a still image capturing instruction unit 32 and a treatment instrument introduction port 33.
  • the still image imaging instruction unit 32 is operated by the operator when imaging a still image of the region to be observed.
  • the treatment instrument introduction port 33 is an opening for inserting the treatment instrument into the inside of the treatment instrument insertion path passing through the inside of the insertion portion 20. The treatment tool insertion path and the treatment tool are not shown.
  • the still image is shown in FIG. 3 with reference numeral 38c.
  • the universal cord 22 is a connection cord that connects the endoscope 10 to the light source device 11.
  • the universal cord 22 includes the light guide 35 passing through the inside of the insertion portion 20, the signal cable 36, and a fluid tube (not shown).
  • the tip of the universal cord 22 includes a connector 37 a connected to the light source device 11 and a connector 37 b branched from the connector 37 a and connected to the processor device 12.
  • the connector 37 a When the connector 37 a is connected to the light source device 11, the light guide 35 and a fluid tube (not shown) are inserted into the light source device 11. Thereby, necessary illumination light, water, and gas are supplied from the light source device 11 to the endoscope 10 through the light guide 35 and the fluid tube (not shown).
  • illumination light is emitted from the illumination window (not shown) of the distal end surface 27 a of the distal end portion 27 toward the region to be observed.
  • gas or water is jetted from the air / water / water supply nozzle (not shown) of the distal end surface 27a of the distal end portion 27.
  • the signal cable 36 and the processor unit 12 are electrically connected.
  • an imaging signal of a region to be observed is output from the imaging element 28 of the endoscope 10 to the processor 12 through the signal cable 36, and a control signal is output from the processor 12 to the endoscope 10.
  • a flexible endoscope has been described as an example of the endoscope 10, but various types of electronic devices capable of moving picture imaging of a region to be observed such as a rigid endoscope are described as the endoscope 10 An endoscope may be used.
  • the light source device 11 supplies illumination light to the light guide 35 of the endoscope 10 via the connector 37a.
  • the illumination light may be white light or light of a specific wavelength band.
  • the illumination light may combine white light and light of a specific wavelength band.
  • the light source device 11 is configured to be able to appropriately select light of a wavelength band according to the purpose of observation as illumination light.
  • the processor device 12 controls the operation of the endoscope 10 via the connector 37 b and the signal cable 36. Further, the processor device 12 acquires an imaging signal from the imaging element 28 of the endoscope 10 via the connector 37 b and the signal cable 36. The processor unit 12 applies a specified frame rate to acquire an imaging signal output from the endoscope 10.
  • the processor device 12 generates an endoscopic image 38 which is an observation image of a region to be observed, based on the imaging signal acquired from the endoscope 10.
  • the endoscopic image 38 here includes a moving image.
  • the endoscopic image 38 may include a still image.
  • the moving image is shown in FIG. 3 with reference numeral 38a.
  • the processor device 12 When the still image imaging instruction unit 32 of the operation unit 21 is operated, the processor device 12 generates a still image of the region to be observed based on the imaging signal acquired from the imaging device 28 in parallel with the generation of the moving image.
  • the still image may be generated at a high resolution relative to the resolution of the moving image.
  • the processor device 12 performs image quality correction to which digital signal processing such as white balance adjustment and shading correction is applied.
  • the processor unit 12 may add incidental information defined by the DICOM standard to the endoscopic image 38.
  • DICOM is an abbreviation of Digital Imaging and Communications in Medicine.
  • the endoscopic image 38 is an in-vivo image obtained by imaging the inside of a subject, that is, the inside of a body cavity.
  • the processor device 12 outputs the generated endoscopic image 38 to each of the display device 13 and the image processing device 14.
  • the processor unit 12 may output the endoscopic image 38 to the storage unit 18 via the network 17 in accordance with a communication protocol conforming to the DICOM standard.
  • the display device 13 is connected to the processor device 12.
  • the display device 13 displays the endoscopic image 38 transmitted from the processor device 12. While checking the endoscopic image 38 displayed on the display device 13, the operator can perform the advancing / retracting operation of the insertion unit 20 or the like. When a surgeon detects a lesion or the like in the observed region, the operator can operate the still image imaging instruction unit 32 to image a still image of the observed region.
  • the image processing apparatus 14 uses a computer.
  • the connection between the input device 15 and the computer may be either a wired connection or a wireless connection.
  • the monitor device 16 uses various monitors connectable to a computer.
  • a diagnosis support apparatus such as a workstation and a server apparatus may be used.
  • the input device 15 and the monitor device 16 are provided for each of a plurality of terminals connected to a work station or the like.
  • a medical care operation support apparatus that supports creation of a medical report or the like may be used.
  • the image processing device 14 performs acquisition of the endoscopic image 38 and storage of the endoscopic image 38.
  • the image processing device 14 controls reproduction of the monitor device 16. That is, the image processing apparatus 14 includes an endoscopic image acquisition unit that acquires the endoscopic image 38, an image storage unit that stores the endoscopic image 38, and a display control unit that performs display control of the endoscopic image 38. Prepare.
  • the endoscopic image acquisition unit is shown in FIG.
  • the image storage unit is shown in FIG.
  • the display control unit is shown in FIG.
  • Storage of an image can be read as storage of an image.
  • Storage of an image here means non-temporary storage of an image.
  • the image processing device 14 may include a memory for primary storage for temporarily storing an image.
  • the input device 15 is used to input an operation instruction to the image processing device 14.
  • the monitor device 16 displays the endoscopic image 38 under the control of the image processing device 14.
  • the monitor device 16 may function as a display unit of various information in the image processing device 14.
  • the image processing apparatus 14 is connected to the storage device 18 via the network 17.
  • the DICOM format, the protocol conforming to the DICOM standard, etc. can be applied to the storage format of the image and the communication between the respective devices via the network 17.
  • image mentioned above includes the meaning of image data representing an image.
  • image as used herein means the image itself and / or image data.
  • the storage device 18 is applicable to storage etc. which stores data non-temporarily.
  • the storage device 18 may be managed using a server device (not shown).
  • the server apparatus can apply a computer that stores and manages various data.
  • the endoscope system 9 shown in the present embodiment uses the imaging device 28 provided at the distal end portion 27 of the endoscope 10 to image the inside of a body cavity.
  • the endoscope system 9 receives an endoscopic image 38 representing the captured inside of the body cavity.
  • the endoscope system 9 displays the endoscope image 38 received using the display device 13.
  • the endoscopic image 38 corresponds to an example of a medical image.
  • the image processing device 14 illustrated in the present embodiment generates, for each frame image of the endoscopic image 38, a score map that represents the distribution of the score of the attention area likeness.
  • the image processing device 14 performs weighted average processing on the score map of the time of interest and at least one score map past the time of interest to generate a calculation score map.
  • the region of interest is shown in FIG.
  • the image processing device 14 generates a bounding box based on the operation score map.
  • the image processing device 14 superimposes and displays the bounding box on the endoscopic image 38 displayed on the monitor device 16.
  • the frame image is shown in FIG. 3 with reference numeral 38b.
  • the score map is illustrated in FIG. 5 with reference numeral 39a.
  • the operation score map is illustrated in FIG. 6 with reference numeral 39b.
  • the bounding box is labeled 82 and illustrated in FIG.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the image processing apparatus.
  • the image processing apparatus 14 includes a control unit 1, a memory 2, a hard disk drive 3, a communication interface 4, an input controller 5, and a display controller 6.
  • the control unit 1 functions as a general control unit 40 of the image processing apparatus 14, various operation units, and a storage control unit.
  • the control unit 1 executes a program stored in a ROM (read only memory) included in the memory 2.
  • the control unit 1 may download a program from an external storage device via the communication interface 4 and execute the downloaded program.
  • the external storage device may be communicably connected to the image processing apparatus 14 via the network 17.
  • the control unit 1 uses a random access memory (RAM) provided in the memory 2 as an operation area, and executes various processes in cooperation with various programs. Thereby, various functions of the image processing apparatus 14 are realized.
  • RAM random access memory
  • the control unit 1 controls reading of data from the hard disk drive 3 and writing of data to the hard disk drive 3.
  • the controller 1 may include one or more processors.
  • FPGA Field Programmable Gate Array
  • PLD Programmable Logic Device
  • ASIC application specific integrated circuit
  • the control unit 1 can apply two or more processors of the same type.
  • the control unit 1 may use two or more FPGAs, or two PLDs.
  • the control unit 1 may apply two or more processors of different types.
  • the control unit 1 may apply one or more FPGAs and one or more ASICs.
  • the plurality of control units may be configured using one processor.
  • one processor is configured using a combination of one or more CPUs (Central Processing Unit) and software, and this processor functions as a plurality of control units.
  • CPUs Central Processing Unit
  • a GPU Graphics Processing Unit
  • software here is synonymous with a program.
  • computers such as client devices and server devices can be mentioned.
  • a form using a processor that realizes the functions of the entire system including the plurality of control units by one IC chip can be mentioned.
  • SoC System On Chip
  • IC is an abbreviation of Integrated Circuit.
  • control unit 1 is configured using one or more of various processors as a hardware structure.
  • the memory 2 includes a ROM (not shown) and a RAM (not shown).
  • the ROM stores various programs executed by the image processing apparatus 14.
  • the ROM stores parameters used for execution of various programs, files, and the like.
  • the RAM functions as a temporary storage area of data, a work area of the control unit 1, and the like.
  • the hard disk drive 3 stores various data non-temporarily. Specifically, the hard disk drive 3 stores an observation image of the endoscope 10 and a medical image or the like acquired from an external storage device such as the storage device 18 shown in FIG.
  • the hard disk drive 3 may be externally attached to the image processing apparatus 14.
  • a large capacity semiconductor memory device may be applied instead of or in combination with the hard disk drive 3.
  • the communication interface 4 performs data communication with an external device such as the storage device 18 shown in FIG. IF shown in FIG. 2 is after omission of interface.
  • the input controller 5 is an interface that receives signals transmitted from the input device 15 such as a keyboard and a mouse, and converts the signals into signals of the type applied to the image processing apparatus 14.
  • the display controller 6 is an interface that converts a signal representing an image generated by the image processing device 14 into a video signal to be displayed using the monitor device 16.
  • the display controller 6 transmits a video signal representing an image to the monitor device 16.
  • the hardware configuration of the image processing apparatus 14 illustrated in FIG. 2 is an example, and addition, deletion, and change can be made as appropriate.
  • FIG. 3 is a functional block diagram showing functions of the image processing apparatus.
  • the image processing apparatus 14 illustrated in FIG. 3 includes an overall control unit 40, an endoscope image acquisition unit 41, an image analysis processing unit 43, a display control unit 44, an input control unit 46, and a storage unit 47.
  • the general control unit 40, the endoscope image acquisition unit 41, the image analysis processing unit 43, the display control unit 44, the input control unit 46, and the storage unit 47 are communicably connected to each other via the communication signal line 68. . Each part will be described in detail below.
  • the overall control unit 40 integrally controls the endoscopic image acquisition unit 41, the image analysis processing unit 43, and the display control unit 44 based on the execution of the control program of the image processing apparatus 14.
  • the endoscope image acquisition unit 41 acquires an endoscope image 38 generated using the processor device 12 illustrated in FIG. 1.
  • the endoscopic image acquisition unit 41 may acquire an endoscopic image 38 stored in an external storage device.
  • the endoscope image acquisition unit 41 may acquire the endoscope image 38 described above via various information storage media such as a memory card.
  • the endoscope image acquisition unit 41 acquires a moving image 38a.
  • the endoscopic image acquisition unit 41 may acquire a time-series frame image 38b as the moving image 38a.
  • the endoscopic image acquisition unit 41 may acquire two or more still images 38c in time series.
  • the endoscopic image acquisition unit 41 acquires the still image 38c from the processor device 12 illustrated in FIG.
  • the endoscopic image acquisition unit 41 corresponds to an example of an image acquisition unit that acquires a plurality of medical images in time series.
  • the image analysis processing unit 43 executes analysis processing of the endoscopic image 38 acquired using the endoscopic image acquisition unit 41 using deep layer learning based on the deep layer learning algorithm 45. Details of analysis processing of the endoscopic image 38 will be described later.
  • the deep learning algorithm 45 is an algorithm including a known convolutional neural network method, an entire combined layer, and an output layer. Deep learning is sometimes called deep learning.
  • a convolutional neural network is an iterative process of convolutional and pooling layers.
  • Convolutional neural networks may be referred to as convolutional neural networks.
  • CNN convolutional neural network
  • CNN is an abbreviation of Convolutional Neural Network.
  • the display control unit 44 functions as a display driver that controls image display when reproducing the endoscopic image 38 using the monitor device 16.
  • the display control unit 44 may superimpose and display the still image 38 c captured during reproduction of the moving image 38 a on the moving image 38 a using the monitor device 16.
  • the display control unit 44 may superimpose a notification image or the like on the moving image 38 a or the still image 38 c being reproduced using the monitor device 16.
  • the input control unit 46 converts the signal input from the input device 15 into a signal of a format to be applied to the image processing device 14, and transmits the converted signal to the overall control unit 40.
  • the overall control unit 40 controls each unit of the image processing apparatus 14 based on the information input from the input device 15.
  • the storage unit 47 includes an image storage unit 48 and a program storage unit 49.
  • the image storage unit 48 stores the endoscopic image 38 acquired using the endoscopic image acquisition unit 41.
  • the image stored in the image storage unit 48 is read out to the image analysis processing unit 43 under the control of the overall control unit 40.
  • the program storage unit 49 stores various programs for operating the image processing apparatus 14. The various programs stored in the program storage unit 49 are read out to each unit under the control of the overall control unit 40.
  • FIG. 4 is a functional block diagram showing the function of the image analysis processing unit shown in FIG.
  • the image analysis processing unit 43 includes a score map generation unit 51, a score map storage unit 52, and a score map calculation unit 53.
  • the above-described units will be described in detail below.
  • the score map generation unit 51 generates a score map 39 a for each frame image 38 b of the endoscopic image 38.
  • the score map 39a is a distribution of scores representing the likelihood of a region of interest, including position information in each frame image 38b, for each frame image 38b.
  • the score can apply the continuous numerical value of 0 or more and 1 or less.
  • the score may be a number obtained by normalizing the numbers in any numerical range. As an example of normalization, there is an example of dividing a numerical value represented using 0 to 255 by 255.
  • a score of 0 indicates that it is not the most attention area. Also, a score of 1 indicates that the region of interest is most likely.
  • the score map generation unit 51 generates a score map 39a from each frame image 38b using a convolution neural network.
  • the score map generation unit 51 includes a machine learner using a convolution neural network. The machine learner outputs the score map 39a when the frame image 38b is input.
  • the machine learner is a machine learner that has been machine learned using learning data for 70 types of the attention area.
  • a known method can be applied to the score map 39a using a convolution neural network.
  • the details of the score map 39a using the convolution neural network are omitted.
  • Score map storage section The score map storage unit 52 stores the score map generated using the score map generation unit 51 in chronological order.
  • the image analysis processing unit 43 includes the score map storage unit 52 in the present embodiment, the score map storage unit 52 may use a memory provided outside the image analysis processing unit 43.
  • ⁇ Score map operation unit> When the score map storage unit 52 stores the specified number of score maps 39a, the score map calculation unit 53 generates a score map 39a generated from the frame image 38b at the target time and a frame image 38b that is past the target time.
  • the score map 39a generated from is calculated using at least one of the score maps 39a stored using the score map storage unit 52 as a calculation target.
  • the score map calculation unit 53 generates one calculation score map 39 b as a calculation result.
  • An example of operation is weighted average operation. Details of the weighted average calculation will be described later.
  • the score map calculation unit 53 generates a signal representing a notification image used when notifying a region of interest based on the calculation score map 39 b. For example, the score map calculation unit 53 generates a signal representing a bounding box representing a region of interest based on the calculation score map 39b. The score map calculation unit 53 uses the monitor device 16 to display a bounding box superimposed on the endoscopic image 38 via the display control unit 44.
  • the bounding box is a figure arranged at a position surrounding the region of interest.
  • the bounding box can apply a circle, a square, an arbitrary closed curve, and the like.
  • the heat map represents the magnitude of the score using at least one of a difference in color and a difference in density of the same color.
  • the score itself is displayed.
  • the score map calculation unit 53 sets a bounding box or the like based on the score map 39a generated from the endoscopic image 38 at the attention time, until the score map storage unit 52 stores the defined number of score maps 39a.
  • the attention area may be notified using.
  • FIG. 5 is a schematic view of a score map.
  • the frame image 38 b 1 , the frame image 38 b 2 , and the frame image 38 b 3 shown in FIG. 5 are arbitrary sequential frame images 38 b in time series.
  • the frame image 38 b 1 , the frame image 38 b 2 , and the frame image 38 b 3 are arranged in chronological order.
  • the frame image 38 b 1 , the frame image 38 b 2 , and the frame image 38 b 3 all have a region of interest 70.
  • An example of the attention area 70 is a lesion. Examples of lesions include tumors, polyps and the like. Other examples of the area of interest 70 include an inflammation area, a bleeding area, a treatment mark, and a treatment tool. Examples of treatment tools include forceps and the like included in the endoscope 10, and clips and the like used for clipping blood vessels and the like.
  • Score map 39a 1 is generated from the frame image 38b 1.
  • Score map 39a 2 is generated from the frame image 38b 2.
  • Score map 39a 3 is generated from the frame image 38b 3.
  • the score map 39a 1 , the score map 39a 2 , and the score map 39a 3 may be collectively referred to as a score map 39a.
  • White score map 39a 1 shown in FIG. 5 represents the score 1.
  • Black score map 39a 1 represents the score 0.
  • Generation of the score map 39a 1 may apply a known technique using a convolution neural network.
  • the CNN may generate a score map 39a from the frame image 38b 1.
  • the CNN can output a score representing the likelihood of a region of interest for each pixel.
  • the CNN can also output a score for each area including a plurality of pixels.
  • Score map 39a 1 has a first score region 72 is correctly recognized as the attention area 70 of the frame image 38b 1. Also, the score map 39a 1 has a second score region 74 is erroneously recognized as a region of interest 70 of the frame image 38b 1. The same applies to the score map 39a 2 and the score map 39a 3 .
  • the score map 39a may apply three or more multi-value quantized images.
  • a multi-value quantized image there is a gray scale image in which multi-values are expressed using black and white shades.
  • the score map 39a may be given a score for each pixel, or may be given a unit of area including two or more pixels.
  • FIG. 6 is a schematic view of the operation score map.
  • FIG. 6 shows an example in which the calculation score map 39 b is generated by calculating the score map 39 a 1 , the score map 39 a 2 , and the score map 39 a 3 which are the three score maps 39 a shown in FIG. 5.
  • Score map 39a 3 is the score map 39a of the attention time.
  • the score map 39a 1 and the score map 39a 2 are score maps 39a past the time of interest.
  • the current time may be mentioned as an example of the attention time.
  • the arithmetic score map 39b shown in the present embodiment a score map 39a 3 of the target time, calculating the score map 39b than attention time by using the score map 39a 1, and the score map 39a 2 past is generated.
  • the score map 39a past the noted time may be one or more.
  • the operation score map 39 b is generated by applying a weighted average operation and a weighted average binarization process.
  • the weighted average value of the score at the same position in each score map 39a is calculated using the weighted average operation of the score map 39a.
  • a binarization process is performed on the weighted average value for each position using a prescribed threshold value.
  • the operation score map 39b shown in FIG. 6 is generated. Note that multi-level quantization processing may be applied to generate the operation score map 39 b.
  • the case where the weighted average value for each position exceeds a prescribed threshold is considered as 1, and the case where the weighted average value for each location is less than or equal to the prescribed threshold is considered as 0.
  • 0.5 is used as a threshold.
  • the threshold value is 0.5
  • a position where the score is 0 in any of the plurality of score maps 39a used to generate the operation score map 39b is set to have a score of 0 in the operation score map 39b.
  • the threshold may be a numerical value of 0.1 or more and 0.5 or less.
  • the threshold value is more preferably 0.2 or more and 0.5 or less.
  • the score of the misrecognized area decreases.
  • correctly recognized regions are maintained with high scores.
  • the second score area 74 misrecognized as the attention area 70 in the score map 39a is removed from the operation score map 39b.
  • an area which may be misrecognized near the boundary is also removed from the calculation score map 39b.
  • Calculating score map 39b shown in FIG. 6 has a score map 39a 1, third scoring regions 80 corresponding to the first score region 72 in score map 39a 2, and the score map 39a 3.
  • the calculation score map 39 b does not have a region corresponding to the second score region 74 in the score map 39 a 1 , the score map 39 a 2 , and the score map 39 a 3 .
  • 3 is illustrated as the defined number of the score map 39a, but the defined number of the score map 39a may be an integer of 2 or more.
  • the defined number of score maps 39a is relatively large, the accuracy of recognition of the attention area 70 is improved.
  • the specified number is relatively small, the calculation efficiency is improved.
  • the specified number of score maps 39a can be defined in consideration of the balance of the recognition accuracy of the attention area 70 and the calculation efficiency.
  • the calculation applied to the generation of the calculation score map 39 b can apply other averaging calculations such as arithmetic average calculation using the specified number of score maps 39 a and calculations other than the averaging calculation.
  • the notification of the attention area 70 shown in the present embodiment causes the notification image to be superimposed and displayed on the attention area 70 without reducing the visibility of the attention area 70 in the endoscopic image 38.
  • FIG. 7 is a schematic view of an endoscope image showing an example of notification of a region of interest during moving image observation.
  • the endoscopic image 38 shown in FIG. 7 is an optional frame image 38 b constituting a moving image 38 a.
  • a bounding box 82 is superimposed and displayed as a notification image representing the attention area 70.
  • the bounding box 82 is generated based on the third score area 80 of the operation score map 39 b. In the bounding box 82 shown in FIG. 7, a quadrilateral circumscribing the third score area 80 of the operation score map 39 b is applied.
  • the bounding box 82 When the bounding box 82 overlaps the attention area 70 during observation of the moving image 38 a, the attention area 70 becomes difficult to visually recognize.
  • the bounding box 82 shown in the present embodiment is displayed at a position shifted from the attention area 70.
  • the weighted average calculation for calculating the arithmetic score map 39b is applied a score map 39a attention time, the influence of the score map 39a 3 shown in FIG. 6, the weight to be smaller than the effect of other score map 39a Be done. It is more preferable to use a weighted average operation using a weight that minimizes the influence of the score map 39a of the time of interest.
  • the bounding box 82 is displayed at the position of the attention area 70 in the frame image 38 b several frames before the attention time, and the bounding box 82 follows the attention area 70 with a slight delay from the attention area 70.
  • FIG. 8 is a schematic view of an endoscopic image showing an example of notification of a region of interest during still image observation.
  • the bounding box 82 in the still image 38 c is displayed at a position surrounding the region of interest 70. That is, the bounding box 82 is displayed at the position shifted from the attention area 70 during observation of the moving image 38a, and bounding at the position coincident with the attention area 70 during observation of the still image 38c in which the moving image 38a is stopped. Box 82 is displayed.
  • the position of the center of gravity of the bounding box 82 can be applied to the position of the bounding box 82 mentioned here.
  • the position of the attention area 70 may apply the position of the center of gravity of the attention area 70.
  • the score map 39a of the attention time be X (t 0 ).
  • Seven score maps 39a past the noted time t 0 are X (t 1 ), X (t 2 ), X (t 3 ), X (t 4 ), X (t 5 ), X (t 6 ), And X (t 7 ).
  • the weight applied to the score map X (t 0 ) at the attention time t 0 is Wt 0 .
  • Wt j be a weight applied to the score map X (t j ) in the past from the time of interest t 0 .
  • j is an integer from 1 to the total number of score maps 39 a in the past from the time of interest t 0 .
  • the operation score map Y (t 0 ) at the target time t 0 when the total number of the score maps 39 a in the past is 7 is expressed using the following equation 1.
  • Operation score map Y (t 0 ) when the total number of score maps 39a is n is expressed using Equation 2 below.
  • i is an integer from 0 to n.
  • the total number n of the score maps 39a is an integer of 1 or more.
  • the total number n of the score map 39a, the number of score map 39a of the attention time t 0, and than the attention time t 0 is the total number of number of past score map 39a.
  • X (t i ) in Equation 1 and Equation 2 above means the position of each pixel constituting each score map 39a and a set of scores of each pixel.
  • Y (t 0 ) in Equation 1 and Equation 2 above means the position of each pixel constituting the operation score map 39 b and a set of the operation result set of each pixel.
  • a shift between the attention area 70 of the endoscopic image 38 and the notification image such as the bounding box 82 may be defined according to the time when the weight is maximum.
  • Equations 3, 4, 6, and 7 above illustrate the weighted average operation in which the weight applied to the score map 39a at the time of interest t 0 is the minimum value of the weights used in the weighted average operation. but weights applied to the score map 39a attention time t 0, the above equation 3, equation 4, equations 6, and is not limited to the example shown in equation 7.
  • Past score map 39a than the attention time t 0 is equivalent to a score map other than the score map of attention time.
  • the specified number of the score map 39a used for the weighted average calculation is a fixed value. In other words, if the score map 39a of the attention time has been updated, the past of the score map 39a of the predetermined number from the score map 39a of the attention time t 0 after the update is applied. As a result, the degree of influence of the score map 39a of the attention time t 0 in the calculation score map 39b is maintained.
  • FIG. 9 is a flowchart showing the flow of the image processing method. Observation of the endoscopic image 38 is started. In the endoscopic image acquisition step S10, the endoscopic image acquisition unit 41 illustrated in FIG. 3 acquires an endoscopic image 38 via the processor device 12 illustrated in FIG.
  • the process proceeds to a score map generation step S12.
  • the score map generation unit 51 shown in FIG. 4 generates a score map 39a from each frame image 38b of the endoscopic image 38.
  • the process proceeds to a score map storage step S14.
  • the score map generation unit 51 stores the score map 39a generated in the score map generation step S12 in the score map storage unit 52.
  • save process S14 may be performed in parallel.
  • the process proceeds to a score map number determination step S16.
  • the score map calculation unit 53 determines whether the number of score maps stored in the score map storage step S14 is equal to or more than a specified number. If it is determined in the score map number determination step S16 that the number of score maps stored in the score map storage step S14 is less than the specified number, the determination is No. In the case of the No determination, the respective processes from the endoscopic image acquisition step S10 to the score map number determination step S16 are repeatedly executed until the determination in the score map number determination step S16 becomes Yes.
  • the process proceeds to a score map calculation step S18.
  • the score map calculation unit 53 uses the specified number of score maps 39a including the score map 39a of the attention time and at least one score map 39a at a time earlier than the attention time. Generate map 39b. After the score map calculation step S18, the process proceeds to a notification image display step S20.
  • the score map calculation unit 53 superimposes and displays the notification image of the bounding box 82 or the like shown in FIG. 7 on the endoscopic image 38 displayed on the monitor device 16. After the notification image display step S20, the process proceeds to an observation end determination step S22.
  • the image analysis processing unit 43 determines whether to end the observation of the endoscopic image 38. For example, when the endoscopic image 38 is not acquired for a prescribed period, it may be determined that the observation of the endoscopic image 38 is ended. If it is determined in the observation end determination step S22 that the observation of the endoscopic image 38 is not ended, the determination is No. In the case of No determination, the image processing apparatus 14 repeatedly executes each process from the endoscopic image acquisition process S10 to the observation end determination process S22 until the determination in the observation end determination process S22 becomes Yes.
  • the determination is Yes.
  • the endoscope system 9 ends the observation of the endoscopic image 38.
  • a score map 39a which is a distribution of scores representing the attention area 70, is generated, and the score map 39a is stored.
  • weighted average calculation is performed on the defined number of score maps 39a to generate one operation score map 39b.
  • a convolution neural network is applied to generate the score map 39a. This makes it possible to recognize the attention area 70 based on the score map 39a generated using the convolution neural network.
  • An arithmetic score map 39 b is generated by performing a weighted average operation on a prescribed number of score maps 39 a. As a result, the second score area 74 misrecognized as the attention area 70 is removed from the calculation score map 39 b.
  • the weighted average operation applies the least weight to the score map 39a of the time of interest. This makes it possible to minimize the influence of the score map 39a of the attention time on the operation score map 39b.
  • the operation score map 39 b is generated using the specified number of score maps 39 a. Thereby, the degree of influence of the score map 39a of the attention time to the operation score map 39b can be maintained.
  • a bounding box 82 based on the third score area 80 of the operation score map 39 b is superimposed on the endoscopic image 38. Thereby, notification of the attention area 70 in the endoscopic image 38 becomes possible.
  • the endoscope image 38 can apply a normal light image acquired by irradiating a plurality of lights of different wavelength bands as light of the white band or light of the white band.
  • the endoscopic image 38 may apply a special light image acquired by irradiating light in a specific wavelength band.
  • the specific wavelength band may apply a wavelength band narrower than the wavelength band of white light.
  • a first example of a particular wavelength band is the blue or green band in the visible range.
  • the wavelength band of the first example includes a wavelength band of 390 nanometers or more and 450 nanometers or less, or 530 nanometers or more and 550 nanometers or less, and the light of the first example is 390 nanometers or more and 450 nanometers or less, or It has a peak wavelength within the wavelength band of 530 nanometers or more and 550 nanometers or less.
  • the wavelength band of the second example includes a wavelength band of 585 nanometers or more and 615 nanometers or less, or 610 nanometers or more and 730 nanometers or less, and the light of the second example is 585 nanometers or more and 615 nanometers or less, or It has a peak wavelength within the wavelength band of 610 nanometers or more and 730 nanometers or less.
  • the third example of the specific wavelength band includes wavelength bands in which the absorption coefficient is different between oxygenated hemoglobin and reduced hemoglobin, and the light of the third example has peak wavelengths in wavelength bands where the absorption coefficient is different between oxygenated hemoglobin and reduced hemoglobin.
  • the wavelength band of this third example includes wavelength bands of 400 ⁇ 10 nanometers, 440 ⁇ 10 nanometers, 470 ⁇ 10 nanometers, or 600 nanometers to 750 nanometers, and the light of the third example is It has a peak wavelength in a wavelength band of 400 ⁇ 10 nm, 440 ⁇ 10 nm, 470 ⁇ 10 nm, or 600 nm or more and 750 nm or less.
  • a fourth example of the specific wavelength band is a wavelength band of excitation light which is used to observe the fluorescence emitted from the fluorescent substance in the living body and which excites the fluorescent substance.
  • it is a wavelength band of 390 nanometers or more and 470 nanometers or less.
  • observation of fluorescence may be called fluorescence observation.
  • the fifth example of the specific wavelength band is a wavelength band of infrared light.
  • the wavelength band of the fifth example includes a wavelength band of 790 nm or more and 820 nm or less, or 905 nm or more and 970 nm or less, and the light of the fifth example is 790 nm or more and 820 nm or less, Or has a peak wavelength in a wavelength band of 905 nm or more and 970 nm or less.
  • the processor unit 12 generates a special light image having information of a specific wavelength band based on a normal light image obtained by imaging using white light or a plurality of lights having different wavelength bands as white light. May be Note that the generation referred to here includes acquisition. In this case, the processor unit 12 functions as a special light image acquisition unit. Then, the processor unit 12 obtains a signal of a specific wavelength band by performing an operation based on color information of red, green and blue or cyan, magenta and yellow contained in the normal light image.
  • red, green and blue may be represented as RGB (Red, Green, Blue).
  • cyan, magenta and yellow may be expressed as CMY (Cyan, Magenta, Yellow).
  • the processor device 12 may generate a feature image such as a known oxygen saturation image based on at least one of the normal light image and the special light image.
  • diagnosis support apparatus provided with the image processing apparatus 14 shown in the present embodiment and the medical service support apparatus can be configured.
  • the processor device 12 provided with the image processing device 14 shown in the present embodiment can be configured. That is, an endoscope control unit that controls the operation of the endoscope 10, an imaging control unit that controls imaging using the endoscope 10, a light source control unit that controls the light source device 11, and an image processing device 14 Processor unit 12 may be configured.
  • the image processing device 14 corresponds to an example of an image processing unit.
  • the image processing method described above can be configured as a program that implements functions corresponding to the respective steps in the image processing method using a computer.
  • a program that implements an image acquisition function, a score map generation function, a score map storage function, and a score map calculation function may be configured.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

医用画像から注目領域を認識する際の誤認識を抑制し得る、画像処理装置、プロセッサ装置、画像処理方法、及びプログラムを提供する。時系列の複数の医用画像を取得する画像取得部（４１）と、画像取得部を用いて取得した２つ以上の医用画像（３８）について、注目領域らしさのスコアの分布を表すスコアマップ（３９ａ）を生成するスコアマップ生成部（５１）と、スコアマップを保存するスコアマップ保存部（５２）と、スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップ（３９ｂ）を生成するスコアマップ演算部（５３）とを備える。

Description

画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
　本発明は画像処理装置、プロセッサ装置、画像処理方法、及びプログラムに係り、特に内視鏡画像における注目領域の認識に関する。
　医療分野において内視鏡システムを用いた検査が行われている。近年においては、画像解析によって内視鏡画像に含まれる病変等の注目領域の自動認識を行うシステムが知られている。
　内視鏡システムは、スコープの先端に具備される撮像装置を用いて体腔内部の撮像を行う。撮像装置は体腔内部を移動し、体腔内部を順次撮像する。なお、スコープは内視鏡と同義である。撮像装置は撮像した内視鏡画像をモニタに出力する。撮像装置を用いて撮像された内視鏡画像から病変等を自動認識することで病変等の見落としが抑制される。すなわち、内視鏡画像から病変等を自動認識する技術を用いて、内視鏡検査の支援が可能である。
　特許文献１は、基準画像、及び参照画像のそれぞれについて尤度マップを生成し、基準画像と参照画像との差分に対して尤度を用いた重み付けをして、基準画像の注目領域と参照画像の候補領域との非類似度を算出するＸ線診断装置が記載されている。
　特許文献２は、内視鏡の観察画像から特定領域を判別する画像処理装置が記載されている。同文献に記載の発明は、判別基準の初期値と、既に判別を行った画像内の特定領域の特徴量との加重平均に基づいて、特定領域の判別に用いる判別基準が作成される。
特開２０１５－４１３７０号公報 特許第５５７６７１１号公報
　しかしながら、内視鏡システムでは、スコープの操作、送液、及び残差等の影響に起因する、被写体像のぶれ、及びぼけ等が発生し得る。被写体像のぶれ、及びぼけ等の現象は注目領域の誤認識につながるおそれがある。また、体腔内部は病変と類似する構造を有する粘膜が存在し得る。注目領域が病変の場合、病変と類似する構造の存在が病変の誤認識につながるおそれがある。
　特許文献１に記載の発明において、基準画像は第１撮像方向について対象物にＸ線を透過して取得した投影データに基づいて生成される。参照画像は第２撮像方向について対象物にＸ線を透過して取得した投影データに基づいて生成される。
　特許文献１に記載の発明は、撮像方向が異なる複数の視点において、同一の対象物にＸ線を透過して得られた複数のＸ線透過画像のそれぞれについて尤度マップを生成するものであって、時系列の医用画像である内視鏡画像の注目領域の認識を行うものではない。
　特許文献２に記載の発明は、被検体の個人差、及び観察位置の違い等を考慮して、特定領域の判別に用いる判別基準を作成するものであって、被写体像のぶれ、及びぼけ等が発生した場合に特定領域の誤判別が懸念される。
　本発明はこのような事情に鑑みてなされたもので、内視鏡画像から注目領域を認識する際の誤認識を抑制し得る、画像処理装置、プロセッサ装置、画像処理方法、及びプログラムを提供することを目的とする。
　上記目的を達成するために、次の発明態様を提供する。
　第１態様に係る画像処理装置は、時系列の複数の医用画像を取得する画像取得部と、画像取得部を用いて取得した２つ以上の医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成部と、スコアマップを保存するスコアマップ保存部と、スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算部と、を備えた画像処理装置である。
　第１態様によれば、時系列の複数の医用画像について、注目領域らしさを表すスコアの分布であるマップを生成する。注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成する。これにより、誤検出の原因となり得るスコアの影響が抑制された演算スコアマップに基づいて、誤認識が抑制された注目領域の認識が可能となる。
　時系列の医用画像の例として、内視鏡を用いて体腔内部を撮像して得られた内視鏡画像が挙げられる。内視鏡画像は動画像でもよいし、時系列の静止画像でもよい。
　スコアの例として、０以上１以下の数値が挙げられる。スコアは、任意の数値範囲の数値を正規化した数値でもよい。正規化の例として、０から２５５を用いて表される数値を２５５で除算する例が挙げられる。
　スコアマップは、階調値、色彩、及び濃度等を用いてスコアを表現した画像を適用し得る。スコアマップは、医用画像の位置情報が保有されるものが好ましい。
　演算スコアマップを生成する際の演算の例として算術平均演算等の平均値を算出する演算が挙げられる。
　第１態様に係る画像処理装置は、１つ以上のプロセッサと、１つ以上のメモリを備えた画像処理装置であって、プロセッサは、時系列の複数の医用画像を取得し、画像取得部を用いて取得した２つ以上の医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成し、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成し、メモリは、スコアマップを保存する画像処理装置として構成し得る。
　第２態様は、第１態様の画像処理装置において、スコアマップ生成部は、コンボリューションニューラルネットワークを用いてスコアマップを生成する構成としてもよい。
　第２態様によれば、コンボリューションニューラルネットワークを用いて生成されたスコアマップに基づく注目領域の認識が可能である。
　第３態様は、第１態様又は第２態様の画像処理装置において、スコアマップ演算部は、演算対象のスコアマップに対して加重平均演算を施して、演算スコアマップを生成する構成としてもよい。
　第３態様によれば、スコアマップに対して加重平均演算が施され、演算スコアマップが生成される。これにより、各スコアマップにおける注目領域として誤認識された領域が除去された演算スコアマップの生成が可能である。
　第４態様は、第３態様の画像処理装置において、医用画像を表示する表示装置へ、演算スコアマップに基づいて注目領域を表す報知画像を表示させる表示制御部を備えた構成としてもよい。
　第４態様によれば、表示装置に表示された医用画像における注目領域を視覚的に認識し得る。
　報知画像の例として、注目領域を囲むバウンディングボックス、並びに色の違い、又は色の強弱を用いて注目領域と他の領域とを表すヒートマップ等が挙げられる。
　第５態様は、第４態様の画像処理装置において、表示制御部は、報知画像を医用画像に重畳表示させ、かつ報知画像を医用画像の注目領域の位置とずらして表示させる構成としてもよい。
　第５態様によれば、注目領域の視認性を低下させることなく、報知画像を医用画像に重畳表示させることが可能である。
　第５態様において、医用画像を静止させた際に、注目領域の位置に報知画像を重畳表示させてもよい。
　第６態様は、第４態様の画像処理装置において、スコアマップ演算部は、演算スコアマップへの注目時刻のスコアマップの影響を相対的に小さくする重みを用いた加重平均演算を施して演算スコアマップを生成し、表示制御部は、演算スコアマップに基づいて生成された報知画像を医用画像に重畳表示させる構成としてもよい。
　第６態様によれば、演算スコアマップにおける注目時刻のスコアマップの影響を相対的に小さくし得る。これにより、報知画像は医用画像の注目位置に対して遅れて追従し得る。
　加重平均演算に適用される重み等のパラメータを設定する加重平均演算パラメータ設定部を備えてもよい。加重平均演算パラメータ設定部は、入力インターフェースを介して入力された情報に基づいて、加重平均演算に適用されるパラメータを設定してもよい。
　第７態様は、第６態様の画像処理装置において、スコアマップ演算部は、注目時刻のスコアマップの重みを、注目時刻よりも過去のスコアマップの重みの算術平均未満として、加重平均演算を施して演算スコアマップを生成する構成としてもよい。
　第７態様によれば、演算スコアマップにおける注目時刻のスコアマップの影響を相対的に小さくする重みを実現し得る。
　第８態様は、第６態様の画像処理装置において、スコアマップ演算部は、加重平均演算に用いる重みの最小値を、注目時刻のスコアマップへ適用する加重平均演算を施して演算スコアマップを生成する構成としてもよい。
　第８態様によれば、演算スコアマップにおける注目時刻のスコアマップの影響を、注目時刻よりも過去の時刻のスコアマップの影響と同程度、又は注目時刻よりも過去の時刻のスコアマップの影響以下とすることが可能である。
　第９態様は、第１態様から第８態様のいずれか一態様の画像処理装置において、スコアマップ演算部は、注目時刻のスコアマップを含む時系列の２以上の規定された数のスコアマップがスコアマップ保存部に保存された場合に、注目時刻のスコアマップを含む、時系列の２以上の規定された数のスコアマップについて、演算スコアマップを生成する構成としてもよい。
　第９態様によれば、規定された数のスコアマップに基づく演算スコアマップの生成が可能である。これにより、演算スコアマップにおける注目時刻のスコアマップの影響の程度を維持することが可能である。
　第９態様は、医用画像を表示する表示装置へ、演算スコアマップに基づいて注目領域を表す報知画像を表示させる表示処理部を備えた構成としてもよい。
　第１０態様は、第１態様から第９態様のいずれか一態様の画像処理装置において、画像取得部は、内視鏡を用いて取得した観察画像を取得する構成としてもよい。
　第１０態様によれば、内視鏡を用いて撮像された動画像において、誤認識が抑制された注目領域の認識が可能である。
　第１１態様に係るプロセッサ装置は、内視鏡の動作を制御する内視鏡制御部と、内視鏡を用いた撮像を制御する撮像制御部と、内視鏡を用いて撮像して得られた内視鏡画像を処理する画像処理部と、を備え、画像処理部は、時系列の複数の医用画像として内視鏡画像を取得する画像取得部と、画像取得部を用いて取得した２つ以上の医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成部と、スコアマップを保存するスコアマップ保存部と、スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算部と、を備えたプロセッサ装置である。
　第１１態様によれば、第１態様と同様の効果を得ることができる。
　第１１態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプロセッサ装置の構成要素として把握することができる。
　第１１態様に係るプロセッサ装置は、１つ以上のプロセッサと、１つ以上のメモリとを備えたプロセッサ装置であって、プロセッサは、内視鏡の動作を制御し、内視鏡を用いた撮像を制御し、内視鏡を用いて撮像して得られた内視鏡画像を処理し、かつ時系列の複数の医用画像として内視鏡画像を取得し、画像取得部を用いて取得した２つ以上の医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成し、スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成し、メモリはスコアマップを保存するプロセッサ装置を構成し得る。
　第１２態様に係る画像処理方法は、時系列の複数の医用画像を取得する画像取得工程と、画像取得工程において取得した２つ以上の医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成工程と、スコアマップを保存するスコアマップ保存工程と、スコアマップ保存工程において保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算工程と、を含む画像処理方法である。
　第１２態様によれば、第１態様と同様の効果を得ることができる。
　第１２態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理方法の構成要素として把握することができる。
　第１３態様に係るプログラムは、コンピュータに、時系列の複数の医用画像を取得する画像取得機能、画像取得機能を用いて取得した２つ以上の医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成機能、スコアマップを保存するスコアマップ保存機能、及びスコアマップ保存機能を用いて保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算機能を実現させるプログラムである。
　第１３態様によれば、第１態様と同様の効果を得ることができる。
　第１３態様において、第２態様から第１０態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。
　本発明によれば、時系列の複数の医用画像について、注目領域らしさを表すスコアの分布であるマップを生成する。注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成する。これにより、誤検出の原因となり得るスコアの影響が抑制された演算スコアマップに基づいて、誤認識が抑制された注目領域の認識が可能となる。
図１は内視鏡システムの全体構成を示す概略図である。 図２は画像処理装置のハードウェアの構成例を示すブロック図である。 図３は画像処理装置の機能を示す機能ブロック図である。 図４は図３に示した画像解析処理部の機能を示す機能ブロック図である。 図５はスコアマップの模式図である。 図６は演算スコアマップの模式図である。 図７は動画像観察中の注目領域の報知例を示す内視鏡画像の模式図である。 図８は静止画像観察中の注目領域の報知例を示す内視鏡画像の模式図である。 図９は画像処理方法の流れを示すフローチャートである。
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
　［内視鏡システムの全体構成］
　図１は内視鏡システムの全体構成を示す概略図である。図１に示した内視鏡システム９は、内視鏡１０、光源装置１１、プロセッサ装置１２、表示装置１３、画像処理装置１４、入力装置１５、及びモニタ装置１６を備える。内視鏡システム９は、ネットワーク１７を介して記憶装置１８と通信可能に接続される。
　内視鏡１０は電子内視鏡である。また、内視鏡１０は軟性内視鏡である。内視鏡１０は挿入部２０、操作部２１、及びユニバーサルコード２２を備える。挿入部２０は被検体内に挿入される。挿入部２０は、全体が細径で長尺状に形成されている。
　挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７を備える。挿入部２０は、軟性部２５、湾曲部２６、及び先端部２７が連設されて構成される。軟性部２５は、挿入部２０の基端側から先端側に向けて順に可撓性を有する。湾曲部２６は、操作部２１が操作された場合に湾曲可能な構造を有する。先端部２７は、図示しない撮像光学系及び撮像素子２８等が内蔵される。
　撮像素子２８は、ＣＭＯＳ型撮像素子又はＣＣＤ型撮像素子が適用される。ＣＭＯＳは、Complementary Metal Oxide Semiconductorの省略語である。ＣＣＤは、Charge Coupled Deviceの省略語である。
　先端部２７の先端面２７ａは、図示しない観察窓が配置される。観察窓は、先端部２７の先端面２７ａに形成された開口である。観察窓の後方には、図示しない撮像光学系が配置される。撮像素子２８の撮像面は、観察窓、及び撮像光学系等を介して、被観察部位からの反射光が入射する。撮像素子２８は、撮像素子２８の撮像面に入射した被観察部位からの反射光を撮像して、撮像信号を出力する。ここでいう撮像は、被観察部位からの反射光を電気信号へ変換するという意味が含まれる。
　操作部２１は挿入部２０の基端側に連設される。操作部２１は、術者が操作する各種操作部材を備える。具体的には、操作部２１は、２種類の湾曲操作ノブ２９を備える。湾曲操作ノブ２９は、湾曲部２６の湾曲操作の際に用いられる。なお、術者は、医師、操作者、及びユーザなどと呼ばれることがあり得る。
　操作部２１は、送気送水ボタン３０、及び吸引ボタン３１を備える。送気送水ボタン３０は、術者が送気送水操作を行う際に用いられる。吸引ボタン３１は、術者が吸引操作を行う際に用いられる。
　操作部２１は、静止画像撮像指示部３２、及び処置具導入口３３を備える。静止画像撮像指示部３２は、被観察部位の静止画像を撮像する際に、術者が操作する。処置具導入口３３は、挿入部２０の内部を挿通している処置具挿通路の内部に処置具を挿入する開口である。なお、処置具挿通路、及び処置具の図示は省略する。なお、静止画像は符号３８ｃを付して図３に図示する。
　ユニバーサルコード２２は、内視鏡１０を光源装置１１に接続する接続コードである。ユニバーサルコード２２は、挿入部２０の内部を挿通しているライトガイド３５、信号ケーブル３６、及び図示しない流体チューブを内包している。
　また、ユニバーサルコード２２の先端は、光源装置１１に接続されるコネクタ３７ａ、及びコネクタ３７ａから分岐され、かつプロセッサ装置１２に接続されるコネクタ３７ｂを備える。
　コネクタ３７ａを光源装置１１に接続すると、ライトガイド３５及び図示しない流体チューブが光源装置１１に挿入される。これにより、ライトガイド３５及び図示しない流体チューブを介して、光源装置１１から内視鏡１０に対して必要な照明光と水と気体とが供給される。
　その結果、先端部２７の先端面２７ａの図示しない照明窓から被観察部位に向けて照明光が照射される。また、送気送水ボタン３０の押下操作に応じて、先端部２７の先端面２７ａの図示しない送気送水ノズルから気体又は水が噴射される。
　コネクタ３７ｂをプロセッサ装置１２に接続すると、信号ケーブル３６とプロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡１０の撮像素子２８からプロセッサ装置１２へ被観察部位の撮像信号が出力され、かつプロセッサ装置１２から内視鏡１０へ制御信号が出力される。
　本実施形態では、内視鏡１０として軟性内視鏡を例に挙げて説明を行ったが、内視鏡１０として、硬性内視鏡等の被観察部位の動画撮像を可能な各種の電子内視鏡を用いてもよい。
　光源装置１１は、コネクタ３７ａを介して、内視鏡１０のライトガイド３５へ照明光を供給する。照明光は、白色光、又は特定の波長帯域の光を適用可能である。照明光は、白色光、及び特定の波長帯域の光を組み合わせてもよい。光源装置１１は、観察目的に応じた波長帯域の光を、照明光として適宜選択可能に構成される。
　プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の動作を制御する。また、プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡１０の撮像素子２８から撮像信号を取得する。プロセッサ装置１２は規定のフレームレートを適用して内視鏡１０から出力された撮像信号を取得する。
　プロセッサ装置１２は、内視鏡１０から取得した撮像信号に基づき、被観察部位の観察画像である内視鏡画像３８を生成する。ここでいう内視鏡画像３８には動画像が含まれる。内視鏡画像３８は静止画像が含まれてもよい。動画像は符号３８ａを付して図３に図示する。
　プロセッサ装置１２は、操作部２１の静止画像撮像指示部３２が操作された場合、動画像の生成と並行して、撮像素子２８から取得した撮像信号に基づき被観察部位の静止画像を生成する。静止画像は、動画像の解像度に対して高解像度に生成されていてもよい。
　内視鏡画像３８の生成の際に、プロセッサ装置１２はホワイトバランス調整、及びシェーディング補正等のデジタル信号処理を適用した画質の補正を行う。プロセッサ装置１２はＤＩＣＯＭ規格で規定された付帯情報を内視鏡画像３８へ付加してもよい。なお、ＤＩＣＯＭは、Digital Imaging and Communications in Medicineの省略語である。
　内視鏡画像３８は、被検体内、すなわち、体腔の内部を撮像した体腔内画像である。内視鏡画像３８が、特定の波長帯域の光を用いて撮像して得られた画像である場合、両者は特殊光画像である。そして、プロセッサ装置１２は、生成した内視鏡画像３８を、表示装置１３と画像処理装置１４とのそれぞれに出力する。プロセッサ装置１２は、ＤＩＣＯＭ規格に準拠した通信プロトコルに従って、ネットワーク１７を介して内視鏡画像３８を記憶装置１８へ出力してもよい。
　表示装置１３は、プロセッサ装置１２に接続される。表示装置１３は、プロセッサ装置１２から送信された内視鏡画像３８を表示する。術者は、表示装置１３に表示される内視鏡画像３８を確認しながら、挿入部２０の進退操作等をし得る。術者は、被観察部位に病変等を検出した場合に、静止画像撮像指示部３２を操作して被観察部位の静止画を撮像し得る。
　画像処理装置１４は、コンピュータが用いられる。入力装置１５はコンピュータに接続可能なキーボード及びマウス等が用いられる。入力装置１５とコンピュータとの接続は有線接続、又は無線接続のいずれでもよい。モニタ装置１６は、コンピュータに接続可能な各種モニタが用いられる。
　画像処理装置１４として、ワークステーション及びサーバ装置等の診断支援装置を用いてもよい。この場合、入力装置１５及びモニタ装置１６は、それぞれワークステーション等に接続した複数の端末ごとに設けられる。更に、画像処理装置１４として、医療レポート等の作成支援を行う診療業務支援装置を用いてもよい。
　画像処理装置１４は、内視鏡画像３８の取得、及び内視鏡画像３８の記憶を行う。画像処理装置１４は、モニタ装置１６の再生制御を行う。すなわち、画像処理装置１４は、内視鏡画像３８を取得する内視鏡画像取得部、内視鏡画像３８を記憶する画像記憶部、及び内視鏡画像３８の表示制御を行う表示制御部を備える。内視鏡画像取得部は符号４１を付して図３に図示する。画像記憶部は符号４８を付して図３に図示する。表示制御部は符号４４を付して図３に図示する。
　なお、本明細書における画像の記憶は、画像の保存と読み替えることが可能である。ここでいう画像の記憶は、画像の非一時的記憶を意味する。画像処理装置１４は画像を一次記憶する一次記憶用のメモリを備えてもよい。
　入力装置１５は、画像処理装置１４に対する操作指示の入力に用いられる。モニタ装置１６は、画像処理装置１４の制御の下、内視鏡画像３８の表示を行う。モニタ装置１６は、画像処理装置１４における各種情報の表示部として機能してもよい。
　画像処理装置１４は、ネットワーク１７を介して記憶装置１８と接続される。画像の格納形式、及びネットワーク１７を経由した各装置間の通信は、ＤＩＣＯＭ規格、及びＤＩＣＯＭ規格に準拠したプロトコル等を適用可能である。
　なお、上記した画像という用語は、画像を表す画像データの意味が含まれている。本明細書における画像という用語は、画像自体、及び画像データの少なくともいずれかを意味している。
　記憶装置１８は、データを非一時的に記憶するストレージ等を適用可能である。記憶装置１８は、図示しないサーバ装置を用いて管理されてもよい。サーバ装置は、各種データを記憶して管理するコンピュータを適用可能である。
　［画像処理装置の構成］
　次に、画像処理装置について説明する。
　〔概要〕
　本実施形態に示した内視鏡システム９は、内視鏡１０の先端部２７に具備される撮像素子２８を用いて体腔内部を撮像する。内視鏡システム９は、撮像した体腔内部を表す内視鏡画像３８を受信する。内視鏡システム９は、表示装置１３を用いて受信した内視鏡画像３８を表示する。内視鏡画像３８は医用画像の一例に相当する。
　また、本実施形態に示した画像処理装置１４は、内視鏡画像３８のフレーム画像ごとに、注目領域らしさのスコアの分布を表すスコアマップを生成する。画像処理装置１４は、注目時刻のスコアマップ、及び注目時刻よりも過去の少なくとも１つのスコアマップに対して加重平均処理を施して演算スコアマップを生成する。なお、注目領域は符号７０を付して図５に図示する。
　画像処理装置１４は、演算スコアマップに基づいてバウンディングボックスを生成する。画像処理装置１４は、モニタ装置１６に表示される内視鏡画像３８にバウンディングボックスを重畳表示させる。
　なお、フレーム画像は符号３８ｂを付して図３に図示する。スコアマップは符号３９ａを付して図５に図示する。演算スコアマップは符号３９ｂを付して図６に図示する。バウンディングボックスは符号８２を付して図７に図示する。
　〔ハードウェア構成〕
　図２は画像処理装置のハードウェアの構成例を示すブロック図である。画像処理装置１４は、制御部１、メモリ２、ハードディスク装置３、通信インターフェース４、入力コントローラ５、及びディスプレイコントローラ６を備える。
　〈制御部〉
　制御部１は、画像処理装置１４の全体制御部４０、各種演算部、及び記憶制御部として機能する。制御部１は、メモリ２に具備されるＲＯＭ（read only memory）に記憶されているプログラムを実行する。制御部１は、通信インターフェース４を介して、外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク１７を介して画像処理装置１４と通信可能に接続されていてもよい。
　制御部１は、メモリ２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、画像処理装置１４の各種機能が実現される。
　制御部１は、ハードディスク装置３からのデータの読み出し、及びハードディスク装置３へのデータの書き込みを制御する。制御部１は、１つ又は２つ以上のプロセッサ（processor）が含まれてもよい。
　プロセッサの一例として、ＦＰＧＡ（Field Programmable Gate Array）、及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ、及びＰＬＤは、製造後に回路構成の変更を可能とする。
　プロセッサの他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。
　制御部１は、同じ種類の２以上のプロセッサを適用可能である。例えば、制御部１は２つ以上のＦＰＧＡを用いてもよいし、２つのＰＬＤを用いてもよい。制御部１は、異なる種類の２つ以上プロセッサを適用してもよい。例えば、制御部１は１つ以上のＦＰＧＡと１つ以上のＡＳＩＣとを適用してもよい。
　複数の制御部を備える場合、複数の制御部は１つのプロセッサを用いて構成してもよい。複数の制御部を１つのプロセッサで構成する一例として、１つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。ＣＰＵに代わり、又はＣＰＵと併用して、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）を適用してもよい。なお、ここでいうソフトウェアはプログラムと同義である。複数の制御部が１つのプロセッサを用いて構成される代表例として、クライアント装置、及びサーバ装置等のコンピュータが挙げられる。
　複数の制御部を１つのプロセッサで構成する他の例として、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態が挙げられる。複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。
　このように、制御部１は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
　〈メモリ〉
　メモリ２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、画像処理装置１４において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及び制御部１のワーク領域等として機能する。
　〈ハードディスク装置〉
　ハードディスク装置３は、各種データを非一時的に記憶する。具体的には、ハードディスク装置３は、内視鏡１０の観察画像、及び図１に示した記憶装置１８等の外部の記憶装置から取得した医用画像等を記憶する。ハードディスク装置３は、画像処理装置１４の外部に外付けされてもよい。ハードディスク装置３に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。
　〈通信インターフェース〉
　通信インターフェース４は、図１に示した記憶装置１８等の外部の装置との間のデータ通信を行う。図２に示したＩＦは、interfaceの省略後である。
　〈入力コントローラ〉
　入力コントローラ５は、キーボード、及びマウス等の入力装置１５から送信される信号を受信し、画像処理装置１４に適用される形式の信号に変換するインターフェースである。
　〈ディスプレイコントローラ〉
　ディスプレイコントローラ６は、画像処理装置１４において生成された画像を表す信号を、モニタ装置１６を用いて表示させる映像信号に変換するインターフェースである。ディスプレイコントローラ６は、画像を表す映像信号をモニタ装置１６へ送信する。
　なお、図２に示した画像処理装置１４のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。
　〔画像処理装置の機能〕
　図３は画像処理装置の機能を示す機能ブロック図である。図３に示した画像処理装置１４は、全体制御部４０、内視鏡画像取得部４１、画像解析処理部４３、表示制御部４４、入力制御部４６、及び記憶部４７を備える。
　全体制御部４０、内視鏡画像取得部４１、画像解析処理部４３、表示制御部４４、入力制御部４６、及び記憶部４７は、通信信号線６８を介して相互に通信可能に接続される。以下、各部について詳細に説明する。
　〈全体制御部〉
　全体制御部４０は、画像処理装置１４の制御プログラムの実行に基づき、内視鏡画像取得部４１、画像解析処理部４３、及び表示制御部４４を統括的に制御する。
　〈内視鏡画像取得部〉
　内視鏡画像取得部４１は、図１に示したプロセッサ装置１２を用いて生成された内視鏡画像３８を取得する。内視鏡画像取得部４１は、外部の記憶装置に記憶されている内視鏡画像３８を取得してもよい。内視鏡画像取得部４１は、メモリーカード等の各種情報記憶媒体を介して、上記した内視鏡画像３８を取得してもよい。
　内視鏡画像取得部４１は、動画像３８ａを取得する。内視鏡画像取得部４１は、動画像３８ａとして、時系列のフレーム画像３８ｂを取得してもよい。内視鏡画像取得部４１は、時系列の２以上の静止画像３８ｃを取得してもよい。
　動画像３８ａの撮像途中に静止画像３８ｃの撮像操作が行われた場合、内視鏡画像取得部４１は、図１に示したプロセッサ装置１２から静止画像３８ｃを取得する。内視鏡画像取得部４１は時系列の複数の医用画像を取得する画像取得部の一例に相当する。
　〈画像解析処理部〉
　画像解析処理部４３は、深層学習アルゴリズム４５に基づく深層学習を用いて、内視鏡画像取得部４１を用いて取得した内視鏡画像３８の解析処理を実行する。内視鏡画像３８の解析処理の詳細は後述する。
　深層学習アルゴリズム４５は、公知のコンボリューションニューラルネットワークの手法と、全結合層と、出力層とを含むアルゴリズムである。深層学習はディープラーニングと呼ばれることがある。
　コンボリューションニューラルネットワークは、畳み込み層、及びプーリング層の繰り返し処理である。コンボリューションニューラルネットワークは、畳み込みニューラルネットワークと呼ばれる場合がある。なお、深層学習を用いた画像解析処理は公知技術であるので、具体的な説明は省略する。コンボリューションニューラルネットワークはＣＮＮと表されることがある。ＣＮＮは、Convolutional Neural Networkの省略語である。
　〈表示制御部〉
　表示制御部４４は、モニタ装置１６を用いて内視鏡画像３８を再生する際に、画像表示を制御するディスプレイドライバーとして機能する。表示制御部４４は、モニタ装置１６を用いて、動画像３８ａの再生中に撮像された静止画像３８ｃを動画像３８ａに重畳表示させてもよい。表示制御部４４は、モニタ装置１６を用いて、再生中の動画像３８ａ、又は静止画像３８ｃに報知画像等を重畳表示してもよい。
　〈入力制御部〉
　入力制御部４６は、入力装置１５から入力された信号を、画像処理装置１４に適用される形式の信号に変換し、変換後の信号を全体制御部４０へ送信する。全体制御部４０は、入力装置１５から入力された情報に基づいて、画像処理装置１４の各部を制御する。
　〈記憶部〉
　記憶部４７は、画像記憶部４８、及びプログラム記憶部４９を備える。画像記憶部４８は、内視鏡画像取得部４１を用いて取得した内視鏡画像３８を記憶する。画像記憶部４８に記憶された画像は、全体制御部４０の制御の下、画像解析処理部４３へ読み出される。
　プログラム記憶部４９は、画像処理装置１４を動作させる各種プログラムを記憶する。プログラム記憶部４９に記憶された各種プログラムは、全体制御部４０の制御の下、各部へ読み出される。
　〔画像解析処理部の構成例〕
　図４は図３に示した画像解析処理部の機能を示す機能ブロック図である。画像解析処理部４３は、スコアマップ生成部５１、スコアマップ保存部５２、及びスコアマップ演算部５３を備える。以下、上記した各部について詳細に説明する。
　〈スコアマップ生成部〉
　スコアマップ生成部５１は、内視鏡画像３８のフレーム画像３８ｂごとのスコアマップ３９ａを生成する。スコアマップ３９ａは、フレーム画像３８ｂごとの、各フレーム画像３８ｂにおける位置情報を保有した、注目領域らしさを表すスコアの分布である。スコアは０以上１以下の連続する数値を適用可能である。スコアは、任意の数値範囲の数値を正規化した数値でもよい。正規化の例として、０から２５５を用いて表される数値を２５５で除算する例が挙げられる。
　本実施形態では、スコア０は最も注目領域らしくないことを表す。また、スコア１は最も注目領域らしいことを表す。
　スコアマップ生成部５１は、コンボリューションニューラルネットワークを用いて、各フレーム画像３８ｂからスコアマップ３９ａを生成する。スコアマップ生成部５１は、コンボリューションニューラルネットワークを用いた機械学習器を備える。機械学習器は、フレーム画像３８ｂを入力するとスコアマップ３９ａを出力する。
　機械学習器は、注目領域の７０の種類ごとの学習データを用いて機械学習済みの機械学習器である。コンボリューションニューラルネットワークを用いたスコアマップ３９ａは公知の手法を適用可能である。ここでは、コンボリューションニューラルネットワークを用いたスコアマップ３９ａの詳細は省略する。
　〈スコアマップ保存部〉
　スコアマップ保存部５２は、スコアマップ生成部５１を用いて生成されたスコアマップを時系列順に保存する。本実施形態では、画像解析処理部４３がスコアマップ保存部５２を具備する態様を示したが、スコアマップ保存部５２は画像解析処理部４３の外部に具備されるメモリを適用してもよい。
　〈スコアマップ演算部〉
　スコアマップ演算部５３は、スコアマップ保存部５２に規定数のスコアマップ３９ａが保存された場合に、注目時刻におけるフレーム画像３８ｂから生成されたスコアマップ３９ａ、及び注目時刻よりも過去のフレーム画像３８ｂから生成されたスコアマップ３９ａであり、スコアマップ保存部５２を用いて保存されているスコアマップ３９ａのうち少なくとも１つを演算対象として演算を行う。スコアマップ演算部５３は、演算結果として１つの演算スコアマップ３９ｂを生成する。演算の例として加重平均演算が挙げられる。加重平均演算の詳細は後述する。
　スコアマップ演算部５３は、演算スコアマップ３９ｂに基づいて注目領域を報知する際に用いられる報知画像を表す信号を生成する。例えば、スコアマップ演算部５３は、演算スコアマップ３９ｂに基づいて注目領域を表すバウンディングボックスを表す信号を生成する。スコアマップ演算部５３は、表示制御部４４を介して、モニタ装置１６を用いて内視鏡画像３８にバウンディングボックスを重畳表示させる。
　バウンディングボックスは、注目領域を囲む位置に配置される図形である。バウンディングボックスは、円、四角形、及び任意の閉曲線等を適用可能である。
　注目領域の他の報知例として、内視鏡画像３８にヒートマップを重畳表示させる例が挙げられる。ヒートマップは、色彩の違い、及び同一色彩の濃度の違いの少なくともいずれかを用いてスコアの大小を表すものである。注目領域の他の報知例として、スコア自体を表示させる例が挙げられる。
　スコアマップ演算部５３は、スコアマップ保存部５２に規定数のスコアマップ３９ａが保存されるまでの期間は、注目時刻における内視鏡画像３８から生成されたスコアマップ３９ａに基づいて、バウンディングボックス等を用いて注目領域を報知してもよい。
　〔スコアマップ生成の具体例〕
　次に、スコアマップ生成の具体例について説明する。図５はスコアマップの模式図である。図５に示したフレーム画像３８ｂ１、フレーム画像３８ｂ２、及びフレーム画像３８ｂ３は、連続する時系列の任意のフレーム画像３８ｂである。時系列順に、フレーム画像３８ｂ１、フレーム画像３８ｂ２、及びフレーム画像３８ｂ３となる。
　フレーム画像３８ｂ１、フレーム画像３８ｂ２、及びフレーム画像３８ｂ３は、いずれも注目領域７０を有している。注目領域７０の一例として病変が挙げられる。病変の例として、腫瘍、ポリープなどが挙げられる。注目領域７０の他の例として、炎症領域、出血領域、処置痕、及び処置具などが挙げられる。処置具の例として、内視鏡１０に具備される鉗子等、及び血管等のクリッピングに使用されるクリップ等が挙げられる。
　スコアマップ３９ａ１はフレーム画像３８ｂ１から生成される。スコアマップ３９ａ２はフレーム画像３８ｂ２から生成される。スコアマップ３９ａ３はフレーム画像３８ｂ３から生成される。以下、スコアマップ３９ａ１、スコアマップ３９ａ２、及びスコアマップ３９ａ３を総称してスコアマップ３９ａと呼ぶことがある。
　図５に示したスコアマップ３９ａ１の白はスコア１を表している。スコアマップ３９ａ１の黒はスコア０を表している。スコアマップ３９ａ１の生成は、コンボリューションニューラルネットワークを用いた公知の手法を適用し得る。
　フレーム画像３８ｂとスコアマップ３９ａとの対応関係を学習したＣＮＮを用いて、フレーム画像３８ｂ１からスコアマップ３９ａを生成し得る。ＣＮＮは、１画素ごとに注目領域らしさを表すスコアを出力することが可能である。ＣＮＮは、複数の画素を含む領域ごとにスコアを出力することも可能である。
　スコアマップ３９ａ１は、フレーム画像３８ｂ１の注目領域７０として正しく認識された第１スコア領域７２を有している。また、スコアマップ３９ａ１は、フレーム画像３８ｂ１の注目領域７０として誤認識された第２スコア領域７４を有している。スコアマップ３９ａ２、及びスコアマップ３９ａ３も同様である。
　本実施形態では、スコア０、及びスコア１を用いた二値化画像をスコアマップ３９ａとする例を示したが、スコアマップ３９ａは３以上の多値の量子化画像を適用してもよい。多値の量子化画像の例として、黒の濃淡を用いて多値を表現したグレースケール画像が挙げられる。
　スコアマップ３９ａは、１画素ごとにスコアが付与されてもよいし、２以上の画素を含む領域を単位としてスコアが付与されてもよい。
　〔演算スコアマップ生成の具体例〕
　図６は演算スコアマップの模式図である。図６には図５に示した３つのスコアマップ３９ａである、スコアマップ３９ａ１、スコアマップ３９ａ２、及びスコアマップ３９ａ３を演算して、演算スコアマップ３９ｂが生成される例を示す。
　スコアマップ３９ａ３は注目時刻のスコアマップ３９ａである。スコアマップ３９ａ１、及びスコアマップ３９ａ２は注目時刻よりも過去のスコアマップ３９ａである。注目時刻の例として現在の時刻が挙げられる。
　すなわち、本実施形態に示す演算スコアマップ３９ｂは、注目時刻のスコアマップ３９ａ３と、注目時刻よりも過去のスコアマップ３９ａ１、及びスコアマップ３９ａ２を用いて演算スコアマップ３９ｂが生成される。注目時刻よりも過去のスコアマップ３９ａは１つ以上であればよい。
　演算スコアマップ３９ｂは、加重平均演算、及び加重平均値の二値化処理を適用して生成される。スコアマップ３９ａの加重平均演算を用いて、各スコアマップ３９ａにおける同一位置のスコアの加重平均値が算出される。位置ごとの加重平均値に対して規定の閾値を用いて二値化処理が施される。このようにして、図６に示した演算スコアマップ３９ｂが生成される。なお、演算スコアマップ３９ｂの生成は、多値の量子化処理を適用してもよい。
　二値化処理では、位置ごとの加重平均値が規定の閾値を超える場合が１とされ、位置ごとの加重平均値が規定の閾値以下の場合が０とされる。例えば、閾値として０．５が用いられる。閾値が０．５の場合、演算スコアマップ３９ｂの生成に用いられる複数のスコアマップ３９ａのいずれかにおいてスコアが０の位置は、演算スコアマップ３９ｂにおいてスコアが０とされる。スコアが０以上１以下の数値の場合、閾値は０．１以上０．５以下の数値を適用し得る。閾値は０．２以上０．５以下の数値がより好ましい。
　スコアマップ３９ａを平均化すると誤認識された領域のスコアは減少する。一方、正しく認識された領域はスコアが高いまま維持される。このようにして、スコアマップ３９ａにおいて注目領域７０として誤認識された第２スコア領域７４は、演算スコアマップ３９ｂから除去される。また、スコアマップ３９ａにおいて注目領域７０として認識された第１スコア領域７２のうち、境界近傍の誤認識されている可能性がある領域もまた、演算スコアマップ３９ｂから除去される。
　図６に示した演算スコアマップ３９ｂは、スコアマップ３９ａ１、スコアマップ３９ａ２、及びスコアマップ３９ａ３における第１スコア領域７２に対応する第３スコア領域８０を有している。一方、演算スコアマップ３９ｂは、スコアマップ３９ａ１、スコアマップ３９ａ２、及びスコアマップ３９ａ３における第２スコア領域７４に対応する領域を有していない。
　本実施形態では、スコアマップ３９ａの規定数として３を例示したが、スコアマップ３９ａの規定数は２以上の整数であればよい。スコアマップ３９ａの規定数が相対的に大きい場合は注目領域７０の認識の精度が向上する。規定数が相対的に小さい場合は演算効率が向上する。スコアマップ３９ａの規定数は、注目領域７０の認識の精度、及び演算効率のバランスを考慮して規定することが可能である。
　演算スコアマップ３９ｂの生成に適用される演算は、規定数のスコアマップ３９ａを用いた算術平均演算等の他の平均演算、及び平均演算以外の演算を適用することが可能である。
　〔注目領域の報知の具体例〕
　内視鏡画像３８において注目領域７０を報知する際に、バウンディングボックス等を用いて認識した注目領域７０を囲むなど、注目領域７０に報知画像を重畳表示させる場合、注目領域７０とそれ以外の領域との比較が困難になり、診断等に支障をきたすことが懸念される。
　本実施形態に示す注目領域７０の報知は、内視鏡画像３８における注目領域７０の視認性を低下させずに、注目領域７０に対して報知画像を重畳表示させる。
　図７は動画像観察中の注目領域の報知例を示す内視鏡画像の模式図である。図７に示した内視鏡画像３８は動画像３８ａを構成する任意のフレーム画像３８ｂである。図７に示した内視鏡画像３８は、注目領域７０を表す報知画像としてバウンディングボックス８２が重畳表示されている。
　バウンディングボックス８２は、演算スコアマップ３９ｂの第３スコア領域８０に基づいて生成される。図７に示したバウンディングボックス８２は、演算スコアマップ３９ｂの第３スコア領域８０に外接する四角形が適用されている。
　動画像３８ａの観察中にバウンディングボックス８２が注目領域７０と重なる場合、注目領域７０が視認しにくくなる。本実施形態に示したバウンディングボックス８２は、注目領域７０とずらした位置に表示される。
　すなわち、演算スコアマップ３９ｂを算出する加重平均演算は、注目時刻のスコアマップ３９ａである、図６に示したスコアマップ３９ａ３の影響が、他のスコアマップ３９ａの影響よりも小さくなる重みが適用される。注目時刻のスコアマップ３９ａの影響が最も小さくなる重みを用いた加重平均演算がより好ましい。
　これにより、注目時刻よりも数フレーム前のフレーム画像３８ｂにおける注目領域７０の位置にバウンディングボックス８２が表示され、注目領域７０から少し遅れながらバウンディングボックス８２が注目領域７０に追従する。
　図８は静止画像観察中の注目領域の報知例を示す内視鏡画像の模式図である。静止画像３８ｃにおけるバウンディングボックス８２は、注目領域７０を囲む位置に表示される。すなわち、動画像３８ａの観察中は、注目領域７０とずらされた位置にバウンディングボックス８２が表示され、動画像３８ａを停止させた静止画像３８ｃの観察中は、注目領域７０と一致する位置にバウンディングボックス８２が表示される。
　ここでいうバウンディングボックス８２の位置はバウンディングボックス８２の重心の位置を適用し得る。同様に、注目領域７０の位置は注目領域７０の重心の位置を適用し得る。
　〔加重平均演算の具体例〕
　注目時刻のスコアマップ３９ａをＸ（ｔ０）とする。注目時刻ｔ０よりも過去の７つのスコアマップ３９ａをＸ（ｔ１）、Ｘ（ｔ２）、Ｘ（ｔ３）、Ｘ（ｔ４）、Ｘ（ｔ５）、Ｘ（ｔ６）、及びＸ（ｔ７）とする。注目時刻ｔ０のスコアマップＸ（ｔ０）に適用される重みをＷｔ０とする。注目時刻ｔ０よりも過去のスコアマップＸ（ｔｊ）に適用される重みをＷｔｊとする。但し、ｊは１から注目時刻ｔ０よりも過去のスコアマップ３９ａの総数までの整数である。過去のスコアマップ３９ａの総数が７の場合の注目時刻ｔ０における演算スコアマップＹ（ｔ０）は、以下の式１を用いて表される。
Figure JPOXMLDOC01-appb-M000001
　スコアマップ３９ａの総数がｎの場合の演算スコアマップＹ（ｔ０）は、以下の式２を用いて表される。但し、ｉは０からｎまでの整数である。スコアマップ３９ａの総数ｎは１以上の整数である。スコアマップ３９ａの総数ｎは、注目時刻ｔ０のスコアマップ３９ａの数、及び注目時刻ｔ０よりも過去のスコアマップ３９ａの数の総数である。
Figure JPOXMLDOC01-appb-M000002
　ここで、上記の式１、及び式２におけるＸ（ｔｉ）は、各スコアマップ３９ａを構成する各画素の位置、及び各画素のスコアの組の集合体を意味する。上記の式１、及び式２におけるＹ（ｔ０）は、演算スコアマップ３９ｂを構成する各画素の位置、及び各画素の演算結果の組の集合体を意味する。
　ｎ＝８の場合の重みの例として、以下の式３、及び式４に示す重みが挙げられる。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　上記の式３、及び式４に示した重みを用いた場合、注目時刻ｔ０の４フレーム前のスコアマップ３９ａの重みが最大となっている。これにより、注目時刻ｔ０から、おおよそ４フレーム分遅れて動画像３８ａにバウンディングボックス８２が追従する。
　上記の式３、及び式４に示した重みは、注目時刻ｔ０から過去に向かって単純増加している。また、上記の式３、及び式４に示した重みは、注目時刻ｔ０から過去の時刻における中央の時刻を最大として、中央の時刻から過去の時刻に向かって単純減少している。
　重みは上記の式３、及び式４に示す例に限定されない。重みが最大となる時刻に応じて、内視鏡画像３８の注目領域７０とバウンディングボックス８２等の報知画像とのずれを規定し得る。
　過去のスコアマップ３９ａの総数が２の場合の注目時刻ｔ０における演算スコアマップＹ（ｔ０）は、以下の式５を用いて表される。また、ｎ＝３の場合の重みの例として、以下の式６、及び式７に示す重みが挙げられる。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　上記の式６に示す重みの例は、注目時刻ｔ０から過去の時刻ｔ１に向かって単純増加し、かつ過去の時刻ｔ１から過去の時刻ｔ２に向かって単純減少する例である。上記の式７に示す重みの例は、注目時刻ｔ０から過去の時刻に向かって単純増加する例である。
　上記の式３、式４、式６、及び式７には、注目時刻ｔ０のスコアマップ３９ａに適用される重みが、加重平均演算に用いられる重みの最小値となる加重平均演算を例示したが、注目時刻ｔ０のスコアマップ３９ａに適用される重みは、上記の式３、式４、式６、及び式７に示した例に限定されない。スコアマップ演算部５３は、注目時刻ｔ０のスコアマップ３９ａに適用される重みを、注目時刻ｔ０のスコアマップ３９ａ以外のスコアマップ３９ａの重みの算術平均未満とすることで、演算スコアマップ３９ｂにおける注目時刻ｔ０のスコアマップ３９ａの影響を、注目時刻ｔ０よりも過去の時刻のスコアマップ３９ａよりも小さくし得る。注目時刻ｔ０よりも過去のスコアマップ３９ａは、注目時刻のスコアマップ以外のスコアマップに相当する。
　加重平均演算に用いられるスコアマップ３９ａの規定数は固定値とされる。すなわち、注目時刻のスコアマップ３９ａが更新された場合、更新後の注目時刻ｔ０のスコアマップ３９ａから規定数の過去のスコアマップ３９ａが適用される。これにより、演算スコアマップ３９ｂにおける注目時刻ｔ０のスコアマップ３９ａの影響の程度が維持される。
　［画像処理方法の手順］
　図９は画像処理方法の流れを示すフローチャートである。内視鏡画像３８の観察が開始される。内視鏡画像取得工程Ｓ１０では、図３に示した内視鏡画像取得部４１は、図１に示したプロセッサ装置１２を介して内視鏡画像３８を取得する。
　内視鏡画像取得工程Ｓ１０の後にスコアマップ生成工程Ｓ１２へ進む。スコアマップ生成工程Ｓ１２では、図４に示したスコアマップ生成部５１は、内視鏡画像３８の各フレーム画像３８ｂからスコアマップ３９ａを生成する。スコアマップ生成工程Ｓ１２の後にスコアマップ保存工程Ｓ１４へ進む。
　スコアマップ保存工程Ｓ１４では、スコアマップ生成部５１はスコアマップ生成工程Ｓ１２において生成されたスコアマップ３９ａをスコアマップ保存部５２へ保存する。なお、内視鏡画像取得工程Ｓ１０、スコアマップ生成工程Ｓ１２、及びスコアマップ保存工程Ｓ１４は並行して実行されてもよい。スコアマップ保存工程Ｓ１４の後にスコアマップ数判定工程Ｓ１６へ進む。
　スコアマップ数判定工程Ｓ１６では、スコアマップ演算部５３は、スコアマップ保存工程Ｓ１４において保存されたスコアマップ数が規定数以上であるか否かを判定する。スコアマップ数判定工程Ｓ１６において、スコアマップ保存工程Ｓ１４において保存されたスコアマップ数が規定数未満であると判定された場合はＮｏ判定となる。Ｎｏ判定の場合は、スコアマップ数判定工程Ｓ１６においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０からスコアマップ数判定工程Ｓ１６の各工程を繰り返し実行する。
　スコアマップ数判定工程Ｓ１６において保存されたスコアマップ数が規定数以上であると判定された場合はＹｅｓ判定となる。Ｙｅｓ判定の場合はスコアマップ演算工程Ｓ１８へ進む。
　スコアマップ演算工程Ｓ１８では、スコアマップ演算部５３は、注目時刻のスコアマップ３９ａ、及び注目時刻よりも過去の時刻における少なくとも１つのスコアマップ３９ａを含む、規定数のスコアマップ３９ａを用いて演算スコアマップ３９ｂを生成する。スコアマップ演算工程Ｓ１８の後に報知画像表示工程Ｓ２０へ進む。
　報知画像表示工程Ｓ２０では、スコアマップ演算部５３は、モニタ装置１６に表示される内視鏡画像３８に対して、図７に示したバウンディングボックス８２等の報知画像を重畳表示させる。報知画像表示工程Ｓ２０の後に観察終了判定工程Ｓ２２へ進む。
　観察終了判定工程Ｓ２２では、画像解析処理部４３は、内視鏡画像３８の観察を終了するか否かを判定する。例えば、規定期間、内視鏡画像３８を取得しない場合に、内視鏡画像３８の観察を終了すると判定し得る。観察終了判定工程Ｓ２２において、内視鏡画像３８の観察を終了しないと判定した場合はＮｏ判定となる。Ｎｏ判定の場合、画像処理装置１４は観察終了判定工程Ｓ２２においてＹｅｓ判定となるまで、内視鏡画像取得工程Ｓ１０から観察終了判定工程Ｓ２２までの各工程を繰り返し実行する。
　一方、観察終了判定工程Ｓ２２において、内視鏡画像３８の観察を終了すると判定した場合はＹｅｓ判定となる。Ｙｅｓ判定の場合、内視鏡システム９は内視鏡画像３８の観察を終了する。
　［画像処理装置、及び方法の作用効果］
　上記の如く構成された画像処理装置、及び方法によれば、以下の作用効果を得ることが可能である。
　〔１〕
　内視鏡画像３８の各フレーム画像３８ｂについて、注目領域７０らしさを表すスコアの分布であるスコアマップ３９ａを生成し、スコアマップ３９ａを保存する。注目時刻のスコアマップ３９ａを含む規定数のスコアマップ３９ａが保存された場合に、規定数のスコアマップ３９ａに対して加重平均演算を施して、１つの演算スコアマップ３９ｂを生成する。これにより、誤検出の原因となり得るスコアの影響が抑制された演算スコアマップ３９ｂに基づいて、誤認識が抑制された注目領域７０の認識が可能となる。
　〔２〕
　スコアマップ３９ａの生成はコンボリューションニューラルネットワークが適用される。これにより、コンボリューションニューラルネットワークを用いて生成されたスコアマップ３９ａに基づく注目領域７０の認識が可能となる。
　〔３〕
　規定数のスコアマップ３９ａに対して加重平均演算を施して演算スコアマップ３９ｂが生成される。これにより、注目領域７０として誤認識された第２スコア領域７４が演算スコアマップ３９ｂから除去される。
　〔４〕
　加重平均演算は、注目時刻よりも過去のスコアマップ３９ａの影響よりも注目時刻のスコアマップ３９ａの影響が小さくなる重みが適用される。これにより、演算スコアマップ３９ｂに基づいて生成されたバウンディングボックス８２等の報知画像を内視鏡画像３８に重畳表示させる際に、報知画像の位置を注目領域７０の位置とずらすことが可能となる。
　〔５〕
　加重平均演算は、注目時刻のスコアマップ３９ａに最小の重みを適用する。これにより、演算スコアマップ３９ｂへの注目時刻のスコアマップ３９ａの影響を最小とすることが可能となる。
　〔６〕
　規定数のスコアマップ３９ａを用いて演算スコアマップ３９ｂが生成される。これにより、演算スコアマップ３９ｂへの注目時刻のスコアマップ３９ａの影響の程度を維持し得る。
　〔７〕
　演算スコアマップ３９ｂの第３スコア領域８０に基づくバウンディングボックス８２を内視鏡画像３８に重畳表示させる。これにより、内視鏡画像３８における注目領域７０の報知が可能となる。
　［内視鏡画像の変形例］
　〔第１例〕
　内視鏡画像３８は、白色帯域の光、又は白色帯域の光として波長帯域が異なる複数の光を照射して取得した通常光画像を適用し得る。
　〔第２例〕
　内視鏡画像３８は、特定の波長帯域の光を照射して取得した特殊光画像を適用し得る。特定の波長帯域は、白色光の波長帯域よりも狭い波長帯域を適用し得る。
　［特定の波長帯域の変形例］
　〔第１例〕
　特定の波長帯域の第１例は、可視域の青色帯域又は緑色帯域である。第１例の波長帯域は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域を含み、且つ第１例の光は、３９０ナノメートル以上４５０ナノメートル以下、又は５３０ナノメートル以上５５０ナノメートル以下の波長帯域内にピーク波長を有する。
　〔第２例〕
　特定の波長帯域の第２例は、可視域の赤色帯域である。第２例の波長帯域は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域を含み、且つ第２例の光は、５８５ナノメートル以上６１５ナノメートル以下、又は６１０ナノメートル以上７３０ナノメートル以下の波長帯域内にピーク波長を有する。
　〔第３例〕
　特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域を含み、且つ第３例の光は、４００±１０ナノメートル、４４０±１０ナノメートル、４７０±１０ナノメートル、又は６００ナノメートル以上７５０ナノメートル以下の波長帯域にピーク波長を有する。
　〔第４例〕
　特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察に用いられ、且つこの蛍光物質を励起させる励起光の波長帯域である。例えば、３９０ナノメートル以上４７０ナノメートル以下の波長帯域である。なお、蛍光の観察は蛍光観察と呼ばれる場合がある。
　〔第５例〕
　特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域を含み、且つ第５例の光は、７９０ナノメートル以上８２０ナノメートル以下、又は９０５ナノメートル以上９７０ナノメートル以下の波長帯域にピーク波長を有する。
　［特殊光画像の生成例］
　プロセッサ装置１２は、白色光、又は白色光として異なる波長帯域を有する複数の光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成は取得が含まれる。この場合、プロセッサ装置１２は、特殊光画像取得部として機能する。そして、プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青、或いはシアン、マゼンタ、及びイエローの色情報に基づく演算を行うことで得る。
　なお、赤、緑、及び青は、ＲＧＢ（Red,Green,Blue）と表されることがある。また、シアン、マゼンタ、及びイエローは、ＣＭＹ（Cyan,Magenta,Yellow）と表されることがある。
　［特徴量画像の生成例］
　プロセッサ装置１２は、通常光画像、及び特殊光画像の少なくともいずれか一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。
　［診断支援装置、医療行業務支援装置への適用例］
　本実施形態に示した画像処理装置１４を備えた診断支援装置、及び医療行業務支援装置を構成し得る。
　［プロセッサ装置への適用例］
　本実施形態に示した画像処理装置１４を備えるプロセッサ装置１２を構成し得る。すなわち、内視鏡１０の動作を制御する内視鏡制御部、内視鏡１０を用いた撮像を制御する撮像制御部、光源装置１１を制御する光源制御部、及び画像処理装置１４を備えたプロセッサ装置１２を構成し得る。画像処理装置１４は画像処理部の一例に相当する。
　［コンピュータを画像処理装置として機能させるプログラムへの適用例］
　上述した画像処理方法は、コンピュータを用いて、画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。例えば、画像取得機能、スコアマップ生成機能、スコアマップ保存機能、及びスコアマップ演算機能を実現させるプログラムを構成し得る。
　上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。
　また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。
　［実施形態及び変形例等の組み合わせについて］
　上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
　以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
１　制御部
２　メモリ
３　ハードディスク装置
４　通信インターフェース
５　入力コントローラ
６　ディスプレイコントローラ
９　内視鏡システム
１０　内視鏡
１１　光源装置
１２　プロセッサ装置
１３　表示装置
１４　画像処理装置
１５　入力装置
１６　モニタ装置
１７　ネットワーク
１８　記憶装置
２０　挿入部
２１　操作部
２２　ユニバーサルコード
２５　軟性部
２６　湾曲部
２７　先端部
２７ａ　先端面
２８　撮像素子
２９　湾曲操作ノブ
３０　送気送水ボタン
３１　吸引ボタン
３２　静止画像撮像指示部
３３　処置具導入口
３５　ライトガイド
３６　信号ケーブル
３７ａ、３７ｂ　コネクタ
３８　内視鏡画像
３８ａ　動画像
３８ｂ、３８ｂ１、３８ｂ２、３８ｂ３　フレーム画像
３８ｃ　静止画像
３９ａ、３９ａ１、３９ａ２、３９ａ３　スコアマップ
３９ｂ　演算スコアマップ
４０　全体制御部
４１　内視鏡画像取得部
４３　画像解析処理部
４４　表示制御部
４５　深層学習アルゴリズム
４６　入力制御部
４７　記憶部
４８　画像記憶部
４９　プログラム記憶部
５１　スコアマップ生成部
５２　スコアマップ保存部
５３　スコアマップ演算部
６８　通信信号線
７０　注目領域
７２　第１スコア領域
７４　第２スコア領域
８０　第３スコア領域
８２　バウンディングボックス
Ｓ１０からＳ２２　画像処理方法の各工程

Claims (14)

  1. 　時系列の複数の医用画像を取得する画像取得部と、
    　前記画像取得部を用いて取得した２つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成部と、
    　前記スコアマップを保存するスコアマップ保存部と、
    　前記スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算部と、
    　を備えた画像処理装置。
  2. 　前記スコアマップ生成部は、コンボリューションニューラルネットワークを用いて前記スコアマップを生成する請求項１に記載の画像処理装置。
  3. 　前記スコアマップ演算部は、演算対象の前記スコアマップに対して加重平均演算を施して、前記演算スコアマップを生成する請求項１又は２に記載の画像処理装置。
  4. 　前記医用画像を表示する表示装置へ、前記演算スコアマップに基づいて前記注目領域を表す報知画像を表示させる表示制御部を備えた請求項３に記載の画像処理装置。
  5. 　前記表示制御部は、前記報知画像を前記医用画像に重畳表示させ、かつ前記報知画像を前記医用画像の前記注目領域の位置とずらして表示させる請求項４に記載の画像処理装置。
  6. 　前記スコアマップ演算部は、前記演算スコアマップへの前記注目時刻のスコアマップの影響を相対的に小さくする重みを用いた前記加重平均演算を施して前記演算スコアマップを生成し、
    　前記表示制御部は、前記演算スコアマップに基づいて生成された前記報知画像を前記医用画像に重畳表示させる請求項４に記載の画像処理装置。
  7. 　前記スコアマップ演算部は、前記注目時刻のスコアマップの前記重みを、前記注目時刻よりも過去のスコアマップの重みの算術平均未満として、前記加重平均演算を施して前記演算スコアマップを生成する請求項６に記載の画像処理装置。
  8. 　前記スコアマップ演算部は、前記加重平均演算に用いる前記重みの最小値を、前記注目時刻のスコアマップへ適用する前記加重平均演算を施して前記演算スコアマップを生成する請求項６に記載の画像処理装置。
  9. 　前記スコアマップ演算部は、前記注目時刻のスコアマップを含む時系列の２以上の規定された数の前記スコアマップが前記スコアマップ保存部に保存された場合に、前記注目時刻のスコアマップを含む、前記時系列の２以上の規定された数のスコアマップについて、前記演算スコアマップを生成する請求項１から８のいずれか一項に記載の画像処理装置。
  10. 　前記画像取得部は、内視鏡を用いて取得した観察画像を取得する請求項１から９のいずれか一項に記載の画像処理装置。
  11. 　内視鏡の動作を制御する内視鏡制御部と、
    　前記内視鏡を用いた撮像を制御する撮像制御部と、
    　前記内視鏡を用いて撮像して得られた内視鏡画像を処理する画像処理部と、
    　を備え、
    　前記画像処理部は、
    　時系列の複数の医用画像として前記内視鏡画像を取得する画像取得部と、
    　前記画像取得部を用いて取得した２つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成部と、
    　前記スコアマップを保存するスコアマップ保存部と、
    　前記スコアマップ保存部に保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算部と、
    　を備えたプロセッサ装置。
  12. 　時系列の複数の医用画像を取得する画像取得工程と、
    　前記画像取得工程において取得した２つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成工程と、
    　前記スコアマップを保存するスコアマップ保存工程と、
    　前記スコアマップ保存工程において保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算工程と、
    　を含む画像処理方法。
  13. 　コンピュータに、
    　時系列の複数の医用画像を取得する画像取得機能、
    　前記画像取得機能を用いて取得した２つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成機能、
    　前記スコアマップを保存するスコアマップ保存機能、及び
    　前記スコアマップ保存機能を用いて保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算機能を実現させるプログラム。
  14. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    　時系列の複数の医用画像を取得する画像取得機能、
    　前記画像取得機能を用いて取得した２つ以上の前記医用画像について、注目領域らしさのスコアの分布を表すスコアマップを生成するスコアマップ生成機能、
    　前記スコアマップを保存するスコアマップ保存機能、及び
    　前記スコアマップ保存機能を用いて保存したスコアマップについて、注目時刻のスコアマップと、注目時刻よりも過去の少なくとも１つのスコアマップとから１つの演算スコアマップを生成するスコアマップ演算機能をコンピュータに実現させる記録媒体。
PCT/JP2018/045952 2018-01-10 2018-12-13 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム WO2019138772A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019564350A JP7122328B2 (ja) 2018-01-10 2018-12-13 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018002004 2018-01-10
JP2018-002004 2018-01-10

Publications (1)

Publication Number Publication Date
WO2019138772A1 true WO2019138772A1 (ja) 2019-07-18

Family

ID=67219641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045952 WO2019138772A1 (ja) 2018-01-10 2018-12-13 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP7122328B2 (ja)
WO (1) WO2019138772A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200367721A1 (en) * 2019-05-23 2020-11-26 Ankon Technologies Co., Ltd Auxiliary display system for photographing device
WO2022224446A1 (ja) * 2021-04-23 2022-10-27 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013037702A1 (en) * 2011-09-14 2013-03-21 Siemens Aktiengesellschaft Method and a system for medical imaging

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521988B2 (en) 2015-02-17 2016-12-20 Siemens Healthcare Gmbh Vessel tree tracking in angiography videos

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013037702A1 (en) * 2011-09-14 2013-03-21 Siemens Aktiengesellschaft Method and a system for medical imaging

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200367721A1 (en) * 2019-05-23 2020-11-26 Ankon Technologies Co., Ltd Auxiliary display system for photographing device
WO2022224446A1 (ja) * 2021-04-23 2022-10-27 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Also Published As

Publication number Publication date
JPWO2019138772A1 (ja) 2020-12-10
JP7122328B2 (ja) 2022-08-19

Similar Documents

Publication Publication Date Title
US11918176B2 (en) Medical image processing apparatus, processor device, endoscope system, medical image processing method, and program
JP7270626B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理装置の作動方法、プログラム、及び記憶媒体
US11298012B2 (en) Image processing device, endoscope system, image processing method, and program
US20200320702A1 (en) Medical image processing device, endoscope system, medical image processing method, and program
JP7143504B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
WO2019130868A1 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
US20220383607A1 (en) Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device
US11564560B2 (en) Image processing apparatus, operating method of image processing apparatus, and computer-readable recording medium
WO2019138772A1 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
JP6371613B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2019087969A1 (ja) 内視鏡システム、報知方法、及びプログラム
US20220222840A1 (en) Control device, image processing method, and storage medium
JP7137629B2 (ja) 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム
CN112488925A (zh) 用于减少图像中的烟雾的系统和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18900552

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019564350

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18900552

Country of ref document: EP

Kind code of ref document: A1