WO2022163514A1 - 医療画像処理装置、方法及びプログラム - Google Patents

医療画像処理装置、方法及びプログラム Download PDF

Info

Publication number
WO2022163514A1
WO2022163514A1 PCT/JP2022/002133 JP2022002133W WO2022163514A1 WO 2022163514 A1 WO2022163514 A1 WO 2022163514A1 JP 2022002133 W JP2022002133 W JP 2022002133W WO 2022163514 A1 WO2022163514 A1 WO 2022163514A1
Authority
WO
WIPO (PCT)
Prior art keywords
time measurement
state
time
medical image
image processing
Prior art date
Application number
PCT/JP2022/002133
Other languages
English (en)
French (fr)
Inventor
駿平 加門
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202280011200.XA priority Critical patent/CN116744834A/zh
Priority to EP22745735.5A priority patent/EP4285810A4/en
Priority to JP2022578319A priority patent/JPWO2022163514A1/ja
Publication of WO2022163514A1 publication Critical patent/WO2022163514A1/ja
Priority to US18/351,230 priority patent/US20230360221A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Definitions

  • the present invention relates to a medical image processing apparatus, method and program, and more particularly to technology for informing the user of useful information while observing medical images.
  • Patent Document 1 An endoscopy data recording system that records transitions in an examination data storage unit
  • the endoscopy data recording system described in Patent Document 1 includes the use time of each irradiation light, the number of times each irradiation light is used, the observation time using each drug, and the use of each drug in endoscopy. Calculate the number of times of use, the execution time of each treatment, the number of times of each treatment, etc., record the calculated data in the examination data storage unit, , the number of times each irradiation light is used, the observation time using each drug, the number of times each drug is used, the time each treatment is performed, and the number of times each treatment is performed, etc., and the calculated data is inspected. It is recorded in the data storage section.
  • the observation light usage start time and usage end time are specified by the observation light button, and the observation start time and observation end time using the drug are specified by the drug button. Two points, the implementation start time and the implementation end time, are designated by the action button.
  • the endoscopy data recording system described in Patent Document 1 displays transitions of irradiation light type data, chemical spray data, and treatment execution data acquired during endoscopy on the screen of the display unit. It has a display control unit that allows
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a medical image processing apparatus, method, and program capable of automatically measuring the time relating to the inspection state of time-series medical images. .
  • the invention according to a first aspect provides a medical image processing apparatus comprising a processor, wherein the processor performs medical image acquisition processing for sequentially acquiring time-series medical images, and based on the sequentially acquired medical images, an inspection state recognition process for recognizing an inspection state using a device, a time measurement process for measuring the time related to the inspection state, a time measurement control process for controlling the behavior of time measurement according to the recognition result of the inspection state, and a time measurement state and a notification process of notifying the user of information regarding the information by the notification unit.
  • the examination state is automatically recognized based on the sequentially acquired medical images, and the time measurement behavior regarding the examination state is controlled according to the recognition result of the examination state. It is possible to reduce the user's burden for time measurement during examination using medical images.
  • the notification unit since information about the state of time measurement is notified to the user by the notification unit, for example, when the automatic recognition of the inspection state fails, or when the inspection state is automatically recognized at a timing different from the timing intended by the user. , the user can be made aware of it.
  • the notification process causes the notification unit to notify the user of information regarding the time measurement state only for a certain period based on the timing at which the time measurement state changes. is preferred. If information about the state of time measurement exceeds a certain period of time, it may interfere with the inspection, or information about the state of time measurement (for example, information indicating "measurement start") may interfere with the current inspection state (for example, This is because it may be far from "medium”).
  • the notification process causes the first display area of the display unit functioning as the notification unit to display in real time information about the measured time by the time measurement process, and It is preferable to display information about the state of time measurement in a second display area different from the first display area, or to notify the information about the state of time measurement as sound information from a speaker functioning as a notification unit.
  • the information on the measured time may be the measured time itself, or may be a bar graph or the like having a length corresponding to the measured time.
  • the information about the state of time measurement includes information on one or more of start, end, pause, and restart of time measurement
  • the time measurement control process includes: It is preferable to control one or more of starting, ending, suspending, or resuming time measurement in the time measurement process.
  • the processor performs reception processing for receiving information regarding the state of time measurement from the user operation unit, and the time measurement control processing receives information regarding the state of time measurement from the user operation unit. is received, the received information about the state of time measurement is preferentially used instead of the recognition result in the inspection state recognition process, and the behavior of time measurement is preferably controlled.
  • the user can manually instruct the information regarding the state of time measurement, thereby making it possible to perform correct time measurement.
  • the processor performs a process of storing the time measurement result of the time measurement process in the storage unit.
  • the time required for the inspection or the like can be confirmed after the fact.
  • the time required for the examination is an index of the quality of the screening.
  • the processor performs processing for storing the time measurement result of the time measurement processing in the storage unit, and the behavior of the time measurement control processing is controlled by user operation on the user operation unit.
  • the processor it is preferable to change the method of storing the time measurement result in the storage unit according to the controlled behavior situation. As a result, it is possible to identify whether the time measurement result is measured only by the automatic recognition of the inspection state or is corrected by the user's operation due to an error in the automatic recognition of the inspection state.
  • the examination state recognition processing recognizes whether the examination state is being treated based on the sequentially acquired medical images. This makes it possible to measure treatment time.
  • the examination state recognition processing includes performing treatment tool detection processing for detecting the treatment tool based on the sequentially acquired medical images. It is preferable to recognize whether
  • the medical image is an endoscopic image.
  • the examination state recognition processing recognizes that the endoscope is being inserted, removed, or is outside the body based on sequentially acquired medical images.
  • the inspection state recognition processing performs landmark detection processing for detecting landmarks in the lumen based on the sequentially acquired medical images, and the landmark detection result is Preferably, the inspection status is recognized accordingly.
  • the inspection state recognition processing performs motion detection processing for detecting motion of the endoscope based on sequentially acquired medical images. It is preferable to recognize the inspection state according to the detection result. By recognizing the movement state of the endoscope, it is possible to determine that it is being inserted when it is advancing and that it is being removed when it is returning. Therefore, it is possible to determine that the timing of transition from insertion to removal is the start of removal.
  • a fourteenth aspect of the invention there is provided a step of sequentially acquiring time-series medical images, an inspection state recognition step of recognizing information about an inspection state based on the sequentially acquired medical images, and a time measurement for measuring a time related to the inspection state.
  • a time measurement control step of controlling the behavior of time measurement according to the recognition result of the inspection state; and a notification step of causing the notification unit to notify the user of information regarding the state of time measurement, wherein the processor performs each It is a medical image processing method for performing the processing of steps.
  • the notification step causes the notification unit to notify the user of information regarding the time measurement state only for a certain period of time based on the timing at which the time measurement state changes. is preferred.
  • the notifying step causes the first display area of the display unit functioning as the notifying unit to display in real time information about the time measured by the time measuring step, and It is preferable to display information about the state of time measurement in a second display area different from the first display area, or to notify the information about the state of time measurement as sound information from a speaker functioning as a notification unit.
  • the medical image processing method includes a step of receiving information about the state of time measurement from the user operation unit, wherein the time measurement control step receives information about the state of time measurement from the user operation unit, It is preferable to preferentially use the received information about the state of time measurement instead of the recognition result in the inspection state recognition step to control the behavior of time measurement.
  • the invention according to the eighteenth aspect is a medical image processing program that causes a processor to execute the processing of each step in the medical image processing method according to any one of the fourteenth to seventeenth aspects of the present invention.
  • the present invention it is possible to automatically measure the time related to the inspection status of time-series medical images, and reduce the burden on the user during the inspection.
  • FIG. 1 is a schematic diagram showing the overall configuration of an endoscope system including a medical image processing apparatus according to the present invention.
  • FIG. 2 is a block diagram illustrating an embodiment of a medical image processing device.
  • FIG. 3 is a diagram showing a first notification example by a display.
  • FIG. 4 is a diagram showing a second example of notification by the indicator.
  • FIG. 5 is a diagram showing an example of a screen displayed on the display when saving measurement results.
  • FIG. 6 is a flow chart showing an embodiment of a medical image processing method according to the present invention.
  • FIG. 1 is a schematic diagram showing the overall configuration of an endoscope system including a medical image processing apparatus according to the present invention.
  • an endoscope system 9 includes an endoscope 10 that is an electronic endoscope, a light source device 11, an endoscope processor device 12, a display device 13, and a medical image processing device 14. , an operation unit 15 , and a display device 16 .
  • the endoscope 10 captures time-series medical images including subject images, and is, for example, a lower gastrointestinal scope.
  • the endoscope 10 includes an insertion section 20 which is inserted into a subject (in this example, the large intestine which is a hollow organ) and which has a distal end and a proximal end, and a proximal end side of the insertion section 20 connected to the insertion section 20 . It also has a hand operation unit 21 that is held by a doctor who is an operator to perform various operations, and a universal cord 22 connected to the hand operation unit 21 .
  • the insertion portion 20 is formed in a long shape with a small diameter as a whole.
  • the insertion portion 20 includes a flexible portion 25 that is flexible in order from the base end side to the distal end side, a bending portion 26 that can be bent by operating the hand operation portion 21, and an imaging optical system (not shown) (objective lens ) and a distal end portion 27 in which an imaging device 28 and the like are built in are arranged in series.
  • the imaging device 28 is a CMOS (complementary metal oxide semiconductor) type or CCD (charge coupled device) type imaging device. Image light of the site to be observed passes through an observation window (not shown) opened on the distal end surface of the distal end portion 27 and an objective lens (not shown) arranged behind the observation window. is incident. The imaging device 28 captures (converts into an electrical signal) the image light of the site to be observed that has entered its imaging surface, and outputs an imaging signal.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the hand operation unit 21 is provided with various operation members operated by a doctor (user). Specifically, the hand operation unit 21 has two types of bending operation knobs 29 used for bending operation of the bending portion 26, an air/water supply button 30 for air/water supply operation, and a suction button 31 for suction operation. , is provided.
  • the hand operation unit 21 also includes a still image photographing instruction unit 32 for instructing photographing of a still image 39 of the site to be observed, A treatment instrument introduction port 33 into which a treatment instrument (not shown) is inserted is provided.
  • the universal cord 22 is a connection cord for connecting the endoscope 10 to the light source device 11.
  • the universal cord 22 includes a light guide 35, a signal cable 36, and a fluid tube (not shown) that are inserted through the insertion section 20.
  • a connector 37a connected to the light source device 11 and a connector 37b branched from the connector 37a and connected to the endoscope processor device 12 are provided.
  • the light guide 35 and the fluid tube (not shown) are inserted into the light source device 11 .
  • necessary illumination light, water, and gas are supplied from the light source device 11 to the endoscope 10 via the light guide 35 and the fluid tube (not shown).
  • illumination light is emitted from an illumination window (not shown) on the distal end surface of the distal end portion 27 toward the site to be observed.
  • gas or water is jetted from an air/water supply nozzle (not shown) on the distal end surface of the distal end portion 27 toward an observation window (not shown) on the distal end surface. be.
  • the signal cable 36 and the endoscope processor device 12 are electrically connected.
  • an imaging signal of the site to be observed is output from the imaging device 28 of the endoscope 10 to the endoscope processor device 12 via the signal cable 36, and the endoscope processor device 12 outputs an image signal of the endoscope.
  • a control signal is output to 10 .
  • the light source device 11 supplies illumination light to the light guide 35 of the endoscope 10 via the connector 37a.
  • the illumination light may be white light (light in a white wavelength band or light in a plurality of wavelength bands), light in one or more specific wavelength bands, or light in various wavelength bands according to the purpose of observation, such as a combination thereof. selected.
  • the endoscope processor device 12 controls the operation of the endoscope 10 via the connector 37b and the signal cable 36.
  • the endoscope processor device 12 also generates an image ( (also referred to as “moving image 38”).
  • an image also referred to as “moving image 38”.
  • the still image photographing instruction unit 32 is operated by the hand operation unit 21 of the endoscope 10
  • the endoscope processor device 12 in parallel with the generation of the moving image 38, reproduces one image in the moving image 38.
  • a still image 39 corresponding to the timing of the photographing instruction is used as the frame image.
  • the moving image 38 and still image 39 are medical images captured inside the subject, that is, inside the living body. Furthermore, when the moving image 38 and the still image 39 are images obtained by light of the above-described specific wavelength band (special light), both are special light images. Then, the endoscope processor device 12 outputs the generated moving image 38 and still image 39 to the display device 13 and the medical image processing device 14, respectively.
  • the endoscope processor device 12 may generate (acquire) a special light image having information on the specific wavelength band described above, based on the normal light image obtained with the white light described above.
  • the endoscope processor device 12 functions as a special light image acquisition section. Then, the endoscope processor unit 12 converts the signals in the specific wavelength band into red, green, and blue [RGB (Red, Green, Blue)] or cyan, magenta, and yellow [CMY ( Cyan, Magenta, Yellow)] by performing an operation based on the color information.
  • RGB Red, Green, Blue
  • CMY Cyan, Magenta, Yellow
  • the endoscope processor device 12 for example, based on at least one of the normal light image obtained by the above-described white light and the special light image obtained by the above-described light of the specific wavelength band (special light) Then, a feature amount image such as a known oxygen saturation image may be generated.
  • the endoscope processor device 12 functions as a feature image generator.
  • the moving image 38 or still image 39 including the in vivo image, the normal light image, the special light image, and the feature amount image are all captured or measured for the purpose of image diagnosis and inspection. It is a medical image imaging the result.
  • the display device 13 is connected to the endoscope processor device 12 and functions as a display unit that displays the moving image 38 and the still image 39 input from the endoscope processor device 12 .
  • the doctor (user) performs forward/backward operations of the insertion section 20 while confirming the moving image 38 displayed on the display device 13, and operates the still image photographing instruction section 32 when a lesion or the like is found in the site to be observed. Then, a still image of the site to be observed is captured, and treatment such as diagnosis and biopsy is performed.
  • the medical image processing apparatus 14 recognizes the examination state based on time-series medical images, controls the behavior of time measurement regarding the examination state according to the recognition result of the examination state, and notifies the user of information regarding the state of time measurement.
  • a personal computer is used.
  • the operation unit 15 includes a keyboard, a mouse, etc., which are wired or wirelessly connected to the personal computer, as well as buttons provided on the hand operation unit 21 of the endoscope 10, and a display device (display unit).
  • Various monitors such as a liquid crystal monitor connectable to a personal computer are used as 16 .
  • FIG. 2 is a block diagram illustrating an embodiment of a medical image processing device.
  • the medical image processing apparatus 14 shown in FIG. It is composed of a display control unit 46, a sound information reproduction processing unit 47, and a memory 48, and processing of each unit is realized by one or a plurality of processors.
  • the CPU 41 operates based on the operating system stored in the memory 48 and various programs including the medical image processing program according to the present invention, and operates a medical image acquisition unit 40, an examination state recognition processing unit 42, a time measurement processing unit 43, It controls the time measurement control processing unit 44, the notification processing unit 45, the display control unit 46, and the sound information reproduction processing unit 47, and functions as a part of these units.
  • the medical image acquisition unit 40 uses an image input/output interface (not shown) wired or wirelessly connected to the endoscope processor device 12 ( FIG. 1 ) to acquire time-series data including subject images from the endoscope processor device 12 . It is a medical image acquisition processing unit that sequentially acquires the frame images 38a as medical images. In this example, a moving image 38 captured by the endoscope 10 is acquired. Further, when the above-described still image 39 is captured by the endoscope 10 while the moving image 38 is being captured, the medical image acquisition unit 40 acquires the moving image 38 and the still image 39 from the endoscope processor device 12. get.
  • the examination state recognition processing unit 42 is a part that recognizes the examination state based on the moving image 38 acquired by the medical image acquisition unit 40 .
  • the inspection state recognition processing unit 42 performs landmark detection processing for detecting landmarks in the lumen based on the moving image 38 as an example of recognition of the inspection state.
  • This example is an embodiment in which the endoscope 10 is inserted into the large intestine for endoscopic examination of the large intestine.
  • the removal time (the time it takes to return to the rectum after insertion into the cecum) is an indicator of screening quality. Record the measurement results.
  • the examination state recognition processing unit 42 detects the Bauhin valve of the ileocecal portion of the large intestine at the boundary between the large intestine and the small intestine as a landmark in the lumen. Whether or not the distal end of the insertion portion 20 of the endoscope 10 has reached the examination start position for endoscopic examination of the large intestine (inspection state) is determined according to the detection result of this landmark (Bauhin valve). recognize. Detection of intraluminal landmarks based on medical images can be performed, for example, by a known AI (Artificial Intelligence) technique.
  • AI Artificial Intelligence
  • the examination state recognition processing unit 42 recognizes that the endoscope 10 is being inserted, removed, or outside the body based on the moving image 38 .
  • the timing at which the endoscope 10 switches from being inserted to being removed can be used as the timing to start removing (start measuring the removal time).
  • start measuring the removal time the timing at which the endoscope 10 switches from being inserted to being removed.
  • Whether the endoscope 10 is being inserted or removed is determined by, for example, a change in the size or position of a partial area in the frame images 38a that make up the moving image 38 between frames. If it is determined that the tip is advancing, it can be recognized that it is being inserted, and if it is determined that it is returning, it can be recognized that it is being removed.
  • the examination state recognition processing unit 42 can determine that removal is completed (examination completed).
  • the examination state recognition processing unit 42 recognizes whether or not the examination state is being treated based on the moving image 38 as still another example of recognition of the examination state.
  • the examination state recognition processing unit 42 performs a treatment tool detection process for detecting a treatment tool based on the moving image 38, and recognizes whether or not treatment is being performed according to the detection result of the treatment tool. That is, when the treatment tool is detected from the moving image 38, it can be recognized that the treatment is being performed during the detection period.
  • the timing at which the treatment instrument is first detected from the moving image 38 can be recognized as the start of treatment, and the timing at which the treatment instrument is no longer detected from the moving image 38 after the detection of the treatment instrument can be recognized as the end of treatment.
  • the end of treatment may be recognized from the procedure of treatment.
  • the treatment instrument is a biopsy forceps
  • the timing at which the biopsy forceps are closed, or EMR (Endoscopic mucosal resection) or ESD (Endoscopic Submucosal Dissection) is recognized as the end of treatment. good too.
  • the time measurement processing unit 43 is a part that measures time regarding the inspection state, and measures a specific time during the inspection.
  • the following two types of specific time are measured by the time measurement processing unit 43.
  • Removal time in colonoscopy Removal time is an indicator of screening quality because it has been reported that lesions are often overlooked if the removal time from reaching the cecum to the end of the examination is short.
  • Treatment time such as treatment
  • the time required for treatment is a reference for patient burden and administration of sedatives.
  • the time measurement control processing unit 44 controls the behavior of time measurement by the time measurement processing unit 43 according to the inspection state recognition result recognized by the inspection state recognition processing unit 42 .
  • the information about the state of time measurement by the time measurement processing unit 43 includes one or more information of start, end, pause, and restart of time measurement. Controls the start and end of time measurement.
  • the time measurement control processing unit 44 detects a predetermined landmark (Bauhin valve) by the examination state recognition processing unit 42, and then detects the Bauhin valve.
  • the timing at which is no longer detected is used as the timing to start removal, and time measurement processing is started by the time measurement processing unit 43, and the timing at which the test state recognition processing unit 42 first recognizes the outside of the body is used as the timing to end removal. Time measurement by the unit 43 can be terminated.
  • the time measurement control processing unit 44 measures the timing of switching from insertion to removal as the removal start timing. Time measurement by the processing unit 43 may be started.
  • the time measurement control processing unit 44 detects the treatment tool by the examination state recognition processing unit 42 and recognizes that treatment is being performed. Time measurement by the time measurement processing unit 43 is started with the timing at which the treatment tool is detected as the treatment start timing. The time measurement by the time measurement processing unit 43 is terminated by using the timing when the time is lost as the timing of the end of the treatment.
  • the CPU 41 performs reception processing for receiving information regarding the state of time measurement from the operation unit 15, which is a user operation unit. It is preferable to preferentially use the information about the state of time measurement instead of the recognition result in the inspection state recognition processing unit 42 to control the behavior of time measurement.
  • the inspection state recognition processing unit 42 recognizes information about the state of time measurement, if a recognition error occurs, the behavior of time measurement cannot be controlled correctly (time measurement cannot be performed correctly).
  • the time measurement control processing unit 44 uses the information on the state of time measurement by user operation, prior to the recognition result of the inspection state recognition processing unit 42 .
  • the notification processing unit 45 is a part that notifies the user of information regarding the state of time measurement in the time measurement processing unit 43 by at least one of the display 16 and the speaker 17 functioning as a notification unit. The details of the notification of the information regarding the state of time measurement notified by the notification processing unit 45 will be described later.
  • the display control unit 46 generates image data for display based on the medical image (moving image 38) acquired by the medical image acquisition unit 40 and outputs the image data to the display device 16, and the notification processing unit 45. and an information display control unit 46B that generates image data for display indicating information about the state of time measurement based on the notified information and outputs the image data to the display 16.
  • the display control unit 46 synthesizes the image data of the moving image 38 output from the image display control unit 46A and the image data indicating the information regarding the state of time measurement output from the information display control unit 46B, and synthesizes them. By outputting the image data to the display 16, the display 16 is caused to display (notify) information about the state of time measurement together with the medical image.
  • the sound information reproduction processing unit 47 Based on the information input from the notification processing unit 45, the sound information reproduction processing unit 47 causes the speaker 17 to reproduce (notify) sound information indicating the state of time measurement.
  • the sound information reproduction processing unit 47 stores a plurality of sound information according to the content of the information regarding the state of time measurement, selects the sound information corresponding to the information input from the notification processing unit 45, and outputs the sound information to the speaker 17. can be output to
  • the memory 48 includes flash memory, ROM (Read-only Memory), RAM (Random Access Memory), hard disk device, and the like.
  • the flash memory, ROM, and hard disk device store the measurement time (removal time, treatment time ), and a non-volatile memory for storing the photographed still image 39 and the like.
  • the RAM is a volatile memory capable of high-speed data reading and writing, which functions as an area for temporarily storing various programs stored in the nonvolatile memory and as a work area for the CPU 41 .
  • FIG. 3 is a diagram showing a first notification example by a display.
  • a moving medical image 52 and character information 54 of "03:40" indicating the measurement time are displayed in the first display area of the display device 16. is displayed.
  • the first display area in this example is the upper left area of the screen 50 in FIG. 3 adjacent to the display area of the medical image 52 .
  • the notification processing unit 45 may display the character information 54 such as "00:00", or hide or gray out the entire display of the character information 54. You may This allows the user to grasp the measurement state during the inspection.
  • the notification processing unit 45 displays the time measured by the time measurement processing unit 43 in real time. From the character information 54 of the measurement time that changes in real time, the user can grasp that the examination is in progress and the examination time from the start of the examination to the present.
  • the character information 54 changes from "00:00" or when the inspection time is displayed from hidden or grayed out, the user can automatically recognize the start of the inspection and start measuring the time. you can figure out what you did.
  • the user can automatically recognize that the examination has ended and that the time measurement has ended. can.
  • FIG. 4A and 4B are diagrams showing a second example of notification by the display device, FIG. 4A shows the screen of the display device at the start of measurement, and FIG. 4B shows the screen of the display device during measurement. ing.
  • a moving image medical image 52 and character information 54 of the measurement time are displayed, as in the first notification example.
  • the notification processing unit 45 notifies the user of information regarding the state of time measurement by the display unit 16, which is a notification unit, only for a certain period based on the timing when the state of time measurement changes.
  • the notification processing unit 45 detects a constant Only during the period, the display 16 is caused to display the character information 56 "Starting measurement" as information on the state of time measurement.
  • the notification processing unit 45 displays the character information 54 of the measurement time in a second display area different from the first display area (in this example, a display area adjacent to the lower side of the display area of the medical image 52). Character information 56 is displayed.
  • the certain period during which the character information 56 "Starting measurement” is displayed is, for example, about several seconds, and it is preferable that the period is visible to the user.
  • the fixed period may be set by the user.
  • the character information 56 it is preferable to display the character information 56 larger than the character information 54 that reports the measurement time so that the user can easily notice it.
  • notifying the character information 56 in a conspicuous manner may interfere with the examination, so the character information 56 is terminated after a certain period of time from the start of measurement, as shown in FIG. 4(B).
  • the state transition may be indicated by character information 56 as shown in FIG. 4, or symbols may be used.
  • time display during measurement may be used together, or may not be used together.
  • the notification processing unit 45 outputs the information regarding the state of time measurement as sound information to the user via the sound information reproduction processing unit 47 and the speaker 17 only for a certain period based on the timing when the state of time measurement changes. can be notified to For example, instead of the character information 56 "starting measurement” or together with the character information 56 “starting measurement", the voice "starting measurement” can be pronounced.
  • the sound information is not limited to a voice indicating "measurement will start", etc., and may be a beep sound or the like that notifies that the state of time measurement has changed.
  • the CPU 41 Since it is necessary to record the removal time or treatment time of the large intestine endoscopy measured by the time measurement processing unit 43 as an examination record, the CPU 41 associates the removal time or the treatment time with a diagnostic report or the like and stores it. (Memory 48) Save.
  • the CPU 41 recognizes the time measurement result measured only by the recognition result of the automatic recognition by the inspection state recognition processing unit 42 and the time measurement result through the correction by the user operation (for example, the measurement start timing is set to the inspection state recognition processing). It is preferable to store (change the storage method of the time measurement results) in a format that allows the user to perform the measurement start operation due to an error by the unit 42).
  • the information about the state of time measurement is information such as inspection time (withdrawal time), inspection start, and inspection end.
  • inspection time withdrawal time
  • inspection start for example, it includes information such as treatment time, treatment start, treatment end, etc. during treatment using the treatment instrument.
  • FIG. 5 is a diagram showing an example of a screen displayed on the display when saving measurement results.
  • the time information (X min Y sec), which is the measurement result the information "without user correction” or “with user correction” is added to the measurement result and recorded. That is, when the behavior of the time measurement control process (starting point of time measurement, etc.) is controlled by the user's operation on the operation unit 15, the method of saving the time measurement result in the storage unit is determined according to the controlled behavior. change.
  • the user can check the measurement results of "without user correction” after the inspection is completed, and later check whether there are any measurement errors.
  • FIG. 5 is a diagram showing a display example prompting confirmation of measurement results when recording "without user correction".
  • an "OK” button 57 and an “NG” button 58 are displayed, and when the "OK” button 57 is selected, information “no user correction” is added to the automatically measured measurement result and saved. , when the "NG” button 58 is operated, the corrected measurement result after the correction of the measurement result by the user is added with the information "user corrected” and saved.
  • Correction of the measurement result by the user can be performed by, for example, temporarily storing the time-stamped moving image 38 in the memory 48, and reproducing the saved moving image 38 while playing back the frame image at the start of the inspection measurement or at the end of the inspection.
  • the measurement result can be corrected by the user selecting a frame image.
  • FIG. 6 is a flow chart showing an embodiment of the medical image processing method according to the present invention, showing the processing procedure of each part of the medical image processing apparatus 14 shown in FIG.
  • the examination state recognition processing unit 42 recognizes the examination state based on the medical images acquired in step S10 (including medical images acquired before the current time) (step S12, examination state recognition step). For example, in the case of endoscopy, it recognizes whether the endoscope is being inserted, removed, or outside the body, or whether treatment is being performed using a treatment tool.
  • the determination of the inspection start time can be made based on the recognition result of the inspection state in step S14.
  • the notification processing unit 45 notifies the information indicating the start of the examination by the display device 16 and/or the speaker 17 only for a certain period based on the timing of the examination start, and then transitions to step S12 (step S24, notification step).
  • the character information 56 "Measurement will be started” is displayed on the display 16 (FIG. 4A).
  • the character information 54 continues to be displayed.
  • step S16 it is determined that the inspection is underway, and the process proceeds to step S26.
  • step S26 it is determined whether or not it is time to end the inspection.
  • the determination of the inspection end point can be made based on the recognition result of the inspection state in step S14.
  • step S26 if it is determined that the inspection has not ended (if "No"), the measurement time during inspection (measuring) is displayed on the display 16, and the process returns to step S12 (step S28).
  • step S26 when it is determined in step S26 that it is time to end the examination (in the case of "Yes"), the time measurement control processing unit 44 causes the time measurement processing unit 43 to end time measurement (step S30), and , the notification processing unit 45 notifies the information indicating the end of the examination through the display 16 and/or the speaker 17 only for a certain period based on the timing of the end of the examination (step S32, notification step).
  • the examination time (withdrawal time) or treatment time of the endoscopy measured by the time measurement processing unit 43 is displayed on the display 16 (see FIG. 5) and stored in the memory 48 in association with a diagnostic report or the like. (step S34).
  • the examination start point and the examination start point may be determined based on the instruction.
  • the inspection start time point or the inspection start time point is specified by the user, instead of the recognition result in the inspection state recognition processing unit 42, the inspection start time point or the inspection end time point specified by the user is preferentially used, and the inspection time is determined. It is preferable to control the start and end of time measurement.
  • the endoscope processor device and the medical image processing device are provided separately in the above embodiment, the endoscope processor device and the medical image processing device may be integrated. That is, the endoscope processor device may be provided with a function as a medical image processing device.
  • the measured examination time or treatment time is linked to a diagnostic report or the like and stored in the memory within the medical image processing apparatus. ) can be saved.
  • medical images are not limited to endoscopic images captured by an endoscope, and may be time-series images acquired by other modalities such as ultrasonic diagnostic equipment.
  • the hardware structure that executes various controls of the medical image processing apparatus of the above embodiment is the following various processors.
  • the circuit configuration can be changed after manufacturing, such as CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), which is a general-purpose processor that executes software (program) and functions as various control units.
  • Programmable Logic Device PLD
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or composed of two or more processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA).
  • a plurality of control units may be configured by one processor.
  • one processor is configured with a combination of one or more CPUs and software, as typified by a computer such as a client or a server.
  • a processor functions as multiple controllers.
  • SoC System On Chip
  • various control units are configured using one or more of the above various processors as a hardware structure.
  • the present invention includes a medical image processing program that, when installed in a computer, causes the computer to function as the medical image processing apparatus according to the present invention, and a non-volatile storage medium in which this medical image processing program is recorded. .

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Endoscopes (AREA)

Abstract

時系列の医療画像の検査状態に関する時間計測を自動的に行うことができる医療画像処理装置、方法及びプログラムを提供する。プロセッサを備えた医療画像処理装置において、プロセッサは、時系列の医療画像を順次取得する医療画像取得処理と、順次取得した医療画像に基づいて検査状態を認識する検査状態認識処理と、検査状態に関する時間計測を行う時間計測処理と、検査状態の認識結果に応じて、時間計測の挙動を制御する時間計測制御処理と、時間計測の状態に関する情報を、報知部によりユーザに報知させる報知処理と、を行う。

Description

医療画像処理装置、方法及びプログラム
 本発明は医療画像処理装置、方法及びプログラムに係り、特に医療画像の観察中に有用な情報をユ-ザに報知する技術に関する。
 従来、内視鏡検査において使用している照射光の種別、患者の体内で散布される薬剤の散布状態、医師により実施される処置の実施状況、内視鏡により撮像された画像の撮像状態等の推移を、検査データ保存部に記録する内視鏡検査データ記録システムが提案されている(特許文献1)。
 また、特許文献1に記載の内視鏡検査データ記録システムは、内視鏡検査における、各照射光の使用時間、各照射光の使用回数、各薬剤を使用しての観察時間、各薬剤を使用した回数、各処置の実施時間、及び各処置の実施回数等を算出し、算出したデータを検査データ保存部に記録し、更に内視鏡検査における指定された2点間の、各照射光の使用時間、各照射光の使用回数、各薬剤を使用しての観察時間、各薬剤を使用した回数、各処置の実施時間、及び各処置の実施回数等を算出し、算出したデータを検査データ保存部に記録している。
 尚、観察光の使用開始時刻と使用終了時刻の2地点は、観察光ボタンにより指定し、薬剤を使用した観察開始時刻と観察終了時刻の2地点は、薬剤ボタンにより指定し、選択された処置の実施開始時刻と実施終了時刻の2地点は、処置ボタンにより指定している。
 また、特許文献1に記載の内視鏡検査データ記録システムは、内視鏡検査中において、それぞれ取得された照射光種別データ、薬剤散布データ、及処置実施データの推移を表示部の画面に表示させる表示制御部を備えている。
特開2017-12666号公報
 特許文献1に記載の内視鏡検査データ記録システムによれば、内視鏡検査の各状態の推移を時系列に自動的に記録し、これにより内視鏡検査を定量的及び客観的に分析することが可能である。
 しかしながら、各照射光の使用時間、各薬剤を使用しての観察時間、及び処置の実施時間を計測するために、観察光の使用開始時刻と使用終了時刻の2地点、薬剤を使用した観察開始時刻と観察終了時刻の2地点、及び処置の実施開始時刻と実施終了時刻の2地点を、それぞれ観察光ボタン、薬剤ボタン、及び処置ボタンを操作して指定する必要があり、内視鏡検査中に医師に対してボタン操作の負荷が発生する。
 複雑な手技が要求される内視鏡検査において、このようなボタン操作は極力減らすことが好ましい。
 本発明はこのような事情に鑑みてなされたもので、時系列の医療画像の検査状態に関する時間計測を自動的に行うことができる医療画像処理装置、方法及びプログラムを提供することを目的とする。
 上記目的を達成するために第1態様に係る発明は、プロセッサを備えた医療画像処理装置において、プロセッサは、時系列の医療画像を順次取得する医療画像取得処理と、順次取得した医療画像に基づいて検査状態を認識する検査状態認識処理と、検査状態に関する時間計測を行う時間計測処理と、検査状態の認識結果に応じて、時間計測の挙動を制御する時間計測制御処理と、時間計測の状態に関する情報を、報知部によりユーザに報知させる報知処理と、を行う。
 本発明の第1態様によれば、順次取得した医療画像に基づいて検査状態を自動的に認識し、検査状態の認識結果に応じて検査状態に関する時間計測の挙動を制御するため、時系列の医療画像による検査中に、時間計測のためのユーザの負荷を軽減することができる。また、時間計測の状態に関する情報を、報知部によりユーザに報知するようにしたため、例えば、検査状態の自動認識をミスした場合、あるいはユーザが意図したタイミングと異なるタイミングで検査状態を自動認識した場合、そのことをユーザに気づかせることができる。
 本発明の第2態様に係る医療画像処理装置において、報知処理は、時間計測の状態に変化が発生したタイミングを基準にした一定期間のみ、時間計測の状態に関する情報を報知部によりユーザに報知させることが好ましい。一定期間を超えて時間計測の状態に関する情報を報知すると、検査の邪魔になったり、時間計測の状態に関する情報(例えば、「計測開始」を示す情報)が、現在の検査状態(例えば、「計測中」)からかけ離れる場合があるからである。
 本発明の第3態様に係る医療画像処理装置において、報知処理は、報知部として機能する表示部の第1表示領域に時間計測処理による計測時間に関する情報をリアルタイムに表示させ、かつ表示部の第1表示領域とは異なる第2表示領域に時間計測の状態に関する情報を表示させ、又は報知部として機能するスピーカから時間計測の状態に関する情報を音情報として報知させることが好ましい。計測時間に関する情報は、計測時間そのものでもよいし、計測時間に応じた長さを有する棒グラフ等でもよい。
 本発明の第4態様に係る医療画像処理装置において、時間計測の状態に関する情報は、時間計測の開始、終了、一時停止、及び再開のうちの1以上の情報を含み、時間計測制御処理は、時間計測処理における時間計測の開始、終了、一時停止、又は再開のうちの1以上の制御を行うことが好ましい。
 本発明の第5態様に係る医療画像処理装置において、プロセッサは、ユーザ操作部から時間計測の状態に関する情報を受け付ける受付処理を行い、時間計測制御処理は、ユーザ操作部から時間計測の状態に関する情報を受け付けると、受け付けた時間計測の状態に関する情報を、検査状態認識処理における認識結果に代えて優先的に使用し、時間計測の挙動を制御することが好ましい。これにより、検査状態の自動認識をミスした場合等において、ユーザが手動で時間計測の状態に関する情報を指示することで、正しい時間計測を行うことが可能になる。
 本発明の第6態様に係る医療画像処理装置において、プロセッサは、時間計測処理による時間計測結果を保存部に保存させる処理を行うことが好ましい。これにより、検査等に要した時間を事後的に確認することができる。尚、検査に要した時間は、スクリーニングの質の指標になる。
 本発明の第7態様に係る医療画像処理装置において、プロセッサは、時間計測処理による時間計測結果を保存部に保存させる処理を行い、ユーザ操作部におけるユーザ操作により時間計測制御処理の挙動が制御された場合には、制御された挙動状況に応じて保存部への時間計測結果の保存方法を変更することが好ましい。これにより、時間計測結果が、検査状態の自動認識のみにより計測されたものか、検査状態の自動認識にミスがあり、ユーザ操作により修正が加えられたものかを識別することができる。
 本発明の第8態様に係る医療画像処理装置において、検査状態認識処理は、順次取得した医療画像に基づいて検査状態が処置中であるか否かを認識することが好ましい。これにより、処置時間の計測が可能である。
 本発明の第9態様に係る医療画像処理装置において、検査状態認識処理は、順次取得した医療画像に基づいて処置具を検出する処置具検出処理を行い、処置具の検出結果に応じて処置中であるか否かを認識することが好ましい。
 本発明の第10態様に係る医療画像処理装置において、医療画像は内視鏡画像である。
 本発明の第11態様に係る医療画像処理装置において、検査状態認識処理は、順次取得した医療画像に基づいて内視鏡スコープの挿入中、抜去中または体外であることを認識することが好ましい。
 本発明の第12態様に係る医療画像処理装置において、検査状態認識処理は、順次取得した医療画像に基づいて管腔内のランドマークを検出するランドマーク検出処理を行い、ランドマークの検出結果に応じて検査状態を認識することが好ましい。
 本発明の第13態様に係る医療画像処理装置において、検査状態認識処理は、順次取得した医療画像に基づいて内視鏡スコープの動きを検出する動き検出処理を行い、内視鏡スコープの動きの検出結果に応じて検査状態を認識することが好ましい。内視鏡スコープの動き状態を認識すれば、進んでいるときは挿入中、戻っているときは抜去中と判定可能となる。そこで、挿入中から抜去中に遷移するタイミングを抜去開始と判定することができる。
 第14態様に係る発明は、時系列の医療画像を順次取得するステップと、順次取得した医療画像に基づいて検査状態に関する情報を認識する検査状態認識ステップと、検査状態に関する時間計測を行う時間計測ステップと、検査状態の認識結果に応じて、時間計測の挙動を制御する時間計測制御ステップと、時間計測の状態に関する情報を、報知部によりユーザに報知させる報知ステップと、を含み、プロセッサが各ステップの処理を実行する医療画像処理方法である。
 本発明の第15態様に係る医療画像処理方法において、報知ステップは、時間計測の状態に変化が発生したタイミングを基準にした一定期間のみ、時間計測の状態に関する情報を報知部によりユーザに報知させることが好ましい。
 本発明の第16態様に係る医療画像処理方法において、報知ステップは、報知部として機能する表示部の第1表示領域に時間計測ステップによる計測時間に関する情報をリアルタイムに表示させ、かつ表示部の第1表示領域とは異なる第2表示領域に時間計測の状態に関する情報を表示させ、又は報知部として機能するスピーカから時間計測の状態に関する情報を音情報として報知させることが好ましい。
 本発明の第17態様に係る医療画像処理方法において、ユーザ操作部から時間計測の状態に関する情報を受け付けるステップを含み、時間計測制御ステップは、ユーザ操作部から時間計測の状態に関する情報を受け付けると、受け付けた時間計測の状態に関する情報を、検査状態認識ステップにおける認識結果に代えて優先的に使用し、時間計測の挙動を制御することが好ましい。
 第18態様に係る発明は、本発明の第14態様から第17態様のいずれかの医療画像処理方法における各ステップの処理を、プロセッサに実行させる医療画像処理プログラムである。
 本発明によれば、時系列の医療画像の検査状態に関する時間計測を自動的に行うことができ、検査中のユーザの負荷を軽減することができる。
図1は、本発明に係る医療画像処理装置を含む内視鏡システムの全体構成を示す概略図である。 図2は、医療画像処理装置の実施形態を示すブロック図である。 図3は、表示器による第1報知例を示す図である。 図4は、表示器による第2報知例を示す図である。 図5は、計測結果を保存する際に表示器に表示される画面の一例を示す図である。 図6は、本発明に係る医療画像処理方法の一実施形態を示すフローチャートである。
 以下、添付図面に従って本発明に係る医療画像処理装置、方法及びプログラムの好ましい実施形態について説明する。
 [医療画像処理装置を含む内視鏡システムの全体構成]
 図1は、本発明に係る医療画像処理装置を含む内視鏡システムの全体構成を示す概略図である。
 図1に示すように、内視鏡システム9は、電子内視鏡である内視鏡スコープ10と、光源装置11と、内視鏡プロセッサ装置12と、表示装置13と、医療画像処理装置14と、操作部15と、表示器16と、を備える。
 内視鏡スコープ10は、被写体像を含む時系列の医療画像を撮影するものであり、例えば、下部消化管用スコープである。この内視鏡スコープ10は、被検体(本例では、管腔臓器である大腸)内に挿入され且つ先端と基端とを有する挿入部20と、挿入部20の基端側に連設され且つ術者である医師が把持して各種操作を行う手元操作部21と、手元操作部21に連設されたユニバーサルコード22と、を有する。
 挿入部20は、全体が細径で長尺状に形成されている。挿入部20は、その基端側から先端側に向けて順に可撓性を有する軟性部25と、手元操作部21の操作により湾曲可能な湾曲部26と、不図示の撮像光学系(対物レンズ)及び撮像素子28等が内蔵される先端部27と、が連設されて構成される。
 撮像素子28は、CMOS(complementary metal oxide semiconductor)型又はCCD(charge coupled device)型の撮像素子である。撮像素子28の撮像面には、先端部27の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子28は、その撮像面に入射した被観察部位の像光を撮像(電気信号に変換)して、撮像信号を出力する。
 手元操作部21には、医師(ユーザ)によって操作される各種操作部材が設けられている。具体的に、手元操作部21には、湾曲部26の湾曲操作に用いられる2種類の湾曲操作ノブ29と、送気送水操作用の送気送水ボタン30と、吸引操作用の吸引ボタン31と、が設けられている。また、手元操作部21には、被観察部位の静止画39の撮影指示を行うための静止画撮影指示部32と、挿入部20内を挿通している処置具挿通路(不図示)内に処置具(不図示)を挿入する処置具導入口33と、が設けられている。
 ユニバーサルコード22は、内視鏡スコープ10を光源装置11に接続するための接続コードである。このユニバーサルコード22は、挿入部20内を挿通しているライトガイド35、信号ケーブル36、及び流体チューブ(不図示)を内包している。また、ユニバーサルコード22の端部には、光源装置11に接続されるコネクタ37aと、このコネクタ37aから分岐され且つ内視鏡プロセッサ装置12に接続されるコネクタ37bと、が設けられている。
 コネクタ37aを光源装置11に接続することで、ライトガイド35及び流体チューブ(不図示)が光源装置11に挿入される。これにより、ライトガイド35及び流体チューブ(不図示)を介して、光源装置11から内視鏡スコープ10に対して必要な照明光と水と気体とが供給される。その結果、先端部27の先端面の照明窓(不図示)から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン30の押下操作に応じて、先端部27の先端面の送気送水ノズル(不図示)から先端面の観察窓(不図示)に向けて気体又は水が噴射される。
 コネクタ37bを内視鏡プロセッサ装置12に接続することで、信号ケーブル36と内視鏡プロセッサ装置12とが電気的に接続される。これにより、信号ケーブル36を介して、内視鏡スコープ10の撮像素子28から内視鏡プロセッサ装置12へ被観察部位の撮像信号が出力されると共に、内視鏡プロセッサ装置12から内視鏡スコープ10へ制御信号が出力される。
 光源装置11は、コネクタ37aを介して、内視鏡スコープ10のライトガイド35へ照明光を供給する。照明光は、白色光(白色の波長帯域の光又は複数の波長帯域の光)、或いは1又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。
 内視鏡プロセッサ装置12は、コネクタ37b及び信号ケーブル36を介して、内視鏡スコープ10の動作を制御する。また、内視鏡プロセッサ装置12は、コネクタ37b及び信号ケーブル36を介して内視鏡スコープ10の撮像素子28から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像38aからなる画像(「動画38」ともいう)を生成する。更に、内視鏡プロセッサ装置12は、内視鏡スコープ10の手元操作部21にて静止画撮影指示部32が操作された場合、動画38の生成と並行して、動画38中の1枚のフレーム画像を撮影指示のタイミングに応じた静止画39とする。
 動画38及び静止画39は、被検体内、即ち生体内を撮像した医療画像である。更に動画38及び静止画39が、上述の特定の波長帯域の光(特殊光)により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置12は、生成した動画38及び静止画39を、表示装置13と医療画像処理装置14とにそれぞれ出力する。
 尚、内視鏡プロセッサ装置12は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成(取得)してもよい。この場合、内視鏡プロセッサ装置12は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置12は、特定の波長帯域の信号を、通常光画像に含まれる赤、緑、及び青[RGB(Red,Green,Blue)]あるいはシアン、マゼンタ、及びイエロー[CMY(Cyan,Magenta,Yellow)]の色情報に基づく演算を行うことで得る。
 また、内視鏡プロセッサ装置12は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光(特殊光)により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置12は、特徴量画像生成部として機能する。尚、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画38又は静止画39は、いずれも画像による診断、検査の目的でヒトの人体を撮像し、又は計測した結果を画像化した医療画像である。
 表示装置13は、内視鏡プロセッサ装置12に接続されており、この内視鏡プロセッサ装置12から入力された動画38及び静止画39を表示する表示部として機能する。医師(ユーザ)は、表示装置13に表示される動画38を確認しながら、挿入部20の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮影指示部32を操作して被観察部位の静止画撮像を実行し、また、診断、生検等の処置を行う。
 [医療画像処理装置]
 医療画像処理装置14は、時系列の医療画像に基づいて検査状態を認識し、検査状態の認識結果に応じて検査状態に関する時間計測の挙動を制御し、時間計測の状態に関する情報をユーザに報知するものであり、本実施形態では、例えばパーソナルコンピュータが用いられる。また、操作部15は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等の他に、内視鏡スコープ10の手元操作部21に設けられたボタン類を含み、表示器(表示部)16はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。
 <医療画像処理装置14の実施形態>
 図2は、医療画像処理装置の実施形態を示すブロック図である。
 図2に示す医療画像処理装置14は、医療画像取得部40、CPU(Central Processing Unit)41、検査状態認識処理部42、時間計測処理部43、時間計測制御処理部44、報知処理部45、表示制御部46、音情報再生処理部47、及びメモリ48から構成され、各部の処理は、1又は複数のプロセッサにより実現される。
 CPU41は、メモリ48に記憶されたオペレーションシステム、本発明に係る医療画像処理プログラムを含む各種のプログラムに基づいて動作し、医療画像取得部40、検査状態認識処理部42、時間計測処理部43、時間計測制御処理部44、報知処理部45、表示制御部46、及び音情報再生処理部47を統括制御し、また、これらの各部の一部として機能する。
 医療画像取得部40は、内視鏡プロセッサ装置12(図1)に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置12から被写体像を含む時系列のフレーム画像38aを、医療画像として順次取得する医療画像取得処理部である。本例では、内視鏡スコープ10により撮影される動画38を取得する。また、内視鏡スコープ10にて動画38の撮影途中に既述の静止画39の撮像が行われた場合、医療画像取得部40は、内視鏡プロセッサ装置12から動画38及び静止画39を取得する。
 検査状態認識処理部42は、医療画像取得部40により取得された動画38に基づいて検査状態を認識する部分である。
 検査状態認識処理部42は、検査状態の認識の一例として、動画38に基づいて管腔内のランドマークを検出するランドマーク検出処理を行う。
 本例は、内視鏡スコープ10を大腸内に挿入し、大腸を内視鏡検査する場合の実施形態である。大腸の内視鏡検査において、検査に要する時間である抜去時間(盲腸まで挿入後、そこから直腸に戻るまでに要する時間)は、スクリーニングの質の指標になるため、抜去時間を計測し、その計測結果を記録する。
 検査状態認識処理部42は、大腸を内視鏡検査する場合、管腔内のランドマークとして、大腸と小腸との境界部分の大腸回盲部のバウヒン弁を検出する。このランドマーク(バウヒン弁)の検出結果に応じて、内視鏡スコープ10の挿入部20の先端が、大腸を内視鏡検査する場合の検査開始位置に到達したか否か(検査状態)を認識する。医療画像に基づく管腔内のランドマークの検出は、例えば、公知のAI(Artificial Intelligence)技術により行うことができる。
 また、検査状態認識処理部42は、検査状態の認識の他の例として、動画38に基づいて内視鏡スコープ10の挿入中、抜去中または体外であることを認識する。
 内視鏡スコープ10を抜去しながらスクリーニングする場合、内視鏡スコープ10が挿入中から抜去中に切り替わるタイミングを抜去開始(抜去時間の計測開始)のタイミングとすることができる。また、抜去中の内視鏡スコープが体外に出た場合、抜去時間の計測終了とすることができる。
 内視鏡スコープ10が挿入中か抜去中かは、例えば、動画38を構成するフレーム画像38a内の一部の領域の画像の大きさや位置のフレーム間での変化により、内視鏡スコープ10の先端が進んでいると判定される場合は挿入中と認識し、戻っていると判定される場合は抜去中と認識することができる。
 更に内視鏡スコープ10が挿入部20の先端が、管腔内に存在するか体外に存在するかは、画像の特徴量から認識し、あるいはフレーム画像38aの大幅な被写体の変化、色味の変化等により認識することができる。そして、管腔内から体外と認識結果が遷移した場合、検査状態認識処理部42は、抜去終了(検査終了)と判定することができる。
 更にまた、検査状態認識処理部42は、検査状態の認識の更に他の例として、動画38に基づいて検査状態が処置中であるか否かを認識する。例えば、検査状態認識処理部42は、動画38に基づいて処置具を検出する処置具検出処理を行い、処置具の検出結果に応じて処置中であるか否かを認識する。即ち、動画38から処置具が検出された場合、その検出期間中を処置中と認識することができる。
 また、動画38から最初に処置具が検出されたタイミングを処置開始と認識し、処置具が検出された後、動画38から処置具が検出されなくなったタイミングを処置終了と認識することができる。
 尚、処置の手順から処置終了を認識してもよい。例えば、処置具が生検鉗子であれば、生検鉗子が閉じたタイミング、EMR(Endoscopic mucosal resection)、ESD(Endoscopic Submucosal Dissection)であれば、クリップ処置が完了したタイミングを処置終了と認識してもよい。
 時間計測処理部43は、検査状態に関する時間計測を行う部分であり、検査中に特定の時間を計測する。
 時間計測処理部43により計測される特定の時間としては、下記の2通りが挙げられる。
 1.大腸内視鏡検査の抜去時間
 盲腸到達から検査終了までの抜去時間が短いと病変見落としが多くなることが報告されているため、抜去時間はスクリーニングの質の指標となっている。
 2.治療などの処置時間
 処置に要する時間は患者負担や鎮静剤投与の参考となる。
 時間計測制御処理部44は、検査状態認識処理部42により認識された検査状態の認識結果に応じて、時間計測処理部43による時間計測の挙動を制御する。時間計測処理部43による時間計測の状態に関する情報は、時間計測の開始、終了、一時停止、及び再開のうちの1以上の情報を含み、時間計測制御処理部44は、時間計測処理部43による時間計測の開始、終了等を制御する。
 時間計測制御処理部44は、時間計測処理部43が大腸内視鏡検査の抜去時間を計測する場合、検査状態認識処理部42により所定のランドマーク(バウヒン弁)が検出され、その後、バウヒン弁が検出されなくなったタイミングを、抜去開始のタイミングとして時間計測処理部43による時間計測を開始させ、検査状態認識処理部42により体外が最初に認識されたタイミングを、抜去終了のタイミングとして時間計測処理部43による時間計測を終了させることができる。
 また、時間計測制御処理部44は、検査状態認識処理部42により挿入中が認識され、その後、抜去中が認識された場合、挿入中から抜去中の切り替わるタイミングを、抜去開始のタイミングとして時間計測処理部43による時間計測を開始させるようにしてもよい。
 時間計測制御処理部44は、時間計測処理部43が治療などの処置時間を計測する場合、検査状態認識処理部42により処置具が検出され、処置中であることが認識されると、最初に処置具が検出されたタイミングを処置開始のタイミングとして時間計測処理部43による時間計測を開始させ、処置中であることが認識された後、検査状態認識処理部42により処置具が最初に検出されなくなったタイミングを、処置終了のタイミングとして時間計測処理部43による時間計測を終了させる。
 また、CPU41は、ユーザ操作部である操作部15から時間計測の状態に関する情報を受け付ける受付処理を行い、時間計測制御処理部44は、操作部15から時間計測の状態に関する情報を受け付けると、受け付けた時間計測の状態に関する情報を、検査状態認識処理部42における認識結果に代えて優先的に使用し、時間計測の挙動を制御することが好ましい。
 検査状態認識処理部42が時間計測の状態に関する情報を認識する場合、認識ミスが発生すると、時間計測の挙動を正しく制御することができない(時間計測を正しく行うことができない)ため、ユーザ操作により時間計測の状態に関する情報を受け付けた場合には、時間計測制御処理部44は、検査状態認識処理部42の認識結果に優先して、ユーザ操作により時間計測の状態に関する情報を使用する。
 報知処理部45は、時間計測処理部43における時間計測の状態に関する情報を、報知部として機能する表示器16及びスピーカ17のうちの少なくとも一方によりユーザに報知させる部分である。尚、報知処理部45により報知される時間計測の状態に関する情報の報知の詳細については後述する。
 表示制御部46は、医療画像取得部40が取得した医療画像(動画38)に基づいて表示用の画像データを生成して表示器16に出力する画像表示制御部46Aと、報知処理部45により報知される情報に基づいて時間計測の状態に関する情報を示す表示用の画像データを生成して表示器16に出力する情報表示制御部46Bとを有する。
 表示制御部46は、画像表示制御部46Aから出力される動画38の画像データと、情報表示制御部46Bから出力される、時間計測の状態に関する情報を示す画像データとを合成し、合成した合成画像データを表示器16に出力することで、表示器16に医療画像とともに、時間計測の状態に関する情報を表示(報知)させる。
 音情報再生処理部47は、報知処理部45から入力する情報に基づいて時間計測の状態に関する情報を示す音情報をスピーカ17により再生(報知)させる。尚、音情報再生処理部47は、時間計測の状態に関する情報の内容に応じて複数の音情報を記憶しておき、報知処理部45から入力する情報に対応する音情報を選択してスピーカ17に出力することができる。
 メモリ48は、フラッシュメモリ、ROM(Read-only Memory)、RAM(Random Access Memory)、ハードディスク装置等を含む。フラッシュメモリ、ROM及びハードディスク装置は、オペレーションシステム、本発明に係る医療画像処理プログラム等の各種のプログラム、診断レポート等に紐づけて時間計測処理部43により計測された計測時間(抜去時間、処置時間)、及び撮影された静止画39等を記憶する不揮発性メモリである。また、RAMは、不揮発性メモリに記憶された各種のプログラムを一時的に記憶される領域及びCPU41の作業領域として機能する、データの高速読み書きが可能な揮発性メモリである。
 [時間計測の状態に関する情報の報知]
 次に、報知処理部45により表示器16等を介してユーザに報知される時間計測の状態に関する情報について説明する。
 <第1報知例>
 図3は、表示器による第1報知例を示す図である。
 図3に示す表示器16の画面50には、動画の医療画像52と、表示器16の第1表示領域に計測時間(例えば、現在の抜去時間)を示す“03:40”の文字情報54とが表示されている。本例の第1表示領域は、医療画像52の表示領域に隣接する、図3上で、画面50の左上の領域である。
 非計測状態(計測開始前)にあるときは、報知処理部45は、“00:00”といった文字情報54を表示させてもよいし、文字情報54が表示される全体を、非表示またはグレーアウトしてもよい。これによりユーザは、検査中に計測状態の把握が可能となる。
 また、報知処理部45は、時間計測処理部43による計測時間をリアルタイムに表示させる。ユーザは、リアルタイムに変化する計測時間の文字情報54から、検査中であること、及び検査開始から現在までの検査時間を把握することができる。
 更に、文字情報54が、“00:00”から変化すること、あるいは非表示またはグレーアウトから検査時間が表示されることで、ユーザは、装置が自動的に検査開始を認識し、時間計測を開始したことを把握することができる。
 また、文字情報54の変化が停止すること、あるいは文字情報54が非表示またはグレーアウトすることで、ユーザは、装置が自動的に検査終了を認識し、時間計測を終了したことを把握することができる。
 <第2報知例>
 図4は、表示器による第2報知例を示す図であり、図4(A)は、計測開始時の表示器の画面を示し、図4(B)は計測中の表示器の画面を示している。
 図4に示す表示器16の画面50には、第1報知例と同様に、動画の医療画像52と、計測時間の文字情報54とが表示されている。
 報知処理部45は、更に時間計測の状態に変化が発生したタイミングを基準にした一定期間のみ、時間計測の状態に関する情報を報知部である表示器16によりユーザに報知させる。
 図4(A)に示す第2報知例では、報知処理部45は、検査状態認識処理部42により非計測から計測開始などのように計測状態の遷移が認識されると、計測開始時点から一定期間のみ、時間計測の状態に関する情報として、「計測を開始します」という文字情報56を表示器16に表示させる。
 尚、報知処理部45は、計測時間の文字情報54が表示される第1表示領域とは異なる第2表示領域(本例では、医療画像52の表示領域の下側に隣接する表示領域)に文字情報56を表示させる。
 また、「計測を開始します」という文字情報56が表示される一定期間は、例えば、数秒程度であり、ユーザが視認できる期間が好ましい。尚、一定期間は、ユーザが設定できるようにしてもよい。
 ユーザは検査中に医療画像52を仔細に観察する必要があるため、医療画像52以外の領域には注意を払わない傾向がある。
 したがって、文字情報56は、ユーザが気付きやすいように計測時間を報知する文字情報54よりも大きく表示することが好ましい。一方で、文字情報56を目立つ態様で報知すると、検査の邪魔になりかねないため、計測開始時点から一定期間経過すると、図4(B)に示すように文字情報56の報知を終了させる。
 これにより、検査への悪影響を抑えながら、時間計測の状態に関する情報をより目立つように報知することが可能になる。より目立つ表示方法としては、図4に示したように文字情報56で状態遷移を知らせてもよいし、記号などを用いてもよい。また、計測中の時間表示を併用してもよいし、併用しなくてもよい。
 また、報知処理部45は、時間計測の状態に変化が発生したタイミングを基準にした一定期間のみ、時間計測の状態に関する情報を音情報として、音情報再生処理部47及びスピーカ17を介してユーザに報知することができる。例えば、「計測を開始します」という文字情報56に代えて、または「計測を開始します」という文字情報56とともに、「計測を開始します」という音声を発音させることができる。
 尚、音情報は、「計測を開始します」等を表す音声に限らず、時間計測の状態が変化したことを報知するビープ音等でもよい。
 時間計測処理部43により計測された大腸の内視鏡検査の抜去時間または処置時間は、検査記録として残す必要があるため、CPU41は、抜去時間または処置時間を診断レポート等に紐づけて保存部(メモリ48)保存する。
 この際に、CPU41は、検査状態認識処理部42による自動認識の認識結果によってのみ計測された時間計測結果と、ユーザ操作による修正を介した時間計測結果(例:計測開始タイミングを検査状態認識処理部42が誤ったため、ユーザが計測開始操作を実施した計測結果)については、それらを識別できる形式で保存する(時間計測結果の保存方法を変更する)ことが好ましい。
 尚、時間計測の状態に関する情報は、図3及び図4に示した第1報知例及び第2報知例では、検査時間(抜去時間)、検査開始、及び検査終了等の情報であるが、これに限らず、例えば、処置具を使用した処置中の処置時間、処置開始、処置終了等の情報を含む。
 図5は、計測結果を保存する際に表示器に表示される画面の一例を示す図である。
 具体的には、計測結果である時間情報(X min Y sec)を記録する際に、計測結果に対する“ユーザ修正なし”又は “ユーザ修正あり”の情報を付与して記録する。即ち、操作部15におけるユーザ操作により時間計測制御処理の挙動(時間計測の開始時点等)が制御された場合には、制御された挙動状況に応じて保存部への時間計測結果の保存方法を変更する。
 これにより、ユーザは検査終了以降に“ユーザ修正なし”の計測結果を確認して、計測ミスがないかを後から確認することが可能になる。
 また、“ユーザ修正なし”で記録する場合には、記録前(検査終了直後)に、計測結果の確認を促す表示を行うことが好ましい。
 図5は、“ユーザ修正なし”で記録する場合の計測結果の確認を促す表示例を示す図である。
 図5に示す表示例では、「抜去時間は7m20sでした。確認ください。」という確認を促す情報を表示するとともに、計測開始または終了時の時刻情報やその時の静止画を合わせて表示する。これにより、ユーザは自動計測の結果が誤りかどうかを容易に確認することができる。
 また、「OK」ボタン57及び「NG」ボタン58を表示し、「OK」ボタン57が選択された場合には、自動計測された計測結果に“ユーザ修正なし”の情報を付加して保存し、「NG」ボタン58が操作された場合には、ユーザによる計測結果の修正後に修正された計測結果に“ユーザ修正あり”の情報を付加して保存する。
 ユーザによる計測結果の修正は、例えば、タイムスタンプ付きの動画38をメモリ48に一時的に保存しておき、保存した動画38を再生しながら、検査測開始時のフレーム画像、又は検査終了時のフレーム画像をユーザが選択することで、計測結果の修正が可能である。
 尚、修正された計測結果がメモリ48に保存されると、メモリ48に一時的に保存した動画38は削除することができる。
 [医療画像処理方法]
 図6は、本発明に係る医療画像処理方法の一実施形態を示すフローチャートであり、図2に示した医療画像処理装置14の各部の処理手順に関して示している。
 図6において、CPU41は、まず、検査中か否かを示すフラグFを、非検査中を示すF=0にセットする(ステップS10)。その後、医療画像取得部40は、内視鏡プロセッサ装置12から処理対象である現時点の医療画像を取得する(ステップS10)。
 検査状態認識処理部42は、ステップS10で取得した医療画像(現時点よりも前に取得した医療画像を含む)に基づいて検査状態を認識する(ステップS12、検査状態認識ステップ)。例えば、内視鏡検査の場合、内視鏡スコープの挿入中、抜去中または体外であることを認識し、あるいは処置具による処置中か否か等を認識する。
 CPU41は、フラグFが、F=1(検査中)か否かを判別し、F=1でない場合(「No」の場合)にはステップS18に進み、ここで検査開始時点か否かを判別する。検査開始時点の判別は、ステップS14での検査状態の認識結果により判別することができる。
 ステップS18において、検査開始時点であると判別されると(「Yes」の場合)、フラグFをF=1(検査中)に設定し(ステップS20)、時間計測制御処理部44は、時間計測処理部43による時間計測を開始させ、時間計測処理部43は、検査時間の計測を行う(ステップS22、時間計測制御ステップ、時間計測ステップ)。
 続いて、報知処理部45は、検査開始のタイミングを基準にした一定期間のみ、検査開始を示す情報を表示器16及び/又はスピーカ17により報知し、その後、ステップS12に遷移させる(ステップS24、報知ステップ)。図4に示す報知例では、「計測を開始します」という文字情報56を表示器16に表示させ(図4(A))、一定期間が経過すると、文字情報56を消去し、計測時間の文字情報54を引き続き表示する。
 一方、検査が開始すると、フラグFがF=1(検査中)に設定されるため、ステップS16では、検査中と判定され、ステップS26に遷移させる。
 ステップS26では、検査終了時点か否かを判別する。検査終了時点の判別は、ステップS14での検査状態の認識結果により判別することができる。
 ステップS26において、検査終了時点ではないと判別される(「No」の場合)、検査中(計測中)の計測時間を表示器16に表示させ、ステップS12に戻る(ステップS28)。
 一方、ステップS26において、検査終了時点であることが判別されると(「Yes」の場合)、時間計測制御処理部44は、時間計測処理部43による時間計測を終了させ(ステップS30)、また、報知処理部45は、検査終了のタイミングを基準にした一定期間のみ、検査終了を示す情報を表示器16及び/又はスピーカ17により報知する(ステップS32、報知ステップ)。
 そして、時間計測処理部43により計測された内視鏡検査の検査時間(抜去時間)または処置時間は、表示器16に表示され(図5参照)、診断レポート等に紐づけてメモリ48に保存される(ステップS34)。
 尚、図6のステップS18における検査開始時点の判別、及びステップS26における検査開始時点の判別は、検査状態認識処理部42による検査状態の認識結果により行われるが、操作部15におけるユーザ操作によりユーザ指示に基づいて検査開始時点及び検査開始時点を判別してもよい。検査開始時点あるいは検査開始時点がユーザ指示された場合には、検査状態認識処理部42における認識結果に代えて、ユーザ指示された検査開始時点あるいは検査終了時点を優先的に使用し、検査時間の時間計測の開始、終了を制御することが好ましい。
 [その他]
 上記実施形態では、内視鏡プロセッサ装置と医療画像処理装置とが別体に設けられているが、内視鏡プロセッサ装置と医療画像処理装置とが一体化されていてもよい。即ち、内視鏡プロセッサ装置に、医療画像処理装置としての機能を設けてもよい。
 また、計測された検査時間または処置時間は、診断レポート等に紐づけて医療画像処理装置内のメモリに保存されるが、これに限らず、医療画像処理装置と接続された外部メモリ(保存部)に保存してもよい。
 更に、医療画像は、内視鏡スコープにより撮影される内視鏡画像に限らず、例えば、超音波診断装置等の他のモダリティにより取得される時系列の画像でもよい。
 また、上記実施形態の医療画像処理装置の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の制御部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の制御部を1つのプロセッサで構成してもよい。複数の制御部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の制御部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 更に、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る医療画像処理装置として機能させる医療画像処理装プログラム、及びこの医療画像処理プログラムが記録された不揮発性の記憶媒体を含む。
 更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
9 内視鏡システム
10 内視鏡スコープ
11 光源装置
12 内視鏡プロセッサ装置
13 表示装置
14 医療画像処理装置
15 操作部
16 表示器
17 スピーカ
20 挿入部
21 手元操作部
22 ユニバーサルコード
25 軟性部
26 湾曲部
27 先端部
28 撮像素子
29 湾曲操作ノブ
30 送気送水ボタン
31 吸引ボタン
32 静止画撮影指示部
33 処置具導入口
35 ライトガイド
36 信号ケーブル
37a、37b コネクタ
38 動画
38a フレーム画像
39 静止画
40 医療画像取得部
41 CPU
42 検査状態認識処理部
43 時間計測処理部
44 時間計測制御処理部
45 報知処理部
46 表示制御部
46A 画像表示制御部
46B 情報表示制御部
47 音情報再生処理部
48 メモリ
50 画面
52 医療画像
54、56 文字情報
57 「OK」ボタン
58 「NG」ボタン
F フラグ
S10~S34 ステップ

Claims (19)

  1.  プロセッサを備えた医療画像処理装置において、
     前記プロセッサは、
     時系列の医療画像を順次取得する医療画像取得処理と、
     前記順次取得した前記医療画像に基づいて検査状態を認識する検査状態認識処理と、
     前記検査状態に関する時間計測を行う時間計測処理と、
     前記検査状態の認識結果に応じて、前記時間計測の挙動を制御する時間計測制御処理と、
     前記時間計測の状態に関する情報を、報知部によりユーザに報知させる報知処理と、
     を行う医療画像処理装置。
  2.  前記報知処理は、前記時間計測の状態に変化が発生したタイミングを基準にした一定期間のみ、前記時間計測の状態に関する情報を前記報知部によりユーザに報知させる、
     請求項1に記載の医療画像処理装置。
  3.  前記報知処理は、前記報知部として機能する表示部の第1表示領域に前記時間計測処理による計測時間に関する情報をリアルタイムに表示させ、かつ前記表示部の前記第1表示領域とは異なる第2表示領域に前記時間計測の状態に関する情報を表示させ、又は前記報知部として機能するスピーカから前記時間計測の状態に関する情報を音情報として報知させる、
     請求項1又は2に記載の医療画像処理装置。
  4.  前記時間計測の状態に関する情報は、前記時間計測の開始、終了、一時停止、及び再開のうちの1以上の情報を含み、
     前記時間計測制御処理は、前記時間計測処理における前記時間計測の開始、終了、一時停止、又は再開のうちの1以上の制御を行う、
     請求項1から3のいずれか1項に記載の医療画像処理装置。
  5.  前記プロセッサは、ユーザ操作部から前記時間計測の状態に関する情報を受け付ける受付処理を行い、
     前記時間計測制御処理は、前記ユーザ操作部から前記時間計測の状態に関する情報を受け付けると、前記受け付けた前記時間計測の状態に関する情報を、前記検査状態認識処理における認識結果に代えて優先的に使用し、前記時間計測の挙動を制御する、
     請求項1から4のいずれか1項に記載の医療画像処理装置。
  6.  前記プロセッサは、前記時間計測処理による時間計測結果を保存部に保存させる処理を行う、
     請求項1から5のいずれか1項に記載の医療画像処理装置。
  7.  前記プロセッサは、前記時間計測処理による時間計測結果を保存部に保存させる処理を行い、前記ユーザ操作部におけるユーザ操作により前記時間計測制御処理の挙動が制御された場合には、前記制御された挙動状況に応じて前記保存部への前記時間計測結果の保存方法を変更する、
     請求項5に記載の医療画像処理装置。
  8.  前記検査状態認識処理は、前記順次取得した前記医療画像に基づいて前記検査状態が処置中であるか否かを認識する、
     請求項1から7のいずれか1項に記載の医療画像処理装置。
  9.  前記検査状態認識処理は、前記順次取得した前記医療画像に基づいて処置具を検出する処置具検出処理を行い、前記処置具の検出結果に応じて前記処置中であるか否かを認識する、
     請求項8に記載の医療画像処理装置。
  10.  前記医療画像は内視鏡画像である、
     請求項1から9のいずれか1項に記載の医療画像処理装置。
  11.  前記検査状態認識処理は、前記順次取得した前記医療画像に基づいて内視鏡スコープの挿入中、抜去中または体外であることを認識する、
     請求項10に記載の医療画像処理装置。
  12.  前記検査状態認識処理は、前記順次取得した前記医療画像に基づいて管腔内のランドマークを検出するランドマーク検出処理を行い、前記ランドマークの検出結果に応じて前記検査状態を認識する、
     請求項10又は11に記載の医療画像処理装置。
  13.  前記検査状態認識処理は、前記順次取得した前記医療画像に基づいて内視鏡スコープの動きを検出する動き検出処理を行い、前記内視鏡スコープの動きの検出結果に応じて前記検査状態を認識する、
     請求項11又は12に記載の医療画像処理装置。
  14.  時系列の医療画像を順次取得するステップと、
     前記順次取得した前記医療画像に基づいて検査状態に関する情報を認識する検査状態認識ステップと、
     前記検査状態に関する時間計測を行う時間計測ステップと、
     前記検査状態の認識結果に応じて、前記時間計測の挙動を制御する時間計測制御ステップと、
     前記時間計測の状態に関する情報を、報知部によりユーザに報知させる報知ステップと、を含み、
     プロセッサが各ステップの処理を実行する医療画像処理方法。
  15.  前記報知ステップは、前記時間計測の状態に変化が発生したタイミングを基準にした一定期間のみ、前記時間計測の状態に関する情報を前記報知部によりユーザに報知させる、
     請求項14に記載の医療画像処理方法。
  16.  前記報知ステップは、前記報知部として機能する表示部の第1表示領域に前記時間計測ステップによる計測時間に関する情報をリアルタイムに表示させ、かつ前記表示部の前記第1表示領域とは異なる第2表示領域に前記時間計測の状態に関する情報を表示させ、又は前記報知部として機能するスピーカから前記時間計測の状態に関する情報を音情報として報知させる、
     請求項14又は15に記載の医療画像処理方法。
  17.  ユーザ操作部から前記時間計測の状態に関する情報を受け付けるステップを含み、
     前記時間計測制御ステップは、前記ユーザ操作部から前記時間計測の状態に関する情報を受け付けると、前記受け付けた前記時間計測の状態に関する情報を、前記検査状態認識ステップにおける認識結果に代えて優先的に使用し、前記時間計測の挙動を制御する、
     請求項14から16のいずれか1項に記載の医療画像処理方法。
  18.  請求項14から17のいずれか1項に記載の医療画像処理方法における各ステップの処理を、前記プロセッサに実行させる医療画像処理プログラム。
  19.  非一時的かつコンピュータ読取可能な記録媒体であって、請求項18に記載のプログラムが記録された記録媒体。
PCT/JP2022/002133 2021-01-27 2022-01-21 医療画像処理装置、方法及びプログラム WO2022163514A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280011200.XA CN116744834A (zh) 2021-01-27 2022-01-21 医疗图像处理装置、方法及程序
EP22745735.5A EP4285810A4 (en) 2021-01-27 2022-01-21 DEVICE, METHOD AND PROGRAM FOR PROCESSING MEDICAL IMAGES
JP2022578319A JPWO2022163514A1 (ja) 2021-01-27 2022-01-21
US18/351,230 US20230360221A1 (en) 2021-01-27 2023-07-12 Medical image processing apparatus, medical image processing method, and medical image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021010915 2021-01-27
JP2021-010915 2021-01-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/351,230 Continuation US20230360221A1 (en) 2021-01-27 2023-07-12 Medical image processing apparatus, medical image processing method, and medical image processing program

Publications (1)

Publication Number Publication Date
WO2022163514A1 true WO2022163514A1 (ja) 2022-08-04

Family

ID=82654451

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002133 WO2022163514A1 (ja) 2021-01-27 2022-01-21 医療画像処理装置、方法及びプログラム

Country Status (5)

Country Link
US (1) US20230360221A1 (ja)
EP (1) EP4285810A4 (ja)
JP (1) JPWO2022163514A1 (ja)
CN (1) CN116744834A (ja)
WO (1) WO2022163514A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110167417B (zh) * 2017-01-26 2022-01-07 奥林巴斯株式会社 图像处理装置、动作方法和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014053723A (ja) * 2012-09-06 2014-03-20 Fujifilm Corp 医療画像管理装置、医療画像管理方法、医療画像管理プログラム
JP2017012666A (ja) 2015-07-06 2017-01-19 オリンパス株式会社 内視鏡検査データ記録システム
WO2018116572A1 (ja) * 2016-12-22 2018-06-28 オリンパス株式会社 内視鏡挿入形状観測装置
JP2018164722A (ja) * 2017-03-28 2018-10-25 オリンパス株式会社 内視鏡装置、内視鏡システム及び内視鏡画像の記録方法
WO2019049451A1 (ja) * 2017-09-05 2019-03-14 オリンパス株式会社 ビデオプロセッサ、内視鏡システム、表示方法、及び表示プログラム
WO2019054045A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム
WO2020040086A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
WO2020039685A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理装置
KR102185886B1 (ko) * 2020-05-22 2020-12-02 주식회사 웨이센 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018235420A1 (ja) * 2017-06-19 2018-12-27 オリンパス株式会社 医療情報処理システム
JPWO2019138773A1 (ja) * 2018-01-10 2020-12-10 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
JP7326308B2 (ja) * 2018-09-11 2023-08-15 富士フイルム株式会社 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
WO2020170809A1 (ja) * 2019-02-19 2020-08-27 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014053723A (ja) * 2012-09-06 2014-03-20 Fujifilm Corp 医療画像管理装置、医療画像管理方法、医療画像管理プログラム
JP2017012666A (ja) 2015-07-06 2017-01-19 オリンパス株式会社 内視鏡検査データ記録システム
WO2018116572A1 (ja) * 2016-12-22 2018-06-28 オリンパス株式会社 内視鏡挿入形状観測装置
JP2018164722A (ja) * 2017-03-28 2018-10-25 オリンパス株式会社 内視鏡装置、内視鏡システム及び内視鏡画像の記録方法
WO2019049451A1 (ja) * 2017-09-05 2019-03-14 オリンパス株式会社 ビデオプロセッサ、内視鏡システム、表示方法、及び表示プログラム
WO2019054045A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
WO2020017212A1 (ja) * 2018-07-20 2020-01-23 富士フイルム株式会社 内視鏡システム
WO2020040086A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
WO2020039685A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理装置
KR102185886B1 (ko) * 2020-05-22 2020-12-02 주식회사 웨이센 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4285810A4

Also Published As

Publication number Publication date
EP4285810A1 (en) 2023-12-06
JPWO2022163514A1 (ja) 2022-08-04
CN116744834A (zh) 2023-09-12
EP4285810A4 (en) 2024-06-12
US20230360221A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
US11690494B2 (en) Endoscope observation assistance apparatus and endoscope observation assistance method
JP4153963B2 (ja) 内視鏡挿入形状検出装置
JP5542021B2 (ja) 内視鏡システム、内視鏡システムの作動方法、及びプログラム
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
CN113613543B (zh) 诊断辅助装置、诊断辅助方法以及记录介质
JP2006198032A (ja) 手術支援システム
JP7125479B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム
WO2020090729A1 (ja) 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置
US20230200626A1 (en) Image processing apparatus, processor apparatus, endoscope system, image processing method, and program
JP6203456B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
US20230360221A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JPWO2020184257A1 (ja) 医用画像処理装置及び方法
JP2024051041A (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
JP7257544B2 (ja) 情報表示システムおよび情報表示方法
JP7264407B2 (ja) 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム
JP7561382B2 (ja) 大腸内視鏡観察支援装置、作動方法、及びプログラム
EP4302681A1 (en) Medical image processing device, medical image processing method, and program
JP7533905B2 (ja) 大腸内視鏡観察支援装置、作動方法、及びプログラム
WO2024042895A1 (ja) 画像処理装置、内視鏡、画像処理方法、及びプログラム
US20240005500A1 (en) Medical image processing apparatus, medical image processing method, and program
US20240074638A1 (en) Medical image processing apparatus, medical image processing method, and program
WO2023195103A1 (ja) 検査支援システムおよび検査支援方法
WO2024195020A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2024121885A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22745735

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022578319

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280011200.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022745735

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022745735

Country of ref document: EP

Effective date: 20230828