WO2023100446A1 - 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム - Google Patents

医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム Download PDF

Info

Publication number
WO2023100446A1
WO2023100446A1 PCT/JP2022/034598 JP2022034598W WO2023100446A1 WO 2023100446 A1 WO2023100446 A1 WO 2023100446A1 JP 2022034598 W JP2022034598 W JP 2022034598W WO 2023100446 A1 WO2023100446 A1 WO 2023100446A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
medical image
post
image processing
subject
Prior art date
Application number
PCT/JP2022/034598
Other languages
English (en)
French (fr)
Inventor
勝之 比嘉
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2023100446A1 publication Critical patent/WO2023100446A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies

Definitions

  • the present invention relates to a medical image processing apparatus, a method of operating the medical image processing apparatus, and a program for the medical image processing apparatus.
  • Patent Document 1 a notification unit that determines an operation on a subject in a medical image, sets the recognition unit to valid or invalid using the determination result, and notifies the valid or invalid state of the recognition unit.
  • a cancellation mechanism that invalidates the image detection process may be used when appropriate information cannot be obtained in the image detection process.
  • the cancellation mechanism is enabled and the image detection processing is disabled, if the image detection processing is stopped continuously for a long period of time after that, diagnostic support information cannot be obtained during the continuation period.
  • the cancellation mechanism may have to be activated many times after the duration ends, which is troublesome.
  • the medical image processing apparatus of the present invention includes a processor.
  • the processor obtains a plurality of time-series medical images, performs detection processing for detecting a subject from each of the plurality of medical images, and when the subject is detected, the content of the processing corresponding to the detected subject.
  • Predetermined post-detection processing is performed, and the post-detection processing includes at least processing for notifying the user of the detected subject. is set to an invalid mode in which post-detection processing for at least the detected subject is invalid during a preset invalid period.
  • the detection process is preferably at least one of a lesion detection process for detecting a lesion, a treatment instrument detection process for detecting a treatment instrument, and a part detection process for detecting a part.
  • the lesion detection processing is processing for detecting lesions by type
  • the treatment instrument detection processing is processing for detecting treatment instruments by type.
  • Post-detection processing preferably includes processing for recording the results of detection processing in the recording unit.
  • the post-detection processing preferably includes processing for displaying predetermined options on the display corresponding to the detected subject.
  • the processor preferably accepts input from the user and determines whether or not there is a specific instruction based on the input.
  • the processor determines that a specific instruction has been given when the input continues for a continuous input determination period set in advance during the input acceptance period or longer.
  • the processor determines that a specific instruction has been given when the input continues for a preset continuous input determination period or longer during the period in which the post-detection processing for the subject is disabled.
  • the processor preferably determines that a specific instruction has been given when an input is made at least once during an input acceptance period.
  • the input acceptance period is preferably the period during which post-detection processing is performed.
  • the processor preferably determines that a specific instruction has been given when a preset number of inputs or more are made during a preset multiple-input determination period.
  • the processor preferably disables post-detection processing for lesions and/or multiple types of treatment instruments in the disabled mode.
  • the processor preferably disables at least one of the processes included in the post-detection processing in the disable mode.
  • the processor preferably disables post-detection processing related to lesion detection processing in the disabled mode when a lesion is detected.
  • the processor disables post-detection processing related to the treatment tool detection process in the invalid mode when the treatment tool is detected.
  • the processor disables post-detection processing related to part detection processing in the invalid mode when a part is detected.
  • the processor preferably disables detection processing for the detected subject in the disabled mode.
  • the processor preferably disables detection processing for lesions and/or multiple types of treatment tools in the disabled mode.
  • the processor preferably disables at least one of the processes included in the detection process in the disable mode.
  • the processor preferably sets the invalid period to be the period from when a specific instruction is given to when a specific cancellation condition is met.
  • the release condition is preferably that a subject different from the detected subject has been detected in the medical image.
  • the processor calculates a degree of similarity that indicates the degree to which the plurality of medical images are similar to each other, and the cancellation condition is that the degree of similarity between the plurality of recently acquired medical images is equal to or less than a preset value. It is preferable that
  • the processor preferably notifies the user when receiving a specific instruction from the user, when setting the disabled mode, or when canceling the setting of the disabled mode.
  • a method of operating a medical image processing apparatus of the present invention includes steps of acquiring a plurality of time-series medical images, performing detection processing for detecting a subject from each of the plurality of medical images, and detecting a subject when the subject is detected. performing a post-detection process including at least a process of notifying a user of the detected subject, the content of the process being determined in advance corresponding to the detected subject; and setting the operation mode to an invalid mode in which post-detection processing for at least the detected subject is invalid during a preset invalid period when instructed.
  • a program for a medical image processing apparatus of the present invention has a function of acquiring a plurality of time-series medical images, a function of performing detection processing for detecting a subject from each of the plurality of medical images, and when a subject is detected, A function of performing post-detection processing including at least a process of notifying the user of the detected subject, in which the content of the processing is determined in advance corresponding to the detected subject;
  • the computer is caused to execute a function of setting the operation mode to at least a detection process for a detected subject or an invalid mode in which the operation mode is invalid during a preset invalid period.
  • FIG. 1 is a block diagram showing functions of a medical image processing apparatus;
  • FIG. It is a block diagram explaining a structure of a medical image processing apparatus.
  • 4 is a block diagram showing functions of a detection processing unit;
  • FIG. 3 is a block diagram showing respective functions of a lesion detection section, a treatment instrument detection section, and a site detection section;
  • FIG. 10 is an explanatory diagram illustrating a detection process in which a treatment instrument detector detects a treatment instrument and a post-detection process in which a detection result is notified;
  • FIG. 4 is an explanatory diagram illustrating detection processing in which a treatment instrument detector detects a treatment instrument, and post-detection processing in which a detection result is recorded together with an endoscopic image; It is an explanatory view explaining post-detection processing which displays an option.
  • FIG. 9 is an explanatory diagram for explaining a case where the detection process is erroneous in the detection process in which the treatment instrument detector detects the treatment instrument and in the post-detection process in which the treatment instrument detector notifies the detection result;
  • FIG. 11 is an explanatory diagram of a case where a determination method of a specific instruction is a method using a continuous input determination period;
  • FIG. 10 is an explanatory diagram of a case where enabling of a canceling mechanism and transition to an invalid mode are successively performed;
  • FIG. 10 is an explanatory diagram of a case where a method of determining a specific instruction is a method in which input is performed at least once during an input acceptance period;
  • FIG. 11 is an explanatory diagram of a case where a determination method of a specific instruction is a method using a multiple input determination period;
  • FIG. 13(a) is an explanatory diagram illustrating a case where the display of the detection result of false detection is not displayed in the invalid mode and the indicator is displayed only for a predetermined period, and
  • FIG. 10 is an explanatory diagram illustrating a case where display of a detection result of erroneous detection is continuously displayed and an indicator is displayed only for a predetermined period;
  • FIG. 14(a) is an explanatory diagram for explaining a case in which detection processing for forceps, which is a detected subject, is not performed in the invalid mode, and
  • FIG. 14(b) shows detection processing, etc. for forceps, which is a detected subject.
  • FIG. 10 is an explanatory diagram for explaining a case where detection processing of a snare other than the detected subject is performed, although detection processing is not performed;
  • FIG. 15(a) is an explanatory diagram for explaining a case in which the detection processing of the treatment tool as the detected subject is not performed in the invalid mode, and FIG.
  • FIG. 15(b) shows the detection of the treatment tool as the detected subject.
  • FIG. 10 is an explanatory diagram for explaining a case in which a lesion other than the detected object is detected, although no processing is performed;
  • FIG. 12 is an explanatory diagram illustrating that the invalid mode is released when the invalid mode release condition is satisfied;
  • FIG. 11 is an explanatory diagram illustrating a case where a condition for canceling an invalid mode is satisfied when a subject different from the detected subject is detected;
  • 2 is a block diagram showing functions of a medical image processing apparatus including a similarity calculator;
  • FIG. FIG. 11 is an explanatory diagram illustrating a case where a cancellation condition for an invalid mode is satisfied when the similarity between endoscopic images is low;
  • 4 is a flow chart showing an example of the flow of processing of the medical image processing apparatus;
  • the medical image processing apparatus 10 includes a medical image acquisition unit 11 , a detection processing unit 12 , a post-detection processing unit 13 , an input processing unit 14 and a mode setting unit 15 .
  • the medical image processing apparatus 10 includes an endoscope apparatus 16, various modalities such as X-ray examination (not shown), RIS (Radiology Information Systems) or an examination information system such as an endoscope information system (Fig. not shown), a device capable of outputting medical image data such as PACS (Picture Archiving and Communication System) 17, a display device such as display 18, and/or a keyboard (not shown), display 18, or an input device 19 such as a foot switch.
  • PACS Picture Archiving and Communication System
  • the medical image processing apparatus 10 performs detection processing for detecting subjects from each of a plurality of time-series medical images acquired from the endoscope apparatus 16 or the like.
  • a medical image is, for example, a medical image handled by the PACS 17, and is mainly an image obtained by examination. Specifically, an X-ray image obtained by X-ray examination, an MRI obtained by MR examination, a CT image obtained by CT examination, an endoscopic image obtained by endoscopy, or an ultrasonic image obtained by ultrasonic examination can be used.
  • a subject to be detected is a subject detected by each detection process for detecting a specific subject among the subjects in the medical image, such as various lesions, various treatment tools, or each part. Therefore, the detection process includes a lesion detection process for detecting a lesion, a treatment tool detection process for detecting a treatment tool, a part detection process for detecting each part, etc., and performing at least one of these detection processes, Two or more detection processes may be performed.
  • the detection process is performed by a diagnostic support learning model built by performing learning on a machine learning algorithm.
  • this diagnostic support learning model is trained and adjusted so as to output information about the detected subject, which is the result of the target detection process (hereinafter referred to as the detection result).
  • Learning model is the result of the target detection process.
  • Post-detection processing is performed on the detection results obtained by the detection processing.
  • the content of processing is determined in advance according to the detected subject. Then, post-detection processing based on predetermined contents is performed on the detected subject.
  • the post-detection processing includes notification processing for notifying the user according to the detected subject.
  • Post-detection processing includes, in addition to notification processing, recording processing for recording detection results in the data recording unit 37 (see FIG. 2), option display processing for displaying options corresponding to the detected subject on the display 18, and the like. including.
  • option display processing the user selects the detected subject from the displayed options.
  • the recorded detection results or the selected contents of the detected subject are used for report creation and the like.
  • Notification is by display on the display 18, for example. Therefore, when the subject is detected, the user is notified by displaying on the display 18 the information about the detected subject, which is the detection result, such as the name of the subject. Since the acquired medical image is displayed on the display 18 during the examination, the medical image and the detection result are displayed on the display 18 . Therefore, the user can know the detection result by looking at the display 18 during observation during the examination. The user uses the detection result displayed on the display 18 as diagnostic support information for examination, diagnosis, or the like.
  • the user may look at the medical image and the detection result and determine that the detection result is incorrect.
  • the user can give a specific instruction to set the operation mode of the medical image processing apparatus 10 to the disabled mode.
  • the contents of the invalid mode can be set in advance.
  • the medical image processing apparatus 10 sets an invalid mode to invalidate post-detection processing when there is a specific instruction from the user.
  • the disable mode is an operation mode that disables post-detection processing for at least the detected subject.
  • post-detection processing is disabled in the disabled mode, predetermined post-detection processing corresponding to the detected subject, including at least notification processing, is not performed.
  • the disabled mode is applied for a preset period of time.
  • the medical image processing apparatus 10 releases the invalid mode when a release condition for releasing the invalid mode is satisfied.
  • the user can flexibly apply the invalid mode for invalidating the post-detection processing. Also, the invalid mode can be canceled until, for example, an invalid mode cancellation condition is satisfied, and the user can set the cancellation condition.
  • a report is created after the examination or treatment.
  • AI Artificial Intelligence
  • a diagnosis support learning model based on machine learning
  • a diagnostic support function that detects, records the detection results, and creates a report using the recorded detection results.
  • the user performs a canceling operation of activating the cancellation mechanism of the detection process or the like using the input device 19 such as a foot switch, and disables the detection process or the like for a predetermined period.
  • a mode to do is conceivable.
  • the erroneous detection by AI continues, it may become troublesome for the user to perform this canceling operation many times.
  • the detection process or the like is not performed during that time, and the diagnosis support function cannot be effectively utilized.
  • the medical image processing apparatus 10 can preset the contents of the post-detection processing of how to use the detection result by AI, and in the case of erroneous detection, etc., the operation can be performed by the user giving a specific instruction.
  • the mode is shifted to a disabled mode in which post-detection processing is disabled.
  • post-detection processing and the like are invalidated.
  • the duration of the invalid mode until the invalid mode is canceled can be set in advance according to various cancellation conditions.
  • cancellation of the invalid mode can be set according to preset cancellation conditions.
  • detection processing by AI can be resumed automatically when desired, so the diagnosis support function can be used effectively while avoiding the trouble associated with cancellation work. can also be achieved.
  • cancel and invalidate have the same meaning.
  • invalidity of each process means that the intended effect of each process does not appear, and does not mean that no process is performed.
  • the medical image processing apparatus 10 it is possible to flexibly control the processing related to the detection of AI or the like in accordance with the user's wishes, and to create a report or detect an examination performed using medical images.
  • Various processing such as utilization of results can be performed more accurately and efficiently.
  • the medical image processing apparatus 10 of the present invention includes an input device 19 that is an input device, a display 18 that is mainly an output device, a control unit 21, a communication unit 22, and A storage unit 23 is a computer electrically interconnected via a data bus 24 .
  • the input device 19 is an input device such as a keyboard, a mouse, a touch panel of the display 18, a foot switch, or a scope button of the endoscope device 16.
  • a computer that configures the medical image processing apparatus 10 receives input of various instructions from the input device 19 .
  • the display 18 is a kind of output device.
  • the display 18 displays various operation screens according to the operation of the input device 19 .
  • the operation screen has an operation function by GUI (Graphical User Interface).
  • a computer that configures the medical image processing apparatus 10 can receive input from a user through an operation screen.
  • the control unit 21 includes a CPU (Central Processing Unit) 31 which is a processor, a RAM (Random Access Memory) 32, a ROM (Read Only Memory) 33, and the like.
  • the CPU 31 loads a program stored in the storage unit 23 or the like into the RAM 32 or ROM 33 and executes processing according to the program, thereby controlling each unit of the computer in an integrated manner.
  • the communication unit 22 is a network interface that controls transmission of various information via the network 25 . Note that the RAM 32 or the ROM 33 may have the function of the storage section 23 .
  • the storage unit 23 is an example of a memory, and for example, a hard disk drive, a solid state drive, or a disk in which a plurality of hard disk drives, etc., are built in the computer constituting the medical image processing apparatus 10 or connected via a cable or network. array.
  • the storage unit 23 stores control programs, various application programs, various data for use in these programs, display data for various operation screens associated with these programs, and the like.
  • the storage unit 23 of the present embodiment stores various data such as the program 34 for the medical image processing apparatus and the data 35 for the medical image processing apparatus.
  • the medical image processing apparatus program 34 or the medical image processing apparatus data 35 are programs or data for implementing various functions of the medical image processing apparatus 10, respectively.
  • the functions of the medical image processing apparatus 10 are realized by the medical image processing apparatus program 34 and the medical image processing apparatus data 35 .
  • the medical image processing apparatus data 35 also includes a temporary storage unit 36 and a data recording unit 37, and stores data temporarily stored by the medical image processing apparatus program 34, and the like.
  • the computer that constitutes the medical image processing apparatus 10 can be a specially designed device, a general-purpose server device, a PC (Personal Computer), or the like. In addition, it is sufficient that the functions of the medical image processing apparatus 10 can be exhibited, and the computer or a part of the computer may be shared with an apparatus that performs other functions. function can also be incorporated.
  • the medical image processing apparatus 10 of the present embodiment is a processor apparatus, and the medical image processing apparatus 10 stores programs related to medical image processing in the storage unit 23, which is a program memory.
  • a program in a program memory is operated by a control unit 21 configured by a processor or the like, thereby operating a medical image acquisition unit 11, a detection processing unit 12, and a post-detection processing unit 13. , an input processing unit 14 and a mode setting unit 15 (see FIG. 1).
  • the medical image acquisition unit 11 acquires a plurality of time-series medical images from a device capable of outputting medical images.
  • a medical image is an image obtained mainly through an examination, and may be obtained in real time during an examination or from a saved medical image taken during an examination.
  • a plurality of time-series medical images can be a plurality of medical images obtained from a single examination.
  • endoscopic images are acquired in real time during endoscopic examination using the endoscope device 16 . Therefore, the medical image acquisition unit 11 acquires a plurality of time-series endoscopic images.
  • An endoscopic image is a type of medical image, and is an image obtained by photographing a subject with an endoscope included in the endoscope device 16 . A case in which an endoscopic image is used as a medical image will be described below.
  • An endoscopic image is an image based on individual frame images captured by the endoscope device 16 with a preset number of frames, and mainly means a still image.
  • the display 18 displays a moving image in which a plurality of time-series frame images are sequentially displayed for endoscopy.
  • the detection processing unit 12 performs detection processing for detecting a specific subject from each of the multiple endoscopic images acquired by the medical image acquisition unit 11 .
  • detection processing is normally performed on each of a plurality of time-series endoscopic images sequentially in the order in which the endoscopic images are acquired.
  • the detection processing unit 12 includes a lesion detection unit 41, a treatment instrument detection unit 42, and a site detection unit 43.
  • the lesion detection unit 41 Based on the acquired endoscopic image, the lesion detection unit 41 performs detection processing for detecting a region of interest such as a lesion, the treatment tool detection unit 42 performs detection processing for detecting various treatment tools, and the site detection unit 43 performs a detection process for detecting a part.
  • a subject detected by the lesion detection unit 41 is a lesion
  • a subject detected by the treatment instrument detection unit 42 is a treatment instrument
  • a subject detected by the part detection part 43 is a part. Subjects of different categories such as lesions, treatment tools, and parts are detected by these detection processes.
  • the lesion detection unit 41 may perform processing for detecting lesions for each type as the lesion detection processing.
  • Objects to be detected when lesions are detected for each type may be types related to lesions, such as tumor or non-tumor, various degrees of progression, scores of various diagnostic criteria, and the like.
  • the treatment instrument detection unit 42 may perform a process of detecting treatment instruments by type as the treatment instrument detection process.
  • a subject to be detected when detecting treatment instruments by type may be any type related to the treatment instrument, for example, by name of treatment instrument, by purpose of treatment instrument, or by procedure. Snares, forceps, knives, and the like are examples of types by treatment instrument name or types by purpose.
  • Treatment instruments for each procedure can be of the type used for polypectomy, cold polypectomy, EMR (Endoscopic mucosal resection), or the like.
  • the detection processing unit 12 may perform measurement processing, classification processing, or the like as the detection processing. For example, measurement processing or classification processing for detecting the value of biological information such as oxygen saturation can be performed.
  • the detection processing unit 12 includes a measurement unit (not shown) or a classification unit (not shown).
  • a measurement unit not shown
  • a classification unit not shown
  • the measurement process a region of the living body having a specific range of oxygen saturation values is detected, and as the classification process, the area of the living body is detected for each oxygen saturation value range.
  • a detection process for classifying areas or the like may be performed.
  • the position, size, distance from the endoscope distal end, or discrimination related to these may be performed for lesions, treatment instruments, parts, or the like.
  • discrimination or the like is performed in the detection process, each subject having the discriminated content is detected.
  • one detection process may be performed, or a plurality of detection processes may be combined.
  • each detection unit included in the detection processing unit 12 can include one or more detectors corresponding to specific subjects to be detected.
  • the detector may be provided outside the medical image processing apparatus 10 .
  • Lesion detector 41 includes lesion detector 44 .
  • the lesion detector 44 is a diagnostic support learning model that detects lesions of a subject based on acquired endoscopic images. When an endoscopic image is input, the lesion detector 44 generates a detection result including at least the lesion area in the subject when the subject captured in the endoscopic image includes a lesion.
  • the detection results include, in addition to the area of the lesion, the type or classification of the lesion such as redness, tumor or non-tumor, or the stage or progression of a specific lesion. May contain information. Also, the detection result may include saved information that can be acquired from another device. Note that if the subject in the endoscopic image does not include a lesion, a detection result with the content "no lesion" may be generated.
  • the treatment instrument detector 42 includes a treatment instrument detector 45 .
  • the treatment instrument detection unit 42 is a diagnosis support learning model that detects various treatment instruments appearing in the endoscopic image based on the acquired endoscopic image.
  • the treatment instrument detector 45 When an endoscopic image is input, the treatment instrument detector 45 generates a detection result including the name of the treatment instrument when the subject in the endoscopic image includes various treatment instruments.
  • the detection result includes various information obtained by learning the treatment instrument detector 45, such as the name of the treatment instrument, the name of the manufacturer, the model number, the date of manufacture, and the date of use, in addition to the name of the instrument.
  • the detection result may include saved information or the like that can be obtained from another device. Further, when the subject captured in the endoscopic image does not include various treatment tools, a detection result with the content "no treatment tools" may be generated.
  • the part detection unit 43 includes a part detector 46 .
  • the part detection unit 43 is a diagnostic support learning model that detects the part of the subject in the endoscopic image based on the acquired endoscopic image.
  • the part detector 46 When an endoscopic image is input, the part detector 46 generates a detection result including the name of the part of the subject appearing in the endoscopic image.
  • the detection result includes various information obtained by learning the part detector 46, such as the position or orientation of the endoscope when the endoscopic image was taken, in addition to the name of the part. Also, the detection result may include saved information that can be acquired from another device. Further, when the subject captured in the endoscopic image does not include a specific part, the detection result may be generated with the content "no part detected".
  • Various detectors including the lesion detector 44, the treatment instrument detector 45, and the part detector 46 are specifically diagnostic support learning models built using machine learning algorithms, and can detect the endoscopic image 51 in various ways. It is a learning model that can detect a specific subject, which is a detection target included in the endoscope image 51, and output information about the detection result as an objective variable when input to the detector. Various detectors use a machine learning algorithm in advance so as to output information about the detection result of detecting a specific subject included in the endoscopic image 51 as an objective variable. Learning is performed using initial image data sets for various detectors, which consist of the scope image 51 and correct data such as the name of the specific subject or the position of the subject, and parameters and the like are adjusted.
  • the machine learning algorithm used for various detectors various algorithms can be used as long as they are mainly used for supervised learning, but good inference results in detection processing using images are output as objective variables It is preferable to use an algorithm that For example, it is preferable to use a multilayer neural network or a convolutional neural network, and it is preferable to use a technique called deep learning.
  • the diagnostic support learning model includes an endoscopic image 51, which is an input image, which is generally performed to improve the performance of the learning model, such as improving the accuracy of detecting a specific subject or improving the detection speed. Techniques such as processing for, using multiple learning models, and combining with unsupervised learning may also be used.
  • the detection processing unit 12 may be configured to calculate a feature amount from an endoscopic image and perform detection or the like using the calculated feature amount, instead of being configured with a detector based on machine learning.
  • an endoscopic image 51 is displayed in the form of a moving image on the display 18 during the examination.
  • the treatment instrument detector 45 performs detection processing for detecting various treatment instruments as subjects to be detected from the endoscope image 51 .
  • the detected subjects are various treatment tools.
  • the detection processing unit 12 detects the forceps 52 as one type of treatment tool, the detection result 54 is generated as the name of the treatment tool, “forceps”.
  • the post-detection processing unit 13 performs post-detection processing.
  • the post-detection processing includes various processing using the detection result 54 .
  • the content of the process is determined in advance according to the detected subject, and includes at least a notification process of notifying the user according to the detected subject.
  • the notification process may be notification related to the detected subject, and in addition to notifying the user of the name of the treatment tool that has been detected, it is also possible to notify the name of the treatment being performed at the time of detection according to the detected subject. included.
  • Post-detection processing is performed when a subject is detected.
  • the detected subjects are various types of treatment tools, so post-detection processing is performed when any treatment tool is detected.
  • the post-detection processing includes notifying processing of notifying the detection result 54 and the like, recording processing of recording the detection result 54 in the recording unit, and selection of predetermined options corresponding to the detected subject. is displayed on the display 18, and the like.
  • the option display process displays options for selecting, for example, the content to be described in the report from among various types of information related to the detected subject.
  • options including procedures using the detected treatment tool are displayed.
  • options including site names related to the detected site are displayed.
  • the options may be displayed as text or as a schema or the like. The user can automatically enter in the report the procedure using the detected treatment tool or the name of the part desired to be described in the report by selecting the name of the procedure or the part from the options.
  • the means of processing are set in advance.
  • the notification means is displayed on the display 18 .
  • the recording means records to the data recording unit 37 .
  • the option display means is to display on the display 18 .
  • post-detection processing may be performed in combination with manual processing.
  • the part name is manually input by the user selecting the part from the schematic diagram of the inspection object, and then the treatment tool is moved by the detection process. It is also possible to detect and display options related to treatment tools by post-detection processing. By appropriately combining manual processing and post-detection processing, operations suitable for various situations can be performed.
  • the detection result 54 indicating that the forceps 52 has been detected is displayed on the display 18 as the detection result display 55 by the notification process.
  • the detection result display 55 notifies the user that the medical image processing apparatus 10 has detected the forceps 52 through the detection process.
  • the recording process records the name of the treatment tool "forceps” as the detection result 54 in the data recording unit 37 in association with the detected endoscopic image 51 .
  • the options for the procedure associated with the treatment instrument name "forceps” were “Polypectomy”, “Cold Polypectomy”, and "EMR”
  • the option display processing resulted in the detection result 54 are displayed on the display 18 as the option display 56 .
  • the procedure name is confirmed and recorded.
  • “Polypectomy” is selected and confirmed. After the notification or display of options, etc., if the treatment instrument is correctly detected by the detection process, the user continues the endoscopy as before without giving a specific instruction.
  • the detection process may generate erroneous detection results.
  • “snare” is generated as the detection result 54, for example.
  • the notification process causes the detection result 54 “snare” to be displayed as the detection result display 55 on the display 18 .
  • the detection result display 55 notifies the user that the detection result 54 of the detection processing performed by the medical image processing apparatus 10 based on the endoscopic image 51 is "snare".
  • the treatment instrument name “snare”, which is the detection result 54 is recorded in the data recording unit 37 in association with the detected endoscopic image 51 .
  • the user can judge whether the detection process correctly detected or erroneously detected by looking at the endoscopic image 51 displayed on the display 18 and the detection result display 55 .
  • the user determines that the detection processing has made an erroneous detection
  • the user sets the operation mode of the medical image processing apparatus 10 to the invalid mode so that erroneous display or recording is not performed any more.
  • post-detection processing and the like can be disabled.
  • By invalidating post-detection processing, etc. it is possible to prevent unnecessary trouble such as correcting wrong records later.
  • a specific instruction is given to the medical image processing apparatus 10 .
  • a specific instruction is determined to be a specific instruction by presetting an instruction method or the like.
  • Specific instructions can be based on user input.
  • the input processing unit 14 receives an input from the user and determines whether or not a specific instruction has been given.
  • the medical image processing apparatus 10 includes an input processing unit 14 that receives user input. The user inputs using the input device 19, and the input processing unit 14 determines whether or not there is a specific instruction based on the input from the user.
  • the input device 19 As an input method using the input device 19, when the input device 19 is, for example, a keyboard, a mouse, a touch panel of the display 18, or a scope switch of the endoscope device 16, a specific button or the like is selected, clicked, or Use touch as input. If the input device 19 is a footswitch, the depression of the footswitch is used as an input. When a plurality of scope switches or foot switches are provided, a specific scope switch or foot switch is set in advance.
  • the scope switch or foot switch is a so-called momentary type switch that is turned on while being pressed or the like.
  • a momentary type switch is in an OFF state while the switch is released after the depression is completed.
  • various switches such as a so-called alternate switch that maintains the ON state may be used.
  • An alternate switch switches between an ON state and an OFF state when pressed.
  • the input processing unit 14 When determining an input from a user, the input processing unit 14 adopts a determination method selected from a plurality of determination methods by the user.
  • One of the plurality of determination methods is a method in which input is continuously performed during the input acceptance period for a preset continuous input determination period or longer.
  • the input acceptance period is a period during which the input processing unit 14 accepts input from the user in order to determine the input from the user, and can be set in advance.
  • the input reception period is a period during which post-detection processing is performed.
  • the post-detection process includes at least the notification process among the notification process, the recording process, and the option display process, as described above. Therefore, the period during which notification processing such as displaying the detection result display 55 is performed is defined as the input acceptance period.
  • the period during which the detection result display 55 is displayed is a period during which the detection result display 55 based on the plurality of detection results 54 sequentially generated from the plurality of time-series endoscopic images 51 is displayed sequentially.
  • the continuous input determination period is a period for determining whether or not the input is a specific instruction. If the input continues beyond this period, it is determined that the specific instruction has been given. Continuous input means that the ON state of the switch for input continues. For example, if the input is pressing the footswitch, the period during which the footswitch is kept pressed is the period during which the input continues.
  • the continuous input determination period is set in advance, for example, 3 seconds.
  • the continuous input determination period starts when the input is performed. Input is performed, the continuous input determination period starts, and if the continuous input determination period is canceled before the preset continuous input determination period elapses, the continuous input determination period also ends. After that, when the input is performed, the continuous input determination period starts again.
  • the user sees the detection result display 55 shown on the display 18, determines that the detection process is performing erroneous detection, and gives a specific instruction to switch to the invalid mode. .
  • time elapses from left to right, and displayed images shown on the display 18 are shown in chronological order on the right side of the description "display”.
  • periods during which each is executed are shown in bar graph form.
  • the input is performed during the period indicated by the input period 63 .
  • the post-detection processing is performed during the period indicated by the post-detection processing period 64 .
  • the post-detection processing period 64 is the same as the input acceptance period.
  • the disabled mode is executed during the period indicated by disabled mode period 65 .
  • the user starts input by pressing the foot switch at time t1 during the input reception period during which the detection result display 55 is displayed.
  • an indicator 61 is displayed on the display 18, and how long is the remaining input period 63, and if the foot switch is kept depressed, it becomes longer than the continuous input judgment period, and a specific instruction is given. indicates whether the For example, the period until the input period 63 becomes equal to or longer than the continuous input determination period is indicated by the indicator 61 with the text "2 seconds until cancellation" and a figure that changes with the passage of time.
  • the input processing unit 14 determines that a specific instruction has been given when the input period 63 by pressing the footswitch, which is an input, continues beyond the preset continuous input determination period.
  • the continuous input determination period is a period from time t1 to time t2.
  • a specific instruction is given.
  • the input processing unit 14 issues an instruction to the mode setting unit 15, and at time t2, the mode setting unit 15 switches the operation mode of the medical image processing apparatus 10 to the invalid mode.
  • post-detection processing for the detected subject is invalid. Therefore, in the present embodiment, the detection process is performed in the invalid mode, but the notification process, the recording process, or the option display process, which are included in the post-detection process, are not performed. In this embodiment, the post-detection processing is disabled in the disabled mode, so the detection result display 55 is not displayed in the disabled mode. As will be described later, it is possible to set so that the detection process is not performed in the disabled mode. Since the post-detection process is a process in which the content of the process is determined according to the detected subject, if the detection process is not performed, there is no detected subject, so the post-detection process is not performed either.
  • the indicator 61 indicates that the ineffective mode has started for a preset period of time such as several seconds, and then the indicator 61 is not displayed. You may do so.
  • the indicator 61 displays the text "invalid mode start". The disabled mode continues for a preset period of time.
  • the invalid mode mark 62 may be turned on so that the user can recognize at a glance that the invalid mode is in effect.
  • the specific instruction By issuing a specific instruction using the continuous input determination period, if the footswitch is pressed by mistake, or if another instruction is issued using the footswitch, the specific instruction may be issued against the user's intention. You can avoid being judged. Also, by looking at the indicator 61, the user can know how much time is required until a specific instruction is executed. By doing so, it is possible to cancel the transition to the invalid mode.
  • the specific instruction may be continuously input for a preset continuous input acceptance period or more while the post-detection processing for the subject is disabled.
  • the treatment instrument detector 45 may erroneously generate a treatment instrument name other than the forceps 52 as the detection result 54 .
  • the medical image processing apparatus 10 disables recording of detection results in a short period of time such as several seconds, like conventional medical image processing apparatuses that do not have a function to switch to an invalid mode. It has a cancellation mechanism that Activation of the canceling mechanism is performed by input from the input unit.
  • the cancellation mechanism is activated by an instruction different from a specific instruction, for example, when an input is performed for a preset number of times or more for the cancellation mechanism during a preset cancellation mechanism determination period.
  • the cancellation period determination period starts from the time of the first input, the cancellation mechanism determination period is 2 seconds, and the number of times of the cancellation mechanism input is 3 or more. Therefore, the cancellation mechanism is activated when the number of times of input for the cancellation mechanism is three or more times within 2 seconds, which is the judgment period for the cancellation mechanism.
  • the detection process or the post-detection process is invalidated 3 seconds after the confirmation, and the invalidation is automatically canceled after 3 seconds.
  • the activation of the canceling mechanism is activated by, for example, three inputs such as depression of the foot switch, and the user is notified that the activation has been confirmed.
  • the notification is made by the indicator 61 on the display 18, the cancellation mechanism activation mark 57, or the like.
  • the input method for activating the canceling mechanism is, in addition to performing an input equal to or more than the number of inputs for the canceling mechanism during the judgment period for the canceling mechanism, continuous input, i.e., long-pressing of the input device 19, etc. input method can be adopted. Also in this case, in order to distinguish from the transition to the invalid mode, it is preferable to enable the canceling mechanism by a determination method different from the continuous input determination period for transition to the invalid mode.
  • the cancellation mechanism is used to switch to invalid mode. For example, if the user wants to continue to disable the post-detection processing after the activation of the canceling mechanism has been confirmed, the user inputs the activation of the canceling mechanism and then inputs a specific instruction.
  • a specific instruction a method using a continuous input determination period in which continuous input (long press) is performed by the input device 19 as described above, or the like is adopted.
  • the method of continuous input is the same as described above, and the indicator 61 indicates a text such as "2 seconds until cancellation", and when shifting to the invalid mode, a message such as "invalid mode start" is displayed.
  • a graphic is displayed showing text and time remaining before transitioning to disable mode.
  • the cancellation mechanism cancels the invalidation after a short specific period, but if you want to invalidate the detection process or post-detection process again, you can save the trouble of inputting to activate the cancellation mechanism again. Therefore, in the medical image processing apparatus 10, switching to the invalid mode can be performed while maintaining the conventional canceling mechanism, so that the user can use the apparatus without any sense of incongruity, and convenience is further increased.
  • one of the multiple determination methods is a method in which input is performed at least once during the input acceptance period.
  • the input acceptance period is the post-detection processing period 64 . Therefore, from the start of the post-detection process, that is, from the start of notification of the detection result 54, if the touch panel is touched or the foot switch is pressed even once, it is determined that a specific instruction has been given. , it is determined that one input has been made when the switch is turned ON during the input acceptance period, regardless of the switch method.
  • FIG. 11 differs from FIG. 9 in the determination method for determining that the input is a specific instruction, and is otherwise the same.
  • the user performs an input by pressing the footswitch once at time t1.
  • the footswitch input 66 is indicated by a star-shaped mark.
  • the input processing unit 14 determines that a specific instruction has been performed.
  • the operation of the medical image processing apparatus 10 according to specific instructions is the same as in the case of FIG. In this way, the operation mode can be quickly switched by giving a specific instruction with one input.
  • one of the multiple determination methods is a method in which inputs are performed a preset number of times or more during a preset multiple input determination period.
  • the multiple input judgment period is a period for judging whether or not the input is a specific instruction, and it is judged that the specific instruction has been made if the input is performed more than a certain number of times within this period. .
  • the fact that one input is performed is the same as in the case of FIG. 11, and means that the ON state of the switch for input is performed once. For example, when the input is pressing of a foot switch, it is assumed that one input is performed by pressing the foot switch once.
  • the foot switch since the input from the foot switch is determined as a momentary switch, for the second input, the foot switch is released, turned off, and then the foot switch is pressed again. to the ON state.
  • the specific number of times is set in advance and is, for example, three times.
  • the multiple input determination period is set in advance, for example, 3 seconds.
  • the start of the multiple input determination period is the time point when the input is performed.
  • a specific instruction is executed when a first input is made, a multiple input determination period starts, and a specific number of inputs are made before a preset multiple input determination period has elapsed.
  • one input is defined as one input when the switch is pressed once from a state in which it has not been pressed. Therefore, when three or more inputs are made within three seconds, which is the multiple-input determination period, this condition is satisfied by performing pressing and releasing of pressing about three times within three seconds.
  • the multiple input determination period starts, and if the specified number of inputs are not made within the preset multiple input determination period, the multiple input determination period also ends. After that, when the input is performed, the multiple input determination period starts again.
  • FIG. 12 is different from FIG. 9 in the method of determining whether the input is a specific instruction, and is otherwise the same.
  • the user looks at the detection result display 55 and performs an input 66 at time t1 by pressing the foot switch once.
  • the indicator 61 is displayed on the display 18 and indicates the remaining number of times until the number of times of pressing of the foot switch becomes equal to or more than the number of times of input. For example, after the input 67, by displaying the text "One more time to cancel" and a figure whose color changes when the input is completed two times after the input is completed, the remaining number of inputs until the number of inputs is exceeded is displayed. show.
  • the multiple input determination period when the multiple input determination period, for example, 3 seconds, has passed since the first input 66, one of the figures whose color was first changed by pressing returns to the original color. As a result, it can be recognized from the indicator 61 that a specific instruction is given by continuously pressing the foot switch during the multiple input determination period.
  • the input processing unit 14 determines that a specific instruction has been given when the number of times the footswitch, which is an input, is pressed exceeds the number of inputs set in advance during the multiple input determination period.
  • the multiple-input determination period is a period from time t1 to time t3.
  • the depression of the foot switch is performed four times, input 66, input 67, input 68, and input 69, from time t1 to time t3.
  • the time t2 when the input 68, which is the third input, is performed is earlier than the time t3, and a specific instruction is performed at the time t2 when the input 68 is performed. Operations according to specific instructions are the same as in the case of FIG.
  • the input processing unit 14 notifies the user of the reception when receiving a specific instruction from the user.
  • the notification that the specific instruction has been received may be shared with the notification that the operation mode is the disabled mode.
  • the determination method for a specific instruction by input can be set by selecting from a plurality of determination methods. These determination methods allow the user to make specific instructions by inputting in a simple manner that does not interfere with the examination. In addition, switching to the invalid mode can be performed after selecting an appropriate determination method according to the application.
  • the mode setting unit 15 sets the operation mode of the medical image processing apparatus 10 to the disabled mode based on instructions from the input processing unit 14.
  • the invalid mode is an operation mode that invalidates at least the detection processing or the post-detection processing for the detected subject for a preset period.
  • a specific instruction from the user is determined by the input processing unit 14 .
  • the input processing unit 14 instructs the mode setting unit 15 to set the operation mode of the medical image processing apparatus 10 to the invalid mode.
  • the mode setting unit 15 can disable the post-detection processing for the detected subject in the disable mode, as described above.
  • the mode setting unit 15 sets a plurality of detection processes according to the detection process.
  • Post-detection processing can be disabled for lesion types and/or treatment device types.
  • the mode setting unit 15 can disable at least one of the processes included in the post-detection process in the disable mode. Also, all processes included in the post-search process may be invalidated. In this embodiment, detection processing is performed, and post-detection processing using the detection result 54 is not performed. In the invalid mode, all of the notification processing, recording processing, and option display processing set in the post-detection processing are not performed, but specific processing not included in the post-detection processing can be performed on the detection result 54. make it possible. In the disabled mode, among the notification processing, recording processing, and option display processing that are set to be included in the post-detection processing, the recording processing and option display processing may be performed without performing only the notification processing.
  • the indicator 61 when the invalid mode is set, the indicator 61 indicates "invalid mode start" for a predetermined period such as the first few seconds after the operation mode is changed from the invalid mode to the invalid mode. , etc., to inform the user that the invalid mode has started. After a predetermined period of time has elapsed, the indicator 61 is hidden so as not to interfere with observation. Also, when in the ineffective mode, it is preferable to continue displaying on the display 18 or the like as notification of the ineffective mode. For example, the invalid mode mark 62 displayed on the display 18 is lit continuously while the invalid mode is set to inform the user that the user is in the invalid mode so that the user can grasp it at a glance. may
  • the post-detection processing is disabled, but the last displayed detection result display 55 may remain displayed.
  • the case shown in FIG. 13(b) is the same as the case of FIG. 13(a) except that the detection result display 55 remains displayed.
  • the mode setting unit 15 can be set to disable the detection process for the detected subject in the disabled mode.
  • the detection process is not performed, no subject is detected, so the post-detection process is not performed either.
  • the details for the case where post-detection processing is not performed are similar to those described above.
  • various processes using the detection result cannot be performed, and the calculation resources used for the detection process are not required, so that the processing speed can be improved.
  • the mode setting unit 15 sets a plurality of detection processes according to the detection process. It is possible to disable the detection process for one type of lesion and/or multiple types of treatment tools. Moreover, when the detection process includes a plurality of processes, the mode setting unit 15 can disable at least one of the processes included in the detection process in the disabled mode. Also, all processes included in the search process may be invalidated. For example, when the detection process is set to detect a plurality of subjects in different categories such as lesions, treatment tools, or parts, the detection process is disabled for at least one of these categories, or All categories of subject detection processing can be disabled.
  • the invalidity of the detection process in the invalid mode and the invalidation of the post-detection process can be selected and set in advance. Some categories of subject detection processing are enabled, some post-detection processing is disabled, and another portion of post-detection processing is enabled. and post-detection processing can be combined.
  • the user may be notified of which is the case, for example, by making the color of the invalid mode mark 62 different depending on whether the detection process is disabled or the post-detection process is disabled. Also, which process is invalid may be displayed by a diagram such as a mark or text to inform the user.
  • the detection process By disabling the detection process or the post-detection process in the disable mode, if the detection process is performing an erroneous detection, the erroneous detection will continue and erroneous display or recording will not be performed any more. can.
  • it is possible to select whether to disable detection processing or disable post-detection processing it is possible to flexibly configure settings so that some detection processing is performed, but some post-detection processing, such as display or recording, is not performed. It is possible to deal with it. In this case, the detection result 54 is not used for post-detection processing, but the detection result 54 can be used for other purposes. Further, when the detection process is disabled, it is possible to save computational resources.
  • the mode setting unit 15 can preset how to treat the subject when the detection process or the post-detection process is disabled in the invalid mode according to the detection process.
  • a range can be set in advance.
  • the detected subject to be invalidated can be the same type of subject as the detected subject.
  • the type of detected subject is "forceps", and subjects other than forceps, such as snares, are not invalidated.
  • the detected object is the forceps 52. Therefore, in the disable mode, detection processing or post-detection processing for the forceps 52 is disabled. do. Therefore, in the disabled mode, when the forceps 52 are included in the endoscopic image 51, detection processing or post-detection processing for the forceps 52 is not performed. In addition, since the invalid mode for invalidating the detection process and the like for the forceps 52 continues, the invalid mode mark 62 is displayed on the display 18 .
  • the snare is displayed on the endoscopic image 51. 71 is included, detection processing or post-detection processing for the snare 71 is performed by the detection processing by the detection processing unit 12 . Then, for example, "snare" is generated as the detection result 54 by the detection processing for the snare 71 and displayed on the display 18 as the detection result display 55. FIG. In addition, since the invalid mode for invalidating the detection process and the like for the forceps 52 continues, the invalid mode mark 62 is displayed on the display 18 .
  • the detected subject to be invalidated is the treatment tool. It can be general equipment.
  • the subject category that includes the forceps is treatment tools. Therefore, the subject to be invalidated is the subject of the treatment instrument, and when the forceps 52 are detected, the detection processing or post-detection processing for the treatment instrument is invalidated.
  • Subjects in the category to which the detected subject belongs include, in addition to treatment tools, lesions when specific lesions such as tumors or non-tumors are detected, and specific parts such as the esophagus or duodenal bulb. and the like.
  • the detected object is the forceps 52, and the object to which the forceps 52 belongs is a treatment tool.
  • the detection processing or post-detection processing for the treatment instrument is invalidated. Therefore, in the invalid mode in this case, when the snare 71 is included in the endoscopic image 51, no detection processing or post-detection processing for the snare 71 is performed.
  • the invalid mode mark 62 is displayed on the display 18 . Since the treatment instrument detection process is performed by the treatment instrument detector 45, the invalid mode in this case may be executed by not operating the treatment instrument detector 45 among various detectors.
  • the endoscopic image 51 shows a lesion.
  • detection processing or post-detection processing for the lesion 72 is performed by the detection processing by the detection processing unit 12 .
  • a “lesion” is generated as the detection result 54 by the detection processing for the lesion 72 and displayed on the display 18 as the detection result display 55 .
  • the invalid mode mark 62 is displayed on the display 18 because the invalid mode for invalidating the detection process and the like for the treatment instrument is being continued.
  • a subject to be invalidated may be a detected individual subject. For example, when the forceps 52 are detected, the forceps 52 themselves are invalidated, and forceps other than the forceps 52 are not invalidated.
  • the subject to be invalidated may be set as the treatment tool category to which the snare belongs.
  • the invalid mode for invalidating the detection process and the like for the treatment tool may be realized by invalidating the various detection processes themselves. Therefore, in the invalid mode, one or more of lesion detection processing or lesion detection processing, treatment instrument detection processing or post-detection processing of treatment instrument detection processing, or site detection processing or post-detection processing of site detection processing is disabled. good too.
  • the detection processing or post-detection processing for the detected subject in the invalid mode By disabling the detection processing or post-detection processing for the detected subject in the invalid mode, even if, for example, erroneous detection is repeated in the detection processing, an erroneous subject name due to erroneous detection will not be displayed or recorded. You can prevent it from being broken. Further, by disabling only the post-detection processing, even in the case of the disabled mode, the detection processing or the post-detection processing can be continued depending on the subject included in the endoscopic image 51 . Therefore, it is possible to prevent an erroneous subject name from being continuously displayed or recorded due to erroneous detection, and perform notification processing or recording processing for the detection of another subject. Therefore, in the case of erroneous detection, the flexible setting saves the trouble of various corrections such as display or recording of the erroneous detection result 54, and enables effective detection processing.
  • the mode setting unit 15 cancels the invalid mode when a preset cancellation condition is satisfied. Therefore, the mode setting unit 15 sets the invalid mode for a period from when a specific instruction is given by the user to when a specific release condition is satisfied.
  • the cancellation condition can be, for example, the point in time when the invalid mode continuation time, which is a preset time, has elapsed since the invalid mode started.
  • the invalid mode continuation time can be set as appropriate, and is set to 3 minutes, for example.
  • the mode setting unit 15 sets an operation mode other than the invalid mode, for example, sets the operation mode immediately before starting the invalid mode. Note that after canceling the invalid mode, the operation mode may be changed to a preset operation mode other than the operation mode before shifting to the invalid mode.
  • the invalid mode in which the detection process or the post-detection process for the forceps 52 as a detected object is invalid, after the invalid mode starts, three minutes set as the invalid mode duration time, the invalid mode is disabled. Disabled mode is automatically released when the release condition is satisfied. Time t4 is the time when three minutes have passed since the invalid mode start time.
  • the release condition can also be based on the endoscopic image 51. In this case, since it is necessary to perform the detection process on the endoscopic image 51, in the invalid mode, only the post-detection process is invalidated, and the detection process is not invalidated.
  • the release condition is, for example, that a subject different from the detected subject is detected in the endoscopic image 51 .
  • the range of the subject different from the detected subject can be set according to the subject detection process, but as described above, it can be the same as the example of the detected subject and the subject to be invalidated. .
  • the detection processing is processing for detecting each type of subject
  • the cancellation condition is satisfied and the invalid mode is set. unlock.
  • the cancellation condition is that a subject different from the detected subject is detected, the cancellation condition is satisfied when the detection result 54 is "second snare" different from “snare”.
  • the invalid mode is released, the post-detection processing invalidated in the invalid mode is enabled, and each processing set as the post-detection processing is started.
  • the cancellation condition may use the degree of similarity between the multiple endoscopic images 51 acquired by the medical image acquisition unit 11 .
  • the medical image processing apparatus 10 includes a similarity calculator 81.
  • FIG. The similarity calculator 81 calculates a similarity indicating the degree to which a plurality of endoscopic images are similar to each other.
  • various feature amounts can be calculated from the endoscopic image, and the degree of similarity can be calculated using the calculated feature amounts.
  • the feature amount may be a feature vector in a plurality of endoscopic images 51, and the degree of similarity may be calculated based on the mutual closeness based on the feature vector.
  • the cancellation condition is that the degree of similarity between the most recently acquired endoscopic images 51 is less than or equal to a preset value.
  • the degree of similarity is the extent to which the plurality of endoscopic images 51 are similar to each other. have a low degree of similarity.
  • the plurality of recently acquired endoscopic images can be the latest acquired endoscopic image and the previously acquired endoscopic images for a preset number of frames. Note that a frame is a unit of photographing an endoscopic image, and one endoscopic image is obtained for each frame.
  • the degree of similarity between two endoscopic images is calculated in the order of the latest acquisition. If the calculated similarity is less than or equal to a preset threshold value, it is entered as “low” in the "similarity between image frames” column. Similarly, when the similarity is high and does not fall below the threshold, it is indicated as "high”. In the case of "high” where the similarity is not equal to or less than the preset threshold, the cancellation condition is not satisfied, so the invalid mode is continued without being canceled. If the similarity is "low”, i.e., equal to or lower than the threshold, the cancellation condition is satisfied, and the invalid mode is canceled. After canceling the invalid mode, it returns to the operation mode before shifting to the invalid mode.
  • the invalid mode can be automatically and appropriately canceled even if the error in the detection process continues.
  • the medical image processing apparatus 10 preferably notifies the user when receiving a specific instruction from the user, when setting the invalid mode, or when canceling the setting of the invalid mode.
  • the medical image acquisition unit 11 acquires an endoscopic image 51 acquired by the endoscope device 16 (step ST110, the detection processing unit 12 detects the endoscopic image acquired by the medical image acquisition unit 11). Detection processing is performed on the image 51 (step ST120).
  • a detection result 54 by the detection process is displayed on the display 18 as a detection result display 55 (step ST130).
  • the user looks at the detection result display 55 and the endoscopic image 51 displayed on the display 18 and determines whether or not the detection result 54 is an erroneous detection.
  • a specific instruction is given using the footswitch or the like which is the input device 19 (Y in step ST140).
  • the operation mode is switched to invalid mode (step ST160).
  • step ST170 After switching to the disabled mode, in the disabled mode of the present embodiment, detection processing is performed and post-detection processing is not performed, so an endoscopic image is acquired (step ST170) and detection processing is performed (step ST180). If the invalid mode is not canceled (N in step ST190), the endoscopic image is acquired again in the invalid mode (step ST170), and detection processing is performed (step ST180).
  • the invalid mode is canceled, the operation mode immediately before setting the invalid mode is restored, and endoscopic image acquisition is started (step ST110). If the invalid mode is not canceled (N in step ST190) and the examination is continued (Y in step ST200), the endoscopic image is acquired again and detection processing is performed in the invalid mode (step ST110). If the inspection is not to be continued (N in step ST200), the inspection ends.
  • step ST140 If no specific instruction is given (N in step ST140) and the examination is to be continued (Y in step ST150), the endoscopic image is acquired again and detection processing is performed (step ST110). If the inspection is not continued (N in step ST150), the inspection ends.
  • the above embodiments and the like are programs for a medical image processing apparatus, and include a function of acquiring a plurality of time-series medical images, a function of performing detection processing for detecting a subject from each of the plurality of medical images, and A function of performing post-detection processing with predetermined processing contents corresponding to the detected subject when it is detected, and the post-detection processing notifying the user according to the detected subject. and making the computer execute a function of setting at least post-detection processing for the detected subject to an invalid mode for invalidating at least the post-detection processing for the detected subject for a preset period when a specific instruction is received from the user after notification.
  • the hardware structure of the processing unit of is various processors as shown below.
  • Various processors include CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that run software (programs) and function as various processing units.
  • Programmable Logic Devices which are processors, and dedicated electric circuits, which are processors with circuit configurations specifically designed to perform various types of processing.
  • One processing unit may be composed of one of these various processors, or composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA).
  • a plurality of processing units may be configured by one processor.
  • a plurality of processing units may be configured by one processor.
  • this processor functions as a plurality of processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit in the form of a combination of circuit elements such as semiconductor elements.

Abstract

検出に関する処理の制御をユーザの希望に柔軟に対応して行うことができる医療画像処理装置、医療画像処理装置の作動方法、及び、医療画像処理装置用プログラムを提供する。　医療画像処理装置（１０）は、時系列の複数の医療画像のそれぞれから被写体を検出する検出処理を行い、検出された被写体に対応して処理の内容が予め定められた検出後処理を行う。検出後処理は、ユーザに対して検出された被写体に応じた報知を行う処理を少なくとも含む。報知後にユーザからの特定の指示を受け付けた場合に、動作モードを、検出後処理を予め設定した無効期間において無効とする無効モードに設定する。

Description

医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム
　本発明は、医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラムに関する。
　医療分野においては、内視鏡またはＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ、コンピュータ断層撮影装置）もしくはＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ、磁気共鳴画像）等の各種のモダリティにより得られる医療画像を用いて病変等の被写体を検出する画像検出処理を行うことにより、医師の診断を支援するための診断支援情報を得ることが行われている。近年では、機械学習の技術を用いた画像検出処理により目的の情報を得る方法が各種開発されている。
　画像検出処理においては、さまざまな原因により良好に検出処理が行えない場合があり得る。そのため、画像検出処理により適切な情報を得るための工夫が行われている。例えば、内視鏡等を用いた検査において、医療画像の被写体に対する操作を判別し、判別結果を用いて認識部を有効または無効に設定し、認識部の有効または無効の状態を報知する報知部を備える内視鏡システムが知られている（特許文献１）。この内視鏡システムにより、画像認識処理が機能し得る医療画像が取得できなかった場合に、この医療画像に対して認識部が行った認識結果を、適切な認識結果であると誤認することを防ぐことができる。
国際公開第２０２０/０３６２２４号
　画像検出処理において適切な情報が得られない場合に、画像検出処理を無効とするキャンセル機構を用いる場合がある。キャンセル機構を有効化して画像検出処理を無効とした場合に、画像検出処理の中止がその後長期にわたり継続して続くと、その継続の期間は診断支援情報を得ることができない。一方、画像検出処理の中止の継続期間が短い場合は、継続期間終了後にキャンセル機構の有効化を何度も行わなければならない場合が生じうるため、煩雑である。
　本発明は、検出に関する処理の制御をユーザの希望に柔軟に対応して行うことができる医療画像処理装置、医療画像処理装置の作動方法、及び、医療画像処理装置用プログラムを提供することを目的とする。
　本発明の医療画像処理装置は、プロセッサを備える。プロセッサは、時系列の複数の医療画像を取得し、複数の医療画像のそれぞれから被写体を検出する検出処理を行い、被写体が検出された場合に、検出された被写体に対応して処理の内容が予め定められた検出後処理を行い、検出後処理は、ユーザに対して検出された被写体に応じた報知を行う処理を少なくとも含み、報知後、ユーザから特定の指示があった場合に、動作モードを、少なくとも検出された被写体に対する検出後処理を予め設定した無効期間において無効とする無効モードに設定する。
　検出処理は、病変を検出する病変検出処理、処置具を検出する処置具検出処理、及び、部位を検出する部位検出処理のうちの少なくとも１つであることが好ましい。
　病変検出処理は、病変を種類毎に検出する処理であり、処置具検出処理は、処置具を種類毎に検出する処理であることが好ましい。
　検出後処理は、検出処理の結果を記録部に記録する処理を含むことが好ましい。
　検出後処理は、検出された被写体に対応して予め定められた選択肢をディスプレイに表示する処理を含むことが好ましい。
　プロセッサは、ユーザからの入力を受け付け、入力に基づき、特定の指示の有無を判断することが好ましい。
　プロセッサは、入力が、入力を受け付ける入力受付期間に予め設定した継続入力判定期間以上継続して行われた場合に、特定の指示があったと判断することが好ましい。
　プロセッサは、入力が、被写体に対する検出後処理が無効とされている期間に予め設定した継続入力判定期間以上継続して行われた場合に、特定の指示があったと判断することが好ましい。
　プロセッサは、入力が、入力を受け付ける入力受付期間に少なくとも１回行われた場合に、特定の指示があったと判断することが好ましい。
　入力受付期間は、検出後処理を行う期間であることが好ましい。
　プロセッサは、入力が、予め設定した複数入力判定期間に予め設定した入力回数以上行われた場合に、特定の指示があったと判断することが好ましい。
　プロセッサは、無効モードにおいて、病変及び／又は複数の種類の処置具に対する検出後処理を無効とすることが好ましい。
　プロセッサは、検出後処理が複数の処理を含む場合、無効モードにおいて、検出後処理に含まれる処理のうち少なくとも一つの処理をを無効とすることが好ましい。
　プロセッサは、病変を検出した場合に、無効モードにおいて、病変検出処理に関する検出後処理を無効とすることが好ましい。
　プロセッサは、処置具を検出した場合に、無効モードにおいて、処置具検出処理に関する検出後処理を無効とすることが好ましい。
　プロセッサは、部位を検出した場合に、無効モードにおいて、部位検出処理に関する検出後処理を無効とするとすることが好ましい。
　プロセッサは、無効モードにおいて、検出された被写体に対する検出処理を無効とすることが好ましい。
　プロセッサは、無効モードにおいて、病変及び／又は複数の種類の処置具に対する検出処理を無効とすることが好ましい。
　プロセッサは、検出処理が複数の処理を含む場合、無効モードにおいて、検出処理に含まれる処理のうち少なくとも一つの処理をを無効とすることが好ましい。
　プロセッサは、無効期間を特定の指示があった時点から特定の解除条件を満たす時点までの期間であると設定することが好ましい。
　解除条件は、医療画像において、検出された被写体と異なる被写体が検出されたことであることが好ましい。
　プロセッサは、複数の医療画像が互いに類似する程度を示す類似度を算出する類似度を算出し、解除条件は、直近に取得した複数の医療画像間の類似度が予め設定した値以下となったことであることが好ましい。
　プロセッサは、ユーザから特定の指示を受け付けた場合、無効モードに設定する場合、又は無効モードの設定を解除する場合に、ユーザに報知することが好ましい。
　本発明の医療画像処理装置の作動方法は、時系列の複数の医療画像を取得するステップと、複数の医療画像のそれぞれから被写体を検出する検出処理を行うステップと、被写体が検出された場合に、検出された被写体に対応して処理の内容が予め定められ、ユーザに対して検出された被写体に応じた報知を行う処理を少なくとも含む検出後処理を行うステップと、報知後、ユーザから特定の指示があった場合に、動作モードを、少なくとも検出された被写体に対する検出後処理を予め設定した無効期間において無効とする無効モードに設定するステップとを備える。
　本発明の医療画像処理装置用プログラムは、時系列の複数の医療画像を取得する機能と、複数の医療画像のそれぞれから被写体を検出する検出処理を行う機能と、被写体が検出された場合に、検出された被写体に対応して処理の内容が予め定められ、ユーザに対して検出された被写体に応じた報知を行う処理を少なくとも含む検出後処理を行する機能と、報知後、ユーザから特定の指示があった場合に、動作モードを、少なくとも検出された被写体に対する検出処理又は予め設定した無効期間において無効とする無効モードに設定する機能とをコンピュータに実行させる。
　本発明によれば、検出に関する処理の制御をユーザの希望に柔軟に対応して行うことができる。
医療画像処理装置の機能を示すブロック図である。 医療画像処理装置の構成を説明するブロック図である。 検出処理部の機能を示すブロック図である。 病変検出部、処置具検出部、及び部位検出部のそれぞれの機能を示すブロック図である。 処置具検出器が処置具を検出する検出処理、及び検出結果を報知する検出後処理を説明する説明図である。 処置具検出器が処置具を検出する検出処理、及び検出結果を内視鏡画像ととも記録する検出後処理を説明する説明図である。 選択肢を表示する検出後処理を説明する説明図である。 処置具検出器が処置具を検出する検出処理、及び検出結果を報知する検出後処理において、検出処理が誤った場合を説明する説明図である。 特定の指示の判定方法が、継続入力判定期間を用いる方法の場合の説明図である。 キャンセル機構の有効化と無効モードへの移行を続けて行う場合の説明図である。 特定の指示の判定方法が、入力受付期間に少なくとも１回入力が行われる方法の場合の説明図である。 特定の指示の判定方法が、複数入力判定期間を用いる方法の場合の説明図である。 図１３（ａ）は、無効モードにおいて、誤検出の検出結果表示を表示せず、インジケータを所定の期間のみ表示する場合を説明する説明図であり、図１３（ｂ）は、無効モードにおいて、誤検出の検出結果表示を表示し続け、インジケータを所定の期間のみ表示する場合を説明する説明図である。 図１４（ａ）は、無効モードにおいて、検出した被写体である鉗子の検出処理等を行わない場合を説明する説明図であり、図１４（ｂ）は、検出した被写体である鉗子の検出処理等を行わないが、検出した被写体以外であるスネアの検出処理を行う場合を説明する説明図である。 図１５（ａ）は、無効モードにおいて、検出した被写体である処置具の検出処理等を行わない場合を説明する説明図であり、図１５（ｂ）は、検出した被写体である処置具の検出処理等を行わないが、検出した被写体以外である病変の検出処理を行う場合を説明する説明図である。 無効モードの解除条件を満足した場合に、無効モードを解除することを説明する説明図である。 検出した被写体と異なる被写体が検出された場合に、無効モードの解除条件を満足する場合を説明する説明図である。 類似度算出部を備える医療画像処理装置の機能を示すブロック図である。 内視鏡画像の類似度が低い場合に、無効モードの解除条件を満足する場合を説明する説明図である。 医療画像処理装置の処理の流れの一例を示すフローチャートである。
　本発明の基本的な構成の一例について説明する。図１に示すように、医療画像処理装置１０は、医療画像取得部１１、検出処理部１２、検出後処理部１３、入力処理部１４、及び、モード設定部１５を備える。医療画像処理装置１０は、内視鏡装置１６、Ｘ線検査等の各種モダリティ（図示せず）、ＲＩＳ（放射線科情報システム、Radiology Information Systems）もしくは内視鏡情報システム等の検査情報システム（図示せず）、ＰＡＣＳ（医療用画像管理システム、Picture Archiving and Communication System）１７等の医療画像データの出力が可能な装置、ディスプレイ１８等の表示装置、及び／又は、キーボード（図示せず）、ディスプレイ１８のタッチパネル、もしくはフットスイッチ等の入力デバイス１９等と接続する。
　医療画像処理装置１０は、内視鏡装置１６等から取得した時系列の複数の医療画像のそれぞれから被写体を検出する検出処理を行う。医療画像は、例えばＰＡＣＳ１７が扱う医療画像であり、主に検査により得られた画像である。具体的には、Ｘ線検査によるＸ線画像、ＭＲ検査によるＭＲＩ、ＣＴ検査によるＣＴ画像、内視鏡検査による内視鏡画像、又は超音波検査による超音波画像等が挙げられる。
　検出される被写体は、医療画像に写る被写体のうち、特定の被写体を検出する各検出処理により検出される被写体であり、例えば、各種の病変、各種の処置具、又は各部位等である。したがって、検出処理は、病変を検出する病変検出処理、処置具を検出する処置具検出処理、及び、各部位を検出する部位検出処理等を含み、これらのうちの少なくとも１つの検出処理を行い、２つ以上の検出処理を行ってもよい。
　検出処理は、機械学習アルゴリズムに対し学習を実施して構築された診断支援学習モデルにより実施される。この診断支援学習モデルは、医療画像を入力することにより、目的の検出処理の結果（以下、検出結果という）である検出された被写体に関する情報を出力するように、学習及び調整等が行われた学習モデルである。
　検出処理により得られる検出結果について、検出後処理を行う。検出後処理では、検出された被写体に対応して、予め処理の内容を定める。そして、予め定めた内容による検出後処理を、検出された被写体に対して行う。
　検出後処理は、ユーザに対して検出された被写体に応じた報知を行う報知処理を含む。検出後処理には、報知処理の他に、検出結果をデータ記録部３７（図２参照）に記録する記録処理、又は、検出された被写体に対応する選択肢をディスプレイ１８に表示する選択肢表示処理等を含む。選択肢表示処理では、ユーザは、表示された選択肢から、検出された被写体に関する選択を行う。記録した検出結果又は検出された被写体に関して選択した内容は、レポート作成等に用いる。
　報知は、例えば、ディスプレイ１８への表示による。したがって、被写体が検出された場合、被写体名等、検出結果である検出された被写体に関する情報についてディスプレイ１８に表示することによりユーザに報知する。検査中は取得した医療画像をディスプレイ１８に表示するため、医療画像と検出結果とがディスプレイ１８に表示される。そのため、ユーザは、検査中の観察においてディスプレイ１８を見ることにより、検出結果を知ることができる。ユーザは、ディスプレイ１８に表示された検出結果を診断支援情報として検査又は診断等のために用いる。
　また、報知後に、ユーザが医療画像と検出結果とを見て、検出結果が誤りであると判断する場合がある。この場合、ユーザは、医療画像処理装置１０の動作モードを無効モードに設定するための特定の指示を行うことができる。無効モードの内容は、予め設定することができる。
　医療画像処理装置１０は、ユーザからの特定の指示があった場合に、検出後処理を無効とする無効モードを設定する。無効モードは、少なくとも検出された被写体に対する検出後処理を無効とする動作モードである。無効モードにおいて、検出後処理を無効とした場合、少なくとも報知処理を含む検出された被写体に対応して予め定められた検出後処理を行わない。無効モードは、予め設定した期間において適用する。医療画像処理装置１０は、無効モードを解除する解除条件が満たされた場合に無効モードを解除する。
　ユーザは、無効モードの開始タイミング又は無効モードの内容等を設定することにより、検出後処理の無効を実行する無効モードを柔軟に適用することができる。また、無効モードの解除についても、例えば、無効モードの解除条件が満たされるまでとすることができ、解除条件をユーザが設定することができる。
　医療画像を撮影する検査又は処置では、検査又は処置後にレポートを作成する。例えば、内視鏡を用いた内視鏡診断のレポート作成の支援として、機械学習による診断支援学習モデル等のいわゆるＡＩ（Artificial Intelligence)等により、自動で処置内容、処置具、又は観察部位等を検出し、検出結果を記録し、また、記録した検出結果を用いてレポートを作成する診断支援機能を用いることが考えられる。
　ここで、ＡＩ等による検出結果が誤っていた場合に、ユーザがフットスイッチ等の入力デバイス１９により検出処理等のキャンセル機構を有効化するキャンセル作業を行い、検出処理等を所定の期間で無効とする態様が考えられる。しかし、ＡＩによる誤検出が連続した場合、このキャンセル作業を何度もユーザーが行うのが面倒となることが生じうる。一方、一旦ユーザがキャンセル作業を行い、検出処理等の無効状態を長く継続させた場合、その間は検出処理等が行われず、診断支援機能を有効に活用することができない。
　医療画像処理装置１０は、ＡＩによる検出結果をどのように用いるかの検出後処理の内容を予め設定することができ、また、誤検出等の場合にユーザが特定の指示をすることにより、動作モードを、検出後処理を無効とする無効モードに移行する。無効モードでは、検出後処理等が無効化される。また、無効モードが解除されるまでの無効モードの継続期間は、様々な解除条件により予め設定することができる。また、所定の条件下では無効モードを継続して行うようにすることができる。したがって、ＡＩによる誤検出が連続した場合であっても、ユーザがキャンセル作業を何度も行う必要がなく、キャンセル作業に伴う面倒さを回避することができる。
　無効モードの継続期間を設定するにあたっては、予め設定した解除条件において、無効モードの解除を設定することができる。無効モードの解除を適切に設定することにより、ＡＩによる検出処理を再開したい場合に、自動的に再開することができるため、キャンセル作業に伴う面倒さを回避しながらも、診断支援機能の有効活用も図ることができる。なお、本明細書では、キャンセルと無効とは同様の意味で用いる。また、各処理の無効とは、それぞれの処理が目的とする効果が現れないことを意味し、いかなる処理も行われないということを意味しない。
　以上のように、医療画像処理装置１０によれば、ＡＩ等の検出に関する処理の制御をユーザの希望に柔軟に対応して行うことができ、医療画像による検査に関して行われるレポートの作成、又は検出結果の利用等の各種の処理を、より正確に、また、効率的に行うことができる。
　本発明の医療画像処理装置１０について実施形態を説明する。図２に示すように、本実施形態の医療画像処理装置１０は、ハードウェア構成としては、入力装置である入力デバイス１９、主に出力装置であるディスプレイ１８、制御部２１、通信部２２、及び記憶部２３が、データバス２４を介して電気的に相互接続されているコンピュータである。
　入力デバイス１９は、キーボード、マウス、ディスプレイ１８のタッチパネル、フットスイッチ、又は、内視鏡装置１６のスコープボタン等の入力装置である。医療画像処理装置１０を構成するコンピュータは、入力デバイス１９からの各種の指示の入力を受け付ける。ディスプレイ１８は、出力装置の一種である。ディスプレイ１８は、入力デバイス１９の操作に応じた各種操作画面を表示する。操作画面にはＧＵＩ(Graphical User Interface)による操作機能が備えられる。医療画像処理装置１０を構成するコンピュータは、操作画面を通じてユーザから入力を受け付けることができる。
　制御部２１は、プロセッサであるＣＰＵ（Central Processing Unit)３１、ＲＡＭ（Random Access Memory）３２、及びＲＯＭ（Read Only Memory）３３等を含む。ＣＰＵ３１は、記憶部２３等に記憶されたプログラムをＲＡＭ３２、又はＲＯＭ３３へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。通信部２２は、ネットワーク２５を介した各種情報の伝送制御を行うネットワークインターフェースである。なお、ＲＡＭ３２、又はＲＯＭ３３は、記憶部２３の機能を備えていてもよい。
　記憶部２３は、メモリの一例であり、例えば、医療画像処理装置１０を構成するコンピュータに内蔵、もしくはケーブルやネットワークを通じて接続されたハードディスクドライブ、ソリッドステートドライブ、又はハードディスクドライブ等を複数台連装したディスクアレイである。記憶部２３には、制御プログラム、各種アプリケーションプログラム、これらのプログラムに使用するための各種データ、及び、これらのプログラムに付随する各種操作画面の表示データ等が記憶されている。
　本実施形態の記憶部２３は、医療画像処理装置用プログラム３４、医療画像処理装置用データ３５等の各種データを記憶する。医療画像処理装置用プログラム３４又は医療画像処理装置用データ３５は、それぞれ医療画像処理装置１０の各種機能を実施するためのプログラム又はデータである。医療画像処理装置用プログラム３４と医療画像処理装置用データ３５とにより、医療画像処理装置１０の機能が実現される。また、医療画像処理装置用データ３５は、一時保存部３６及びデータ記録部３７を含み、医療画像処理装置用プログラム３４が一時的に保存するデータ等も記憶される。
　医療画像処理装置１０を構成するコンピュータは、専用に設計された装置の他、汎用のサーバ装置、又はＰＣ（Personal Computer）等とすることができる。また、医療画像処理装置１０の機能を発揮することができればよく、他の機能を果たす装置とコンピュータ又はコンピュータの一部を共用してもよいし、内視鏡管理システム等に医療画像処理装置１０の機能を組み込むこともできる。
　本実施形態の医療画像処理装置１０はプロセッサ装置であり、医療画像処理装置１０には医療画像処理に関するプログラムがプログラム用メモリである記憶部２３に格納されている。医療画像処理装置１０においては、プロセッサ等によって構成される制御部２１により、プログラム用メモリ内のプログラムが動作することによって、医療画像取得部１１と、検出処理部１２と、検出後処理部１３と、入力処理部１４と、モード設定部１５との機能が実現される（図１参照）。
　医療画像取得部１１は、医療画像を出力可能な装置から、時系列の複数の医療画像を取得する。医療画像は、主に検査により得られる画像であり、検査中にリアルタイムで取得したものであっても、検査中に撮影された医療画像を保存したものから取得したものであってもよい。時系列の複数の医療画像は、１回の検査により得られる複数の医療画像とすることができる。
　本実施形態では、内視鏡装置１６を用いた内視鏡検査において、内視鏡画像をリアルタイムで取得する。したがって、医療画像取得部１１は、時系列の複数の内視鏡画像を取得する。内視鏡画像は医療画像の一種であり、内視鏡装置１６が備える内視鏡で被検体を撮影して得た画像である。以下、医療画像として内視鏡画像を用いた場合について説明する。内視鏡画像という場合には、内視鏡装置１６が予め設定したフレーム数で撮影した個々のフレーム画像に基づく画像であり、主に静止画を意味する。ディスプレイ１８には、内視鏡検査のために、時系列の複数のフレーム画像を順次表示させてなる動画を表示する。
　検出処理部１２は、医療画像取得部１１が取得した複数の内視鏡画像のそれぞれから、特定の被写体を検出する検出処理を行う。本実施形態では、検出処理は、時系列の複数の内視鏡画像のそれぞれに対し、通常の場合は内視鏡画像を取得した順に、順次行う。
　図３に示すように、検出処理部１２は、病変検出部４１、処置具検出部４２、及び部位検出部４３を備える。取得した内視鏡画像に基づき、病変検出部４１は、病変等の注目領域を検出する検出処理を行い、処置具検出部４２は、各種の処置具を検出する検出処理を行い、部位検出部４３は、部位を検出する検出処理を行う。病変検出部４１が検出する被写体は、病変であり、処置具検出部４２が検出する被写体は、処置具であり、部位検出部４３が検出する被写体は、部位である。これらの検出処理により、病変、処置具、又は部位といった、互いに異なるカテゴリーの被写体を検出する。
　病変検出部４１は、病変検出処理として、病変を種類毎に検出する処理を行ってもよい。病変を種類毎に検出する場合に検出される被写体は、病変に関する種類であればよく、例えば、腫瘍若しくは非腫瘍、各種進行度、各種診断基準のスコア等とすることができる。
　同様に、処置具検出部４２は、処置具検出処理として、処置具を種類別に検出する処理を行ってもよい。処置具を種類毎に検出する場合に検出される被写体は、処置具に関する種類であればよく、例えば、処置具名別、処置具の目的別、又は、手技別等の種類とすることができる。処置具名別の種類又は目的別の種類では、スネア、鉗子、又は、ナイフ等である。手技別の種類では、ポリペクトミー、コールドポリペクトミー、若しくはＥＭＲ（Endoscopic mucosal resection）等にそれぞれ用いる種類の処置具とすることができる。
　検出処理部１２は、検出処理として、測定処理又は分類処理等を行ってもよい。例えば、酸素飽和度等の生体情報の値を検出する測定処理又は分類処理等を行うことができる。この場合、検出処理部１２は、測定部（図示なし）又は分類部（図示なし）を備える。生体情報の値を検出する場合は、測定処理として、酸素飽和度が特定の値の範囲を有する生体の領域等を検出し、また、分類処理として、酸素飽和度の値の範囲毎に生体の領域等を分類する検出処理を行ってもよい。
　また、検出処理では、病変、処置具、又は部位等について、位置、大きさ、内視鏡先端部からの距離、又はこれらに関する判別等を行ってもよい。検出処理において判別等を行う場合は、それぞれ、判別した内容を有する被写体が検出される。これらの検出処理は、一つの検出処理を行っても、検出処理を複数組み合わせて行ってもよい。
　図４に示すように、検出処理部１２が備える各検出部は、検出する特定の被写体に応じた検出器を一つ又は複数備えることができる。検出器は、医療画像処理装置１０の外部に設けたものであってもよい。病変検出部４１は病変検出器４４を含む。病変検出器４４は、取得した内視鏡画像に基づき、被写体が有する病変を検出する診断支援学習モデルである。病変検出器４４は、内視鏡画像が入力されることにより、内視鏡画像に写る被写体が病変を含む場合に、少なくとも被写体における病変の領域を含む検出結果を生成する。検出結果には、病変の領域の他、発赤、腫瘍もしくは非腫瘍等の病変の種類もしくは分類、又は、特定の病変のステージもしくは進行度等、病変検出器４４を学習させることにより得られる各種の情報を含めてもよい。また、検出結果には、他の装置から取得可能な保存情報等を含めてもよい。なお、内視鏡画像に写る被写体が病変を含まない場合には、「病変なし」との内容の検出結果を生成してもよい。
　処置具検出部４２は処置具検出器４５を含む。処置具検出部４２は、取得した内視鏡画像に基づき、内視鏡画像に写る各種の処置具を検出する診断支援学習モデルである。処置具検出器４５は、内視鏡画像が入力されることにより、内視鏡画像に写る被写体が各種の処置具を含む場合に、処置具名を含む検出結果を生成する。検出結果には、処置具名の他、処置具のメーカー名、型番、製造年月日、又は使用開始年月日等、処置具検出器４５を学習させることにより得られる各種の情報が含まれる。検出結果には、他の装置から取得可能な保存情報等を含めてもよい。また、内視鏡画像に写る被写体が各種の処置具を含まない場合には、「処置具なし」との内容の検出結果を生成してもよい。
　部位検出部４３は部位検出器４６を含む。部位検出部４３は、取得した内視鏡画像に基づき、内視鏡画像に写る被写体の部位を検出する診断支援学習モデルである。部位検出器４６は、内視鏡画像が入力されることにより、内視鏡画像に写る被写体の部位名を含む検出結果を生成する。検出結果には、部位名の他、内視鏡画像を撮影した際の内視鏡の位置又は向き等、部位検出器４６を学習させることにより得られる各種の情報が含まれる。また、検出結果には、他の装置から取得可能な保存情報等を含めてもよい。また、内視鏡画像に写る被写体が特定の部位を含まない場合には、「部位検出なし」との内容の検出結果を生成してもよい。
　病変検出器４４、処置具検出器４５、及び部位検出器４６を含む各種検出器は、具体的には機械学習アルゴリズムを用いて構築された診断支援学習モデルであり、内視鏡画像５１を各種検出器に入力した場合に、内視鏡画像５１に含む検出対象である特定の被写体を検出して、検出結果に関する情報を目的変数として出力することが可能な学習モデルである。各種検出器は、内視鏡画像５１に含む特定の被写体を検出した検出結果に関する情報を目的変数として出力することが可能なように、予め、機械学習アルゴリズムを用いて、特定の被写体を含む内視鏡画像５１とその特定の被写体名又は被写体の位置等の正解データとからなる各種検出器用初期画像データセットにより学習され、パラメータ等の調整が行われている。
　各種検出器に用いる機械学習アルゴリズムとしては、主に、教師あり学習に用いられるアルゴリズムであれば各種のアルゴリズムを用いることができるが、画像を用いた検出処理において良好な推論結果を目的変数として出力するとされるアルゴリズムを用いることが好ましい。例えば、多層ニューラルネットワーク、又は畳み込みニューラルネットワークを用いることが好ましく、いわゆるディープラーニングと称される手法を用いることが好ましい。また、診断支援学習モデルには、特定の被写体の検出の精度の向上、又は検出速度の向上等、学習モデルの性能の向上のために一般的に行われる、入力画像である内視鏡画像５１に対する加工、複数の学習モデルの使用、教師なし学習との組み合わせ等の技術を用いてもよい。なお、検出処理部１２は、機械学習による検出器で構成する代わりに、内視鏡画像から特徴量を算出し、算出した特徴量を用いて検出等を行う構成とすることができる。
　図５に示すように、検査中、ディスプレイ１８には、内視鏡画像５１が動画の形態で表示される。処置具検出器４５は、内視鏡画像５１から検出する被写体として各種の処置具を検出する検出処理を行う。内視鏡画像５１が、鉗子５２と被検体である管腔壁５３とを被写体として有する場合、検出された被写体は各種の処置具である。検出処理部１２により、処置具の１種である鉗子５２が検出された場合、検出結果５４として、処置具名である「鉗子」が生成される。
　検出後処理部１３は、検出後処理を行う。検出後処理には、検出結果５４を用いる各種処理が含まれる。検出後処理では、予め処理の内容を、検出された被写体に対応して定めるが、ユーザに対して検出された被写体に応じた報知を行う報知処理を少なくとも含む。報知処理は、検出された被写体に関連した報知であればよく、検出した処置具名をユーザに報知する他、検出された被写体に応じて、検出時に行っている処置名を報知する等の報知も含まれる。検出後処理は、被写体が検出された場合に行う。本実施形態では、検出された被写体は各種の処置具であるから、検出後処理はいずれかの処置具が検出された場合に行う。
　検出後処理には、上記したように、検出結果５４等を報知する報知処理のほか、検出結果５４を記録部に記録する記録処理、及び、検出された被写体に対応して予め定められた選択肢をディスプレイ１８に表示する選択肢表示処理等が含まれる。なお、検出後処理では、各種処理のうち選択された複数の処理を行うことを処理の内容として定めてもよい。
　選択肢表示処理は、検出された被写体に関連した各種の情報のうち、例えば、レポートに記載したい内容を選択する選択肢を表示する。処置具名を検出した場合には、検出した処置具を用いる手技からなる選択肢を表示する。また、部位を検出した場合には、検出した部位に関する部位名からなる選択肢を表示する。選択肢は、テキストによる表示であっても、シェーマ図等による表示であってもよい。ユーザは、選択肢から手技又は部位名等を選択することにより、検出された処置具を用いる手技又はレポートに記載したい部位名を、レポートに自動的に記載することができる。
　検出後処理が含む各種の処理において、処理の手段は予め設定する。例えば、報知処理において、報知手段はディスプレイ１８への表示とする。また、記録処理において、記録手段は、データ記録部３７への記録とする。また、選択肢表示処理において、選択肢表示手段は、ディスプレイ１８への表示とする。
　なお、検出後処理は、手動による処理と組み合わせて行ってもよい。例えば、検出処理において、検出処理により病変を検出した場合に、部位名の入力は、例えば検査対象のシェーマ図から部位をユーザが選択することにより手動で入力し、その後、検出処理により処置具を検出し、検出後処理により処置具に関する選択肢表示を行ってもよい。手動による処理と検出後処理とを適宜組み合わせることにより、様々な場面に適した運用を行うことができる。
　本実施形態では、検出処理後、報知処理により、鉗子５２が検出されたとの検出結果５４を検出結果表示５５としてディスプレイ１８に表示する。ユーザには、検出結果表示５５により、医療画像処理装置１０が検出処理により鉗子５２を検出したことが報知される。
　また、図６に示すように、記録処理により、検出結果５４として処置具名である「鉗子」を、検出した内視鏡画像５１と関連付けてデータ記録部３７に記録する。また、図７に示すように、処置具名である「鉗子」に関連付けられた手技の選択肢が、「Ｐｏｌｙｐｅｃｔｏｍｙ」、「Ｃｏｌｄ　Ｐｏｌｙｐｅｃｔｏｍｙ」、及び「ＥＭＲ」であったため、選択肢表示処理により、検出結果５４である「鉗子」を用いるこれらの手技名からなる選択肢が、選択肢表示５６としてディスプレイ１８に表示される。選択肢表示５６から検査レポートに記載する手技名を選択することにより、手技名が確定されて記録される。図７では、「Ｐｏｌｙｐｅｃｔｏｍｙ」が選択及び確定されている。報知又は選択肢表示等の後、ユーザは、検出処理により正しく処置具が検出された場合には、特定の指示を行わずに、それまでと同様に内視鏡検査を続ける。
　内視鏡検査において、検出処理により、誤った検出結果が生成される場合がありうる。図８に示すように、鉗子５２を用いており、内視鏡画像５１に鉗子５２が写っている場合に、検出結果５４として「スネア」が生成される場合等である。検出結果５４が正しく鉗子５２であった場合と同様に、報知処理により、検出結果５４である「スネア」が検出結果表示５５としてディスプレイ１８に表示される。検出結果表示５５により、ユーザには、医療画像処理装置１０が内視鏡画像５１に基づいて検出処理を行った検出結果５４が「スネア」であることが報知される。また、記録処理により、検出結果５４である処置具名の「スネア」が、検出した内視鏡画像５１と関連付けてデータ記録部３７に記録される。
　報知後、ユーザは、ディスプレイ１８に表示された内視鏡画像５１と検出結果表示５５とを見ることにより、検出処理が正しく検出したか、又は、誤検出したかを判断することができる。ユーザは、検出処理が誤検出したと判断した場合、間違った表示又は記録等がそれ以上行われないように、医療画像処理装置１０の動作モードを無効モードに設定する。これにより、検出後処理等を無効とすることができる。検出後処理等を無効とすることにより、間違った記録を後に修正する等の余計な手間が発生することを防ぐ。無効モードに設定する場合、医療画像処理装置１０に対して特定の指示を行う。特定の指示については、指示の方法等を予め設定することにより、特定の指示と判定する。
　特定の指示は、ユーザによる入力に基づいたものとすることができる。入力処理部１４は、ユーザからの入力を受け付け、特定の指示が行われたか否かを判定する。ユーザからの入力に基づく特定の指示を判定するために、医療画像処理装置１０はユーザの入力を受け付ける入力処理部１４を備える。ユーザは、入力デバイス１９を用いて入力を行い、入力処理部１４が、ユーザからの入力に基づき、特定の指示の有無を判断する。
　入力デバイス１９を用いた入力方法としては、入力デバイス１９が、例えば、キーボード、マウス、ディスプレイ１８のタッチパネル、又は内視鏡装置１６のスコープスイッチである場合は、特定のボタン等の選択、クリック又はタッチを入力とする。入力デバイス１９がフットスイッチである場合は、フットスイッチの押下を入力とする。なお、スコープスイッチ又はフットスイッチを複数備える場合は、特定のスコープスイッチ又はフットスイッチを予め設定する。
　また、本実施形態では、スコープスイッチ又はフットスイッチは、押下等で作用させた間にＯＮ状態になる、いわゆるモーメンタリ方式のスイッチである。モーメンタリ方式のスイッチでは、押下を終了し、スイッチを戻している間はＯＦＦ状態になる。場合により、ＯＮ状態を保持するいわゆるオルタネイト方式のスイッチ等、各種のスイッチを用いてもよい。オルタネイト方式のスイッチでは、押下により、ＯＮ状態とＯＦＦ状態とが切り替わる。オルタネイト方式のスイッチを採用する場合は、ＯＮ状態であるときに入力が行われているとする。
　入力処理部１４は、ユーザからの入力を判定する場合、ユーザにより複数の判定方法から選択された判定方法を採用する。複数の判定方法の一つは、入力が、入力受付期間に、予め設定した継続入力判定期間以上継続して行われる方法である。
　入力受付期間は、入力処理部１４がユーザからの入力を判定するために、ユーザからの入力を受け付ける期間であり、予め設定することができる。例えば、入力受付期間は、検出後処理を行う期間とする。検出後処理は、上記したように、報知処理、記録処理、及び、選択肢表示処理のうち、報知処理を少なくとも含む。したがって、検出結果表示５５を表示する等の報知処理を行っている期間を入力受付期間とする。検出結果表示５５を表示する期間は、時系列の複数の内視鏡画像５１から、順次生成された複数の検出結果５４に基づいた検出結果表示５５を、順次表示する期間とする。
　継続入力判定期間は、入力が特定の指示であるか否かを判定するための期間であり、この期間を超えて継続して入力が行われる場合に、特定の指示が行われたと判定する。入力が継続して行われるとは、入力を行うスイッチのＯＮ状態が継続することを意味する。例えば、入力がフットスイッチの押下である場合、フットスイッチを押下し続ける期間が、継続して入力が行われる期間である。
　継続入力判定期間は、予め設定し、例えば３秒である。継続入力判定期間の開始は、入力が行われた時点である。入力が行われ、継続入力判定期間が開始し、予め設定した継続入力判定期間が経過しない時点で入力の継続が解除された場合、継続入力判定期間も終了する。その後、入力が行われた時点で、再び継続入力判定期間が開始する。
　図９に示すように、ユーザは、ディスプレイ１８に示された検出結果表示５５を見て、検出処理により誤った検出が行われていると判断し、無効モードに切り替えるための特定の指示を行う。図９において、左から右に進むにつれて時間が経過し、「ディスプレイ」との記載の右側に、ディスプレイ１８に示される表示画像を時系列で示す。また、「入力」、「検出後処理」、及び「無効モード」との記載の右側に、それぞれが実行される期間を棒グラフ状に示す。入力は、入力期間６３に示す期間で実行されている。検出後処理は、検出後処理期間６４に示す期間に行われる。本実施形態では、検出後処理期間６４は入力受付期間と同じである。無効モードは、無効モード期間６５に示す期間に実行される。
　ユーザは、検出結果表示５５が表示される入力受付期間にフットスイッチの押下による入力を時刻ｔ１に開始する。フットスイッチの押下を始めた時刻ｔ１の後、ディスプレイ１８にはインジケータ６１が表示され、残りどのくらいの入力期間６３でフットスイッチの押下をしたままの状態を続ければ継続入力判定期間以上となり特定の指示が行われるのかを示す。例えば、「キャンセルまで２秒」とのテキストと、時間の経過に応じて変化する図形とによるインジケータ６１により、入力期間６３が継続入力判定期間以上となるまでの期間を示す。
　入力であるフットスイッチの押下による入力期間６３が、予め設定した継続入力判定期間を超えて継続して行われた時点で、入力処理部１４は、特定の指示が行われたと判定する。継続入力判定期間は、時刻ｔ１から時刻ｔ２までの期間である。入力期間６３が継続入力判定期間をに達した時刻ｔ２において、特定の指示が行われる。特定の指示が行われたことにより、入力処理部１４からモード設定部１５に指示が行われ、時刻ｔ２において、モード設定部１５により医療画像処理装置１０の動作モードが無効モードに切り替えられる。
　無効期間では、検出された被写体に対する検出後処理を無効とする。したがって、本実施形態では、無効モードにおいて、検出処理は行われるが、検出後処理に含まれる、報知処理、記録処理、又は選択肢表示処理は行われない。本実施形態では、無効モードにより検出後処理が無効となるため、無効モードでは検出結果表示５５が表示されなくなる。なお、後述するように、無効モードにおいて検出処理を行わないように設定することができる。検出後処理は、検出された被写体に対応して処理の内容が定められた処理であるため、検出処理が行われない場合は、検出された被写体がないため、検出後処理も行われない。
　また、内視鏡画像５１の視認性のため、無効モードに切り替える際に、インジケータ６１は、無効モードが開始したことを、例えば数秒等の予め設定した期間で表示し、その後インジケータ６１を表示しないようにしてもよい。本実施形態では、図９に示すように、インジケータ６１により、「無効モード開始」とのテキストを表示する。無効モードは、予め設定した期間で継続する。なお、無効モードが継続している場合、無効モードマーク６２を点灯させ、ユーザが無効モード中であることをひと目で把握できるようにしてもよい。
　継続入力判定期間を用いて特定の指示を行うことにより、フットスイッチを誤って押下した場合、又は、フットスイッチを用いて他の指示を行う場合等に、ユーザの意図に反して特定の指示と判定されるのを防ぐことができる。また、ユーザは、インジケータ６１を見ることにより、特定の指示が実行されるまでのどのくらいの時間が必要であるのか等を知ることができ、また、継続入力判定期間を経過しないうちに入力を解除することにより、無効モードへの移行を中止することも可能である。
　なお、検出処理又は検出後処理を短期間で無効化するキャンセル機構と、無効モードへの移行とを、組み合わせて採用することもできる。したがって、特定の指示は、入力が、被写体に対する検出後処理が無効とされている期間に、継続して予め設定した継続入力受け付け期間以上行われることとしてもよい。
　様々な原因により、例えば、鉗子５２を用いた処置の際に、処置具検出器４５が誤って鉗子５２以外の処置具名を検出結果５４として生成する場合が起こりうる。こういった場合に備えて、医療画像処理装置１０は、無効モードへの移行機能を備えていない従来の医療画像処理装置等と同様、検出結果の記録等を数秒間等の短い期間で無効にするキャンセル機構を備えている。キャンセル機構の有効化は、入力部による入力により行われる。
　キャンセル機構の有効化は、特定の指示とは異なる指示とし、例えば、予め設定したキャンセル機構用判定期間に、入力が、予め設定したキャンセル機構用入力回数以上行われることによる。具体的には、キャンセル期間用判定期間は、最初の入力の時点から開始し、キャンセル機構用判定期間が２秒であり、キャンセル機構用入力回数が３回以上等である。したがって、キャンセル機構用判定期間である２秒以内に、キャンセル機構用の入力回数が３回以上行われた場合にキャンセル機構が有効化する。キャンセル機構の有効化が確定した後は、例えば確定後３秒間で検出処理又は検出後処理が無効となり、３秒経過後は自動で無効化を解除する。
　図１０に示すように、キャンセル機構の有効化は、例えばフットスイッチの押下等の３回の入力により有効化し、有効化が確定したことがユーザに報知される。報知は、ディスプレイ１８のインジケータ６１又はキャンセル機構有効化マーク５７等による。なお、キャンセル機構の有効化のための入力方法は、キャンセル機構用判定期間に、キャンセル機構用入力回数以上の入力が行われること以外に、入力の継続、すなわち入力デバイス１９の長押し等の各種の入力方法を採用することができる。この場合も、無効モードへの移行と区別するために、無効モードに移行する継続入力判定期間とは異なる判定方法によりキャンセル機構を有効化することが好ましい。
　キャンセル機構と無効モードへの移行とを組み合わせて採用する方法の一つとして、キャンセル機構を利用して無効モードへの切り替えを行う。例えば、キャンセル機構の有効化が確定した後、ユーザが検出後処理の無効化を継続して行いたいと考えた場合に、キャンセル機構の有効化の入力に続けて特定の指示となる入力を行ってもよい。特定の指示となる入力は、上記したような、入力デバイス１９による継続入力（長押し）を行う継続入力判定期間を用いた方法等を採用する。継続入力を行う方法については、上記したのと同様であり、インジケータ６１により、「キャンセルまで２秒」等のテキスト等が示され、無効モードに移行する際には、「無効モード開始」等のテキスト及び無効モードに移行するまでの残りの時間を示す図形が表示される。
　これにより、キャンセル機構では短い特定の期間以降は無効化が解除されるが、再度検出処理又は検出後処理の無効化を行いたい場合に、再度キャンセル機構を有効化する入力を行う手間が省ける。したがって、医療画像処理装置１０では、従来のキャンセル機構を維持した上で、無効モードへの切り替えを実行することができるため、ユーザが違和感無く利用でき、かつ、さらに利便性が増す。
　また、複数の判定方法の一つは、入力が、入力受付期間に少なくとも１回行われる方法である。本実施形態では、入力受付期間が検出後処理期間６４である。したがって、検出後処理の開始から、すなわち、検出結果５４の報知の開始から、タッチパネルのタッチ又はフットスイッチの押下等が１回でも行われた場合に、特定の指示が行われたと判定する、この場合は、スイッチの方式に関わらず、入力受付期間にＯＮ状態とされた際に入力が１回行われたと判定する。
　図１１に示すように、ユーザは、ディスプレイ１８に示された検出結果表示５５を見て、検出処理により誤った検出が行われていると判断し、無効モードに切り替えるための特定の指示を行う。図１１は、図９と、入力を特定の指示と判定する判定方法が異なり、他は同様である。
　ユーザは、フットスイッチを１回押下する入力を時刻ｔ１に一度行う。図１１において、フットスイッチによる入力６６を星型のマークにより示す。フットスイッチの１回の押下による入力６６を行った時刻ｔ１の時点で、入力処理部１４は、特定の指示が行われたと判定する。特定の指示による医療画像処理装置１０の動作については、図９の場合と同様である。このように、１回の入力により特定の指示を行うことにより、動作モードをすみやかに切り替えることができる。
　また、複数の判定方法の一つは、入力が、予め設定した複数入力判定期間に、予め設定した入力回数以上行われる方法である。複数入力判定期間は、入力が特定の指示であるか否かを判定するための期間であり、この期間内に、特定回数以上の入力が行われる場合に、特定の指示が行われたと判定する。入力が１回分行われるとは、図１１の場合と同様であり、入力を行うスイッチのＯＮ状態が１回行われたことを意味する。例えば、入力がフットスイッチの押下である場合、フットスイッチを１回押下することにより、入力が１回分行われたとする。したがって、本実施形態では、フットスイッチにおける入力は、モーメンタリ方式のスイッチとして判断するため、２回めの入力のためには、フットスイッチの押下を解除し、ＯＦＦ状態としてから再度フットスイッチを押下してＯＮ状態とする。特定回数は、予め設定し、例えば３回である。
　また、複数入力判定期間は、予め設定し、例えば３秒である。複数入力判定期間の開始は、入力が行われた時点である。最初の入力が行われ、複数入力判定期間が開始し、予め設定した複数入力判定期間が経過しない時点で特定回数の入力がされた時点で、特定の指示が実行される。本実施形態では、モーメンタリ方式のスイッチを採用するため、１回の入力は、スイッチが押下されていない状態から一度押下した場合に１回の入力とする。したがって、複数入力判定期間である３秒以内に３回以上の入力をする場合、３秒以内に押下と押下の解除とを約３回行うことでこの条件が満たされる。
　入力が行われ、複数入力判定期間が開始し、予め設定した複数入力判定期間内に特定回数の入力がされなかった場合、複数入力判定期間も終了する。その後、入力が行われた時点で、再び複数入力判定期間が開始する。
　図１２に示すように、ディスプレイ１８に示された検出結果表示５５を見て、ユーザは、無効モードに切り替えるために特定の指示を行う。図１２は、図９と、入力を特定の指示とする判定方法が異なり、他は同様である。
　ユーザは、検出結果表示５５を見て、フットスイッチを１回押下する入力を時刻ｔ１に入力６６により一度行う。入力６６を行った時刻ｔ１の後、ディスプレイ１８にはインジケータ６１が表示され、フットスイッチの押下が入力回数以上となるまでの残りの回数を示す。例えば、入力６７の後に「キャンセルまで後１回」とのテキストと、押下により色が変わる図形を入力が完了した２回分で表示することにより、入力回数以上となるまでの残りの入力の回数を示す。なお、複数入力判定期間に応じて、最初の入力６６から複数入力判定期間である例えば３秒が経過した場合、押下により最初に色が変わった図形の一つを元の色に戻す。これにより、複数入力判定期間にフットスイッチを連続して押下することによって特定の指示が行われることが、インジケータ６１により認識できる。
　入力であるフットスイッチの押下が、複数入力判定期間に予め設定した入力回数を超えた回数で行われた時点で、入力処理部１４は、特定の指示が行われたと判定する。複数入力判定期間は、時刻ｔ１から時刻ｔ３までの期間である。フットスイッチによる押下は、時刻ｔ１から時刻ｔ３までの間に、入力６６と、入力６７と、入力６８と、入力６９との４回行われている。３回目の入力である入力６８は行われた時刻ｔ２は、時刻ｔ３より早い時刻であり、入力６８が行われた時刻ｔ２において特定の指示が行われる。特定の指示による動作については図９の場合と同様である。
　複数入力判定期間を用いて特定の指示を行うことにより、フットスイッチを誤って押下した場合、又は、フットスイッチを用いて他の指示を行う場合は、特定の指示と判定されるのを防止することができる。また、ユーザは、インジケータ６１を見ることにより、特定の指示が実行されるまでの後何回の入力が必要であるのかを知ることができ、また、複数入力判定期間内の複数入力とならないように、設定した回数以下で押下を止める等により、無効モードへの移行を中止することが可能である。
　なお、入力処理部１４は、ユーザからの特定の指示を受け付けた場合に、受け付けた旨をユーザに報知することが好ましい。特定の指示が受け付けられ、無効モードが開始する場合、特定の指示を受け付けた旨の報知は、動作モードが無効モードであることの報知と共通としてもよい。
　以上のように、入力による特定の指示の判定方法は、設定により複数の判定方法から選択して設定することができる。これらの判定方法により、ユーザは、検査に支障をきたさない容易な方法による入力により、特定の指示を行うことができる。また、用途等に応じて適切な判定方法を選択した上で、無効モードへの切り替えを行うことができる。
　モード設定部１５は、入力処理部１４からの指示等に基づき、医療画像処理装置１０の動作モードを無効モードに設定する。無効モードは、少なくとも検出された被写体に対する検出処理又は検出後処理を、予め設定した期間において無効とする動作モードである。ユーザからの特定の指示は、入力処理部１４が判定する。入力処理部１４は、ユーザから特定の指示を受け付けたと判定した場合、モード設定部１５に対し、医療画像処理装置１０の動作モードを無効モードに設定する指示を行う。
　無効モードの内容は、設定によりその詳細を予め設定する。まず、モード設定部１５は、無効モードにおいて、上記したように、検出した被写体に対する検出後処理を無効とすることができる。また、モード設定部１５は、検出処理が、病変を種類毎に検出する病変検出処理、又は、処置具を種類毎に検出する処置具検出処理等である場合、検出処理に応じて、複数の種類の病変及び／又は複数の種類の処置具に対する検出後処理を無効とすることができる。
　また、モード設定部１５は、検出後処理が複数の処理を含む場合、無効モードにおいて、検出後処理に含まれる処理のうち少なくとも一つの処理を無効とすることができる。また、検索後処理に含まれる全ての処理を無効としてもよい。本実施形態では、検出処理は行い、検出結果５４を用いた検出後処理は行わない。そして、無効モードにおいて、検出後処理に設定されている報知処理、記録処理、及び選択肢表示処理の全てを行わないが、検出結果５４に対し、検出後処理に含まない特定の処理を行うことは可能とする。なお、無効モードにおいて、検出後処理に含むよう設定されている報知処理、記録処理、及び選択肢表示処理のうち、報知処理のみを行わず、記録処理及び選択肢表示処理を行う等としてもよい。
　図１３（ａ）に示すように、無効モードに設定されたことにより、無効モード以外の動作モードから無効モードに移行して最初の数秒間等の所定の期間は、インジケータ６１に「無効モード開始」等と表示して、ユーザに無効モードが開始したことを報知する。所定の期間が経過した後、観察の邪魔にならないよう、インジケータ６１を非表示とする。また、無効モードであるとき、常に無効モードであることの報知として、ディスプレイ１８等への表示を継続することが好ましい。例えば、ディスプレイ１８に表示する無効モードマーク６２は、無効モードに設定している間は継続して点灯させ、ユーザが無効モード中であることをユーザに報知し、ユーザがひと目で把握できるようにしてもよい。
　また、図１３（ｂ）に示すように、検出後処理を無効とするが、最後に表示した検出結果表示５５を表示したままにしてもよい。図１３（ｂ）に示す場合は、検出結果表示５５を表示したままにする以外は、図１３（ａ）の場合と同様である。検出結果表示５５を表示したままとすることにより、無効とした際の状況を無効モードにおいて把握でき、無効モードの解除時期に関する情報をユーザに与えることができる。
　なお、モード設定部１５は、無効モードにおいて、検出された被写体に対する検出処理を無効とするように設定することができる。検出処理が行われない場合は、検出された被写体がないため、検出後処理も行われない。検出後処理が行われない場合についての詳細は、上記したのと同様である。検出処理が行われない場合は、検出結果を用いた各種処理が行えなくなる一方、検出処理に用いる計算資源が不要となるため、処理速度の向上等を図ることができる。
　また、モード設定部１５は、検出処理が、病変を種類毎に検出する病変検出処理、又は、処置具を種類毎に検出する処置具検出処理等である場合、検出処理に応じて、複数の種類の病変及び／又は複数の種類の処置具に対する検出処理を無効とすることができる。また、モード設定部１５は、検出処理が複数の処理を含む場合、無効モードにおいて、検出処理に含まれる処理のうち少なくとも一つの処理を無効とすることができる。また、検索処理に含まれる全ての処理を無効としてもよい。例えば、検出処理において、病変、処置具、又は部位といった、互いに異なるカテゴリーの被写体の複数を検出するよう設定されている場合、これらのカテゴリーのうち少なくとも１つについて検出処理を無効とする、又は、全てのカテゴリーの被写体の検出処理を無効とすることができる。
　なお、無効モードにおける検出処理の無効と、検出後処理の無効とは、予め選択して設定することができる、また、無効モードにおいて、一部のカテゴリーの被写体の検出処理を無効とし、別の一部のカテゴリーの被写体の検出処理は有効とし、さらに、一部の検出後処理を無効とし、別の一部の検出後処理を有効とする、というように、無効モードにおいて、検出処理の内容及び検出後処理の内容を組み合わせることもできる。
　検出処理を無効にした場合と、検出後処理を無効にした場合とで、例えば無効モードマーク６２の色を異ならせることにより、ユーザにどちらであるかを報知してもよい。また、どの処理が無効となっているのかをマーク等の図又はテキスト等で表示して報知してもよい。
　無効モードにおいて、検出処理又は検出後処理を無効とすることにより、検出処理が誤検出を行っている場合、誤検出が続き、間違った表示又は記録等がこれ以上行われないようにすることができる。また、検出処理の無効と検出後処理との無効を選択可能としたため、一部の検出処理は行うが、一部の検出後処理である表示又は記録を行わないように設定する等の柔軟な対応が可能である。この場合は、検出結果５４を検出後処理には用いないが、他の用途に検出結果５４を用いることができる。また、検出処理を無効とする場合は、計算資源の節約等を図ることができる。
　また、モード設定部１５は、無効モードにおいて、検出処理又は検出後処理を無効とする場合の被写体をどのようにするかは、検出処理に応じて予め設定することができ、さらに詳細に被写体の範囲を予め設定しておくことができる。
　例えば、検出処理が、例えば処置具の種類毎に検出する検出処理である場合、無効の対象とする検出された被写体は、検出された被写体と同じ種類の被写体とすることができる。例えば、鉗子５２が検出された場合、検出された被写体の種類は「鉗子」であり、鉗子以外の被写体であるスネア等については無効の対象としない。
　図１４（ａ）に示すように、鉗子５２を誤ってスネアと検出した場合に、検出された被写体は鉗子５２であるため、無効モードにおいては、鉗子５２に対する検出処理又は検出後処理を無効とする。したがって、無効モードにおいて、鉗子５２が内視鏡画像５１に含まれる場合は、鉗子５２に対する検出処理又は検出後処理は行われない。また、鉗子５２にに対する検出処理等を無効にする無効モードが継続中であるため、ディスプレイ１８には、無効モードマーク６２が表示される。
　図１４（ｂ）に示すように、鉗子５２に対する検出処理又は検出後処理を無効とする無効モードにおいて、鉗子５２に対する検出処理又は検出後処理が行われない場合に、内視鏡画像５１にスネア７１が含まれる場合は、検出処理部１２による検出処理によりスネア７１に対する検出処理又は検出後処理が行われる。そして、スネア７１に対する検出処理により、例えば「スネア」が検出結果５４として生成され、検出結果表示５５としてディスプレイ１８に表示される。また、鉗子５２に対する検出処理等を無効にする無効モードが継続中であるため、ディスプレイ１８には、無効モードマーク６２が表示される。
　また、例えば、検出処理が、処置具の種類毎に検出しないが、処置具とその他の被写体とを判別して検出する検出処理である場合は、無効の対象とする検出された被写体は、処置具全般とすることができる。例えば、鉗子５２が検出された場合は、鉗子が含まれる被写体のカテゴリーは処置具である。したがって、無効の対象とする被写体は、処置具の被写体であり、鉗子５２が検出された場合に、処置具に対する検出処理又は検出後処理を無効とする。検出された被写体が属するカテゴリーの被写体としては、処置具の他に、腫瘍又は非腫瘍等の特定の病変が検出された場合の病変、また、食道又は十二指腸球部等の特定の部位が検出された場合の部位等が挙げられる。
　図１５（ａ）に示すように、鉗子５２を誤ってスネアと検出した場合に、検出された被写体は鉗子５２であり、鉗子５２が属する種類の被写体は処置具であるため、無効モードにおいては、処置具に対する検出処理又は検出後処理を無効とする。したがって、この場合の無効モードにおいて、スネア７１が内視鏡画像５１に含まれる場合は、スネア７１に対する検出処理又は検出後処理は行われない。また、処置具に対する検出処理等を無効にする無効モードが継続中であるため、ディスプレイ１８には、無効モードマーク６２が表示される。なお、処置具に対する検出処理は、処置具検出器４５が行うため、この場合の無効モードは、各種の検出器のうち処置具検出器４５を作動させないことにより実行してもよい。
　図１５（ｂ）に示すように、処置具に対する検出処理又は検出後処理を無効とする無効モードにおいて、鉗子５２に対する検出処理又は検出後処理が行われない場合に、内視鏡画像５１に病変７２が含まれる場合は、検出処理部１２による検出処理により病変７２に対する検出処理又は検出後処理が行われる。そして、病変７２に対する検出処理により、例えば「病変」が検出結果５４として生成され、検出結果表示５５としてディスプレイ１８に表示される。また、処置具にに対する検出処理等を無効にする無効モードが継続中であるため、ディスプレイ１８には、無効モードマーク６２が表示される。
　また、例えば、無効の対象とする被写体は、検出された個別の被写体としてもよい。例えば、鉗子５２が検出された場合、鉗子５２自体を無効の対象とし、鉗子５２以外の鉗子等については無効の対象としない。
　なお、無効の対象とする被写体を検出処理の内容と必ず一致させる必要はなく、例えば、検出処理が被写体の種類毎に検出する処理である場合に、無効の対象とする被写体を、被写体の種類別ではなく、この被写体の種類が属するカテゴリーと設定することもできる。例えば、処置具を種類毎に検出する検出処理において、スネアが検出された場合に、無効の対象とする被写体を、スネアが属する処置具のカテゴリーと設定してもよい。
　なお、処置具等に対する検出処理等を無効とする無効モードについては、各種の検出処理自体を無効とすることにより実現してもよい。したがって、無効モードにおいて、病変検出処理もしくは病変検出処理、処置具検出処理もしくは処置具検出処理の検出後処理、又は、部位検出処理もしくは部位検出処理の検出後処理の、いずれか又は複数を無効としてもよい。
　無効モードにおいて、検出された被写体に対する検出処理又は検出後処理を無効とすることにより、例えば検出処理において誤検出を繰り返す場合であっても、誤検出による誤った被写体名が表示又は記録等が行われ続けることを防ぐことができる。また、検出後処理のみを無効とすることにより、無効モードとした場合であっても、内視鏡画像５１が含む被写体によっては検出処理又は検出後処理を続けることができる。したがって、誤検出による誤った被写体名が表示又は記録等が行われ続けることを防ぎつつ、これとは別の被写体の検出に対しては、報知処理又は記録処理を行うことができる。したがって、柔軟な設定により、誤検出の場合に、誤った検出結果５４の表示又は記録等による各種の修正の手間を省き、かつ、検出処理を有効に行うことができる。
　モード設定部１５は、医療画像処理装置１０の動作モードが無効モードである場合に、予め設定した解除条件が満たされた際には、無効モードを解除する。したがって、モード設定部１５は、ユーザから特定の指示があった時点から特定の解除条件を満たす時点までの期間に無効モードを設定する。解除条件は、例えば、無効モードが開始してから予め設定した時間である無効モード継続時間が経過した時点とすることができる。無効モード継続時間は適宜設定可能であり、例えば３分とする。モード設定部１５は、無効モード解除後は、無効モード以外の動作モードに設定し、例えば無効モード開始直前の動作モードに設定する。なお、無効モードを解除後に、無効モードに移行する前の動作モード以外の予め設定した動作モードに移行するように設定してもよい。
　図１６に示すように、検出された被写体として鉗子５２に対する検出処理又は検出後処理を無効としている無効モードにおいて、無効モードが開始した後、無効モード継続時間として設定した３分後に、無効モードの解除条件が満足され、自動的に無効モードが解除する。時刻ｔ４は、無効モード開始時間から３分が経過する時刻である。
　解除条件は、また、内視鏡画像５１に基づくものとすることができる。この場合は、内視鏡画像５１に対する検出処理を行うことが必要となるため、無効モードでは、検出後処理のみを無効とし、検出処理を無効としない。解除条件は、例えば、内視鏡画像５１において、検出された被写体と異なる被写体が検出された場合とする。検出された被写体と異なる被写体の範囲については、被写体の検出処理に応じて設定することができるが、上記したように、検出された被写体と、無効とする被写体の例と同様とすることができる。
　したがって、検出された被写体を、検出された個別の被写体とした場合は、内視鏡画像５１に検出された個別の被写体と異なる被写体が検出された場合に解除条件を満足し、無効モードが解除される。また、検出処理が、被写体の種類毎に検出する処理であった場合は、内視鏡画像５１に検出された被写体と異なる種類の被写体が検出された場合に解除条件を満足し、無効モードを解除する。
　図１７に示すように、検出された被写体として鉗子５２に対する検出後処理を無効としている無効モードにおいて、無効モードが開始した後、内視鏡画像５１に、スネア７１が検出された場合、被写体が異なるため、検出結果としては、鉗子５２aを誤検出していた場合と異なる検出結果５４が生成される。例えば、鉗子５２に対し、「スネア」との誤った検出結果５４が生成されてていた場合、鉗子５２とスネア７１との形状等が異なり、検出処理が両者を異なるものとして認識し、スネア７１に対し「第２スネア」等の検出結果５４が生成される。解除条件が、検出された被写体と異なる被写体が検出されたことである場合、検出結果５４が「スネア」と異なる「第２スネア」となった場合に解除条件を満足し、解除条件を満足した時刻ｔ４に無効モードを解除し、無効モードにおいて無効化されていた検出後処理が有効となり、検出後処理として設定された各処理が開始する。
　また、解除条件は、医療画像取得部１１が取得した複数の内視鏡画像５１の間の類似度を用いたものとしてもよい。この場合、図１８に示すように、医療画像処理装置１０は、類似度算出部８１を備える。類似度算出部８１は、複数の内視鏡画像が互いに類似する程度を示す類似度を算出する。類似度の算出方法としては、内視鏡画像から各種の特徴量を算出し、算出した特徴量を用いて類似度を算出することができる。特徴量は複数の内視鏡画像５１における特徴ベクトルとしてもよく、特徴ベクトルに基づいた互いの近さにより類似度を算出してもよい。
　類似度を用いる場合、解除条件は、直近に取得した複数の内視鏡画像５１の間の類似度が予め設定した値以下となったこととする。類似度は、複数の内視鏡画像５１同士が類似する程度であり、類似度が高い場合は複数の内視鏡画像は類似する程度が高く、類似度が低い場合は複数の内視鏡画像は類似する程度が低いとする。直近に取得した複数の内視鏡画像とは、最も新しく取得した内視鏡画像と、これより予め設定したフレーム分で過去に取得した内視鏡画像とすることができる。なお、フレームとは、内視鏡画像の撮影の単位であり、１フレームにつき１枚の内視鏡画像を得る。
　図１９に示すように、本実施形態では、最も新しく取得した順に２枚の内視鏡画像間の類似度を算出する。類似度を算出した後、予め設定した閾値以下となった場合を、「画像フレーム間類似度」の欄に、「低」と記載する。類似度が高く閾値以下とならなかった場合を、同様に「高」と示す。類似度が予め設定した閾値以下とならなかった「高」の場合は、解除条件を満足しないため、無効モードを解除せず継続する。類似度が閾値以下となった「低」の場合に解除条件を満足し、無効モードを解除する。無効モードを解除した後は、無効モードに移行する前の動作モードに復帰する。
　無効モードの解除のために類似度を用いる場合は、検出処理の誤りが継続した場合であっても、自動で適切に無効モードを解除することができるため好ましい。
　なお、無効モードを解除した場合、ユーザに報知することが好ましい。無効モードが解除された場合は、無効モードであるインジケータ６１が消灯するため、無効モードを解除した旨の報知は、インジケータ６１による表示（図９）と共通としてもよい。以上により、医療画像処理装置１０は、ユーザから特定の指示を受け付けた場合、無効モードに設定する場合、又は無効モードの設定を解除する場合には、それぞれユーザに報知を行うことが好ましい。
　次に、本実施形態の医療画像処理装置１０による処理の流れについて説明する。図２０に示すように、医療画像取得部１１が内視鏡装置１６により得られた内視鏡画像５１を取得する（ステップＳＴ１１０検出処理部１２は、医療画像取得部１１が取得した内視鏡画像５１に対し、検出処理を行う（ステップＳＴ１２０）。
　検出処理による検出結果５４は、検出結果表示５５としてディスプレイ１８に表示される（ステップＳＴ１３０）。ユーザは、ディスプレイ１８に表示された検出結果表示５５と内視鏡画像５１とを見て、検出結果５４が誤検出であるか否かを判定し、誤検出であり、動作モードを無効モードに切り替えたい場合に、入力デバイス１９であるフットスイッチ等を用いて特定の指示を行う（ステップＳＴ１４０でＹ）。特定の指示が行われた場合、動作モードが無効モードに切り替わる（ステップＳＴ１６０）。
　無効モードに切り替わった後、本実施形態の無効モードでは、検出処理を行い、検出後処理を行わないため、内視鏡画像を取得して（ステップＳＴ１７０）、検出処理を行う（ステップＳＴ１８０）。無効モードを解除しない場合（ステップＳＴ１９０でＮ）、無効モードにおいて、再度内視鏡画像を取得して（ステップＳＴ１７０）、検出処理を行う（ステップＳＴ１８０）。無効モードを解除する場合（ステップＳＴ１９０でＹ）、無効モードが解除されて、無効モードに設定する直前の動作モードに戻り、内視鏡画像取得から始められる（ステップＳＴ１１０）。無効モードを解除しない場合（ステップＳＴ１９０でＮ）であって、検査を継続する場合は（ステップＳＴ２００でＹ）、再び内視鏡画像を取得して無効モードにより検出処理を行う（ステップＳＴ１１０）。検査を継続しない場合は（ステップＳＴ２００でＮ）、検査は終了となる。
　特定の指示が行われない場合（ステップＳＴ１４０でＮ）であって、検査を継続する場合は（ステップＳＴ１５０でＹ）、再び内視鏡画像を取得して検出処理を行う（ステップＳＴ１１０）。検査を継続しない場合は（ステップＳＴ１５０でＮ）、検査は終了となる。
　上記実施形態等は、医療画像処理装置用のプログラムであって、時系列の複数の医療画像を取得する機能と、複数の医療画像のそれぞれから被写体を検出する検出処理を行う機能と、被写体が検出された場合に、検出された被写体に対応して処理の内容が予め定められた検出後処理を行する機能と、検出後処理は、ユーザに対して検出された被写体に応じた報知を行う処理を少なくとも含み、報知後、ユーザから特定の指示があった場合に、少なくとも検出された被写体に対する検出後処理を、予め設定した期間において無効とする無効モードに設定する機能とをコンピュータに実行させる医療画像処理装置用プログラムを含む。
　上記実施形態において、プロセッサ装置である医療画像処理装置１０に含まれる医療画像取得部１１、検出処理部１２、検出後処理部１３、入力処理部１４、モード設定部１５、類似度算出部８１等の処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。
１０　医療画像処理装置
１１　医療画像取得部
１２　検出処理部
１３　検出後処理部
１４　入力処理部
１５　モード設定部
１６　内視鏡装置
１７　ＰＡＣＳ
１８　ディスプレイ
１９　入力デバイス
２１　制御部
２２　通信部
２３　記憶部
２４　データバス
２５　ネットワーク
３１　ＣＰＵ
３２　ＲＡＭ
３３　ＲＯＭ
３４　医療画像処理装置用プログラム
３５　医療画像処理装置用データ
３６　一時保存部
３７　データ記録部
４１　病変検出部
４２　処置具検出部
４３　部位検出部
４４　病変検出器
４５　処置具検出器
４６　部位検出器
５１　内視鏡画像
５２　鉗子
５３　管腔壁
５４　検出結果
５５　検出結果表示
５６　選択肢表示
５７　キャンセル機構有効化マーク
６１　インジケータ
６２　無効モードマーク
６３　入力期間
６４　検出後処理期間
６５　無効モード期間
６６～６９　入力
７１　スネア
７２　病変
８１　類似度算出部
ｔ１～ｔ４　時刻
ＳＴ１１０～ＳＴ２００　ステップ
 

Claims (25)

  1. 　プロセッサを備え、
    　前記プロセッサは、
    　時系列の複数の医療画像を取得し、
    　複数の前記医療画像のそれぞれから被写体を検出する検出処理を行い、
    　前記被写体が検出された場合に、検出された前記被写体に対応して処理の内容が予め定められた検出後処理を行い、
    　前記検出後処理は、ユーザに対して検出された前記被写体に応じた報知を行う処理を少なくとも含み、
    　前記報知後、前記ユーザから特定の指示があった場合に、動作モードを、少なくとも検出された前記被写体に対する前記検出後処理を予め設定した無効期間において無効とする無効モードに設定する医療画像処理装置。
  2. 　前記検出処理は、病変を検出する病変検出処理、処置具を検出する処置具検出処理、及び、部位を検出する部位検出処理のうちの少なくとも１つである請求項１に記載の医療画像処理装置。
  3. 　前記病変検出処理は、前記病変を種類毎に検出する処理であり、前記処置具検出処理は、前記処置具を種類毎に検出する処理である請求項２に記載の医療画像処理装置。
  4. 　前記検出後処理は、前記検出処理の結果を記録部に記録する処理を含む請求項１ないし３のいずれか１項に記載の医療画像処理装置。
  5. 　前記検出後処理は、検出された前記被写体に対応して予め定められた選択肢をディスプレイに表示する処理を含む請求項1ないし４のいずれか１項に記載の医療画像処理装置。
  6. 　前記プロセッサは、前記ユーザからの入力を受け付け、
    　前記入力に基づき、前記特定の指示の有無を判断する請求項１ないし５のいずれか１項に記載の医療画像処理装置。
  7. 　前記プロセッサは、前記入力が、前記入力を受け付ける入力受付期間に予め設定した継続入力判定期間以上継続して行われた場合に、前記特定の指示があったと判断する請求項６に記載の医療画像処理装置。
  8. 　前記プロセッサは、前記入力が、前記被写体に対する前記検出後処理が無効とされている期間に予め設定した継続入力判定期間以上継続して行われた場合に、前記特定の指示があったと判断する請求項６に記載の医療画像処理装置。
  9. 　前記プロセッサは、前記入力が、前記入力を受け付ける入力受付期間に少なくとも１回行われた場合に、前記特定の指示があったと判断する請求項６に記載の医療画像処理装置。
  10. 　前記入力受付期間は、前記検出後処理を行う期間である請求項７又は９に記載の医療画像処理装置。
  11. 　前記プロセッサは、前記入力が、予め設定した複数入力判定期間に予め設定した入力回数以上行われた場合に、前記特定の指示があったと判断する請求項６に記載の医療画像処理装置。
  12. 　前記プロセッサは、前記無効モードにおいて、前記病変及び／又は複数の種類の前記処置具に対する前記検出後処理を無効とする請求項２に記載の医療画像処理装置。
  13. 　前記プロセッサは、前記検出後処理が複数の処理を含む場合、前記無効モードにおいて、前記検出後処理に含まれる処理のうち少なくとも一つの処理を無効とする請求項１ないし１１のいずれか１項に記載の医療画像処理装置。
  14. 　前記プロセッサは、前記病変を検出した場合に、前記無効モードにおいて、前記病変検出処理に関する前記検出後処理を無効とする請求項２に記載の医療画像処理装置。
  15. 　前記プロセッサは、前記処置具を検出した場合に、前記無効モードにおいて、前記処置具検出処理に関する前記検出後処理を無効とする請求項２に記載の医療画像処理装置。
  16. 　前記プロセッサは、前記部位を検出した場合に、前記無効モードにおいて、前記部位検出処理に関する前記検出後処理を無効とする請求項２に記載の医療画像処理装置。
  17. 　前記プロセッサは、前記無効モードにおいて、検出された被写体に対する前記検出処理を無効とする請求項１ないし１６のいずれか１項に記載の医療画像処理装置。
  18. 　前記プロセッサは、前記無効モードにおいて、前記病変及び／又は複数の種類の前記処置具に対する前記検出処理を無効とする請求項２に記載の医療画像処理装置。
  19. 　前記プロセッサは、前記検出処理が複数の処理を含む場合、前記無効モードにおいて、前記検出処理に含まれる処理のうち少なくとも一つの処理を無効とする請求項１７に記載の医療画像処理装置。
  20. 　前記プロセッサは、前記無効期間を、前記特定の指示があった時点から特定の解除条件を満たす時点までの期間であると設定する請求項１ないし１９のいずれか１項に記載の医療画像処理装置。
  21. 　前記解除条件は、前記医療画像において、検出された前記被写体と異なる前記被写体が検出されたことである請求項２０に記載の医療画像処理装置。
  22. 　前記プロセッサは、複数の前記医療画像が互いに類似する程度を示す類似度を算出し、
    　前記解除条件は、直近に取得した複数の前記医療画像間の前記類似度が予め設定した値以下となったことである請求項２０に記載の医療画像処理装置。
  23. 　前記プロセッサは、前記ユーザから前記特定の指示を受け付けた場合、前記無効モードに設定する場合、又は前記無効モードの設定を解除する場合に、前記ユーザに報知する請求項１ないし２２のいずれか１項に記載の医療画像処理装置。
  24. 　時系列の複数の医療画像を取得するステップと、
    　複数の前記医療画像のそれぞれから被写体を検出する検出処理を行うステップと、
    　前記被写体が検出された場合に、検出された前記被写体に対応して処理の内容が予め定められ、ユーザに対して検出された前記被写体に応じた報知を行う処理を少なくとも含む検出後処理を行うステップと、
    　前記報知後、前記ユーザから特定の指示があった場合に、動作モードを、少なくとも検出された前記被写体に対する前記検出後処理を予め設定した無効期間において無効とする無効モードに設定するステップとを備える医療画像処理装置の作動方法。
  25. 　時系列の複数の医療画像を取得する機能と、
    　複数の前記医療画像のそれぞれから被写体を検出する検出処理を行う機能と、
    　前記被写体が検出された場合に、検出された前記被写体に対応して処理の内容が予め定められ、ユーザに対して検出された前記被写体に応じた報知を行う処理を少なくとも含む検出後処理を行う機能と、
    　前記報知後、前記ユーザから特定の指示があった場合に、動作モードを、少なくとも検出された前記被写体に対する前記検出後処理を予め設定した無効期間において無効とする無効モードに設定する機能とをコンピュータに実行させる医療画像処理装置用プログラム。
     
PCT/JP2022/034598 2021-11-30 2022-09-15 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム WO2023100446A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021194538 2021-11-30
JP2021-194538 2021-11-30

Publications (1)

Publication Number Publication Date
WO2023100446A1 true WO2023100446A1 (ja) 2023-06-08

Family

ID=86611871

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034598 WO2023100446A1 (ja) 2021-11-30 2022-09-15 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム

Country Status (1)

Country Link
WO (1) WO2023100446A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020036224A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
WO2020090729A1 (ja) * 2018-11-01 2020-05-07 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置
JP2021100555A (ja) * 2019-12-24 2021-07-08 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020036224A1 (ja) * 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
WO2020090729A1 (ja) * 2018-11-01 2020-05-07 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置
JP2021100555A (ja) * 2019-12-24 2021-07-08 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム

Similar Documents

Publication Publication Date Title
KR101599129B1 (ko) 내시경 상 보이는 병변의 크기 측정 방법 및 컴퓨터 판독 가능한 기록매체
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
JP6339503B2 (ja) 複数の超音波トランスデューサを有する検査システム
CN108230300A (zh) 用于处理超声图像的装置和方法
JP2019093144A (ja) 対話型イベントタイムラインのためのシステム及び方法
JP6899903B2 (ja) 医療画像処理装置、内視鏡装置、診断支援装置、医療業務支援装置、及び、レポート作成支援装置
JP2008086767A (ja) ３次元及び４次元コントラスト撮像のためのシステム及び方法
JP7270658B2 (ja) 画像記録装置、画像記録装置の作動方法および画像記録プログラム
JP5744631B2 (ja) 診療支援装置、診療支援方法
EP3841957B1 (en) Medical image processing system
JP2008237369A (ja) 画像処理装置及び画像処理方法
WO2023100446A1 (ja) 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム
WO2018008661A1 (ja) 制御装置、制御方法、制御システム及びプログラム
US20060293594A1 (en) Device for carrying out intravascular examinations
JP5395393B2 (ja) 画像診断装置
JP4612379B2 (ja) 医用画像診断支援システム、医用画像診断支援装置、医用画像診断支援方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム
JP2018011928A (ja) 制御装置、制御方法、制御システム及びプログラム
WO2023153069A1 (ja) 医療画像装置、内視鏡システム、及び、診断書作成システム
WO2023282144A1 (ja) 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置
WO2023282143A1 (ja) 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置
JP2021074095A (ja) 眼科画像処理装置および眼科画像処理プログラム
JP7220542B2 (ja) 医用画像処理装置、医用画像処理方法及び医用画像処理プログラム
US20240136034A1 (en) Information processing apparatus, information processing method, endoscope system, and report creation support device
WO2021124982A1 (ja) 放射線撮影制御装置、画像処理装置、放射線撮影制御方法、画像処理方法、プログラムおよび放射線撮影システム
WO2014002875A1 (ja) 超音波診断装置、超音波画像表示方法および超音波画像表示プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22900881

Country of ref document: EP

Kind code of ref document: A1