WO2018138828A1 - 画像処理装置、動作方法およびプログラム - Google Patents

画像処理装置、動作方法およびプログラム Download PDF

Info

Publication number
WO2018138828A1
WO2018138828A1 PCT/JP2017/002726 JP2017002726W WO2018138828A1 WO 2018138828 A1 WO2018138828 A1 WO 2018138828A1 JP 2017002726 W JP2017002726 W JP 2017002726W WO 2018138828 A1 WO2018138828 A1 WO 2018138828A1
Authority
WO
WIPO (PCT)
Prior art keywords
lumen
image processing
unit
processing apparatus
medical device
Prior art date
Application number
PCT/JP2017/002726
Other languages
English (en)
French (fr)
Inventor
光隆 木村
健人 速水
隆志 河野
大和 神田
亮次 高見
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201780082966.6A priority Critical patent/CN110167417B/zh
Priority to PCT/JP2017/002726 priority patent/WO2018138828A1/ja
Publication of WO2018138828A1 publication Critical patent/WO2018138828A1/ja
Priority to US16/420,492 priority patent/US20190298159A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00154—Holding or positioning arrangements using guiding arrangements for insertion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an image processing apparatus that performs processing by estimating an insertion operation state of a medical device based on information from a medical device that is inserted into a living body lumen and has an imaging device that continuously captures images in time series. , An operation method and a program.
  • Patent Document 1 discloses a technique for detecting the amount of relative movement of a site to be observed and switching between normal illumination light and special illumination light based on the detection result.
  • the detection result is equal to or less than the threshold value
  • the normal illumination light and the special illumination light are alternately irradiated.
  • the detection result exceeds the threshold value, only the special illumination light is irradiated.
  • the main purpose of use of the endoscope disclosed in Patent Document 1 described above is discovery and diagnosis of a lesion by a practitioner.
  • the operation of the medical device in the lumen Processing according to the condition was not performed.
  • the present invention has been made in view of the above, and an object thereof is to provide an image processing apparatus, an operation method, and a program capable of performing processing according to the operation state of a medical device in a lumen.
  • an image processing device is based on information sequentially input from a medical device having an imaging device at a tip thereof.
  • An operation state estimation unit that estimates an operation state; and a processing unit that performs processing according to the operation state of the medical device in the lumen based on an estimation result of the operation state estimation unit.
  • the operation method according to the present invention is an operation method executed by an image processing apparatus, and is information sequentially input from a medical device having an insertion unit inserted into a lumen of a subject and an imaging device. Based on the operation state estimation step for estimating the operation state of the medical device in the lumen, and according to the operation state of the medical device in the lumen based on the estimation result of the operation state estimation step And a processing step for performing processing.
  • the program according to the present invention is based on information sequentially input from a medical device having an insertion unit that is inserted into a lumen of a subject and an imaging device.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing an outline of processing executed by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart showing an outline of the operation state estimation process of FIG.
  • FIG. 4 is a flowchart showing an outline of the insertion operation determination process of FIG.
  • FIG. 5 is a flowchart showing an outline of the forward path determination process of FIG.
  • FIG. 6 is a flowchart showing an overview of the switching addition process of FIG.
  • FIG. 7 is a flowchart showing an overview of the switching addition process of FIG. FIG.
  • FIG. 8 is a diagram schematically illustrating an example of an image to be displayed on the display device in the insertion switching addition process.
  • FIG. 9 is a flowchart showing an outline of the forward path determination process executed by the image processing apparatus according to the first modification of the first embodiment of the present invention.
  • FIG. 10 is a flowchart showing an outline of the forward path determination process executed by the image processing apparatus according to the second modification of the first embodiment of the present invention.
  • FIG. 11 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 12 is a flowchart showing an overview of the insertion switching addition process executed by the image processing apparatus according to the second embodiment of the present invention.
  • FIG. 13 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 14 is a flowchart showing an overview of the insertion switching addition process executed by the image processing apparatus according to the third embodiment of the present invention.
  • FIG. 15 is a flowchart showing an outline of the number-of-insertion-lesions counting process in FIG.
  • FIG. 16 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 4 of the present invention.
  • FIG. 17 is a flowchart showing an overview of the insertion switching addition process executed by the image processing apparatus according to the fourth embodiment of the present invention.
  • FIG. 18 is a flowchart showing an outline of the insertion time measurement process of FIG. FIG.
  • FIG. 19 is a flowchart showing an outline of the removal time measurement process of FIG.
  • FIG. 20 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 5 of the present invention.
  • FIG. 21 is a flowchart showing an outline of insertion switching addition processing executed by the image processing apparatus according to Embodiment 5 of the present invention.
  • FIG. 22 is a flowchart showing an overview of the return path parameter setting process of FIG.
  • FIG. 23 is a flowchart showing an outline of the biological information acquisition process of FIG.
  • FIG. 24 is a flowchart showing an outline of the return path corresponding process of FIG.
  • FIG. 25 is a flowchart showing an outline of the biological information acquisition process executed by the image processing apparatus according to the first modification of the fifth embodiment of the present invention.
  • FIG. 21 is a flowchart showing an outline of insertion switching addition processing executed by the image processing apparatus according to Embodiment 5 of the present invention.
  • FIG. 22 is a flowchart showing an overview of
  • FIG. 26 is a flowchart showing an outline of the biological information acquisition process executed by the image processing apparatus according to the second modification of the fifth embodiment of the present invention.
  • FIG. 27 is a block diagram showing a configuration of an image processing apparatus according to Modification 3 of Embodiment 5 of the present invention.
  • FIG. 28 is a flowchart showing an overview of the return path parameter setting process executed by the image processing apparatus according to the third modification of the fifth embodiment of the present invention.
  • FIG. 29 is a flowchart showing an overview of the practitioner information acquisition process of FIG.
  • FIG. 30 is a flowchart showing an overview of a practitioner information acquisition process executed by the image processing apparatus according to the fourth modification of the fifth embodiment of the present invention.
  • FIG. 31 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 6 of the present invention.
  • FIG. 32 is a flowchart showing an outline of the insertion switching addition process executed by the image processing apparatus according to the sixth embodiment of the present invention.
  • FIG. 33 is a flowchart showing an outline of the intraluminal position estimation process of FIG.
  • FIG. 34 is a flowchart showing an outline of the lumen position estimation process of FIG.
  • FIG. 35 is a flowchart showing an outline of lumen position estimation processing executed by the image processing apparatus according to the first modification of the sixth embodiment of the present invention.
  • FIG. 36 is a block diagram showing a configuration of an image processing apparatus according to Modification 2 of Embodiment 6 of the present invention.
  • FIG. 37 is a flowchart showing an outline of the intraluminal position estimation process executed by the image processing apparatus according to the second modification of the sixth embodiment of the present invention.
  • FIG. 38 is a flowchart showing an outline of the organ estimation process of FIG.
  • FIG. 39 is a flowchart showing an outline of the part estimation process of FIG.
  • FIG. 40 is a flowchart showing an outline of another part estimation process executed by the image processing apparatus according to the second modification of the sixth embodiment of the present invention.
  • FIG. 41 is a flowchart showing an outline of another part estimation process executed by the image processing apparatus according to the second modification of the sixth embodiment of the present invention.
  • FIG. 42 is a flowchart showing an outline of another part estimation process executed by the image processing apparatus according to the second modification of the sixth embodiment of the present invention.
  • FIG. 43 is a flowchart showing an outline of another part estimation process executed by the image processing apparatus according to the second modification of the sixth embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • the image processing apparatus 1 according to the first embodiment includes, as an example, an endoscope or a capsule endoscope including an endoscope scope such as a flexible endoscope or a rigid endoscope (hereinafter, these are simply combined).
  • an endoscope or a capsule endoscope including an endoscope scope such as a flexible endoscope or a rigid endoscope (hereinafter, these are simply combined).
  • the insertion operation state of the medical device is estimated, It is a device that performs processing according to the estimation result.
  • the in vivo lumen image is usually a color image having pixel levels (pixel values) for wavelength components of R (red), G (green), and B (blue) at each pixel position.
  • the lesion area is a specific area in which a site that appears to be a lesion or abnormality, such as bleeding, redness, coagulated blood, tumor, erosion, ulcer, after, and villi abnormalities is reflected, that is, an abnormal area.
  • insertion refers to the time when the tip of the medical device enters the lumen of the subject and reaches the target position.
  • extraction refers to the time when the tip of the medical device reaches the target position in the lumen of the subject and then moves out of the lumen.
  • information from the medical device includes information on the operator's operation on the medical device, information from sensors such as an acceleration sensor, a temperature sensor, and a magnetic generation sensor provided at the tip of the medical device. , And shape information related to the shape of the tip of the medical device.
  • An image processing apparatus 1 illustrated in FIG. 1 includes an acquisition unit 2 that acquires information including an in-vivo lumen image captured by a medical device from the medical device or the outside, and an input that receives an input signal input by an external operation.
  • Unit 3 output unit 4 for outputting images and various information to a display device, in-vivo lumen image acquired by acquisition unit 2, information from medical device and various programs, and image processing
  • the control part 6 which controls operation
  • the acquisition unit 2 acquires information including an in-vivo lumen image from an external medical device.
  • the image processing apparatus 1 includes an imaging unit having an imaging function, and the subject In-vivo lumen images may be taken.
  • the acquisition unit 2 is appropriately configured according to the mode of the system including the medical device. For example, when a portable recording medium is used for delivery of an in-vivo lumen image to and from a medical device, the acquisition unit 2 detachably attaches this recording medium and records the in-vivo lumen image. Is configured as a reader device. Moreover, when using the server which records the in-vivo luminal image imaged with the medical device, the acquisition part 2 is comprised by the communication apparatus etc. which can communicate with this server bidirectionally, and performs data communication with a server. In vivo lumen images are acquired. Furthermore, the acquisition unit 2 may be configured by an interface device or the like to which an in vivo lumen image is input from a medical device via a cable.
  • the input unit 3 is realized by, for example, an input device such as a keyboard, a mouse, a touch panel, and various switches, and outputs an input signal received according to an external operation to the control unit 6. Note that the input unit 3 is not necessarily wired, and may be wireless, for example.
  • the output unit 4 outputs information and images extracted by the calculation of the calculation unit 7 to a display device connected by wired connection or a display device connected by wireless communication under the control of the control unit 6.
  • the output unit 4 may be configured using a liquid crystal display panel or an organic EL (Electro Luminescence) display panel, and may display various images including images that have been subjected to image processing by the calculation unit 7. A warning may be output by sound or text.
  • the recording unit 5 is realized by various IC memories such as a flash memory, a ROM (Read Only Memory) and a RAM (Random Access Memory), and a built-in or a hard disk connected by a data communication terminal.
  • the recording unit 5 operates the image processing apparatus 1 in addition to the in-vivo lumen image and the moving image acquired by the acquisition unit 2, and programs and operations for causing the image processing apparatus 1 to execute various functions. Records the program, data used during the execution of this program, etc.
  • the recording unit 5 records an image processing program 51 for performing an optical flow or the like on an in-vivo lumen image, and various information used during execution of this program.
  • the recording unit 5 records a template in which a feature such as a lesion is set in advance and a reference used for determination of the lesion when the calculation unit 7 performs lesion detection or the like.
  • the control unit 6 is configured using a general-purpose processor such as a CPU (Central Processing Unit) or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). Is done.
  • a general-purpose processor such as a CPU (Central Processing Unit) or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). Is done.
  • the control unit 6 is a general-purpose processor
  • the various operations stored in the recording unit 5 are read to give instructions to each unit constituting the image processing apparatus 1 and data transfer, thereby supervising the overall operation of the image processing apparatus 1. And control.
  • the control unit 6 is a dedicated processor, the processor may execute various processes alone, or by using various data stored in the recording unit 5, the processor and the recording unit 5 cooperate or Various processes may be executed by combining them.
  • the arithmetic unit 7 is configured using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC or FPGA.
  • a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC or FPGA.
  • the arithmetic unit 7 is a general-purpose processor, by reading the image processing program 51 from the recording unit 5, an insertion operation state in the lumen of the medical device based on the acquired in-vivo lumen image or information from the medical device And processing according to the estimated operation is executed.
  • the processor may execute various processes independently, or by using various data stored in the recording unit 5, the processor and the recording unit 5 cooperate or You may combine and perform a process.
  • the calculation unit 7 includes an operation state estimation unit 8 and a processing unit 9.
  • the operation state estimation unit 8 estimates the operation state of the medical device in the lumen based on information sequentially input from the medical device acquired by the acquisition unit 2 via the control unit 6 or the recording unit 5.
  • the operation state estimation unit 8 includes an insertion operation determination unit 81.
  • the insertion operation determination unit 81 determines an insertion operation in the lumen of the medical device based on information sequentially input from the medical device acquired by the acquisition unit 2 via the control unit 6 or the recording unit 5.
  • the insertion operation determination unit 81 includes an intraluminal determination unit 811 that determines whether or not an imaging device included in a medical device is inserted into the lumen, and an insertion operation is performed for the medical device toward the target to be observed.
  • a forward path determination unit 812 that determines whether the forward path is in progress.
  • the processing unit 9 performs processing according to the operation state of the medical device in the lumen based on the estimation result of the operation state estimation unit 8.
  • the processing unit 9 includes a switching addition unit 91 at the time of insertion.
  • the switching switch addition unit 91 switches to a process according to the insertion operation or adds a process.
  • FIG. 2 is a flowchart showing an outline of processing executed by the image processing apparatus 1.
  • the operation state estimation unit 8 executes an operation state estimation process for estimating the operation state of the medical device based on the in-vivo lumen image acquired by the acquisition unit 2 (step S1). .
  • the image processing apparatus 1 proceeds to step S2, which will be described later.
  • FIG. 3 is a flowchart showing an outline of the operation state estimation process in step S1 of FIG.
  • the insertion operation determination unit 81 performs an insertion operation determination process that determines whether or not a medical device is inserted into the lumen based on the in-vivo lumen image acquired by the acquisition unit 2. Execute (Step S10). Specifically, the insertion operation determination unit 81 determines whether the insertion unit included in the medical device is present in the lumen based on the in-vivo lumen image acquired by the acquisition unit 2, and the medical device Is determined by performing an insertion operation toward the target position. After step S10, the image processing apparatus 1 returns to the main routine of FIG.
  • FIG. 4 is a flowchart showing an outline of the insertion operation determination process in step S10 of FIG.
  • the intraluminal determination unit 811 determines whether or not the distal end portion of the imaging device included in the medical device is present in the lumen (step S11). Specifically, the intraluminal determination unit 811 compares the in-vivo lumen image acquired by the acquisition unit 2 with a reference that can be distinguished from the lumen in advance, so that the distal end of the insertion unit included in the medical device Is present in the lumen.
  • the intraluminal determination unit 811 determines whether the distal end portion of the insertion unit included in the medical device is present in the lumen based on, for example, the feature amount of the in vivo lumen image. It is possible to determine whether or not the distal end portion of the insertion portion of the medical device is present in the lumen based on the color, brightness, and RGB histogram statistics of the in-vivo lumen image. May be.
  • the outbound path determination unit 812 executes outbound path determination processing for determining whether the outbound path is in the middle of the insertion operation being performed up to the target position targeted by the medical device (step S12). After step S12, the image processing apparatus 1 returns to the operation state estimation process subroutine of FIG.
  • FIG. 5 is a flowchart showing an outline of the forward path determination process in step S12 of FIG.
  • the forward path determination unit 812 determines whether or not the medical device is the forward path based on the optical flow between the two images of the in-vivo lumen images that move back and forth in time (step S121). ). Specifically, the forward path determination unit 812 calculates a local motion based on the optical flow between images, and estimates the traveling direction of the medical device in the lumen based on the calculated calculation result. When traveling in the lumen toward the target target position, it is determined as the forward path. Further, when the medical device is inserted into the lumen, the medical device may be moved back and forth within the lumen.
  • the forward path determination unit 812 may set a predetermined time in advance and use the local motion within the predetermined time to improve the accuracy of the determination as to whether or not it is the forward path.
  • the predetermined time may be set via the input unit 3 or may be set in advance by an experiment or the like.
  • the forward path determination unit 812 estimates the moving distance from the acceleration sensor acceleration included in the information from the medical device or the measurement result from the motion sensor (azimuth sensor, gyro sensor), and based on the estimated moving distance, It may be determined whether or not the medical device is an outbound path, or a comparison between the in-vivo lumen image and a preset reference is made, and based on the comparison result, it is determined whether or not the medical device is an outbound path May be.
  • the image processing apparatus 1 returns to the insertion operation determination process subroutine of FIG.
  • step S ⁇ b> 2 the processing unit 9 executes a switching addition process for performing processing according to the operation state of the medical device in the lumen based on the estimation result of the operation state estimation unit 8.
  • step S2 the image processing apparatus 1 proceeds to step S3 described later.
  • FIG. 6 is a flowchart showing an overview of the switching addition process in step S2 of FIG.
  • the operation state estimation unit 8 estimates that the medical device is performing an insertion operation into the lumen (step S21: Yes)
  • the insertion switching addition unit 91 performs the insertion operation.
  • the process is switched to a process in accordance with the above, or a switching addition process at the time of adding a process is executed (step S22).
  • the image processing apparatus 1 returns to the main routine of FIG.
  • the image processing apparatus 1 goes to the main routine of FIG. Return.
  • FIG. 7 is a flowchart showing an outline of the insertion switching addition process in step S22 of FIG.
  • the insertion switching addition unit 91 causes the output unit 4 to output insertion information (step S221).
  • the switching addition unit 91 at the time of insertion generates information indicating that the operation state estimation unit 8 estimates that it is in the lumen or that the medical device is being inserted into the lumen.
  • the image processing apparatus 1 returns to the subroutine of FIG.
  • step S3 When display by the display device is set via the input unit 3 in step S3 (step S3: Yes), the output unit 4 displays the estimation result of the operation state estimation unit 8 and the processing content of the processing unit 9 as a display device. Is displayed on the display device (step S4). Specifically, as illustrated in FIG. 8, the output unit 4 indicates that the medical device generated by the insertion switching addition unit 91 is being inserted into the lumen in the in vivo lumen image P1 displayed by the display device. It outputs to a display device so that the information F1 which shows that it exists may be displayed. Thereby, the practitioner can intuitively grasp the current state of the medical device.
  • the output unit 4 may output sound or light indicating that the medical device is being inserted into the lumen instead of the information F1.
  • the image processing apparatus 1 ends this process.
  • the display by the display device is not set via the input unit 3 (step S3: No)
  • the image processing device 1 ends this processing.
  • Modification 1 of Embodiment 1 Next, Modification 1 of Embodiment 1 of the present invention will be described.
  • the first modification of the first embodiment is different in the forward path determination process executed by the image processing apparatus.
  • the forward path determination process executed by the image processing apparatus according to the first modification of the first embodiment will be described. Note that the same components as those of the image processing apparatus 1 according to the first embodiment described above are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 9 is a flowchart showing an outline of the forward path determination process executed by the image processing apparatus according to the first modification of the first embodiment.
  • the forward path determination unit 812 performs an insertion operation of the medical device toward the observation target in the lumen based on the degree of coincidence between the preset target of the observation target and the in-vivo lumen image. It is determined whether or not it is an outward path in the middle of being performed (step S122). For example, when a subject performs a colon examination, a practitioner inserts a medical device to the ileocecum, makes the medical device reach the ileocecum, and then performs observation while removing the medical device from the ileocecum.
  • the forward path determination unit 812 sets the target to be observed in advance as ileo-blind, and determines whether or not the medical device is ileo-blind with respect to the in-vivo lumen images sequentially captured in time series. Until the in-vivo lumen image matches the target to be observed, and until the in-vivo lumen image in which the degree of coincidence with the target to be observed is equal to or greater than a predetermined threshold is taken Is determined. The forward path determination unit 812 also determines whether the medical device is the forward path by comparing the degree of coincidence between the reference image (reference) that is the target of the observation target and the in-vivo lumen image in advance. Good.
  • the forward path determination unit 812 may determine that the target of the observation target has been reached when the in-vivo lumen image does not match the target of the observation target within a preset time. After step S122, the image processing apparatus 1 returns to the insertion operation determination process subroutine of FIG.
  • processing according to the operation state in the lumen of the medical device can be performed, so that the examination by the endoscope is supported for the practitioner. can do.
  • FIG. 10 is a flowchart showing an outline of the forward path determination process executed by the image processing apparatus according to the second modification of the first embodiment.
  • the forward path determination unit 812 is based on the detection result detected by the acceleration sensor included in the information on the medical device acquired by the acquisition unit 2 (the insertion direction or the target to be observed). ) And the backward movement direction (withdrawal direction) are calculated, and if the movement amount in the advancing direction in a predetermined time is larger than the movement amount in the backward direction, it is determined that the medical device is an outbound path (step S123).
  • step S123 the image processing apparatus 1 returns to the insertion operation determination process subroutine of FIG.
  • processing according to the operating state of the medical device in the lumen can be performed. can do.
  • the second embodiment is different in configuration from the arithmetic unit 7 of the image processing apparatus 1 according to the first embodiment described above.
  • the processing executed by the image processing apparatus according to the second embodiment will be described. Note that the same components as those of the image processing apparatus 1 according to the first embodiment described above are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 11 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 2 of the present invention.
  • An image processing apparatus 1a illustrated in FIG. 11 includes a calculation unit 7a instead of the calculation unit 7 according to the first embodiment described above.
  • the computing unit 7a includes a processing unit 9a instead of the processing unit 9 according to the first embodiment described above.
  • the processing unit 9a includes an insertion switching addition unit 91a instead of the insertion switching addition unit 91 according to the first embodiment.
  • FIG. 12 is a flowchart showing an outline of the insertion switching addition process executed by the image processing apparatus 1a.
  • the in-vivo lumen automatic recording unit 911 The image is automatically recorded in the recording unit 5 (step S222).
  • the deepest part automatic recording unit 911 is a recording unit that records the in-vivo lumen image when the forward path determination unit 812 determines that the target is the deepest ileocecal as a target of observation in the first modification of the first embodiment. Automatically record in 5.
  • the in-vivo lumen image to be automatically recorded is captured by the medical device continuously, and is discriminated from the in-vivo lumen images sequentially acquired by the acquisition unit 2 and recorded in the recording unit 5.
  • the reason for identifying and recording in the recording unit 5 is to prove that the practitioner has performed the examination on the subject.
  • Other identified in-vivo lumen images may be used as a test report of a subject by being output to the outside by the output unit 4.
  • the deepest part automatic recording unit 911 instructs the imaging device included in the medical device to perform imaging via the output unit 4 when the forward path determination unit 812 determines that the target is the deepest ileocephalic target to be observed.
  • the in vivo lumen image input from the medical device may be distinguished from other in vivo lumen images and recorded in the recording unit 5.
  • the image processing apparatus 1a returns to the above-described switching addition processing subroutine of FIG.
  • the third embodiment is different from the arithmetic unit 7 of the image processing apparatus 1 according to the first embodiment described above in configuration.
  • the process executed by the image processing apparatus according to the third embodiment will be described. Note that the same components as those of the image processing apparatus 1 according to the first embodiment described above are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 13 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 3 of the present invention.
  • An image processing apparatus 1b illustrated in FIG. 13 includes a calculation unit 7b instead of the calculation unit 7 according to the first embodiment.
  • the calculation unit 7b includes a processing unit 9b instead of the processing unit 9 according to the first embodiment described above.
  • the processing unit 9b includes an insertion time switching addition unit 91b instead of the insertion time switching addition unit 91 according to the first embodiment described above.
  • the insertion switching addition unit 91b includes an insertion detection lesion number counting unit 912 that counts the number of target lesions when a medical device is inserted.
  • the inserted lesion count counting unit 912 includes a lesion detection unit 9121 that detects a lesion from the in-vivo lumen image.
  • FIG. 14 is a flowchart showing an outline of the insertion switching addition process executed by the image processing apparatus 1b.
  • step S223 when it is estimated by the operation state estimation unit 8b that the medical device is being inserted into the lumen (step S223: Yes), the detected lesion number count unit 912 at the time of insertion is The inserted lesion number counting process for counting the number of lesions to be performed is executed (step S224). After step S224, the image processing apparatus 1b returns to the switching addition processing subroutine of FIG.
  • FIG. 15 is a flowchart showing an overview of the inserted lesion count counting process at the time of insertion in step S224 of FIG.
  • the lesion detection unit 9121 detects a lesion from the in-vivo lumen image (step S301). Specifically, the lesion detection unit 9121 is inserted by performing well-known template matching or the like on the in-vivo lumen image sequentially input from the medical device via the acquisition unit 2 using a preset reference. The number of lesions in the medium is counted (the number of specific areas whose similarity to the reference is within a predetermined range).
  • the image processing apparatus 1b returns to the subroutine of the insertion switching addition process in FIG.
  • step S223 when the operation state estimation unit 8b estimates that the medical device is not being inserted into the lumen (step S223: No), the insertion switching addition unit 91b counts the number of lesions found during insertion in the output unit 4. Information on the number of lesions counted by the unit 912 is generated (step S225). After step S225, the image processing apparatus 1b returns to the switching addition process subroutine of FIG.
  • the fourth embodiment is different in configuration from the arithmetic unit 7b of the image processing apparatus 1b according to the third embodiment described above.
  • processing executed by the image processing apparatus according to the fourth embodiment will be described.
  • the same components as those of the image processing apparatus 1b according to the third embodiment described above are denoted by the same reference numerals and description thereof is omitted.
  • the same components as those in the image processing apparatus 1b according to the second embodiment described above are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 16 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 4 of the present invention.
  • An image processing apparatus 1c illustrated in FIG. 16 includes a calculation unit 7c instead of the calculation unit 7b according to the third embodiment described above.
  • the computing unit 7c includes a processing unit 9c instead of the processing unit 9b according to the third embodiment described above.
  • the processing unit 9c includes an insertion switching addition unit 91c instead of the insertion switching addition unit 91b according to the third embodiment described above.
  • the insertion switching addition unit 91c includes an insertion time measurement unit 913 that measures the time when the medical device is inserted into the lumen, and an extraction time that measures the time until the medical device is removed from the deepest portion outside the lumen. A measurement unit 914.
  • the image processing device 1c executes the same processing as that of the image processing device 1 according to the first embodiment described above, and the above-described switching switching addition processing in FIG. 7 is different. In the following, the insertion switching addition process executed by the image processing apparatus 1c will be described.
  • FIG. 17 is a flowchart showing an outline of the switching addition process at the time of insertion executed by the image processing apparatus 1c.
  • the operation state estimation unit 8b estimates that the medical device is being inserted into the lumen (step S226: Yes)
  • the insertion time measurement unit 913 determines that the medical device is a lumen.
  • An insertion time measuring process for measuring the time inserted in the terminal is executed (step S227).
  • the image processing apparatus 1c proceeds to step S229 described later.
  • FIG. 18 is a flowchart showing an outline of the insertion time measurement process in step S227 of FIG.
  • the insertion time measurement unit 913 starts measurement from the time point when the medical device is determined to be in the lumen by the intraluminal determination unit 811, and sets the period during which the forward path determination unit 812 determines the forward path.
  • the insertion time is measured (step S302).
  • the image processing apparatus 1c returns to the above-described subroutine for switching addition at the time of insertion shown in FIG.
  • step S226 when it is estimated by the operation state estimation unit 8b that the medical device is not being inserted into the lumen (step S226: No), the removal time measurement unit 914 is the time for the medical device to be removed from the lumen. A removal time measurement process is performed to measure (step S228). After step S228, the image processing apparatus 1c proceeds to step S229 described later.
  • FIG. 19 is a flowchart showing an outline of the removal time measurement process in step S228 of FIG.
  • the removal time measurement unit 914 starts measurement from the time point determined by the forward path determination unit 812 as the deepest portion, and measures the period until the subject is out of the lumen as the removal time (step S303). ).
  • the image processing apparatus 1c returns to the above-described subroutine for insertion switching / addition processing in FIG.
  • step S229 the insertion switching addition unit 91c generates information on the measurement time of the insertion time or the removal time in the output unit 4.
  • the insertion switching addition unit 91c may output the output time to the output unit 4 using the insertion time or the removal time as a report or the like.
  • the switching addition part 91c at the time of insertion may estimate the reliability or difficulty of the inspection based on the insertion time and the removal time. In this case, when the removal time is extremely shorter than the predetermined time, for example, when the removal time is shorter than 6 minutes, which is an index in a general examination, the insertion time switching adding unit 91c is reliable for the examination by the practitioner.
  • the reliability may be output to the display device by the output unit 4. Further, when the insertion time is extremely longer than the predetermined time, the insertion switching addition unit 91c estimates that, for example, the degree of difficulty of the examination by the practitioner is high, and causes the output unit 4 to output this difficulty to the display device. Good. After step S229, the image processing apparatus 1c returns to the switching addition processing subroutine of FIG.
  • the insertion time and the removal time are output.
  • the insertion time and the removal time are recorded in the recording unit 5, and the output unit 4 inserts after the examination on the subject is completed.
  • the time and removal time may be described as a diagnostic report or the like created by the user.
  • the reliability and difficulty level of the examination performed by the user on the subject may be determined based on the insertion time and the removal time.
  • the fifth embodiment is different in configuration from the arithmetic unit 7b of the image processing apparatus 1b according to the third embodiment described above.
  • the processing executed by the image processing apparatus according to the fifth embodiment will be described. Note that the same components as those of the image processing apparatus 1b according to the third embodiment described above are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 20 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 5 of the present invention.
  • An image processing apparatus 1d illustrated in FIG. 20 includes a calculation unit 7d instead of the calculation unit 7b according to the third embodiment described above.
  • the calculation unit 7d includes a processing unit 9d instead of the processing unit 9b according to the third embodiment described above.
  • the processing unit 9d includes an insertion switching addition unit 91d instead of the insertion switching addition unit 91b according to the third embodiment described above.
  • the insertion switching addition unit 91d includes a return parameter setting unit 915 that acquires parameters necessary for support of the return path of the medical device, and a return path response unit 916 that handles the return path of the medical device in the lumen.
  • the return path parameter setting unit 915 includes a biological information acquisition unit 9151 that acquires information related to the living body based on the in-vivo lumen image.
  • the image processing apparatus 1d executes the same process as that of the image processing apparatus 1 according to the first embodiment described above, and the above-described switching process at the time of insertion in FIG. 7 is different. In the following, the switching change process at the time of insertion executed by the image processing apparatus 1d will be described.
  • FIG. 21 is a flowchart showing an outline of the insertion switching addition process executed by the image processing apparatus 1d.
  • the return path parameter setting unit 915 performs the return path of the medical device.
  • Return parameter setting processing for obtaining parameters necessary for the response is executed (step S231).
  • the image processing apparatus 1d returns to the subroutine of the switching addition process of FIG.
  • FIG. 22 is a flowchart showing an overview of the return path parameter setting process in step S231 of FIG. 21 described above.
  • the biological information acquisition unit 9151 performs a biological information acquisition process for acquiring information related to a living body based on the in-vivo lumen image acquired by the acquisition unit 2 (step S304).
  • the image processing apparatus 1d returns to the above-described subroutine for switching addition processing at the time of insertion shown in FIG.
  • FIG. 23 is a flowchart showing an outline of the biological information acquisition process in step S304 of FIG.
  • the biological information acquisition unit 9151 acquires statistical information on the color of the mucous membrane, the blood of the blood vessels, and the color of the body fluid based on the in-vivo lumen image (step S304a).
  • the biological information acquisition unit 9151 is based on the RGB information of the in-vivo lumen image, and the in-vivo lumen image may change depending on the subject such as mucous membrane, blood vessel, body fluid, and residue. Is obtained using well-known techniques.
  • the image processing apparatus 1d returns to the return path parameter setting process subroutine of FIG.
  • step S230 when it is estimated by the operation state estimation unit 8b that the medical device is not being inserted into the lumen (step S230: No), the return path corresponding unit 916 performs a return path processing for corresponding to the return path of the medical device. Execute (step S232). After step S232, the image processing apparatus 1d returns to the switching addition process subroutine of FIG.
  • FIG. 24 is a flowchart showing an overview of the return path corresponding process in step S232 of FIG.
  • the return path corresponding unit 916 generates information on the biological information acquired by the medical device in the forward path in the lumen by the return path parameter setting unit 915 for output by the output unit 4 (step S305). .
  • the return path corresponding unit 916 generates information regarding the position of a lesion candidate (specific region) or the position of a difficult-to-travel location included in the biological information acquired by the biological information acquisition unit 9151 when the medical device is removed.
  • the return path correspondence unit 916 is configured to set the image processing parameters suitable for the subject in the medical device when the medical device is removed from the deepest portion based on the biological information acquired by the biological information acquisition unit 9151. Do. Thereby, it is possible to easily detect a lesion on the return path.
  • the image processing apparatus 1d returns to the subroutine of the insertion switching addition process in FIG.
  • Modification 1 of Embodiment 5 Modification 1 of Embodiment 5 of the present invention will be described.
  • the first modification of the fifth embodiment is different in the biological information acquisition process executed by the image processing apparatus.
  • biometric information acquisition process which the image processing apparatus which concerns on the modification 1 of this Embodiment 5 performs is demonstrated. Note that the same components as those of the image processing apparatus 1b according to the third embodiment described above are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 25 is a flowchart showing an outline of the biological information acquisition process executed by the image processing apparatus according to the first modification of the fifth embodiment.
  • the biological information acquisition unit 9151 acquires the position information of the lesion candidate based on the in-vivo lumen image (Step S304b). Specifically, the biological information acquisition unit 9151 creates a reference for detecting a lesion candidate (specific region) in advance, and is well-known for in vivo lumen images sequentially input from the medical device via the acquisition unit 2.
  • the lesion candidate is identified by performing pattern matching, and information regarding the position of the imaging device is acquired from the medical device via the acquisition unit 2, or the imaging device based on the in-vivo lumen images sequentially input from the medical device.
  • a lesion candidate (specific region) and position information are acquired by acquiring a position.
  • the position information of the acquired lesion candidate is output by the processing unit 9d to the output unit 4 when the forward path determination unit 813 determines that the medical device is in the middle of being removed from the lumen. Display on the display device.
  • the processing unit 9d calculates the removal amount of the medical device based on the detection result from the sensor from the medical device, and the medical device approaches the position of the lesion candidate based on the calculation result.
  • the image processing device 1d proceeds to the return parameter setting processing subroutine of FIG. Return.
  • the examination is supported by the endoscope for the practitioner. can do.
  • FIG. 26 is a flowchart showing an outline of the biological information acquisition process executed by the image processing apparatus according to the second modification of the fifth embodiment.
  • the biological information acquisition unit 9151 acquires position information of a difficult-to-travel location of the medical device based on the in-vivo lumen image (Step S304c). Specifically, the biological information acquisition unit 9151 calculates the movement of the tip of the imaging device from the optical flowchart based on the temporally continuous in-vivo lumen images, and moves the movement amount in the traveling direction and the backward direction (extraction direction). If the movement amount in the backward direction is larger than the movement amount in the traveling direction, the current position of the imaging device is acquired from the medical device as a difficult-to-travel location.
  • the biological information acquisition unit 9151 has little change in the position in the lumen based on information from sensors such as an acceleration sensor and a motion sensor provided at the tip of the imaging device or information from a medical device. Or when a medical device repeats advancing and retreating, the position of the subtraction imaging device is acquired from the medical device as a difficult-to-travel location.
  • the processing unit 9d determines the position of the difficult-to-advance portion of the medical device acquired by the biometric information acquisition unit 9151 when the outward determination unit 813 determines that the medical device is in the middle of being removed from the lumen. Information may be output from the output unit 4 to the display device.
  • the processing unit 9d calculates the removal amount of removal of the medical device based on the detection result from the sensor from the medical device, and based on the calculation result, the medical device is located in the vicinity of the difficult progress position of the medical device.
  • the output unit 4 may cause the display device to output the position information of the difficult-to-travel portion of the medical device acquired by the biological information acquisition unit 9151.
  • FIG. 27 is a block diagram showing a configuration of an image processing apparatus according to Modification 3 of Embodiment 5 of the present invention.
  • An image processing apparatus 1e illustrated in FIG. 27 includes a calculation unit 7e instead of the calculation unit 7d according to the fifth embodiment described above.
  • the calculation unit 7e includes a processing unit 9e instead of the processing unit 9d according to the fifth embodiment described above.
  • the processing unit 9e includes an insertion switching addition unit 91e instead of the insertion switching addition unit 91d according to the fifth embodiment described above.
  • the insertion switching addition unit 91a includes a return path corresponding unit 916 and a return path parameter setting unit 917 that acquires parameters necessary for support of the return path of the medical device.
  • the return path parameter setting unit 917 includes a practitioner information acquisition unit 9171 that acquires information on a practitioner for the medical device.
  • FIG. 28 is a flowchart showing an outline of the return path parameter setting process executed by the image processing apparatus 1e.
  • the practitioner information acquisition unit 9171 performs a practitioner information acquisition process for acquiring information about the practitioner for the medical device (step S305).
  • the image processing apparatus 1e returns to the above-described switching addition processing subroutine of FIG.
  • FIG. 29 is a flowchart showing an overview of the practitioner information acquisition process in step S305 of FIG.
  • the practitioner information acquisition unit 9171 acquires time until the imaging device included in the medical device reaches the target deepest part (step S305a).
  • the practitioner information acquisition unit 9171 uses the same determination method as the forward path determination unit 812 described in step S122 of FIG. 9 described above, and after the imaging device included in the medical device is inserted into the lumen. Get the time to reach the deepest part.
  • the reason for acquiring the time is to measure the progress difficulty and to measure the practitioner's ability of the treatment level to support the return journey.
  • step S305a the image processing apparatus 1e returns to the return path parameter setting process subroutine of FIG.
  • FIG. 30 is a flowchart showing an outline of a practitioner information acquisition process executed by the image processing apparatus according to the fourth modification of the fifth embodiment.
  • the practitioner information acquisition unit 9171 acquires, from the medical device, transition information of the optical flow until the imaging device included in the medical device reaches the target (Step S305b).
  • the reason for acquiring the transition information of the optical flow is to measure the difficulty of progress or to measure the practitioner's ability of the treatment level to support the return journey. Thereby, when insertion time is long, it can be judged that the shape of the intestine of the patient who is the subject is complicated or the treatment level of the practitioner is low.
  • the image processing apparatus 1e returns to the return path parameter setting process subroutine of FIG.
  • processing according to the operating state of the medical device in the lumen can be performed. can do.
  • the sixth embodiment is different in configuration from the arithmetic unit 7b of the image processing apparatus 1b according to the third embodiment described above.
  • processing executed by the image processing apparatus according to the sixth embodiment will be described. Note that the same components as those of the image processing apparatus 1b according to the third embodiment described above are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 31 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 6 of the present invention.
  • An image processing device 1f shown in FIG. 31 includes a calculation unit 7f instead of the calculation unit 7b of the image processing device 1b according to the third embodiment described above.
  • the calculation unit 7f includes a processing unit 9f instead of the processing unit 9b according to the third embodiment described above.
  • the processing unit 9f includes an insertion switching addition unit 91f instead of the insertion switching addition unit 91b according to the third embodiment described above.
  • the insertion switching addition unit 91f estimates a lumen position or an organ imaged by the imaging device when the imaging device of the medical device is inserted into the lumen.
  • the insertion switching addition unit 91f includes an intraluminal position estimation unit 918 that estimates the position in the lumen that the imaging device is imaging based on the in vivo lumen image. Further, the intraluminal position estimation unit 918 includes a lumen position estimation unit 9181 that estimates the position of the lumen being imaged by the imaging apparatus.
  • the image processing device 1f executes the same processing as that of the image processing device 1 according to the first embodiment described above, and the above-described switching change processing at the time of insertion shown in FIG. 7 is different. In the following, the insertion switching addition process executed by the image processing apparatus 1f will be described.
  • FIG. 32 is a flowchart showing an outline of the insertion switching addition process executed by the image processing device 1f.
  • the intraluminal position estimation unit 918 estimates the intraluminal position captured by the imaging apparatus based on the estimation result of the operation state estimation unit 8b and the in vivo lumen image.
  • the intraluminal position estimation process is executed (step S229).
  • the image processing device 1f returns to the above-described switching addition processing subroutine of FIG.
  • FIG. 33 is a flowchart showing an outline of the intraluminal position estimation process in step S229 of FIG. 32 described above.
  • the lumen position estimation unit 9181 estimates a lumen position captured by the imaging device based on information from the sensor of the imaging device included in the medical device and the in-vivo lumen image.
  • a cavity position estimation process is executed (step S306).
  • the image processing device 1f returns to the above-described subroutine for the switching addition process at the time of insertion shown in FIG.
  • FIG. 34 is a flowchart showing an outline of the lumen position estimation processing in step S306 of FIG. 33 described above.
  • the lumen position estimation unit 9181 acquires information from the sensor of the imaging device included in the medical device, calculates a movement path based on the acquired information, and determines the position in the lumen of the imaging device. Estimate (step S306a).
  • the lumen position estimation unit 9181 acquires an operation history performed by the practitioner with respect to the operation unit included in the medical device, and based on the acquired operation history and information from the sensor, the tube position of the imaging apparatus is acquired. The position in the cavity may be estimated. Thereby, the estimation accuracy in the lumen of the imaging device can be increased.
  • the image processing device 1f returns to the subroutine of the intraluminal position estimation process in FIG.
  • Modification 1 of Embodiment 6 Next, Modification 1 of Embodiment 6 of the present invention will be described. A first modification of the sixth embodiment will be described. Modification 1 of the sixth embodiment differs in lumen position estimation processing executed by the image processing apparatus. In the following, the lumen position estimation process executed by the image processing apparatus according to the first modification of the sixth embodiment will be described. Note that the same components as those of the image processing device 1f according to the sixth embodiment described above are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 35 is a flowchart showing an outline of lumen position estimation processing executed by the image processing apparatus according to the first modification of the sixth embodiment.
  • the lumen position estimation unit 9181 estimates the position in the lumen of the imaging apparatus included in the medical device based on the anatomical characteristics with respect to the in-vivo lumen image (step). S306b). Specifically, the lumen position estimation unit 9181 compares the reference representing the anatomical difference in the lumen with the in-vivo lumen image, thereby obtaining the image of the imaging apparatus included in the medical device. Estimate the position in the lumen. After step S306b, the image processing device 1f returns to the subroutine of the intraluminal position estimation process in FIG.
  • the examination is supported by the endoscope for the practitioner. can do.
  • FIG. 36 is a block diagram showing a configuration of an image processing apparatus according to the second modification of the sixth embodiment of the present invention.
  • An image processing device 1g illustrated in FIG. 36 includes a calculation unit 7g instead of the calculation unit 7f of the image processing device 1f according to Embodiment 6 described above.
  • the calculation unit 7g includes a processing unit 9g instead of the processing unit 9f according to the sixth embodiment described above.
  • the processing unit 9g includes an insertion time switching addition unit 91g instead of the insertion time switching addition unit 91f according to Embodiment 6 described above.
  • the insertion addition unit 91g estimates an organ imaged by the imaging device when the imaging device included in the medical device is inserted into the lumen based on information from the medical device.
  • the insertion switching addition unit 91g includes an intraluminal position estimation unit 919 that estimates the position or organ in the lumen of the medical device in the lumen based on the in vivo lumen image.
  • the intraluminal position estimation unit 919 includes an intraluminal position estimation unit 919 that estimates the position in the lumen that the imaging device is imaging based on the body lumen image.
  • the intraluminal position estimation unit 919 includes an organ estimation unit 9191 that estimates an organ imaged by the imaging device based on the in vivo lumen image.
  • the organ estimation unit 9191 has a site estimation unit 919a that estimates the site of the organ imaged by the imaging device based on the in-vivo lumen image.
  • the image processing device 1g executes the same processing as that of the image processing device 1 according to the above-described first embodiment, and the above-described switching switching addition processing in FIG. In the following, an insertion time switching addition process executed by the image processing apparatus 1g will be described.
  • FIG. 37 is a flowchart showing an outline of the intraluminal position estimation process executed by the image processing apparatus 1g.
  • the organ estimation unit 9191 executes organ estimation processing for estimating an organ imaged by the imaging device based on the in-vivo lumen image (step S307).
  • the image processing apparatus 1g returns to the subroutine of the switching addition process of FIG.
  • FIG. 38 is a flowchart showing an outline of the organ estimation process in step S307 of FIG.
  • the part estimation unit 919a performs part estimation processing for estimating the part of the organ that is imaged by the imaging device based on the in-vivo lumen image (step S401).
  • the image processing apparatus 1g returns to the above-described organ estimation processing subroutine of FIG.
  • FIG. 39 is a flowchart showing an outline of the part estimation process of FIG.
  • the part estimation unit 919a estimates a part of the large intestine that appears in the in-vivo lumen image based on a preset reference (step S401a).
  • the site estimation unit 919a includes a plurality of criteria and in-vivo ducts for identifying each of a rectum, a sigmoid rectum, a descending colon, a liver bay, a transverse colon, a spleen bay, an ascending colon, and an ileocecum prepared in advance.
  • the large intestine region is estimated by comparing with the cavity image.
  • the image processing apparatus 1g returns to the above-described part estimation process subroutine of FIG.
  • the examination is supported by the endoscope for the practitioner. can do.
  • the site estimation unit 919a estimates the site of the large intestine as the site of the organ, but the site of another organ may be estimated.
  • FIG. 40 is a flowchart illustrating an outline of another part estimation process executed by the image processing apparatus 1g.
  • the part estimation unit 919a estimates a part of the esophagus that appears in the in-vivo lumen image based on a preset criterion (step S401b). Specifically, the part estimation unit 919a estimates a part of the esophagus by comparing a plurality of criteria for identifying each of the esophageal hiatus and cardia created in advance with the in-vivo lumen image. After step S401b, the image processing apparatus 1g returns to the above-described part estimation process subroutine of FIG.
  • FIG. 41 is a flowchart showing an outline of another part estimation process executed by the image processing apparatus 1g.
  • the part estimation unit 919a estimates the part of the stomach that appears in the in-vivo lumen image based on a preset criterion (step S401c).
  • the region estimation unit 919a compares the plurality of criteria for identifying each of the stomach bottom, stomach body, vestibule, and pylorus created in advance with the in-vivo lumen image, thereby comparing the region of the stomach. Is estimated.
  • the image processing apparatus 1g returns to the above-described part estimation process subroutine of FIG.
  • the duodenum site may be estimated as the organ site.
  • FIG. 42 is a flowchart illustrating an outline of another part estimation process executed by the image processing apparatus 1g.
  • the site estimation unit 919a estimates the site of the duodenum that appears in the in-vivo lumen image based on a preset criterion (step S401d). Specifically, the site estimation unit 919a estimates the site of the duodenum by comparing a plurality of criteria for identifying each of the sphere and the fat papillae created in advance with the in-vivo lumen image.
  • the image processing apparatus 1g returns to the above-described part estimation process subroutine of FIG.
  • FIG. 43 is a flowchart showing an outline of another part estimation process executed by the image processing apparatus 1g.
  • the site estimation unit 919a estimates the site of the small intestine that appears in the in-vivo lumen image based on a preset criterion (step S401e). Specifically, the site estimation unit 919a estimates a site of the small intestine by comparing a plurality of criteria for identifying each of the jejunum and ileum created in advance with the in-vivo lumen image.
  • the image processing apparatus 1g returns to the above-described part estimation process subroutine of FIG.
  • the image processing program recorded in the recording apparatus can be realized by executing it on a computer system such as a personal computer or a workstation. Further, such a computer system is used by being connected to other computer systems, servers, or other devices via a public line such as a local area network (LAN), a wide area network (WAN), or the Internet. Also good.
  • a computer system such as a personal computer or a workstation.
  • a computer system is used by being connected to other computer systems, servers, or other devices via a public line such as a local area network (LAN), a wide area network (WAN), or the Internet. Also good.
  • LAN local area network
  • WAN wide area network
  • the Internet also good.
  • the image processing apparatuses acquire the image data of the intraluminal image via these networks, and the viewers connected via these networks
  • the image processing result is output to various output devices such as a printer, or the image processing result is stored in a storage device connected via the network, for example, a recording medium that can be read by a reading device connected to the network. You may do it.
  • the present invention is not limited to the first to sixth embodiments and the modifications thereof, and various inventions can be made by appropriately combining a plurality of constituent elements disclosed in the respective embodiments and modifications. Can be formed. For example, some constituent elements may be excluded from all the constituent elements shown in each embodiment or modification, or may be formed by appropriately combining the constituent elements shown in different embodiments or modifications. May be.

Abstract

医療機器の管腔内における挿入動作状態に応じた処理を行うことができる画像処理装置、画像処理方法およびプログラムを提供する。画像処理装置１は、被検体の管腔内に挿入可能な撮像装置を有する医療機器から順次入力される情報に基づいて、管腔内における医療機器の動作状態を推定する動作状態推定部８と、動作状態推定部の推定結果に基づいて、管腔内における医療機器の動作状態に応じた処理を行う処理部９と、を備える。

Description

画像処理装置、動作方法およびプログラム
　本発明は、生体内管腔内に挿入され、時系列で連続して撮像する撮像装置を有する医療機器からの情報に基づいて、医療機器の挿入動作状態を推定して処理を行う画像処理装置、動作方法およびプログラムに関する。
　特許文献１には、被観察部位の相対的な動きの量を検出し、この検出結果に基づいて、通常照明光と特殊照明光とを切り替える技術が開示されている。この技術では、検出結果が閾値以下の場合、通常照明光と特殊照明光とを交互に照射させる一方、検出結果が閾値を超える場合、特殊照明光のみを照射させる。
特開２０１０－６３５８９号公報
　ところで、上述した特許文献１で開示された内視鏡の主な使用目的は、施術者による病変の発見および診断である。しかしながら、実際の内視鏡検査では、病変の発見および診断だけでなく、管腔内における内視鏡等の医療機器の動作状態に応じた処理も存在するが、管腔内における医療機器の動作状態に応じた処理を行っていなかった。
　本発明は、上記に鑑みてなされたものであって、管腔内における医療機器の動作状態に応じた処理を行うことができる画像処理装置、動作方法およびプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、撮像装置を先端に有する医療機器から順次入力される情報に基づいて、前記管腔内における前記医療機器の動作状態を推定する動作状態推定部と、前記動作状態推定部の推定結果に基づいて、前記管腔内における前記医療機器の動作状態に応じた処理を行う処理部と、を備えることを特徴とする。
　また、本発明に係る動作方法は、画像処理装置が実行する動作方法であって、被検体の管腔内に挿入される挿入部と、撮像装置と、を有する医療機器から順次入力される情報に基づいて、前記管腔内における前記医療機器の動作状態を推定する動作状態推定ステップと、前記動作状態推定ステップの推定結果に基づいて、前記管腔内における前記医療機器の動作状態に応じた処理を行う処理ステップと、を含むことを特徴とする。
　また、本発明に係るプログラムは、画像処理装置に、被検体の管腔内に挿入される挿入部と、撮像装置と、を有する医療機器から順次入力される情報に基づいて、前記管腔内における前記医療機器の動作状態を推定する動作状態推定ステップと、前記動作状態推定ステップの推定結果に基づいて、前記管腔内における前記医療機器の動作状態に応じた処理を行う処理ステップと、を実行させることを特徴とする。
　本発明によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるという効果を奏する。
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図３は、図２の動作状態推定処理の概要を示すフローチャートである。 図４は、図３の挿入動作判定処理の概要を示すフローチャートである。 図５は、図４の往路判定処理の概要を示すフローチャートである。 図６は、図２の切換追加処理の概要を示すフローチャートである。 図７は、図６の切換追加処理の概要を示すフローチャートである。 図８は、挿入時切換追加処理において表示装置に表示させる画像の一例を模式的に説明する図である。 図９は、本発明の実施の形態１の変形例１に係る画像処理装置が実行する往路判定処理の概要を示すフローチャートである。 図１０は、本発明の実施の形態１の変形例２に係る画像処理装置が実行する往路判定処理の概要を示すフローチャートである。 図１１は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。 図１２は、本発明の実施の形態２に係る画像処理装置が実行する挿入時切換追加処理の概要を示すフローチャートである。 図１３は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。 図１４は、本発明の実施の形態３に係る画像処理装置が実行する挿入時切換追加処理の概要を示すフローチャートである。 図１５は、図１４の挿入時発見病変数カウント処理の概要を示すフローチャートである。 図１６は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。 図１７は、本発明の実施の形態４に係る画像処理装置が実行する挿入時切換追加処理の概要を示すフローチャートである。 図１８は、図１７の挿入時間測定処理の概要を示すフローチャートである。 図１９は、図１７の抜去時間測定処理の概要を示すフローチャートである。 図２０は、本発明の実施の形態５に係る画像処理装置の構成を示すブロック図である。 図２１は、本発明の実施の形態５に係る画像処理装置が実行する挿入時切換追加処理の概要を示すフローチャートである。 図２２は、図２１の復路用パラメータ設定処理の概要を示すフローチャートである。 図２３は、図２２の生体情報取得処理の概要を示すフローチャートである。 図２４は、図２１の復路対応処理の概要を示すフローチャートである。 図２５は、本発明の実施の形態５の変形例１に係る画像処理装置が実行する生体情報取得処理の概要を示すフローチャートである。 図２６は、本発明の実施の形態５の変形例２に係る画像処理装置が実行する生体情報取得処理の概要を示すフローチャートである。 図２７は、本発明の実施の形態５の変形例３に係る画像処理装置の構成を示すブロック図である。 図２８は、本発明の実施の形態５の変形例３に係る画像処理装置が実行する復路用パラメータ設定処理の概要を示すフローチャートである。 図２９は、図２８の施術者情報取得処理の概要を示すフローチャートである。 図３０は、本発明の実施の形態５の変形例４に係る画像処理装置が実行する施術者情報取得処理の概要を示すフローチャートである。 図３１は、本発明の実施の形態６に係る画像処理装置の構成を示すブロック図である。 図３２は、本発明の実施の形態６に係る画像処理装置が実行する挿入時切換追加処理の概要を示すフローチャートである。 図３３は、図３２の管腔内位置推定処理の概要を示すフローチャートである。 図３４は、図３３の管腔位置推定処理の概要を示すフローチャートである。 図３５は、本発明の実施の形態６の変形例１に係る画像処理装置が実行する管腔位置推定処理の概要を示すフローチャートである。 図３６は、本発明の実施の形態６の変形例２に係る画像処理装置の構成を示すブロック図である。 図３７は、本発明の実施の形態６の変形例２に係る画像処理装置が実行する管腔内位置推定処理の概要を示すフローチャートである。 図３８は、図３７の臓器推定処理の概要を示すフローチャートである。 図３９は、図３８の部位推定処理の概要を示すフローチャートである。 図４０は、本発明の実施の形態６の変形例２に係る画像処理装置が実行する別の部位推定処理の概要を示すフローチャートである。 図４１は、本発明の実施の形態６の変形例２に係る画像処理装置が実行する別の部位推定処理の概要を示すフローチャートである。 図４２は、本発明の実施の形態６の変形例２に係る画像処理装置が実行する別の部位推定処理の概要を示すフローチャートである。 図４３は、本発明の実施の形態６の変形例２に係る画像処理装置が実行する別の部位推定処理の概要を示すフローチャートである。
　以下、本発明の実施の形態に係る画像処理装置、動作方法およびプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一の部分には同一の符号を付して示している。
（実施の形態１）
　〔画像処理装置の構成〕
　図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態１に係る画像処理装置１は、一例として、軟性内視鏡や硬性内視鏡等の内視鏡スコープを含む内視鏡またはカプセル型内視鏡（以下、これらをまとめて単に「医療装置」という）によって、被検体の管腔内を連続的に撮像された時系列順に並ぶ生体内管腔画像または医療機器からの情報に基づいて、医療機器の挿入動作状態を推定し、推定結果に応じた処理を行う装置である。また、生体内管腔画像は、通常、各画素位置において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。また、病変領域とは、特定領域として、出血、発赤、凝固血、腫瘍、びらん、潰瘍、アフタ、絨毛異常等、病変または異常とみられる部位が写った特定領域、即ち異常領域である。さらに、以下において、挿入とは、医療機器の先端が被検体の管腔内に入り、対象位置に到達するまでである。また、抜去とは、医療機器の先端が被検体の管腔内における対象位置に到達した後に管腔外に出るまでである。また、対象位置に到達するまでを往路とし、対象位置から被検体の管腔外に出るまでを復路とする。さらに、医療機器からの情報には、生体内管腔画像以外に、医療機器に対する施術者の操作情報、医療機器の先端に設けられた加速度センサ、温度センサおよび磁気発生センサ等のセンサからの情報、および医療機器の先端の形状に関する形状情報等が含まれる。
　図１に示す画像処理装置１は、医療機器によって撮像された生体内管腔画像を含む情報を医療機器または外部から取得する取得部２と、外部からの操作によって入力された入力信号を受け付ける入力部３と、画像や各種情報を表示装置へ出力する出力部４と、取得部２によって取得された生体内管腔画像、医療機器からの情報および各種プログラムを記録する記録部５と、画像処理装置１全体の動作を制御する制御部６と、生体内管腔画像に対して所定の画像処理や処理を切り替える演算部７と、を備える。なお、本実施の形態１では、取得部２が外部の医療機器から生体内管腔画像を含む情報を取得しているが、例えば画像処理装置１に撮像機能を有する撮像部を設け、被検体の生体内管腔画像を撮像してもよい。
　取得部２は、医療機器を含むシステムの態様に応じて適宜構成される。例えば、取得部２は、医療機器との間の生体内管腔画像の受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録された生体内管腔画像を読み出すリーダ装置として構成される。また、取得部２は、医療機器によって撮像された生体内管腔画像を記録するサーバを用いる場合、このサーバと双方向に通信可能な通信装置等で構成され、サーバとデータ通信を行うことによって生体内管腔画像を取得する。さらにまた、取得部２は、医療機器からケーブルを介して生体内管腔画像が入力されるインターフェース装置等で構成してもよい。
　入力部３は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、外部からの操作に応じて受け付けた入力信号を制御部６へ出力する。なお、入力部３は、必ずしも有線である必要はなく、例えば無線であってもよい。
　出力部４は、制御部６の制御のもと、演算部７の演算によって抽出された情報や画像を有線接続によって接続された表示装置や無線通信によって接続された表示装置等へ出力する。なお、出力部４は、液晶や有機ＥＬ（Electro　Luminescence）の表示パネル等を用いて構成し、演算部７の演算によって画像処理が施された画像を含む各種画像を表示してもよいし、音や文字等によって警告を出力してもよい。
　記録部５は、フラッシュメモリ、ＲＯＭ（Read　Only　Memory）およびＲＡＭ（Random　Access　Memory）といった各種ＩＣメモリ、および内蔵若しくはデータ通信端子で接続されたハードディスク等によって実現される。記録部５は、取得部２によって取得された生体内管腔画像や動画の他、画像処理装置１を動作させるとともに、種々の機能を画像処理装置１に実行させるためのプログラムや動作させるためのプログラム、このプログラムの実行中に使用されるデータ等を記録する。例えば、記録部５は、生体内管腔画像に対してオプティカルフロー等を行うための画像処理プログラム５１、および、このプログラムの実行中に使用される種々の情報等を記録する。さらに、記録部５は、演算部７が病変検出等を行う際に、予め病変等の特徴が設定されたテンプレートや病変の判断に用いる基準を記録する。
　制御部６は、ＣＰＵ（Central　Processing　Unit）等の汎用プロセッサまたはＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部６が汎用プロセッサである場合、記録部５が記憶する各種プログラムを読み込むことによって画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。また、制御部６が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記録部５が記憶する各種データ等を用いることで、プロセッサと記録部５が協働または結合して種々の処理を実行してもよい。
　演算部７は、ＣＰＵ等の汎用プロセッサまたはＡＳＩＣやＦＰＧＡ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部７が汎用プロセッサである場合、記録部５から画像処理プログラム５１を読み込むことにより、取得した生体内管腔画像または医療機器からの情報に基づいて、医療機器の管腔内における挿入動作状態を推定し、推定した動作に応じた処理を実行する。また、演算部７が専用プロセッサである場合、プロセッサが単独で種々の処理を実行してもよいし、記録部５が記憶する各種データ等を用いることで、プロセッサと記録部５が協働または結合して処理を実行してもよい。
　〔演算部の詳細な構成〕
　次に、演算部７の詳細な構成について説明する。演算部７は、動作状態推定部８と、処理部９と、を備える。
　動作状態推定部８は、制御部６または記録部５を介して取得部２が取得した医療機器から順次入力される情報に基づいて、管腔内における医療機器の動作状態を推定する。動作状態推定部８は、挿入動作判定部８１を有する。
　挿入動作判定部８１は、制御部６または記録部５を介して取得部２が取得した医療機器から順次入力される情報に基づいて、医療機器の管腔内における挿入動作を判定する。挿入動作判定部８１は、医療機器が有する撮像装置が管腔内に挿入されているか否かを判定する管腔内判定部８１１と、医療機器が観察対象の目標に向けて挿入動作が行われている最中である往路であるか否かを判定する往路判定部８１２と、を有する。
　処理部９は、動作状態推定部８の推定結果に基づいて、管腔内における医療機器の動作状態に応じた処理を行う。処理部９は、挿入時切換追加部９１を有する。
　挿入時切換追加部９１は、動作状態推定部８が挿入動作と判定した場合、挿入動作に合わせた処理に切り換える、または処理を追加する。
　〔画像処理装置の処理〕
　次に、画像処理装置１が実行する処理について説明する。図２は、画像処理装置１が実行する処理の概要を示すフローチャートである。
　図２に示すように、まず、動作状態推定部８は、取得部２が取得した生体内管腔画像に基づいて、医療機器の動作状態を推定する動作状態推定処理を実行する（ステップＳ１）。ステップＳ１の後、画像処理装置１は、後述するステップＳ２へ移行する。
　図３は、図２のステップＳ１の動作状態推定処理の概要を示すフローチャートである。図３に示すように、挿入動作判定部８１は、取得部２が取得した生体内管腔画像に基づいて、医療機器が管腔内に挿入されているか否かを判定する挿入動作判定処理を実行する（ステップＳ１０）。具体的には、挿入動作判定部８１は、取得部２が取得した生体内管腔画像に基づいて、医療機器が有する挿入部が管腔内に存在するか否かを判定するとともに、医療機器を目標とする対象位置に向けて挿入動作を行うことによって進めているか否かを判定する。ステップＳ１０の後、画像処理装置１は、図２のメインルーチンへ戻る。
　図４は、図３のステップＳ１０の挿入動作判定処理の概要を示すフローチャートである。図４に示すように、管腔内判定部８１１は、医療機器が有する撮像装置の先端部が管腔内に存在するか否かを判定する（ステップＳ１１）。具体的には、管腔内判定部８１１は、取得部２が取得した生体内管腔画像と、予め管腔内と識別できる基準とを比較することによって、医療機器が有する挿入部の先端部が管腔内に存在するか否かを判定する。もちろん、管腔内判定部８１１は、基準による判定以外にも、例えば生体内管腔画像の特徴量に基づいて、医療機器が有する挿入部の先端部が管腔内に存在するか否かを判定してもよいし、生体内管腔画像の色味、輝度およびＲＧＢのヒストグラムの統計値等に基づいて、医療機器が有する挿入部の先端部が管腔内に存在するか否かを判定してもよい。
　続いて、往路判定部８１２は、医療機器が目標とする対象位置まで挿入動作が行われている最中である往路であるか否かを判定する往路判定処理を実行する（ステップＳ１２）。ステップＳ１２の後、画像処理装置１は、上述した図３の動作状態推定処理のサブルーチンへ戻る。
　図５は、図４のステップＳ１２の往路判定処理の概要を示すフローチャートである。図５に示すように、往路判定部８１２は、時間的に前後する２つの生体内管腔画像の画像間のオプティカルフローに基づいて、医療機器が往路であるか否かを判定する（ステップＳ１２１）。具体的には、往路判定部８１２は、画像間のオプティカルフローによりローカルモーションを算出し、この算出した算出結果に基づいて、管腔内における医療機器の進行方向を推定することにより、医療機器が目標とする対象位置に向けて管腔内を進んでいる場合、往路と判定する。また、医療機器を管腔内に挿入している際に、医療機器を管腔内において前後に移動させることがある。このため、往路判定部８１２は、予め所定時間を設定し、この所定時間内におけるローカルモーションを利用することによって、往路であるか否かの判定の精度を高めてもよい。なお、所定時間は、入力部３を介して設定してもよいし、予め実験等によって最適な時間を設定するようにすればよい。また、往路判定部８１２は、医療機器からの情報に含まれる加速度センの加速度またはモーションセンサ（方位センサ、ジャイロセンサ）からの測定結果から移動距離を推定し、この推定した移動距離に基づいて、医療機器が往路であるか否かを判定してもよいし、生体内管腔画像と予め設定した基準とを比較し、この比較結果に基づいて、医療機器が往路であるか否かを判定してもよい。ステップＳ１３の後、画像処理装置１は、図４の挿入動作判定処理のサブルーチンへ戻る。
　図２に戻り、ステップＳ２以降の説明を続ける。
　ステップＳ２において、処理部９は、動作状態推定部８の推定結果に基づいて、管腔内における医療機器の動作状態に応じた処理を行う切換追加処理を実行する。ステップＳ２の後、画像処理装置１は、後述するステップＳ３へ移行する。
　図６は、図２のステップＳ２の切換追加処理の概要を示すフローチャートである。図６に示すように、動作状態推定部８によって医療機器が管腔内に対して挿入動作を行っていると推定された場合（ステップＳ２１：Ｙｅｓ）、挿入時切換追加部９１は、挿入動作に合わせた処理に切り換える、または処理を追加する挿入時切換追加処理を実行する（ステップＳ２２）。ステップＳ２２の後、画像処理装置１は、図２のメインルーチンへ戻る。これに対して、動作状態推定部８によって医療機器が管腔内に対して挿入動作を行っていないと推定された場合（ステップＳ２１：Ｎｏ）、画像処理装置１は、図２のメインルーチンへ戻る。
　図７は、図６のステップＳ２２の挿入時切換追加処理の概要を示すフローチャートである。図７に示すように、挿入時切換追加部９１は、挿入情報を出力部４に出力させる（ステップＳ２２１）。具体的には、挿入時切換追加部９１は、動作状態推定部８が管腔内であると推定していることや、医療機器が管腔内に挿入中であることを示す情報を生成する。ステップＳ２２１の後、画像処理装置１は、図６のサブルーチンへ戻る。
　図２に戻り、ステップＳ３移行の説明を続ける。
　ステップＳ３において、入力部３を介して表示装置による表示が設定されている場合（ステップＳ３：Ｙｅｓ）、出力部４は、動作状態推定部８の推定結果および処理部９の処理内容を表示装置に出力することによって表示装置に表示させる（ステップＳ４）。具体的には、図８に示すように、出力部４は、表示装置が表示する生体内管腔画像Ｐ１中に、挿入時切換追加部９１が生成した医療機器が管腔内に挿入中であることを示す情報Ｆ１が表示されるように表示装置に出力する。これにより、施術者は、医療機器の現在の状態を直感的に把握することができる。なお、出力部４は、情報Ｆ１に替えて、医療機器が管腔内に挿入中であることを示す音や光を出力するようにしてもよい。ステップＳ４の後、画像処理装置１は、本処理を終了する。これに対して、入力部３を介して表示装置による表示が設定されていない場合（ステップＳ３：Ｎｏ）、画像処理装置１は、本処理を終了する。
　以上説明した本発明の実施の形態１によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるので、施術者に対して内視鏡による検査を支援することができる。
（実施の形態１の変形例１）
　次に、本発明の形態１の変形例１について説明する。本実施の形態１の変形例１は、画像処理装置が実行する往路判定処理が異なる。以下においては、本実施の形態１の変形例１に係る画像処理装置が実行する往路判定処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
　図９は、本実施の形態１の変形例１に係る画像処理装置が実行する往路判定処理の概要を示すフローチャートである。
　図９に示すように、往路判定部８１２は、予め設定した観察対象の目標と生体内管腔画像との一致度に基づいて、医療機器が管腔内における観察対象の目標に向けて挿入動作が行われている最中である往路であるか否かを判定する（ステップＳ１２２）。例えば、施術者は、被検体が大腸検査を行う場合、医療機器を回盲まで挿入し、医療機器を回盲に到達させた後、回盲から医療機器を抜去しながら観察を行う。この場合、往路判定部８１２は、予め観察対象の目標を回盲と設定し、医療機器が時系列で順次撮像した生体内管腔画像に対して回盲であるか否かを判定することによって、生体内管腔画像が観察対象の目標と一致するまで判定を行い、観察対象の目標と一致する一致度が所定の閾値以上である生体内管腔画像が撮像されるまで、医療機器が往路と判定する。なお、往路判定部８１２は、予め観察対象の目標となる基準画像（基準）と生体内管腔画像との一致度を比較することによって、医療機器が往路であるか否かを判定してもよい。さらに、往路判定部８１２は、予め設定した時間内に、生体内管腔画像が観察対象の目標と一致しない場合、観察対象の目標に到達したと判定してもよい。ステップＳ１２２の後、画像処理装置１は、図４の挿入動作判定処理のサブルーチンへ戻る。
　以上説明した本発明の実施の形態１の変形例１によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるので、施術者に対して内視鏡による検査を支援することができる。
（実施の形態１の変形例２）
　次に、本発明の実施の形態１の変形例２について説明する。本実施の形態１の変形例２は、画像処理装置が実行する往路判定処理が異なる。以下においては、本実施の形態１の変形例２に係る画像処理装置が実行する往路判定処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
　図１０は、本実施の形態１の変形例２に係る画像処理装置が実行する往路判定処理の概要を示すフローチャートである。図１０に示すように、往路判定部８１２は、取得部２が取得した医療機器の情報に含まれる加速度センサが検出した検出結果に基づいて、医療機器の進行方向（挿入方向または観察対象の目標）および後退方向（抜去方向）それぞれの移動量を算出し、所定時間における進行方向の移動量が後退方向の移動量より大きい場合、医療機器が往路であると判定する（ステップＳ１２３）。なお、医療機器に設けられた撮像装置の移動量と移動方向とを取得することができれば、加速度センサ以外のセンサ、例えばジャイロセンサ等であってもよい。ステップＳ１２３の後、画像処理装置１は、図４の挿入動作判定処理のサブルーチンへ戻る。
　以上説明した本発明の実施の形態１の変形例２によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるので、施術者に対して内視鏡による検査を支援することができる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。本実施の形態２は、上述した実施の形態１に係る画像処理装置１の演算部７と構成が異なる。以下においては、本実施の形態２に係る画像処理装置の構成を説明後、本実施の形態２に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
　〔画像処理装置の構成〕
　図１１は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。図１１に示す画像処理装置１ａは、上述した実施の形態１に係る演算部７に換えて、演算部７ａを備える。演算部７ａは、上述した実施の形態１に係る処理部９に換えて、処理部９ａを備える。処理部９ａは、上述した実施の形態１に係る挿入時切換追加部９１に換えて、挿入時切換追加部９１ａを有する。挿入時切換追加部９１ａは、動作状態推定部８によって医療機器からの生体内管腔画像が観察対象の最深部の目標と判定された場合、この生体内管腔画像を自動的に記録部５に記録する最深部自動記録部９１１を有する。
　〔画像処理装置の処理〕
　次に、画像処理装置１ａが実行する処理について説明する。画像処理装置１ａは、上述した実施の形態１に係る画像処理装置１と同様の処理を実行し、上述した図７の挿入時切換追加処理が異なる。以下においては、画像処理装置１ａが実行する挿入時切換追加処理について説明する。図１２は、画像処理装置１ａが実行する挿入時切換追加処理の概要を示すフローチャートである。
　図１２に示すように、最深部自動記録部９１１は、動作状態推定部８によって医療機器からの生体内管腔画像が観察対象の目標とする最深部と判定された場合、この生体内管腔画像を自動的に記録部５に記録する（ステップＳ２２２）。例えば、最深部自動記録部９１１は、上述した実施の形態１の変形例１において往路判定部８１２が観察対象の目標とする最深部の回盲と判定したときの生体内管腔画像を記録部５に自動的に記録する。この自動的に記録する生体内管腔画像は、医療機器が連続的に撮像し、取得部２が順次取得した生体内管腔画像と識別して記録部５に記録する。ここで、識別して記録部５に記録する理由は、施術者が被検体に対して検査を実施したことを証明するためである。なお、他の識別した生体内管腔画像は、出力部４によって外部に出力されることによって、被検体の検査レポートとして用いられてもよい。また、最深部自動記録部９１１は、往路判定部８１２が観察対象の目標とする最深部の回盲と判定した場合、出力部４を介して医療機器が有する撮像装置に対して撮影を指示する指示信号を出力させた後に、医療機器から入力された生体内管腔画像を他の生体内管腔画像と識別して記録部５に記録させてもよい。ステップＳ２２２の後、画像処理装置１ａは、上述した図６の切換追加処理のサブルーチンへ戻る。
　以上説明した本発明の実施の形態２によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるので、施術者に対して内視鏡による検査を支援することができる。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。本実施の形態３は、上述した実施の形態１に係る画像処理装置１の演算部７と構成が異なる。以下においては、本実施の形態３に係る画像処理装置の構成を説明後、本実施の形態３に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。
　〔画像処理装置の構成〕
　図１３は、本発明の実施の形態３に係る画像処理装置の構成を示すブロック図である。図１３に示す画像処理装置１ｂは、上述した実施の形態１に係る演算部７に換えて、演算部７ｂを備える。演算部７ｂは、上述した実施の形態１に係る処理部９に換えて、処理部９ｂを備える。処理部９ｂは、上述した実施の形態１に係る挿入時切換追加部９１に換えて、挿入時切換追加部９１ｂを有する。
　挿入時切換追加部９１ｂは、医療機器の挿入時に、対象とする病変数をカウントする挿入時発見病変数カウント部９１２を有する。また、挿入時発見病変数カウント部９１２は、生体内管腔画像に対して病変を検出する病変検出部９１２１を有する。
　〔画像処理装置の処理〕
　次に、画像処理装置１ｂが実行する処理について説明する。画像処理装置１ｂは、上述した実施の形態１に係る画像処理装置１と同様の処理を実行し、上述した図７の挿入時切換追加処理が異なる。以下においては、画像処理装置１ｂが実行する挿入時切換追加処理について説明する。図１４は、画像処理装置１ｂが実行する挿入時切換追加処理の概要を示すフローチャートである。
　図１４に示すように、まず、動作状態推定部８ｂによって医療機器が管腔内に挿入中であると推定された場合（ステップＳ２２３：Ｙｅｓ）、挿入時発見病変数カウント部９１２は、対象とする病変数をカウントする挿入時発見病変数カウント処理を実行する（ステップＳ２２４）。ステップＳ２２４の後、画像処理装置１ｂは、図６の切換追加処理のサブルーチンへ戻る。
　図１５は、図１４のステップＳ２２４の挿入時発見病変数カウント処理の概要を示すフローチャートである。図１５に示すように、病変検出部９１２１は、生体内管腔画像から病変を検出する（ステップＳ３０１）。具体的には、病変検出部９１２１は、予め設定された基準を用いて取得部２を介して医療機器から順次入力される生体内管腔画像に対して周知のテンプレートマッチング等を行うことによって挿入中の病変数をカウントする（基準との類似度が所定の範囲内にある特定領域の数をカウント）。ステップＳ３０１の後、画像処理装置１ｂは、図１４の挿入時切換追加処理のサブルーチンへ戻る。
　図１４に戻り、挿入切換追加処理の説明を続ける。
　ステップＳ２２３において、動作状態推定部８ｂによって医療機器が管腔内に挿入中でないと推定された場合（ステップＳ２２３：Ｎｏ）、挿入時切換追加部９１ｂは、出力部４に挿入時発見病変数カウント部９１２がカウントした病変の数に関する情報を生成する（ステップＳ２２５）。ステップＳ２２５の後、画像処理装置１ｂは、図６の切換追加処理のサブルーチンへ戻る。
　以上説明した本発明の実施の形態３によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるので、施術者に対して内視鏡による検査を支援することができる。
（実施の形態４）
　次に、本発明の実施の形態４について説明する。本実施の形態４は、上述した実施の形態３に係る画像処理装置１ｂの演算部７ｂと構成が異なる。以下においては、本実施の形態４に係る画像処理装置の構成を説明後、本実施の形態４に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態３に係る画像処理装置１ｂと同一の構成には同一の符号を付して説明を省略する。なお、上述した実施の形態２に係る画像処理装置１ｂと同一の構成には同一の符号を付して説明を省略する。
　〔画像処理装置の構成〕
　図１６は、本発明の実施の形態４に係る画像処理装置の構成を示すブロック図である。図１６に示す画像処理装置１ｃは、上述した実施の形態３に係る演算部７ｂに換えて、演算部７ｃを備える。演算部７ｃは、上述した実施の形態３に係る処理部９ｂに換えて、処理部９ｃを備える。処理部９ｃは、上述した実施の形態３に係る挿入時切換追加部９１ｂに換えて、挿入時切換追加部９１ｃを有する。
　挿入時切換追加部９１ｃは、医療機器が管腔内に挿入された時間を測定する挿入時間測定部９１３と、医療機器が最深部から管腔外に抜去されるまでの時間を測定する抜去時間測定部９１４と、を有する。
　〔画像処理装置の処理〕
　次に、画像処理装置１ｃが実行する処理について説明する。画像処理装置１ｃは、上述した実施の形態１に係る画像処理装置１と同様の処理を実行し、上述した図７の挿入時切換追加処理が異なる。以下においては、画像処理装置１ｃが実行する挿入時切換追加処理について説明する。
　図１７は、画像処理装置１ｃが実行する挿入時切換追加処理の概要を示すフローチャートである。図１７に示すように、まず、動作状態推定部８ｂによって医療機器が管腔内に挿入中であると推定された場合（ステップＳ２２６：Ｙｅｓ）、挿入時間測定部９１３は、医療機器が管腔内に挿入されていた時間を測定する挿入時間測定処理を実行する（ステップＳ２２７）。ステップＳ２２７の後、画像処理装置１ｃは、後述するステップＳ２２９へ移行する。
　図１８は、図１７のステップＳ２２７の挿入時間測定処理の概要を示すフローチャートである。図１８に示すように、挿入時間測定部９１３は、管腔内判定部８１１によって医療機器が管腔内と判定された時点から測定を開始し、往路判定部８１２によって往路と判定される期間を挿入時間として測定する（ステップＳ３０２）。ステップＳ３０２の後、画像処理装置１ｃは、上述した図１７の挿入時切換追加処理のサブルーチンへ戻る。
　図１７へ戻り、挿入時切換追加処理の説明を続ける。
　ステップＳ２２６において、動作状態推定部８ｂによって医療機器が管腔内に挿入中でないと推定された場合（ステップＳ２２６：Ｎｏ）、抜去時間測定部９１４は、医療機器が管腔内から抜去される時間を測定する抜去時間測定処理を実行する（ステップＳ２２８）。ステップＳ２２８の後、画像処理装置１ｃは、後述するステップＳ２２９へ以降する。
　図１９は、図１７のステップＳ２２８の抜去時間測定処理の概要を示すフローチャートである。図１９に示すように、抜去時間測定部９１４は、往路判定部８１２によって最深部と判定された時点から測定を開始し、被検体の管腔外までの期間を抜去時間として測定する（ステップＳ３０３）。ステップＳ３０３の後、画像処理装置１ｃは、上述した図１７の挿入時切換追加処理のサブルーチンへ戻る。
　図１７へ戻り、ステップＳ２２９以降の説明を続ける。
　ステップＳ２２９において、挿入時切換追加部９１ｃは、出力部４に挿入時間または抜去時間の測定時間に関する得情報を生成する。なお、挿入時切換追加部９１ｃは、挿入時間または抜去時間をレポート等にして出力部４に出力させもよい。また、挿入時切換追加部９１ｃは、挿入時間および抜去時間に基づいて、検査の信頼度または難易度を推定してもよい。この場合、挿入時切換追加部９１ｃは、抜去時間が所定時間より極端に短い場合、例えば一般的な検査で指標とされている6分よりも抜去時間が短い場合、施術者による検査の信頼度が低いと推定し、この信頼度を出力部４によって表示装置へ出力させてもよい。また、挿入時切換追加部９１ｃは、挿入時間が所定時間より極端に長い場合、例えば施術者による検査の難易度が高いと推定し、この難易度を出力部４によって表示装置へ出力させてもよい。ステップＳ２２９の後、画像処理装置１ｃは、図６の切換追加処理のサブルーチンへ戻る。
　以上説明した本発明の実施の形態４によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるので、施術者に対して内視鏡による検査を支援することができる。
　また、本発明の実施の形態４では、挿入時間および抜去時間を出力させていたが、例えば挿入時間および抜去時間を記録部５に記録させ、被検体に対する診察が終了後に、出力部４が挿入時間および抜去時間をユーザが作成する診断レポート等を出力してもよい記載してもよい。
　また、本発明の実施の形態４では、挿入時間および抜去時間に基づいて、ユーザが被検体に実施した検査の信頼度や難易度を判定するようにしてもよい。
（実施の形態５）
　次に、本発明の実施の形態５について説明する。本実施の形態５は、上述した実施の形態３に係る画像処理装置１ｂの演算部７ｂと構成が異なる。以下においては、本実施の形態５に係る画像処理装置の構成を説明後、本実施の形態５に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態３に係る画像処理装置１ｂと同一の構成には同一の符号を付して説明を省略する。
　〔画像処理装置の構成〕
　図２０は、本発明の実施の形態５に係る画像処理装置の構成を示すブロック図である。図２０に示す画像処理装置１ｄは、上述した実施の形態３に係る演算部７ｂに換えて、演算部７ｄを備える。演算部７ｄは、上述した実施の形態３に係る処理部９ｂに換えて、処理部９ｄを備える。処理部９ｄは、上述した実施の形態３に係る挿入時切換追加部９１ｂに換えて、挿入時切換追加部９１ｄを有する。
　挿入時切換追加部９１ｄは、医療機器の復路の支援に必要なパラメータを取得する復路用パラメータ設定部９１５と、管腔内における医療機器の復路の対応を行う復路対応部９１６と、を有する。また、復路用パラメータ設定部９１５は、生体内管腔画像に基づいて、生体に関係する情報を取得する生体情報取得部９１５１を有する。
　〔画像処理装置の処理〕
　次に、画像処理装置１ｄが実行する処理について説明する。画像処理装置１ｄは、上述した実施の形態１に係る画像処理装置１と同様の処理を実行し、上述した図７の挿入時切換追加処理が異なる。以下においては、画像処理装置１ｄが実行する挿入時切換追加処理について説明する。
　図２１は、画像処理装置１ｄが実行する挿入時切換追加処理の概要を示すフローチャートである。図２１に示すように、まず、動作状態推定部８ｂによって医療機器が管腔内に挿入中であると推定された場合（ステップＳ２３０：Ｙｅｓ）、復路用パラメータ設定部９１５は、医療機器の復路の対応に必要なパラメータを取得する復路用パラメータ設定処理を実行する（ステップＳ２３１）。ステップＳ２３１の後、画像処理装置１ｄは、上述した図６の切換追加処理のサブルーチンへ戻る。
　図２２は、上述した図２１のステップＳ２３１の復路用パラメータ設定処理の概要を示すフローチャートである。図２２に示すように、生体情報取得部９１５１は、取得部２が取得した生体内管腔画像に基づいて、生体に関する情報を取得する生体情報取得処理を実行する（ステップＳ３０４）。ステップＳ３０４の後、画像処理装置１ｄは、上述した図２１の挿入時切換追加処理のサブルーチンへ戻る。
　図２３は、図２２のステップＳ３０４の生体情報取得処理の概要を示すフローチャートである。図２３に示すように、生体情報取得部９１５１は、生体内管腔画像に基づいて、粘膜の色、血管の血および体液の色の統計情報を取得する（ステップＳ３０４ａ）。具体的には、生体情報取得部９１５１は、生体内管腔画像のＲＧＢ情報に基づいて、生体内管腔画像内から粘膜、血管、体液および残渣といった被検体により変化する可能性のある生体情報を周知の技術を用いて取得する。ステップＳ３０４ａの後、画像処理装置１ｄは、図２２の復路用パラメータ設定処理のサブルーチンへ戻る。
　図２１へ戻り、挿入時切換追加処理の説明を続ける。
　ステップＳ２３０において、動作状態推定部８ｂによって医療機器が管腔内に挿入中でないと推定された場合（ステップＳ２３０：Ｎｏ）、復路対応部９１６は、医療機器の復路の対応を行う復路対応処理を実行する（ステップＳ２３２）。ステップＳ２３２の後、画像処理装置１ｄは、上述した図６の切換追加処理のサブルーチンへ戻る。
　図２４は、図２１のステップＳ２３２の復路対応処理の概要を示すフローチャートである。図２４に示すように、復路対応部９１６は、出力部４が出力するための復路用パラメータ設定部９１５によって医療機器が管腔内の往路において取得した生体情報に関する情報を生成する（ステップＳ３０５）。具体的には、復路対応部９１６は、医療機器の抜去時に、生体情報取得部９１５１が取得した生体情報に含まれる病変候補（特定領域）の位置や進行困難箇所の位置に関する情報を生成する。または、復路対応部９１６は、生体情報取得部９１５１が取得した生体情報に基づいて、最深部から医療機器を抜去する際に被検体固有に適した画像処理のパラメータを医療機器に設定する対応を行う。これにより、復路の病変検出等を容易に行うことができる。ステップＳ３０５の後、画像処理装置１ｄは、図２１の挿入時切換追加処理のサブルーチンへ戻る。
　以上説明した本発明の実施の形態５によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるので、施術者に対して内視鏡による検査を支援することができる。
（実施の形態５の変形例１）
　次に、本発明の実施の形態５の変形例１について説明する。本実施の形態５の変形例１は、画像処理装置が実行する生体情報取得処理が異なる。以下においては、本実施の形態５の変形例１に係る画像処理装置が実行する生体情報取得処理について説明する。なお、上述した実施の形態３に係る画像処理装置１ｂと同一の構成には同一の符号を付して説明を省略する。
　図２５は、本実施の形態５の変形例１に係る画像処理装置が実行する生体情報取得処理の概要を示すフローチャートである。図２５に示すように、生体情報取得部９１５１は、生体内管腔画像に基づいて、病変候補の位置情報を取得する（ステップＳ３０４ｂ）。具体的には、生体情報取得部９１５１は、予め病変候補（特定領域）を検出する基準を作成し、取得部２を介して医療機器から順次入力される生体内管腔画像に対して周知のパターンマッチングを行うことによって病変候補を識別し、取得部２を介して撮像装置の位置に関する情報を医療機器から取得したり、医療機器から順次入力される生体内管腔画像に基づいて撮像装置の位置を取得したりすることにより、病変候補（特定領域）と位置情報とを取得する。ここで、取得された病変候補の位置情報は、往路判定部８１３によって医療機器が管腔内を抜去されている最中である復路と判定された場合、処理部９ｄが出力部４に出力させることによって表示装置で表示させる。もちろん、処理部９ｄは、医療機器からのセンサからの検出結果に基づいて、医療機器の抜去の移動量を算出し、この算出結果に基づいて、病変候補の位置の近傍に医療機器が近づいた場合、出力部４に生体情報取得部９１５１が取得した病変候補の位置情報を表示装置へ出力させてもよいステップＳ３０４ｂの後、画像処理装置１ｄは、図２２の復路用パラメータ設定処理のサブルーチンへ戻る。
　以上説明した本発明の実施の形態５の変形例１によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるので、施術者に対して内視鏡による検査を支援することができる。
（実施の形態５の変形例２）
　次に、本発明の実施の形態５の変形例２について説明する。本実施の形態５の変形例２は、画像処理装置が実行する生体情報取得処理が異なる。以下においては、本実施の形態５の変形例２に係る画像処理装置が実行する生体情報取得処理について説明する。なお、上述した実施の形態３に係る画像処理装置１ｂと同一の構成には同一の符号を付して説明を省略する。
　図２６は、本実施の形態５の変形例２に係る画像処理装置が実行する生体情報取得処理の概要を示すフローチャートである。図２６に示すように、生体情報取得部９１５１は、生体内管腔画像に基づいて、医療機器の進行困難箇所の位置情報を取得する（ステップＳ３０４ｃ）。具体的には、生体情報取得部９１５１は、時間的に連続する生体内管腔画像に基づいて、オプティカルフローチャートから撮像装置の先端の動きを算出し、進行方向の移動量と後退方向（抜去方向）の移動量とが均衡している場合、または進行方向の移動量より後退方向の移動量が多い場合、進行困難箇所として現在の撮像装置の位置を医療機器から取得する。また、生体情報取得部９１５１は、撮像装置の先端に設けられた加速度センサやモーションセンサ等のセンサからの情報や医療機器からの情報に基づいて、管腔内での位置に変化が少ない場合、または医療機器が進行と後退とを繰り返す場合、進行困難箇所として減算の撮像装置の位置を医療機器から取得する。なお、処理部９ｄは、往路判定部８１３によって医療機器が管腔内を抜去されている最中である復路と判定された場合、生体情報取得部９１５１が取得した医療機器の進行困難箇所の位置情報を出力部４から表示装置へ出力させてもよい。もちろん、処理部９ｄは、医療機器からのセンサからの検出結果に基づいて、医療機器の抜去の移動量を算出し、この算出結果に基づいて、医療機器の進行困難箇所の近傍に医療機器が近づいた場合、出力部４に生体情報取得部９１５１が取得した医療機器の進行困難箇所の位置情報を表示装置へ出力させてもよい。ステップＳ３０４ｃの後、画像処理装置１ｄは、図２２の復路用パラメータ設定処理のサブルーチンへ戻る。
　以上説明した本発明の実施の形態５の変形例２によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるので、施術者に対して内視鏡による検査を支援することができる。
（実施の形態５の変形例３）
　次に、本発明の実施の形態５の変形例３について説明する。本実施の形態５の変形例３は、上述した実施の形態５の演算部７ｄと構成が異なる。以下においては、本実施の形態５の変形例３に係る画像処理装置の構成を説明後、本実施の形態５の変形例３に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態５に係る画像処理装置１ｄと同一の構成には同一の符号を付して説明を省略する。
　〔画像処理装置の構成〕
　図２７は、本発明の実施の形態５の変形例３に係る画像処理装置の構成を示すブロック図である。図２７に示す画像処理装置１ｅは、上述した実施の形態５に係る演算部７ｄに換えて、演算部７ｅを備える。演算部７ｅは、上述した実施の形態５に係る処理部９ｄに換えて、処理部９ｅを備える。処理部９ｅは、上述した実施の形態５に係る挿入時切換追加部９１ｄに換えて、挿入時切換追加部９１ｅを有する。
　挿入時切換追加部９１ａは、復路対応部９１６と、医療機器の復路の支援に必要なパラメータを取得する復路用パラメータ設定部９１７と、を有する。また、復路用パラメータ設定部９１７は、医療機器に対する施術者の情報を取得する施術者情報取得部９１７１を有する。
　〔画像処理装置の処理〕
　次に、画像処理装置１ｅが実行する処理について説明する。画像処理装置１ｅは、上述した実施の形態５に係る画像処理装置１ｄと同様の処理を実行し、上述した図２２の復路用パラメータ設定処理が異なる。以下においては、画像処理装置１ｅが実行する復路用パラメータ設定処理について説明する。
　図２８は、画像処理装置１ｅが実行する復路用パラメータ設定処理の概要を示すフローチャートである。図２８に示すように、施術者情報取得部９１７１は、医療機器に対する施術者の情報を取得する施術者情報取得処理を実行する（ステップＳ３０５）。ステップＳ３０５の後、画像処理装置１ｅは、上述した図６の切換追加処理のサブルーチンへ戻る。
　図２９は、図２８のステップＳ３０５の施術者情報取得処理の概要を示すフローチャートである。図２９に示すように、施術者情報取得部９１７１は、医療機器が有する撮像装置が目標である最深部に到達するまでの時間を取得する（ステップＳ３０５ａ）。具体的には、施術者情報取得部９１７１は、上述した図９のステップＳ１２２で説明した往路判定部８１２と同様の判定方法を用いて医療機器が有する撮像装置が管腔内に挿入されてから最深部に到達するまでの時間を取得する。ここで、時間を取得する理由は、進行難易度を計るためや、施術者の施術レベルの能力を計り、復路の支援を行うためである。これにより、挿入時間が長い場合、被検体である患者の腸の形状が複雑または施術者の施術レベルが低いと判断することができる。ステップＳ３０５ａの後、画像処理装置１ｅは、図２８の復路用パラメータ設定処理のサブルーチンへ戻る。
　以上説明した本発明の実施の形態５の変形例３によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるので、施術者に対して内視鏡による検査を支援することができる。
（実施の形態５の変形例４）
　次に、本発明の実施の形態５の変形例４について説明する。本実施の形態５の変形例４は、画像処理装置が実行する施術者情報取得処理が異なる。以下においては、本実施の形態５の変形例４に係る画像処理装置が実行する施術者情報取得処理について説明する。なお、上述した実施の形態５の変形例３に係る画像処理装置１ｅと同一の構成には同一の符号を付して説明を省略する。
　図３０は、本実施の形態５の変形例４に係る画像処理装置が実行する施術者情報取得処理の概要を示すフローチャートである。図３０に示すように、施術者情報取得部９１７１は、医療機器が有する撮像装置が目標に到達するまでのオプティカルフローの推移情報を医療機器から取得する（ステップＳ３０５ｂ）。ここで、オプティカルフローの推移情報を取得する理由は、進行難易度を計るためや、施術者の施術レベルの能力を計り、復路の支援を行うためである。これにより、挿入時間が長い場合、被検体である患者の腸の形状が複雑または施術者の施術レベルが低いと判断することができる。ステップＳ３０５ｂの後、画像処理装置１ｅは、図２８の復路用パラメータ設定処理のサブルーチンへ戻る。
　以上説明した本発明の実施の形態５の変形例４によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるので、施術者に対して内視鏡による検査を支援することができる。
（実施の形態６）
　次に、本発明の実施の形態６について説明する。本実施の形態６は、上述した実施の形態３に係る画像処理装置１ｂの演算部７ｂと構成が異なる。以下においては、本実施の形態６に係る画像処理装置の構成を説明後、本実施の形態６に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態３に係る画像処理装置１ｂと同一の構成には同一の符号を付して説明を省略する。
　〔画像処理装置の構成〕
　図３１は、本発明の実施の形態６に係る画像処理装置の構成を示すブロック図である。図３１に示す画像処理装置１ｆは、上述した実施の形態３に係る画像処理装置１ｂの演算部７ｂに換えて、演算部７ｆを備える。演算部７ｆは、上述した実施の形態３に係る処理部９ｂに換えて、処理部９ｆを備える。処理部９ｆは、上述した実施の形態３に係る挿入時切換追加部９１ｂに換えて、挿入時切換追加部９１ｆを有する。
　挿入時切換追加部９１ｆは、医療機器からの情報に基づいて、医療機器が有する撮像装置が管腔内に挿入されている際に、撮像装置が撮像している管腔位置や臓器を推定する。挿入時切換追加部９１ｆは、生体内管腔画像に基づいて、撮像装置が撮像している管腔内の位置を推定する管腔内位置推定部９１８を有する。また、管腔内位置推定部９１８は、撮像装置が撮像している管腔の位置を推定する管腔位置推定部９１８１を有する。
　〔画像処理装置の処理〕
　次に、画像処理装置１ｆが実行する処理について説明する。画像処理装置１ｆは、上述した実施の形態１に係る画像処理装置１と同様の処理を実行し、上述した図７の挿入時切換追加処理が異なる。以下においては、画像処理装置１ｆが実行する挿入時切換追加処理について説明する。
　図３２は、画像処理装置１ｆが実行する挿入時切換追加処理の概要を示すフローチャートである。図３２に示すように、まず、管腔内位置推定部９１８は、動作状態推定部８ｂの推定結果と生体内管腔画像とに基づいて、撮像装置が撮像している管腔内位置を推定する管腔内位置推定処理を実行する（ステップＳ２２９）。ステップＳ２２９の後、画像処理装置１ｆは、上述した図６の切換追加処理のサブルーチンへ戻る。
　図３３は、上述した図３２のステップＳ２２９の管腔内位置推定処理の概要を示すフローチャートである。図３３に示すように、管腔位置推定部９１８１は、医療機器が有する撮像装置のセンサから情報と生体内管腔画像とに基づいて、撮像装置が撮像している管腔位置を推定する管腔位置推定処理を実行する（ステップＳ３０６）。ステップＳ３０６の後、画像処理装置１ｆは、上述した図３２の挿入時切換追加処理のサブルーチンへ戻る。
　図３４は、上述した図３３のステップＳ３０６の管腔位置推定処理の概要を示すフローチャートである。図３４に示すように、管腔位置推定部９１８１は、医療機器が有する撮像装置のセンサから情報を取得し、取得した情報に基づいて移動経路を算出し、撮像装置の管腔内の位置を推定する（ステップＳ３０６ａ）。この場合、管腔位置推定部９１８１は、医療機器が有する操作部に対して、施術者が行った操作履歴を取得し、取得した操作履歴とセンサからの情報とに基づいて、撮像装置の管腔内の位置を推定してもよい。これにより、撮像装置の管腔内の推定精度を高めることができる。ステップＳ３０６ａの後、画像処理装置１ｆは、図３３の管腔内位置推定処理のサブルーチンへ戻る。
　以上説明した本発明の実施の形態６によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるので、施術者に対して内視鏡による検査を支援することができる。
（実施の形態６の変形例１）
　次に、本発明の実施の形態６の変形例１について説明する。本実施の形態６の変形例１について説明する。本実施の形態６の変形例１は、画像処理装置が実行する管腔位置推定処理が異なる。以下においては、本実施の形態６の変形例１に係る画像処理装置が実行する管腔位置推定処理について説明する。なお、上述した実施の形態６に係る画像処理装置１ｆと同一の構成には同一の符号を付して説明を省略する。
　図３５は、本実施の形態６の変形例１に係る画像処理装置が実行する管腔位置推定処理の概要を示すフローチャートである。
　図３５に示すように、管腔位置推定部９１８１は、生体内管腔画像に対して、解剖学上の特徴に基づいて、医療機器が有する撮像装置の管腔内の位置を推定する（ステップＳ３０６ｂ）。具体的には、管腔位置推定部９１８１は、予め設定された管腔内の解剖学上の相違を表した基準と生体内管腔画像とを比較することによって、医療機器が有する撮像装置の管腔内の位置を推定する。ステップＳ３０６ｂの後、画像処理装置１ｆは、図３３の管腔内位置推定処理のサブルーチンへ戻る。
　以上説明した本発明の実施の形態６の変形例１によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるので、施術者に対して内視鏡による検査を支援することができる。
（実施の形態６の変形例２）
　次に、本発明の実施の形態６の変形例２について説明する。本実施の形態６の変形例２は、上述した実施の形態６に係る画像処理装置と構成が異なる。以下においては、本実施の形態６の変形例２に係る画像処理装置の構成を説明後、本実施の形態６の変形例２に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態６に係る画像処理装置１ｆと同一の構成には同一の符号を付して説明を省略する。
　図３６は、本発明の実施の形態６の変形例２に係る画像処理装置の構成を示すブロック図である。図３６に示す画像処理装置１ｇは、上述した実施の形態６に係る画像処理装置１ｆの演算部７ｆに換えて、演算部７ｇを備える。演算部７ｇは、上述した実施の形態６に係る処理部９ｆに換えて、処理部９ｇを備える。処理部９ｇは、上述した実施の形態６に係る挿入時切換追加部９１ｆに換えて、挿入時切換追加部９１ｇを有する。
　挿入時切換追加部９１ｇは、医療機器からの情報に基づいて、医療機器が有する撮像装置が管腔内に挿入されている際に、撮像装置が撮像している臓器を推定する。挿入時切換追加部９１ｇは、生体内管腔画像に基づいて、管腔内における医療機器の管腔内の位置または臓器を推定する管腔内位置推定部９１９を有する。管腔内位置推定部９１９は、体内管腔画像に基づいて、撮像装置が撮像している管腔内の位置を推定する管腔内位置推定部９１９を有する。管腔内位置推定部９１９は、生体内管腔画像に基づいて、撮像装置が撮像している臓器を推定する臓器推定部９１９１を有する。また、臓器推定部９１９１は、生体内管腔画像に基づいて、撮像装置が撮像している臓器の部位を推定する部位推定部９１９ａを有する。
　〔画像処理装置の処理〕
　次に、画像処理装置１ｇが実行する処理について説明する。画像処理装置１ｇは、上述した実施の形態１に係る画像処理装置１と同様の処理を実行し、上述した図７の挿入時切換追加処理が異なる。以下においては、画像処理装置１ｇが実行する挿入時切換追加処理について説明する。
　図３７は、画像処理装置１ｇが実行する管腔内位置推定処理の概要を示すフローチャートである。図３７に示すように、まず、臓器推定部９１９１は、生体内管腔画像に基づいて、撮像装置が撮像している臓器を推定する臓器推定処理を実行する（ステップＳ３０７）。ステップＳ３０７の後、画像処理装置１ｇは、上述した図６の切換追加処理のサブルーチンへ戻る。
　図３８は、図３７のステップＳ３０７の臓器推定処理の概要を示すフローチャートである。図３７に示すように、部位推定部９１９ａは、生体内管腔画像に基づいて、撮像装置が撮像している臓器の部位を推定する部位推定処理を実行する（ステップＳ４０１）。ステップＳ４０１の後、画像処理装置１ｇは、上述した図３７の臓器推定処理のサブルーチンへ戻る。
　図３９は、図３８の部位推定処理の概要を示すフローチャートである。図３９に示すように、部位推定部９１９ａは、予め設定された基準に基づいて、生体内管腔画像に写る大腸の部位を推定する（ステップＳ４０１ａ）。具体的には、部位推定部９１９ａは、予め作成された直腸、Ｓ字直腸、下行結腸、肝湾、横行結腸、脾湾、上行結腸および回盲の各々を識別する複数の基準と生体内管腔画像とを比較することにより大腸の部位を推定する。ステップＳ４０１ａの後、画像処理装置１ｇは、上述した図３８の部位推定処理のサブルーチンへ戻る。
　以上説明した本発明の実施の形態６の変形例２によれば、医療機器の管腔内における動作状態に応じた処理を行うことができるので、施術者に対して内視鏡による検査を支援することができる。
　なお、本発明の実施の形態６の変形例２では、部位推定部９１９ａが臓器の部位として大腸の部位を推定していたが、他の臓器の部位を推定してもよい。図４０は、画像処理装置１ｇが実行する別の部位推定処理の概要を示すフローチャートである。
　図４０に示すように、部位推定部９１９ａは、予め設定された基準に基づいて、生体内管腔画像に写る食道の部位を推定する（ステップＳ４０１ｂ）。具体的には、部位推定部９１９ａは、予め作成された食道裂孔および噴門の各々を識別する複数の基準と生体内管腔画像とを比較することにより食道の部位を推定する。ステップＳ４０１ｂの後、画像処理装置１ｇは、上述した図３８の部位推定処理のサブルーチンへ戻る。
　また、本発明の実施の形態６の変形例２では、臓器の部位として胃の部位を推定してもよい。図４１は、画像処理装置１ｇが実行する別の部位推定処理の概要を示すフローチャートである。図４１に示すように、部位推定部９１９ａは、予め設定された基準に基づいて、生体内管腔画像に写る胃の部位を推定する（ステップＳ４０１ｃ）。具体的には、部位推定部９１９ａは、予め作成された胃底部、胃体部、前庭部および幽門の各々を識別する複数の基準と生体内管腔画像とを比較することにより胃の部位を推定する。ステップＳ４０１ｃの後、画像処理装置１ｇは、上述した図３８の部位推定処理のサブルーチンへ戻る。
　また、本発明の実施の形態６の変形例２では、臓器の部位として十二指腸の部位を推定してもよい。図４２は、画像処理装置１ｇが実行する別の部位推定処理の概要を示すフローチャートである。図４２に示すように、部位推定部９１９ａは、予め設定された基準に基づいて、生体内管腔画像に写る十二指腸の部位を推定する（ステップＳ４０１ｄ）。具体的には、部位推定部９１９ａは、予め作成された球部およびファーター乳頭の各々を識別する複数の基準と生体内管腔画像とを比較することにより十二指腸の部位を推定する。ステップＳ４０１ｄの後、画像処理装置１ｇは、上述した図３８の部位推定処理のサブルーチンへ戻る。
　また、本発明の実施の形態６の変形例２では、臓器の部位として小腸の部位を推定してもよい。図４３は、画像処理装置１ｇが実行する別の部位推定処理の概要を示すフローチャートである。図４３に示すように、部位推定部９１９ａは、予め設定された基準に基づいて、生体内管腔画像に写る小腸の部位を推定する（ステップＳ４０１ｅ）。具体的には、部位推定部９１９ａは、予め作成された空腸および回腸の各々を識別する複数の基準と生体内管腔画像とを比較することにより小腸の部位を推定する。ステップＳ４０１ｅの後、画像処理装置１ｇは、上述した図３８の部位推定処理のサブルーチンへ戻る。
（その他の実施の形態）
　　本発明では、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、または、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１～６およびこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続されたビュアーやプリンタ等の種々の出力機器に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置、例えばネットワークに接続された読取装置によって読み取り可能な記録媒体等に画像処理結果を格納するようにしても良い。
　なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
　なお、本発明は、実施の形態１～６およびこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。
　１，１ａ～１ｇ　画像処理装置
　２　取得部
　３　入力部
　４　出力部
　５　記録部
　６　制御部
　７，７ａ～７ｇ　演算部
　８，８ｂ　動作状態推定部
　９，９ａ～９ｇ　処理部
　５１　画像処理プログラム
　８１，８１ｂ　挿入動作判定部
　９１，９１ａ～９１ｇ　挿入時切換追加部
　８１１　管腔内判定部
　８１２　往路判定部
　９１１　最深部自動記録部
　９１２　挿入時発見病変数カウント部
　９１２１　病変検出部
　９１３　挿入時間測定部
　９１４　抜去時間測定部
　９１５　復路用パラメータ設定部
　９１５１　生体情報取得部
　９１６　復路対応部
　９１７　復路用パラメータ設定部
　９１７１　施術者情報取得部
　９１８　管腔内位置推定部
　９１８１　管腔位置推定部
　９１９１　臓器推定部
　９１９１ａ　部位推定部

Claims (25)

  1. 　被検体の管腔内に挿入される挿入部と、撮像装置と、を有する医療機器から順次入力される情報に基づいて、前記管腔内における前記医療機器の動作状態を推定する動作状態推定部と、
    　前記動作状態推定部の推定結果に基づいて、前記管腔内における前記医療機器の動作状態に応じた処理を行う処理部と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記動作状態推定部は、前記医療機器の前記管腔内における挿入動作を判定する挿入動作判定部を有し、
    　前記処理部は、前記挿入動作判定部が前記管腔内に前記医療機器が挿入されていると判定した場合、挿入動作に応じた処理を行うことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記挿入動作判定部は、
    　前記撮像装置が前記管腔内に挿入されているか否かを判定する管腔内判定部と、
    　前記医療機器が前記管腔内における観察対象の目標に向けて挿入動作が行われている最中である往路であるか否かを判定する往路判定部と、
    　を有することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記情報は、少なくとも前記撮像装置が前記管腔内を撮像した生体内管腔画像を含み、
    　前記往路判定部は、時間的に前後する前記生体内管腔画像間のオプティカルフローを算出した算出結果に基づいて推定された前記医療機器の進行方向が前記観察対象の目標に向き続けている場合、前記往路であると判定することを特徴とする請求項３に記載の画像処理装置。
  5. 　前記情報は、少なくとも前記撮像装置が前記管腔内を撮像した生体内管腔画像を含み、
    　前記往路判定部は、予め設定された前記観察対象の目標と前記生体内管腔画像との一致度が所定の基準値に到達するまでを前記往路であると判定することを特徴とする請求項３に記載の画像処理装置。
  6. 　前記医療機器は、前記先端に加速度センサをさらに有し、
    　前記情報は、少なくとも前記加速度センサが検出した検出結果を含み、
    　前記往路判定部は、前記検出結果に基づいて前記医療機器の進行方向および後退方向それぞれの移動量を算出し、進行方向の移動量が後退方向の移動量より大きい場合、前記往路であると判定することを特徴とする請求項３に記載の画像処理装置。
  7. 　前記処理部は、前記医療機器が前記管腔内に挿入された挿入時間を測定する挿入時間測定部を有することを特徴とする請求項３～６のいずれか一つに記載の画像処理装置。
  8. 　前記挿入時間測定部は、前記管腔内判定部により前記撮像装置が前記管腔内と判定された時点から前記往路判定部により前記往路と判定される期間を前記挿入時間として測定することを特徴とする請求項７に記載の画像処理装置。
  9. 　前記処理部は、前記往路判定部が前記往路でないと判定した時点で、前記撮像装置に撮影を指示する指示信号を出力するとともに、該指示信号に応じて前記撮像装置が生成した生体内管腔画像を記録する自動記録部を有することを特徴とする請求項３～６のいずれか一つに記載の画像処理装置。
  10. 　前記処理部は、復路の動作に必要な情報を取得する復路用パラメータ設定部を有することを特徴とする請求項３～６のいずれか一つに記載の画像処理装置。
  11. 　前記復路の動作は、特定領域の発見、鑑別および処置のいずれか一つ以上であることを特徴とする請求項１０に記載の画像処理装置。
  12. 　前記必要な情報は、生体に関する生体情報または前記医療機器を操作する施術者に関する施術者情報であることを特徴とする請求項１１に記載の画像処理装置。
  13. 　前記生体情報は、前記撮像装置が生成した生体内管腔画像に含まれる粘膜の色、血管の色および体液の色の少なくとも一つ以上の統計情報、特定領域に関する位置情報、および前記撮像装置の進行困難箇所に関する位置情報のいずれかであり、
    　前記施術者情報は、前記管腔内判定部により前記撮像装置が前記管腔内と判定された時点から前記往路判定部により前記往路と判定される期間の挿入時間、または前記管腔内判定部によって前記撮像装置が前記管腔内と判定された時点から前記撮像装置によって生成された時間的に前後する生体内管腔画像間のオプティカルフローを算出した算出結果の推移情報であることを特徴とする請求項１２に記載の画像処理装置。
  14. 　前記情報は、少なくとも前記撮像装置が前記管腔内を撮像して生成した生体内管腔画像を含み、
    　前記処理部は、前記生体内管腔画像に基づいて、対象とする病変を検出し、該病変をカウントする挿入時病変発見カウント部を有することを特徴とする請求項３に記載の画像処理装置。
  15. 　前記挿入時病変発見カウント部は、前記生体内管腔画像に対して病変を検出する病変検出部を有することを特徴とする請求項１４に記載の画像処理装置。
  16. 　前記処理部は、前記管腔内判定部により前記撮像装置が前記管腔内と判定された場合、前記撮像装置が撮像している管腔位置または臓器を推定する管腔内位置推定部を有することを特徴とする請求項３に記載の画像処理装置。
  17. 　前記情報は、少なくとも前記撮像装置が前記管腔内を撮像して生成した生体内管腔画像を含み、
    　前記管腔内位置推定部は、前記生体内管腔画像に基づいて、前記管腔位置を推定する管腔位置推定部を有することを特徴とする請求項１６に記載の画像処理装置。
  18. 　前記医療機器は、前記先端に加速度センサをさらに有し、
    　前記情報は、少なくとも前記加速度センサが検出した検出結果を含み、
    　前記管腔位置推定部は、前記検出結果に基づいて、前記撮像装置の移動経路を算出し、前記管腔位置を推定することを特徴とする請求項１７に記載の画像処理装置。
  19. 　前記情報は、少なくとも前記撮像装置が前記管腔内を撮像して生成した生体内管腔画像を含み、
    　前記管腔位置推定部は、順次入力される前記生体内管腔画像の特徴量を算出し、該特徴量と予め設定された基準との一致度を比較し、かつ、該一致度が所定の閾値を超えた場合、解剖学上の前記管腔内の位置が変化したと判断し、前記管腔位置を推定することを特徴とする請求項１８に記載の画像処理装置。
  20. 　前記管腔位置推定部は、前記生体内管腔画像に写る臓器を推定する臓器推定部を有することを特徴とする請求項１９に記載の画像処理装置。
  21. 　前記臓器推定部は、前記臓器の部位を推定する部位推定部を有することを特徴とする請求項２０に記載の画像処理装置。
  22. 　前記部位推定部は、
    　前記臓器が大腸の場合、直腸、Ｓ字結腸、下行結腸、肝湾、横行結腸、横行結腸、脾湾、上行結腸、回盲および回盲のいずれかを推定し、
    　前記臓器が食道の場合、食道裂孔および噴門のいずれかを推定し、
    　前記臓器が胃の場合、胃底部、胃体部、前庭部および幽門のいずれかを推定し、
    　前記臓器が十二指腸の場合、球部およびファーター乳頭のいずれかを推定し、
    　前記臓器が小腸の場合、空腸および回腸のいずれかを推定することを特徴とする請求項２１に記載の画像処理装置。
  23. 　前記処理部が前記管腔内における前記医療機器の動作状態に応じて行った処理結果を、表示装置へ出力する出力部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
  24. 　画像処理装置が実行する動作方法であって、
    　被検体の管腔内に挿入される挿入部と、撮像装置と、を有する医療機器から順次入力される情報に基づいて、前記管腔内における前記医療機器の動作状態を推定する動作状態推定ステップと、
    　前記動作状態推定ステップの推定結果に基づいて、前記管腔内における前記医療機器の動作状態に応じた処理を行う処理ステップと、
    　を含むことを特徴とする動作方法。
  25. 　画像処理装置に、
    　被検体の管腔内に挿入される挿入部と、撮像装置と、を有する医療機器から順次入力される情報に基づいて、前記管腔内における前記医療機器の動作状態を推定する動作状態推定ステップと、
    　前記動作状態推定ステップの推定結果に基づいて、前記管腔内における前記医療機器の動作状態に応じた処理を行う処理ステップと、
    　を実行させることを特徴とするプログラム。
PCT/JP2017/002726 2017-01-26 2017-01-26 画像処理装置、動作方法およびプログラム WO2018138828A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780082966.6A CN110167417B (zh) 2017-01-26 2017-01-26 图像处理装置、动作方法和存储介质
PCT/JP2017/002726 WO2018138828A1 (ja) 2017-01-26 2017-01-26 画像処理装置、動作方法およびプログラム
US16/420,492 US20190298159A1 (en) 2017-01-26 2019-05-23 Image processing device, operation method, and computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/002726 WO2018138828A1 (ja) 2017-01-26 2017-01-26 画像処理装置、動作方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/420,492 Continuation US20190298159A1 (en) 2017-01-26 2019-05-23 Image processing device, operation method, and computer readable recording medium

Publications (1)

Publication Number Publication Date
WO2018138828A1 true WO2018138828A1 (ja) 2018-08-02

Family

ID=62978986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/002726 WO2018138828A1 (ja) 2017-01-26 2017-01-26 画像処理装置、動作方法およびプログラム

Country Status (3)

Country Link
US (1) US20190298159A1 (ja)
CN (1) CN110167417B (ja)
WO (1) WO2018138828A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023100310A1 (ja) * 2021-12-02 2023-06-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援システム、内視鏡検査支援方法、および記録媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996009B (zh) * 2019-12-20 2021-07-23 安翰科技(武汉)股份有限公司 胶囊内窥镜系统及其自动帧率调整方法及计算机可读存储介质
CN114845624A (zh) * 2019-12-26 2022-08-02 富士胶片株式会社 医用图像处理装置、医用图像处理方法及程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348902A (ja) * 2004-06-09 2005-12-22 Olympus Corp 内視鏡装置
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
WO2011055614A1 (ja) * 2009-11-06 2011-05-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2016064281A (ja) * 2015-12-25 2016-04-28 オリンパス株式会社 内視鏡装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3373055B2 (ja) * 1994-08-11 2003-02-04 株式会社東芝 Ｘ線透視診断装置を有する内視鏡検査システム
JP2002085328A (ja) * 2000-09-20 2002-03-26 Olympus Optical Co Ltd 内視鏡
JP4885388B2 (ja) * 2001-09-25 2012-02-29 オリンパス株式会社 内視鏡挿入方向検出方法
JP4077716B2 (ja) * 2002-11-20 2008-04-23 オリンパス株式会社 内視鏡挿入方向検出装置
JP4418400B2 (ja) * 2005-05-20 2010-02-17 オリンパスメディカルシステムズ株式会社 画像表示装置
US7894648B2 (en) * 2005-06-17 2011-02-22 Mayo Foundation For Medical Education And Research Colonoscopy video processing for quality metrics determination
JP5094036B2 (ja) * 2006-04-17 2012-12-12 オリンパスメディカルシステムズ株式会社 内視鏡挿入方向検出装置
WO2007129493A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置
CN102319052B (zh) * 2007-06-20 2014-05-28 奥林巴斯医疗株式会社 摄像系统、胶囊型医疗系统以及图像处理装置
JP5291955B2 (ja) * 2008-03-10 2013-09-18 富士フイルム株式会社 内視鏡検査システム
JP4704517B2 (ja) * 2009-06-23 2011-06-15 オリンパスメディカルシステムズ株式会社 医療システム
EP2394565B1 (en) * 2009-08-07 2013-05-01 Olympus Medical Systems Corp. Medical system
JP5457841B2 (ja) * 2010-01-07 2014-04-02 株式会社東芝 医用画像処理装置、及び医用画像処理プログラム
WO2012108085A1 (ja) * 2011-02-08 2012-08-16 オリンパスメディカルシステムズ株式会社 医療機器
JP5865606B2 (ja) * 2011-05-27 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2014209930A (ja) * 2011-08-31 2014-11-13 テルモ株式会社 呼吸域用ナビゲーションシステム
EP2818096B1 (en) * 2012-02-21 2017-03-01 Olympus Corporation Endoscope device
JP6061602B2 (ja) * 2012-10-10 2017-01-18 オリンパス株式会社 挿入部及び挿入部材を有する挿入システム
WO2014061553A1 (ja) * 2012-10-18 2014-04-24 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
JP6132585B2 (ja) * 2013-02-21 2017-05-24 オリンパス株式会社 被検体挿入システム
WO2014148606A1 (ja) * 2013-03-22 2014-09-25 テルモ株式会社 医療器具
JP5687811B1 (ja) * 2013-04-15 2015-03-25 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP6374012B2 (ja) * 2014-09-25 2018-08-15 富士フイルム株式会社 光音響画像生成装置
JP6389136B2 (ja) * 2015-03-30 2018-09-12 富士フイルム株式会社 内視鏡撮影部位特定装置、プログラム
CN116744834A (zh) * 2021-01-27 2023-09-12 富士胶片株式会社 医疗图像处理装置、方法及程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348902A (ja) * 2004-06-09 2005-12-22 Olympus Corp 内視鏡装置
JP2008301968A (ja) * 2007-06-06 2008-12-18 Olympus Medical Systems Corp 内視鏡画像処理装置
WO2011055614A1 (ja) * 2009-11-06 2011-05-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2016064281A (ja) * 2015-12-25 2016-04-28 オリンパス株式会社 内視鏡装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023100310A1 (ja) * 2021-12-02 2023-06-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援システム、内視鏡検査支援方法、および記録媒体

Also Published As

Publication number Publication date
CN110167417A (zh) 2019-08-23
US20190298159A1 (en) 2019-10-03
CN110167417B (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
EP1994878B9 (en) Medical image processing device and medical image processing method
US8639002B2 (en) Medical image processing apparatus and method for controlling medical image processing apparatus
US20200090548A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
EP2868256A1 (en) Endoscope system and endoscope system operation method
JP5931418B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2018138828A1 (ja) 画像処理装置、動作方法およびプログラム
JPWO2013140667A1 (ja) 画像処理装置
JP6883662B2 (ja) 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
WO2020242949A1 (en) Systems and methods for video-based positioning and navigation in gastroenterological procedures
US11867896B2 (en) Endoscope system and medical image processing system
JP2008119259A (ja) 内視鏡挿入形状解析システム
JP2016539767A (ja) 内視鏡検査用装置
JP7017646B2 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム
JP2007236629A (ja) 医療用画像処理装置及び医療用画像処理方法
JP2013048646A (ja) 診断システム
JP7096713B2 (ja) 内視鏡システム
US20220346632A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium storing computer program
JP2008023266A (ja) 医療用画像処理装置及び医療用画像処理方法
CN112426119B (zh) 一种内窥镜筛查处理方法和装置
WO2023089718A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
US20230225584A1 (en) Method of detecting colon polyps through artificial intelligence-based blood vessel learning and device thereof
US20220414885A1 (en) Endoscope system, medical image processing device, and operation method therefor
WO2023181353A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
EP4306031A1 (en) Endoscope system and method for operating same
WO2023089716A1 (ja) 情報表示装置、情報表示方法、及び、記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17893523

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17893523

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP