WO2024095865A1 - 処理装置、内視鏡装置、及び処理方法 - Google Patents
処理装置、内視鏡装置、及び処理方法 Download PDFInfo
- Publication number
- WO2024095865A1 WO2024095865A1 PCT/JP2023/038544 JP2023038544W WO2024095865A1 WO 2024095865 A1 WO2024095865 A1 WO 2024095865A1 JP 2023038544 W JP2023038544 W JP 2023038544W WO 2024095865 A1 WO2024095865 A1 WO 2024095865A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- distance
- endoscope
- processor
- processing device
- magnetic
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 110
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000003780 insertion Methods 0.000 claims abstract description 368
- 230000037431 insertion Effects 0.000 claims abstract description 366
- 230000004907 flux Effects 0.000 claims description 197
- 238000001514 detection method Methods 0.000 claims description 168
- 238000000034 method Methods 0.000 claims description 163
- 230000008569 process Effects 0.000 claims description 155
- 230000008859 change Effects 0.000 claims description 41
- 210000000436 anus Anatomy 0.000 claims description 21
- 239000002184 metal Substances 0.000 claims description 20
- 229910052751 metal Inorganic materials 0.000 claims description 20
- 210000000664 rectum Anatomy 0.000 claims description 15
- 229910000963 austenitic stainless steel Inorganic materials 0.000 claims description 5
- 230000037361 pathway Effects 0.000 abstract 2
- 230000003902 lesion Effects 0.000 description 45
- 210000000056 organ Anatomy 0.000 description 24
- 238000010586 diagram Methods 0.000 description 20
- 210000002429 large intestine Anatomy 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 239000010410 layer Substances 0.000 description 13
- 238000003860 storage Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 239000011347 resin Substances 0.000 description 6
- 229920005989 resin Polymers 0.000 description 6
- 210000001599 sigmoid colon Anatomy 0.000 description 6
- 238000005452 bending Methods 0.000 description 5
- 239000013256 coordination polymer Substances 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000003393 splenic effect Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 210000001731 descending colon Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 210000001815 ascending colon Anatomy 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 210000003384 transverse colon Anatomy 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000011247 coating layer Substances 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 238000002052 colonoscopy Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000001198 duodenum Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002440 hepatic effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 238000009954 braiding Methods 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000002318 cardia Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 239000000806 elastomer Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005358 geomagnetic field Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000968 intestinal effect Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000005415 magnetization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 239000000932 sedative agent Substances 0.000 description 1
- 230000001624 sedative effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
Definitions
- the present invention relates to a processing device, an endoscope device, and a processing method.
- Patent Document 1 describes a medical system including an insertion length acquisition device that acquires the insertion length of an insertion portion of an endoscope inserted into a subject, a communication unit that receives information on the insertion length acquired by the insertion length acquisition device, and a recording data generation unit that associates an image of the subject captured by an imaging element provided in the insertion portion of the endoscope with the information on the insertion length received by the communication unit, and records the information on the insertion length as metadata when recording image data of the captured image.
- Patent document 2 describes an image processing device that includes an acquisition unit that acquires information including an image captured by an endoscope, and a skill level evaluation value calculation unit that calculates a skill level evaluation value indicating the skill level of an operator operating the endoscope based on the information, wherein the skill level evaluation value calculation unit includes a specific scene determination unit that determines a specific scene appearing in the image, and an image recording unit that adds identification information to the image appearing with the specific scene determined by the specific scene determination unit to distinguish it from other images and records the image.
- This disclosure provides technology that can determine the insertion state of an endoscope with high accuracy.
- a processing device includes a processor that acquires a first distance, which is the distance from a reference position on the path of movement of the endoscope to the tip of the endoscope moving along the path of movement, acquires an image captured by the endoscope, and performs a reach portion recognition process to recognize a portion within a subject that is reached by the tip of the endoscope based on the image, and derives a second distance, which is the distance from a specific portion within the subject to the tip of the endoscope inserted within the subject, based on the result of the reach portion recognition process and the first distance.
- An endoscopic device includes the above-described processing device and the above-described endoscope.
- a processing method obtains a first distance, which is the distance from a reference position on the path of movement of the endoscope to the tip of the endoscope moving along the path of movement, obtains an image captured by the endoscope, and performs a recognition process based on the image to recognize a site within a subject that is reached by the tip of the endoscope, and derives a second distance, which is the distance from a specific site within the subject to the tip of the endoscope inserted within the subject, based on the result of the recognition process and the first distance.
- This disclosure makes it possible to determine the insertion state of an endoscope with high accuracy.
- FIG. 1 is a diagram showing a schematic configuration of an endoscope system 200.
- FIG. 2 is a partial cross-sectional view showing a detailed configuration of a flexible section 10A of the endoscope 1.
- FIG. 4 is a schematic diagram showing details of a magnetic pattern formed on a tubular member 17.
- FIG. 4 is a schematic cross-sectional view taken along the lines AA and BB in FIG. 3.
- 2 is an exploded perspective view showing a configuration example of a detection unit 40.
- FIG. 6 is a schematic diagram of a main body 42A of the detection unit 40 shown in FIG. 5 as viewed in a direction x.
- 11A and 11B are diagrams showing examples of positions that the insertion portion 10 can take within a through hole 41.
- FIG. 4 is a schematic diagram showing an example of magnetic flux density detected by a magnetic detection unit 43.
- FIG. FIG. 9 is a schematic diagram showing an example of the results of classifying the magnetic flux density shown in FIG. 8 according to its magnitude.
- FIG. 9 is a schematic diagram showing another example of the results of classifying the magnetic flux density shown in FIG. 8 by its magnitude.
- 4A and 4B are schematic cross-sectional views taken along the lines AA and BB, showing modified examples of the magnetic pole portions MA1 and MA2 shown in FIG. 3.
- 12 is a diagram showing a schematic diagram of magnetic flux lines generated in the magnetic pole portion MA1 having the configuration shown in FIG. 11.
- 2 is a schematic diagram for explaining the movement path of an insertion portion 10 during an examination performed using an endoscope 1.
- FIG. 11 is a graph showing an example of display of test data associated and recorded by processor 8P.
- FIG. 4 is a diagram illustrating an example of first table data.
- FIG. 1 is a diagram showing the schematic configuration of an endoscope system 200.
- the endoscope system 200 includes an endoscope device 100 having an endoscope 1, which is an example of a medical device that is inserted into the body for examination, surgery, or the like, and a detection unit 40.
- the endoscope 1 comprises an insertion section 10, which is a long instrument extending in one direction and inserted into the body, an operation section 11 provided at the base end of the insertion section 10 and equipped with operation members for performing observation mode switching operation, image recording operation, forceps operation, air/water supply operation, suction operation, electric scalpel operation, etc., an angle knob 12 provided adjacent to the operation section 11, and a universal cord 13 including connector sections 13A, 13B that detachably connect the endoscope 1 to the light source device 5 and the processor device 4, respectively.
- the operating section 11 is provided with a forceps port through which biopsy forceps, a treatment tool for collecting biological tissue such as cells or polyps, are inserted.
- various channels are provided inside the operating section 11 and the insertion section 10, such as a forceps channel through which the biopsy forceps inserted from the forceps port is inserted, channels for air and water supply, and a suction channel.
- the insertion section 10 is composed of a flexible soft section 10A, a curved section 10B provided at the tip of the soft section 10A, and a tip section 10C provided at the tip of the curved section 10B and harder than the soft section 10A.
- An imaging element and an imaging optical system are built into the tip section 10C.
- the bending section 10B is configured to be freely bent by rotating the angle knob 12. This bending section 10B can be bent in any direction and at any angle depending on the part of the subject on which the endoscope 1 is used, and the tip 10C can be directed in the desired direction.
- the direction in which the insertion section 10 extends is referred to as the longitudinal direction X.
- One of the radial directions of the insertion section 10 is referred to as the radial direction Y.
- One of the circumferential directions of the insertion section 10 (one of the tangential directions of the outer circumferential edge of the insertion section 10) is referred to as the circumferential direction Z.
- the longitudinal directions X the direction from the base end (the operation section 11 side) of the endoscope 1 to the tip is referred to as the longitudinal direction X1, and the direction from the tip of the endoscope 1 to the base end is referred to as the longitudinal direction X2.
- the longitudinal direction X is one of the directions different from the radial direction Y and the circumferential direction Z.
- the radial direction Y is one of the directions different from the longitudinal direction X and the circumferential direction Z.
- the longitudinal direction X constitutes a first direction.
- the radial direction Y constitutes a second direction intersecting the first direction.
- the circumferential direction Z constitutes a third direction different from the first direction and the second direction.
- the endoscope 1 has an insertion section 10 that is inserted into the body of the subject 50 through the anus 50A of the subject 50.
- the detection unit 40 is, as an example, configured in a rectangular plate shape, and has a through hole 41 through which the insertion section 10 can be inserted.
- the detection unit 40 is disposed between the buttocks of the subject 50 and the insertion section 10 (i.e., the movement path of the insertion section 10).
- the insertion section 10 reaches the anus 50A through the through hole 41 of the detection unit 40, and is inserted from here into the body of the subject 50.
- the insertion section 10 constitutes a long instrument that is used by moving it relative to the detection unit 40.
- the endoscope device 100 comprises an endoscope 1, a main body unit 2 consisting of a processor device 4 and a light source device 5 to which the endoscope 1 is connected, a display device 7 that displays captured images, etc., an input unit 6 that is an interface for inputting various information to the processor device 4, and an expansion device 8 for expanding various functions.
- the processor device 4 has various processors 4P that control the endoscope 1, the light source device 5, and the display device 7.
- the extension device 8 has a processor 8P that performs various processes.
- the processors 4P and 8P are respectively a CPU (Central Processing Unit), which is a general-purpose processor that executes software (programs including a display control program) and performs various functions, a programmable logic device (PLD), which is a processor whose circuit configuration can be changed after manufacture such as an FPGA (Field Programmable Gate Array), or a dedicated electrical circuit, which is a processor having a circuit configuration designed specifically to execute specific processes such as an ASIC (Application Specific Integrated Circuit).
- CPU Central Processing Unit
- PLD programmable logic device
- ASIC Application Specific Integrated Circuit
- Processor 4P and processor 8P may each be configured with a single processor, or may be configured with a combination of two or more processors of the same or different types (e.g., multiple FPGAs, or a combination of a CPU and an FPGA). More specifically, the hardware structure of each of processor 4P and processor 8P is an electric circuit (circuitry) that combines circuit elements such as semiconductor elements.
- the expansion device 8 comprises a processor 8P, a communication interface (not shown) (an interface for communicating with the processor device 4 and the detection unit 40 described below), and memory consisting of a recording medium such as RAM (Random Access Memory), ROM (Read Only Memory), SSD (Solid State Drive), or HDD (hard disk drive), and constitutes a processing device.
- a processor 8P a communication interface
- memory consisting of a recording medium such as RAM (Random Access Memory), ROM (Read Only Memory), SSD (Solid State Drive), or HDD (hard disk drive), and constitutes a processing device.
- the processor 8P may obtain an image captured by the endoscope 1 from the processor device 4, and perform lesion recognition processing to recognize lesion areas in the captured image, and treatment tool recognition processing to recognize whether or not the captured image contains a treatment tool such as forceps or a needle.
- Lesion recognition processing refers to processing for detecting a lesion area from a captured image and identifying the detected lesion area.
- processing for detecting a lesion area is called detection processing
- processing for identifying a lesion area is called identification processing.
- Lesion recognition processing may be processing that includes at least detection processing. Detection of a lesion area refers to finding a lesion area (lesion candidate area) suspected to be a malignant tumor or benign tumor, etc., in a captured image. Identification of a lesion area refers to distinguishing the type or nature of a detected lesion area, such as whether the lesion area detected by detection processing is malignant or benign, what kind of disease it is if malignant, and how advanced the disease is.
- both lesion recognition processing and treatment tool recognition processing can be performed by a recognition model generated by machine learning (e.g., a neural network or a support vector machine, etc.), or by image analysis of the captured image.
- processor 8P may be performed by processor 8P alone, or may be shared between processor 8P and another processor.
- the other processor may be, for example, a processor of a server in the inspection system in which the inspection data generated by endoscope system 200 is recorded, or processor 4P.
- processor 4P may be performed by processor 4P.
- Figure 2 is a partial cross-sectional view showing the detailed configuration of the flexible section 10A of the endoscope 1.
- the flexible section 10A which makes up most of the length of the insertion section 10, is flexible over almost its entire length, and the part that is inserted into the body cavity, etc., has a particularly flexible structure.
- the flexible section 10A includes an outer skin layer 18 that constitutes an insulating cylindrical member, and a tubular member 17 that is provided within the outer skin layer 18.
- the outer skin layer 18 is coated with a coating layer 19.
- the tubular member 17 includes a cylindrical first member 14 that contains metal and is coated with an outer skin layer 18, and a cylindrical second member 15 that contains metal and is inserted into the first member 14.
- the second member 15 is a spiral tube formed by winding a metal strip 15a in a spiral shape.
- the first member 14 is a cylindrical mesh body formed by braiding metal wires.
- the first member 14 and the second member 15, which are continuously extending in the longitudinal direction X and have a thin structure, are formed by plastic processing, and the metal that constitutes them includes austenitic stainless steel. Austenitic stainless steel cannot be magnetized when not plastically processed, but can be magnetized by plastic processing. In this way, the first member 14 and the second member 15 each constitute a member containing metal that extends in the longitudinal direction X.
- the outer skin layer 18 is made of a resin such as an elastomer, and has a multi-layer structure consisting of an inner resin layer 18A and an outer resin layer 18B.
- the outer skin layer 18 may have a single layer structure.
- a ferrule 16A is fitted to the end on the tip portion 10C side, and a ferrule 16B is fitted to the end on the operating portion 11 side. These ferrules 16A and 16B are covered by the outer skin layer 18.
- the flexible portion 10A is connected to the curved portion 10B at the ferrule 16A, and is connected to the operating portion 11 at the ferrule 16B.
- the tubular member 17 has a magnetic pattern formed along the longitudinal direction X.
- the magnetic pattern along the longitudinal direction X refers to two types of magnetic pole regions, negative pole (S pole) and positive pole (N pole), arranged in a predetermined arrangement pattern in the longitudinal direction X.
- the first member 14 and the second member 15 each have a plurality of magnetic pole portions MA including magnetic pole regions. At least one of the two types of magnetic pole regions, negative pole (S pole) and positive pole (N pole), is formed in the magnetic pole portion MA.
- the first member 14 and the second member 15 each constitute a member that extends in the longitudinal direction X and has a magnetic pattern formed along the longitudinal direction X.
- FIG. 3 is a schematic diagram showing details of the magnetic pattern formed on the tubular member 17.
- FIG. 4 is a schematic cross-sectional diagram taken along the lines A-A and B-B in FIG. 3.
- the tubular member 17 has magnetic pole portions MA1 including negative pole regions 17S formed in an annular shape along the circumferential direction of the tubular member 17, and magnetic pole portions MA2 including positive pole regions 17N formed in an annular shape along the circumferential direction of the tubular member 17, which are arranged alternately in the longitudinal direction X.
- the total number of magnetic pole portions MA1 and the total number of magnetic pole portions MA2 are the same.
- an example of a method for manufacturing an endoscope 1 including a tubular member 17 having a magnetic pattern as shown in FIG. 3 will be described.
- an endoscope 1 having the configuration as shown in FIG. 1 is manufactured by a known method.
- a magnetic field generator 300 is prepared, which has a cylindrical coil and can generate a magnetic field in the cylindrical coil by passing a current through the cylindrical coil.
- the insertion section 10 of the endoscope 1 is inserted from the tip side into the cylindrical coil of the magnetic field generator 300, and the coil is moved relatively to the boundary between the operation section 11 and the flexible section 10A.
- an alternating current is passed through the cylindrical coil of the magnetic field generator 300 to form a magnetic field, and the insertion section 10 is pulled out of the cylindrical coil of the magnetic field generator 300 in the longitudinal direction X2 at a constant speed.
- This process removes the magnetic force of the tubular member 17 generated by the plastic processing, and demagnetizes the tubular member 17.
- the bending section 10B and the tip section 10C in the insertion section 10 of the endoscope 1 are demagnetized.
- a certain area is demagnetized, it means that the magnetic flux density detected from that area is equal to or lower than the earth's magnetic field.
- the cylindrical coil of the magnetic field generator 300 is placed on the outer periphery of the flexible portion 10A at a predetermined position in the longitudinal direction X, and an alternating current is passed through the cylindrical coil in this state to form a magnetic field.
- This operation forms negative pole regions 17S and positive pole regions 17N around the entire circumference of the tubular member 17 near both ends of the cylindrical coil of the magnetic field generator 300.
- This operation is then repeated while shifting the position of the flexible portion 10A in the longitudinal direction X relative to the cylindrical coil, thereby forming the magnetic pattern shown in Figure 3 on the tubular member 17.
- any magnetic pattern can be easily formed on the tubular member 17 of the flexible section 10A, even for endoscopes 1 of existing configurations or endoscopes 1 that have already been sold.
- a magnetic pattern with a desired magnetic force can be formed with high precision.
- a magnetic pole region with a uniform magnetic force can be formed over the entire outer circumference of the tubular member 17 in the magnetic pole section MA. Note that in FIG.
- the magnetic pattern information includes information indicating the positions of the two types of magnetic pole regions in the tubular member 17, information indicating the arrangement pitch of the two types of magnetic pole regions in the tubular member 17, information indicating the range in which the magnetic pole regions are formed in the insertion section 10, or information indicating the positions of the demagnetized regions in the insertion section 10.
- the demagnetized regions in the insertion section 10 constitute adjacent regions adjacent to the region in the insertion section 10 in which the magnetic pattern is formed.
- the curved section 10B and the tip section 10C are demagnetized regions in the insertion section 10, but they need only be configured to be distinguishable from the region in which the magnetic pattern is formed, and it is not essential that they are demagnetized. For example, they may be magnetized with a pattern or magnetic force that is clearly different from the magnetic pattern.
- FIG. 5 is an exploded perspective view showing an example of the configuration of the detection unit 40.
- the detection unit 40 includes a housing 42 having a through hole 41, and a magnetic detection unit 43, a magnetic detection unit 44, a communication chip 45, a storage battery 46, and a power receiving coil 47 housed in the housing 42.
- the housing 42 includes a main body 42A having a rectangular flat plate portion 42a with a through hole 41A penetrating in the thickness direction, a rectangular frame-shaped side wall portion 42b rising from the outer peripheral edge of the flat plate portion 42a in the thickness direction of the flat plate portion 42a, and a cylindrical inner wall portion 42c rising from the peripheral edge of the through hole 41A in the flat plate portion 42a in the thickness direction of the flat plate portion 42a, and a rectangular flat plate-shaped lid portion 42B for closing the storage space surrounded by the flat plate portion 42a, the side wall portion 42b, and the inner wall portion 42c.
- the magnetic detection unit 43, the magnetic detection unit 44, the communication chip 45, the storage battery 46, and the power receiving coil 47 are housed in this storage space.
- the lid 42B is formed with a through hole 41B penetrating in the thickness direction, and when the lid 42B closes the storage space, the through hole 41A and the through hole 41B communicate via the inner periphery of the inner wall 42c to form a through hole 41 through which the endoscope 1 can be inserted. It is preferable that the through hole 41 has a perfect circular shape when viewed from the axial direction of the inner wall 42c (the direction in which the endoscope 1 is inserted).
- the housing 42 is preferably made of resin or the like to reduce weight and cost, and is preferably structured to prevent moisture from entering the storage space.
- the magnetic detection units 43 and 44 are each disposed close to the inner wall portion 42c, and are three-axis magnetic sensors capable of detecting the magnetic flux density in the direction x along the axis of the inner wall portion 42c (the direction along the axis of the through hole 41), the magnetic flux density in the radial direction y of the through hole 41, and the magnetic flux density in the direction z perpendicular to the direction x and the radial direction y.
- the magnetic detection unit 43 and the magnetic detection unit 44 are each configured to be able to detect the magnetic flux density BX in the longitudinal direction X of the insertion portion 10, the magnetic flux density BY in the radial direction Y of the insertion portion 10, and the magnetic flux density BZ in the circumferential direction Z of the insertion portion 10.
- the magnetic detection unit 43 and the magnetic detection unit 44 may each be configured with three magnetic sensors: a one-axis magnetic sensor capable of detecting magnetic flux density BX, a one-axis magnetic sensor capable of detecting magnetic flux density BY, and a one-axis magnetic sensor capable of detecting magnetic flux density BZ.
- magnetic flux density BX constitutes the first magnetic flux density
- magnetic flux density BY constitutes the second magnetic flux density
- magnetic flux density BZ constitutes the third magnetic flux density.
- the magnetic detection units 43 and 44 only need to be able to detect magnetic flux density including a component in the longitudinal direction X, magnetic flux density including a component in the radial direction Y, and magnetic flux density including a component in the circumferential direction Z, respectively, and the three detection axis directions do not need to completely match the longitudinal direction X, radial direction Y, and circumferential direction Z, respectively.
- the magnetic sensor can detect magnetic flux density including a component in the longitudinal direction X, magnetic flux density including a component in the radial direction Y, and magnetic flux density including a component in the circumferential direction Z.
- FIG. 6 is a schematic diagram of the main body 42A of the detection unit 40 shown in FIG. 5, viewed from the direction x.
- the magnetic detection units 43 and 44 are disposed in opposing positions across the center CP of the through hole 41 when viewed from the direction x.
- the midpoint of the line segment LL connecting the magnetic detection units 43 and 44 approximately coincides with the center CP of the through hole 41.
- the distance from the magnetic detection unit 43 to the center CP of the through hole 41 approximately coincides with the distance from the magnetic detection unit 44 to the center CP of the through hole 41.
- FIG. 7 is a diagram showing an example of a position that the insertion portion 10 can take within the through hole 41.
- State ST1 in FIG. 7 shows a state in which the insertion portion 10 is furthest from the magnetic detection portion 43 in the radial direction Y within the through hole 41.
- State ST2 in FIG. 7 shows a state in which the insertion portion 10 is furthest from the magnetic detection portion 44 in the radial direction Y within the through hole 41.
- the detection ranges and installation positions of the magnetic detection portions 43 and 44 are determined so that the magnetic flux density can be detected with high accuracy from the magnetic pattern formed in the tubular member 17 in both states ST1 and ST2 in FIG. 7.
- the thickness of the part of the inner wall portion 42c where the center CP is located in the same position in the direction z is r1.
- the thickness r1 is 0.5 mm.
- the magnetic force of the magnetic pole region formed in the tubular member 17 is defined as the magnetic flux density detected at a position 0.5 mm away from the outer surface of the insertion portion 10 in the radial direction of the insertion portion 10, this magnetic force is preferably a value sufficiently larger than the geomagnetic field and a value suitable for the performance of a general magnetic sensor (specifically, 500 microtesla) or more.
- a general magnetic sensor specifically, 500 microtesla
- the magnetic force of the magnetic pole region formed in the tubular member 17 is in the range of 1000 microtesla to 1500 microtesla so that the magnetic detection unit 43 and the magnetic detection unit 44 can detect the magnetic flux density with high accuracy.
- the upper limit value of the magnetic force of the magnetic pole region formed in the tubular member 17 is 20 millitesla or less so that the insertion portion 10 does not stick to other metals. Considering the maximum sensitivity of a typical magnetic sensor, it is more preferable that the upper limit of the magnetic force of the magnetic pole region formed in the tubular member 17 be 2 mT or less.
- the position of the insertion portion 10 may vary within the through hole 41.
- the arithmetic mean of the magnetic flux density BX detected by the magnetic detection unit 43 from the tubular member 17 and the magnetic flux density BX detected by the magnetic detection unit 44 from the tubular member 17 it is possible to detect the magnetic flux density BX corresponding to the magnetic pattern regardless of the position of the insertion portion 10 within the through hole 41.
- the arithmetic mean of the magnetic flux density BY detected by the magnetic detection unit 43 from the tubular member 17 and the magnetic flux density BY detected by the magnetic detection unit 44 from the tubular member 17 it is possible to detect the magnetic flux density BY corresponding to the magnetic pattern regardless of the position of the insertion portion 10 within the through hole 41.
- the communication chip 45 shown in FIG. 5 transmits information on the magnetic flux density detected by the magnetic detection units 43 and 44 to the expansion device 8 via wireless communication.
- the communication chip 45 constitutes an output unit that outputs the information detected by the magnetic detection units 43 and 44 to the outside.
- This magnetic flux density information may be transmitted to the processor device 4, in which case the processor 4P transfers the information to the processor 8P of the expansion device 8.
- the storage battery 46 is charged by power received by the power receiving coil 47 through a non-contact power supply.
- the magnetic detection unit 43, the magnetic detection unit 44, and the communication chip 45 operate on the power supplied from the storage battery 46.
- the detection unit 40 has a start-up switch (not shown). When this start-up switch is turned on, the supply of power from the storage battery 46 to the magnetic detection unit 43, the magnetic detection unit 44, and the communication chip 45 begins.
- the detection unit 40 may be configured without a start-up switch so that the supply of power to the magnetic detection unit 43, the magnetic detection unit 44, and the communication chip 45 begins upon receiving wireless power from an external source. When no start-up switch is provided, a structure in which the storage space of the housing 42 is completely sealed can be easily realized.
- FIG. 8 is a schematic diagram showing an example of the magnetic flux density detected by the magnetic detection unit 43.
- the magnetic flux density detected by the magnetic detection unit 44 is the same as that in FIG. 8, and is therefore not shown.
- the two graphs shown in FIG. 8 show the magnetic flux density BX and magnetic flux density BY detected by the magnetic detection unit 43 when the flexible portion 10A moves in the longitudinal direction X1 through the through hole 41.
- the magnetic flux lines extending from the positive pole region 17N toward the adjacent negative pole region 17S in the longitudinal direction X are indicated by dashed arrows.
- the magnetic flux density BX detected by the magnetic detection unit 43 is a positive value between each positive electrode region 17N and the adjacent negative electrode region 17S in the longitudinal direction X1, and a negative value between each positive electrode region 17N and the adjacent negative electrode region 17S in the longitudinal direction X2.
- the magnetic flux density BY detected by the magnetic detection unit 43 is a negative value with a large absolute value near the negative electrode region 17S, a positive value with a large absolute value near the positive electrode region 17N, and a value close to zero near the midpoint between the negative electrode region 17S and the positive electrode region 17N.
- the magnetic flux density detected at multiple positions in the longitudinal direction X of the tubular member 17 from the magnetic pattern formed on the tubular member 17 is such that the magnetic flux density BX and the magnetic flux density BY change periodically with positive and negative values, and the phases of the magnetic flux density BX and the magnetic flux density BY are shifted in the longitudinal direction X.
- the end in the longitudinal direction X where the absolute value of the magnetic flux density BY is maximum (position P1 in FIG. 8) is hereinafter referred to as the negative pole end
- the positive pole region 17N the end in the longitudinal direction X where the absolute value of the magnetic flux density BY is maximum (position P2 in FIG. 8) is hereinafter referred to as the positive pole end.
- a magnetic pattern can be formed in which the distance between the negative pole end and the positive pole end is 72 mm.
- FIG. 8 for example, by placing a cylindrical coil between the negative pole area 17S at the left end and the positive pole area 17N adjacent to it on the right to form a magnetic field, these two magnetic pole areas can be formed.
- the cylindrical coil is moved relatively 144 mm in the longitudinal direction X2, and a magnetic field is formed in that state to form the positive pole area 17N at the right end and the negative pole area 17S adjacent to it on the left.
- a magnetic pattern can be formed in which the distance between the positive pole ends and negative pole ends alternately formed in the longitudinal direction X (the distance between positions P1 and P2) is 72 mm.
- the processor 8P of the expansion device 8 acquires information on the magnetic flux density detected by the magnetic detection unit 43 and the magnetic detection unit 44 from the detection unit 40, and determines the movement state of the insertion unit 10 in the longitudinal direction X based on the acquired magnetic flux density BX and magnetic flux density BY.
- the movement state of the insertion unit 10 determined here includes the movement direction indicating in which direction in the longitudinal direction X the insertion unit 10 is moving relative to the detection unit 40, and the movement amount (movement distance) indicating how far the insertion unit 10 inserted into the through hole 41 of the detection unit 40 has moved in the longitudinal direction X relative to the detection unit 40.
- the processor 8P arithmetically averages the magnetic flux density BX detected at the same timing by each of the magnetic detection unit 43 and the magnetic detection unit 44, and arithmetically averages the magnetic flux density BY detected at the same timing by each of the magnetic detection unit 43 and the magnetic detection unit 44, and determines the movement state of the insertion unit 10 based on the magnetic flux density BX and magnetic flux density BY obtained by arithmetically averaging these.
- the processor 8P classifies the magnetic flux density BX into a plurality of pieces of information according to its magnitude, classifies the magnetic flux density BY into a plurality of pieces of information according to its magnitude, and determines the movement state of the insertion portion 10 in the longitudinal direction X based on a combination of any one of the pieces of information obtained by classifying the magnetic flux density BX and any one of the pieces of information obtained by classifying the magnetic flux density BY.
- the processor 8P sets a first threshold th (e.g., "0") as a threshold for classifying the magnetic flux density BX into two levels, and sets a second threshold th1 (a positive value greater than 0) and a second threshold th2 (a negative value less than 0) as thresholds for classifying the magnetic flux density BY into three levels.
- the processor 8P then classifies, in the magnetic flux density BX, values greater than the first threshold th as a high level H, and values less than the first threshold th as a low level L.
- the processor 8P also classifies, in the magnetic flux density BY, values greater than the second threshold th1 as a high level H, values between the second threshold th1 and the second threshold th2 as a middle level M, and values less than the second threshold th2 as a low level L.
- the result of classifying the magnetic flux density BX in this way is also referred to as the classification level of the magnetic flux density BX
- the result of classifying the magnetic flux density BY in this way is also referred to as the classification level of the magnetic flux density BY.
- the high level constitutes one of the fourth information and the fifth information
- the low level constitutes the other of the fourth information and the fifth information
- the high level constitutes one of the first information and the second information
- the low level constitutes the other of the first information and the second information
- the middle level constitutes the third information.
- the classification results (classification levels) of the magnetic flux density BX and magnetic flux density BY in the graph shown in Fig. 8 are shown by thick solid lines.
- the range between two adjacent positions P1 is divided into a region R1 where the magnetic flux density BX is at a high level and the magnetic flux density BY is at a low level, a region R2 where the magnetic flux density BX is at a high level and the magnetic flux density BY is at a middle level, a region R3 where the magnetic flux density BX is at a high level and the magnetic flux density BY is at a high level, a region R4 where the magnetic flux density BX is at a low level and the magnetic flux density BY is at a high level, a region R5 where the magnetic flux density BX is at a low level and the magnetic flux density BY is at a middle level, and a region R6 where the magnetic flux density BX is at a low level and the magnetic
- the processor 8P monitors the thick solid lines (classification levels of magnetic flux density BX, BY) shown in FIG. 9 to determine the direction of movement of the insertion portion 10 relative to the detection unit 40 and the amount of movement (movement distance) of the insertion portion 10 in the longitudinal direction X starting from the position of the detection unit 40.
- the processor 8P detects that the most distal region R1 of the tubular member 17 is located within the through hole 41 from the combination of the classification level of the magnetic flux density BX and the classification level of the magnetic flux density BY, and detects this position as the reference position.
- the distance in the longitudinal direction X from the negative electrode region 17S provided at the most distal end of the tubular member 17 to the tip of the tip portion 10C (referred to as distance L1) is known.
- the processor 8P detects this reference position, it determines that the movement distance of the insertion portion 10 relative to the detection unit 40 is "0", and further determines that the insertion length of the insertion portion 10 into the body of the subject 50 (the distance from the reference position (through hole 41) to the tip of the insertion portion 10) is distance L1.
- the processor 8P After detecting the reference position, if the processor 8P determines that the region of the tubular member 17 passing through the through hole 41 is changing in the direction from region R1 toward region R6 based on the classification levels of the magnetic flux densities BX and BY, it determines that the insertion portion 10 is moving in the longitudinal direction X1.
- the processor 8P determines that the insertion portion 10 is moving in the longitudinal direction X1
- each time the region of the tubular member 17 passing through the through hole 41 changes by one e.g., from region R1 to region R2, from region R2 to region R3, etc.
- it increases the movement distance of the insertion portion 10 in the longitudinal direction X1 by unit distance ⁇ L and increases the insertion length of the insertion portion 10 into the body of the subject 50 by unit distance ⁇ L.
- This unit distance ⁇ L can be the distance between adjacent negative electrode regions 17S divided by 6.
- processor 8P determines that the region of tubular member 17 passing through through hole 41 is changing in the direction from region R6 toward region R1 based on the classification levels of magnetic flux densities BX and BY, it determines that insertion portion 10 is moving in longitudinal direction X2. Furthermore, when processor 8P determines that insertion portion 10 is moving in longitudinal direction X2, it reduces the movement distance of insertion portion 10 in longitudinal direction X1 by unit distance ⁇ L each time the region of tubular member 17 passing through through hole 41 changes by one, and reduces the insertion length of insertion portion 10 into the body of subject 50 by unit distance ⁇ L.
- the processor 8P may increase or decrease the insertion length of the insertion portion 10 by twice the unit distance ⁇ L.
- the processor 8P displays the information on the insertion length determined in this manner on the display device 7, outputs it as sound from a speaker (not shown), or transmits it to the operator of the endoscope 1 by vibration of a transducer provided in the operation unit 11. This makes it possible to accurately record the imaging position of the endoscope 1, and to guide and evaluate the operation of the endoscope 1.
- the processor 8P can easily detect the reference position. Specifically, when the insertion portion 10 is inserted into the through hole 41 from the tip side and moves in the longitudinal direction X1, the magnetic flux density BX and the magnetic flux density BY are both close to "0" while the tip portion 10C and the curved portion 10B are passing through the through hole 41. Then, when the negative pole region 17S at the most tip side of the tubular member 17 reaches the through hole 41, the magnetic flux density BX and the magnetic flux density BY become a combination of high and low levels as shown in FIG. 9, and the reference position can be easily detected by the fluctuation of the magnetic flux density.
- the processor 8P classifies the magnetic flux density BX into two categories, high level and low level, and the magnetic flux density BY into three categories, high level, middle level, and low level, and determines the movement state of the insertion section 10 in the longitudinal direction X based on the combination of these.
- the processor 8P monitors the change in the combination of the classification level of the magnetic flux density BX and the classification level of the magnetic flux density BY.
- the movement direction, movement distance, and insertion length of the insertion section 10 can be determined.
- the endoscope system 200 such effects can be achieved simply by magnetizing the endoscope 1 with a general-purpose configuration and adding the detection unit 40, so the construction cost of the system can be reduced.
- the movement direction, movement distance, and insertion length of the insertion section 10 are determined based on magnetic flux density information that can be obtained non-optically, the accuracy of the determination does not decrease even if the insertion section 10 is dirty, and it is practical.
- the classification level of magnetic flux density BX and the classification level of magnetic flux density BY it is possible to determine the movement distance of the insertion section 10 with a resolution finer than the distance between two adjacent magnetic pole regions (negative pole region 17S and positive pole region 17N) (for example, in units of 1/3 of this distance). In this way, being able to precisely determine the movement distance can be useful for accurately recording the imaging position of the endoscope 1, guiding and evaluating the operation of the endoscope 1, etc.
- processor 8P calculates the arithmetic mean of the magnetic flux density detected by magnetic detection unit 43 and the magnetic flux density detected by magnetic detection unit 44, and determines the movement direction, movement distance, and insertion length of insertion unit 10 based on this arithmetic mean magnetic flux density. Therefore, it is possible to obtain a change in magnetic flux density according to the magnetic pattern regardless of the position of insertion unit 10 in through hole 41.
- the magnetic flux density detected by magnetic detection unit 43 and magnetic detection unit 44 may contain disturbance components caused by the earth's magnetism, the magnetic field generated by the steel frame of the building, the magnetic field generated by steel furniture, etc., in addition to those caused by magnetization.
- the effects of these disturbance components can be reduced.
- the processor 8P can determine the movement direction, movement distance, and insertion length of the insertion portion 10 based on the magnetic flux densities BX and BY detected by the magnetic detection portion 43 or the magnetic detection portion 44.
- the negative electrode region 17S and the positive electrode region 17N formed in the tubular member 17 are each formed in an annular shape along the outer periphery of the tubular member 17. Therefore, even if the insertion portion 10 rotates in its circumferential direction within the through hole 41, the change in the magnetic flux density detected by the magnetic detection units 43 and 44 can be almost eliminated. Therefore, regardless of the posture of the insertion portion 10, the movement direction, movement distance, and insertion length of the insertion portion 10 can be determined.
- the magnetic flux density detected by magnetic detection units 43 and 44 may contain disturbance components.
- the orientation of the disturbance components also changes depending on the position of detection unit 40. Therefore, rather than using the raw data of magnetic flux density BX and magnetic flux density BY as is to determine the movement state of insertion section 10 in longitudinal direction X, as described above, magnetic flux density BX is classified into two categories, high level and low level, and magnetic flux density BY is classified into three categories, high level, middle level, and low level, and the movement state of insertion section 10 in longitudinal direction X is determined based on a combination of these classification levels, thereby eliminating the influence of disturbance components.
- the processor 8P classifies the magnetic flux density BX into two categories, high level and low level, and the magnetic flux density BY into three categories, high level, middle level, and low level, and determines the movement state of the insertion portion 10 in the longitudinal direction X based on a combination of these classification levels.
- the processor 8P may classify the magnetic flux density BX into two categories, high level and low level, and the magnetic flux density BY into two categories, high level and low level, and determine the movement state of the insertion portion 10 in the longitudinal direction X based on a combination of these classification levels.
- processor 8P sets a "first threshold th (e.g., 0)" as the threshold for classifying magnetic flux density BX into two levels, and sets a “second threshold th3 (e.g., 0)" as the threshold for classifying magnetic flux density BY into two levels. Then, processor 8P classifies values of magnetic flux density BX that are greater than the first threshold th as high level, and values of magnetic flux density BX that are less than the first threshold th as low level. Processor 8P also classifies values of magnetic flux density BY that are greater than the second threshold th3 as high level, and values of magnetic flux density BX that are less than the second threshold th3 as low level.
- first threshold th e.g., 0
- second threshold th3 e.g., 0
- the range between two positions P1 is divided into a region R1 where the magnetic flux density BX is at a high level and the magnetic flux density BY is at a low level, a region R2 where the magnetic flux density BX is at a high level and the magnetic flux density BY is at a high level, a region R3 where the magnetic flux density BX is at a low level and the magnetic flux density BY is at a high level, and a region R4 where the magnetic flux density BX is at a low level and the magnetic flux density BY is at a low level.
- the range between adjacent negative pole ends in the longitudinal direction X can be divided into four regions R1 to R4 depending on the combination of the classification levels of the magnetic flux density BX and the magnetic flux density BY.
- processor 8P can determine the direction of movement of insertion portion 10 and the amount of movement (movement distance) of insertion portion 10 in longitudinal direction X.
- the processor 8P classifies the magnetic flux density into a plurality of pieces of information according to its magnitude, but the classification may be performed by a processor provided in the communication chip of the detection unit 40.
- the detection unit 40 may transmit classification level information shown by the thick solid lines in FIG. 9 and FIG. 10 to the processor 8P.
- the processor 8P is described as determining the movement state of the insertion section 10, but the processor provided in the communication chip of the detection unit 40 may perform this determination and transmit the determination result to the processor 8P.
- a processor such as a personal computer connected to the extension device 8 via a network may obtain magnetic flux density information from the detection unit 40, perform the above determination, and transmit the determination result to the processor 8P.
- a processor separate from the processor 8P may determine the movement state of the insertion section 10.
- a processor provided outside the endoscope device 100 may determine the movement state of the insertion section 10 and transmit the determination result to the processor 8P.
- the threshold value used to classify the magnetic flux density BX and the magnetic flux density BY by their magnitude may be a predetermined fixed value, but is preferably a variable value determined based on the magnetic flux densities detected by the magnetic detection units 43 and 44 after the insertion of the insertion part 10 into the through hole 41 has started.
- the processor 8P can obtain the maximum and minimum values of the magnetic flux density BX detected by the magnetic detection portion 43, and the maximum and minimum values of the magnetic flux density BY detected by the magnetic detection portion 43.
- the processor 8P obtains the maximum and minimum values of the magnetic flux density BX, it calculates the average value of the maximum and minimum values, and sets the average value as the first threshold value th.
- the processor 8P When the processor 8P obtains the maximum and minimum values of the magnetic flux density BY, it calculates the average value of the maximum and minimum values, and sets the average value plus a preset value as the second threshold value th1, and sets the average value minus the preset value as the second threshold value th2.
- This preset value is greater than the value expected as a disturbance component, and is smaller than the absolute values of the maximum and minimum values of the magnetic flux density BY.
- the first three magnetic pole regions from the tip of the tubular member 17 form the base end of the demagnetized region (adjacent region) side of the region where the magnetic pattern is formed.
- the processor 8P can use the threshold value set in this way to classify the magnetic flux density BX and the magnetic flux density BY.
- the processor 8P can use the threshold value set in this way to classify the magnetic flux density BX and the magnetic flux density BY. In this way, by setting the threshold value based on the magnetic flux density detected by the magnetic detection unit 43 and the magnetic detection unit 44, the movement state of the insertion unit 10 can be determined with higher accuracy.
- the processor 8P sets the first threshold th, the second threshold th1, and the second threshold th2 to predetermined values, respectively, during the period until the third magnetic pole region from the most distal end of the tubular member 17 passes through the through hole 41, and detects the reference position and determines the movement state of the insertion unit 10, and thereafter preferably updates the first threshold th, the second threshold th1, and the second threshold th2 using the method described above to determine the movement state of the insertion unit 10.
- the magnetic flux densities BX and BY detected by the magnetic detection units 43 and 44 change periodically between positive and negative, and are out of phase with each other, and a magnetic pattern is formed on the tubular member 17, making it possible to determine the movement state of the insertion portion 10.
- a magnetic pattern is not limited to the configuration of the magnetic pole portions MA1 and MA2 shown in Figures 3 and 4, and various modifications are possible.
- FIG. 11 is a schematic cross-sectional view taken along the lines A-A and B-B, showing modified examples of the magnetic pole portions MA1 and MA2 shown in FIG. 3.
- the magnetic pole portion MA1 is configured such that the negative pole regions 17S and the positive pole regions 17N are formed alternately and at intervals along the circumferential direction of the tubular member 17.
- the magnetic pole portion MA2 is configured such that the negative pole regions 17S and the positive pole regions 17N are formed alternately and at intervals along the circumferential direction of the tubular member 17.
- the magnetic pole portion MA2 is configured such that the magnetic pole portion MA1 is rotated 90 degrees around the axial center of the tubular member 17.
- the positive pole region 17N in the magnetic pole portion MA1 and the negative pole region 17S in the magnetic pole portion MA2 are located at the same circumferential position of the tubular member 17. That is, in the tubular member 17, all magnetic pole regions located at the same circumferential position are configured such that the negative pole regions 17S and the positive pole regions 17N are alternately arranged in the longitudinal direction X.
- the tubular member 17 has a first magnetic pattern in which the negative pole region 17S and the positive pole region 17N are alternately arranged along the longitudinal direction X with the negative pole region 17S at the head, and a second magnetic pattern in which the negative pole region 17S and the positive pole region 17N are alternately arranged along the longitudinal direction X with the positive pole region 17N at the head, which are alternately arranged at intervals in the circumferential direction of the tubular member 17.
- FIG. 12 is a schematic diagram showing the magnetic flux lines generated in the magnetic pole portion MA1 of the configuration shown in FIG. 11.
- FIG. 12 illustrates the positions of the magnetic detection units 43 and 44 relative to the flexible portion 10A when the flexible portion 10A passes through the through hole 41.
- the magnetic flux density BY detected by the magnetic detection unit 43 is a large negative value.
- the magnetic flux density BY detected by the magnetic detection unit 43 is a value close to zero.
- the magnetic flux density BY detected by the magnetic detection unit 43 is a large positive value.
- the magnetic flux density BY detected by the magnetic detection unit 43 is a value close to zero.
- the magnetic flux density BY detected by the magnetic detection unit 43 is a large negative value.
- the magnetic flux density BY detected by the magnetic detection unit 43 is equivalent to the magnetic flux density BY shown in FIG. 8.
- the magnetic flux density BZ detected by the magnetic detection unit 43 is equivalent to the magnetic flux density BY shown in FIG. 8, but with a phase shift of 90 degrees. Therefore, when the magnetic flux densities BY and BZ detected by the magnetic detection unit 43 are classified into high and low levels, respectively, these classification levels are equivalent to the thick solid line of the magnetic flux density BY shown in FIG. 10 (however, the magnetic flux density BY and the magnetic flux density BZ are out of phase by 90 degrees). Therefore, it is possible to derive the rotation direction and amount of rotation of the insertion portion 10 by combining these classification levels.
- the processor 8P classifies each of the magnetic flux density BZ and the magnetic flux density BY into a plurality of pieces of information, and by observing the change in the combination of these pieces of information, the rotation state (rotation direction and amount of rotation (rotation angle)) of the insertion portion 10 in the circumferential direction can be determined in the same manner as the method of determining the movement state of the insertion portion 10.
- the first magnetic pattern and the second magnetic pattern extending in the longitudinal direction X are formed in the tubular member 17, so that, as described above, the movement state of the insertion portion 10 can be determined based on the magnetic flux density BX and the magnetic flux density BY.
- the magnetic pole portion MA1 and the magnetic pole portion MA2 each include four magnetic pole regions arranged in the circumferential direction.
- the magnetic pole portion MA1 and the magnetic pole portion MA2 may each include two magnetic pole regions, or an even number of six or more magnetic pole regions.
- the arithmetic mean of the magnetic flux densities BY and BZ detected by the magnetic detection unit 43 and the magnetic flux densities BY and BZ detected by the magnetic detection unit 44 classify these two arithmetic mean values into high and low levels, and derive the direction and amount of rotation of the insertion unit 10 based on a combination of these classification levels.
- Fig. 13 is a schematic diagram for explaining the movement path of the insertion section 10 in an examination performed using the endoscope 1 (hereinafter, referred to as an endoscopic examination).
- Endoscopic examinations include endoscopic examinations for examining upper digestive organs such as the stomach, and endoscopic examinations for examining lower digestive organs such as the large intestine. Endoscopic examinations also include a first examination in which the insertion portion 10 is inserted into the subject to check whether or not a lesion area is present in the subject, and a second examination in which the insertion portion 10 is inserted into the subject to remove an already known lesion area.
- the moving path 10X is a tubular path that runs from a through hole 41 of a detection unit 40 disposed near an anus 50A outside the subject, through the anus 50A to a rectum 53, and further from the rectum 53, through a sigmoid colon 54, a descending colon 55, a transverse colon 56, and an ascending colon 57 to an ileocecal portion 58.
- the operator of the endoscope 1 inserts the insertion portion 10 into the anus 50A via the through hole 41, reaches the ileocecal portion 58, which is the halfway point of the examination, and then removes it from the ileocecal portion 58 to the outside of the subject.
- the process of moving the tip of the insertion portion 10 from the through hole 41 to the ileocecal portion 58 will be described as the insertion process
- the process of moving the tip of the insertion portion 10 from the ileocecal portion 58 to the through hole 41 will be described as the removal process.
- the first examination is composed of a set of the insertion process and the removal process.
- the second colon endoscopic examination is the same as the first examination, except that the halfway point of the examination is changed to the location of the lesion area that was discovered in the first examination.
- the turning point of the first examination is the duodenum
- the turning point of the second examination is the location of the diseased area that was discovered in the first examination.
- the processor 8P derives a first distance (the insertion length described above) from a reference position (the position of the through hole 41) on the movement path 10X to the tip of the insertion portion 10 based on the magnetic flux densities BX and BY detected by the detection unit 40.
- the processor 8P sequentially acquires the captured images captured by the endoscope 1, and performs reach area recognition processing to recognize the area in the subject that the tip of the insertion portion 10 has reached (anus, rectum, sigmoid colon, S-top (top of the sigmoid colon), SDJ (transition between the sigmoid colon and descending colon), descending colon, splenic curvature, transverse colon, hepatic curvature, ascending colon, ileocecal region, or outside the body, etc.) based on the acquired captured images.
- the processor 8P performs this reach area recognition processing using, for example, a recognition model generated by machine learning that takes the captured images as input and outputs the recognition results of the area in the subject.
- the processor 8P may recognize which area in the subject the tip of the insertion portion 10 has reached based on information input by the operator of the endoscope 1. For example, when the operator recognizes from the captured images that the tip of the insertion portion 10 has reached a specific area, the operator performs a specific operation on the endoscope 1, for example, to input information indicating that the specific area has been reached. When the processor 8P receives this information, it recognizes that the part of the subject that the tip of the insertion section 10 is reaching is the specified part.
- the processor 8P can use the results of this reach site recognition process to determine whether the insertion process or the removal process is being performed. As an example, the processor 8P determines the period from when the reach site is recognized as the anus 50A or rectum 53 until when the reach site is recognized as the ileocecal region 58 as the insertion process period (first period) during which the endoscope 1 moves from the start to the end of the movement path 10X, and determines the period from when the reach site is recognized as the ileocecal region 58 until when when the reach site is recognized as outside the subject's body as the removal process period (second period) during which the endoscope 1 moves from the end to the start of the movement path 10X.
- first period the period during which the endoscope 1 moves from the start to the end of the movement path 10X
- second period the removal process period
- the processor 8P determines the direction of movement of the insertion portion 10 on the movement path 10X based on the change over time of the first distance derived based on the magnetic flux densities BX and BY detected by the detection unit 40, and can also distinguish the period of the insertion process and the period of the removal process from the direction of movement. For example, when the first distance is on the increase, the processor 8P determines that the insertion portion 10 is moving in a direction from outside the subject's body toward the ileocecal portion 58, and determines that it is the period of the insertion process (first period).
- the processor 8P determines that the insertion portion 10 is moving in a direction from the ileocecal portion 58 toward outside the subject's body, and determines that it is the period of the removal process (second period).
- the processor 8P can detect the occurrence of various events related to endoscopic examination by using, for example, the results of the above-mentioned reached area recognition processing and the results of the above-mentioned lesion recognition processing and treatment tool recognition processing, and obtain event information, which is information about those events.
- the processor 8P can detect, for example, an event that the insertion process has started, an event that the removal process has started, an event that the endoscopic examination has ended, an event that the tip of the endoscope 1 has reached a specific site within the subject, an event that a specific operation of the endoscope 1 (e.g., operation of a treatment tool) has been performed, or an event that a lesion area has been detected within the subject.
- an event that the insertion process has started
- an event that the removal process has started
- an event that the endoscopic examination has ended
- an event that the tip of the endoscope 1 has reached a specific site within the subject
- an event that a specific operation of the endoscope 1 e.g., operation of a treatment tool
- the processor 8P detects the occurrence of an event (examination start event) that the endoscopic examination has started (insertion process has started). After detecting the examination start event, when the reached site recognition process recognizes that the reached site is the ileocecal portion 58, the processor 8P detects the occurrence of an event (removal start event) that the removal process has started. After the removal start event, when the processor 8P recognizes that the reached site is not inside the subject, the processor 8P detects the occurrence of an event (examination end event) that the endoscopic examination has ended.
- processor 8P detects the occurrence of an event that a lesion area has been detected (lesion detection event).
- processor 8P detects the occurrence of an event that a treatment (operation of the treatment tool) has been performed (treatment event).
- processor 8P detects the occurrence of an event that the tip of insertion section 10 has reached the specific site (specific site reaching event).
- the processor 8P can detect an event in which a specific operation of the endoscope 1 (e.g., adjusting the hardness of the insertion portion 10) has been performed based on information input by the operator, and obtain information about that event.
- a specific operation of the endoscope 1 e.g., adjusting the hardness of the insertion portion 10.
- the processor 8P can also detect the occurrence of an operator action event in which the operator has performed a specific action, and obtain information about the event. For example, when the operator performs a specific action such as rotating (twisting) the insertion portion 10 or manual compression, the operator inputs information indicating that the action has been performed by voice input, operating an input device such as a touch panel, or operating a button on the endoscope 1. By receiving this information, the processor 8P can detect the occurrence of an event in which the action has been performed. If the magnetic pattern shown in FIG. 11 is employed, the processor 8P can also detect that the insertion portion 10 has been rotated, based on information about the magnetic flux density detected by the detection unit 40.
- the processor 8P can detect an examination start event, removal start event, examination end event, lesion detection event, treatment event, and specific site arrival event based on information input by the operator, without using the results of the reached site recognition process, lesion recognition process, and treatment tool recognition process. For example, when various events occur, such as examination start (insertion start), removal start, examination end (removal end), lesion area detection, treatment implementation, or reaching a specific site, the operator inputs voice, operates an input device such as a touch panel, or operates a button on the endoscope 1. The processor 8P can detect the occurrence of the event through these operations and obtain the event information.
- the processor 8P derives a second distance, which is the distance from the tip of the insertion section 10 to a specific site within the subject, based on the results of the above-mentioned reached site recognition process and the first distance derived based on the magnetic flux densities BX and BY.
- the processor 8P obtains a recognition result that the site reached by the tip of the insertion portion 10 is the anus 50A or the rectum 53.
- the processor 8P sets the first distance derived when the recognition result is obtained as the first correction value.
- the processor 8P performs a process of subtracting the first correction value from the first distance derived based on the magnetic flux densities BX and BY to obtain a specific insertion length (the insertion length of the insertion portion 10 when the anus 50A or the rectum 53 at the starting end side of the movement path 10X is set as the reference position).
- the above-mentioned second distance with the anus 50A or the rectum 53 as the specific site (first specific site) is sequentially derived as the specific insertion length.
- the processor 8P obtains a recognition result that the arrival site of the tip of the insertion section 10 is the ileocecal portion 58.
- the processor 8P sets the first distance derived in the state in which the recognition result is obtained as the second correction value.
- the processor 8P performs a process of subtracting the first distance derived based on the magnetic flux densities BX and BY from the second correction value to obtain the removal length (the removal length of the insertion section 10 when the ileocecal portion 58 at the end of the movement path 10X is set as the reference position).
- the removal length the removal length of the insertion section 10 when the ileocecal portion 58 at the end of the movement path 10X is set as the reference position.
- the insertion part 10 may be inserted while folding the large intestine, or the insertion part 10 may be inserted while stretching the large intestine.
- the removal process of colonoscopic examination the insertion part 10 is removed when the large intestine has returned to a steady state. Therefore, in colonoscopic examination, even if the first distance derived based on the magnetic flux densities BX and BY is the same value in the insertion process and the removal process, the position in the large intestine 51 where the tip of the insertion part 10 is located may differ.
- the tip position of the insertion part 10 in the insertion process, is managed by a specific insertion length, and in the removal process, the tip position of the insertion part 10 can be managed by the removal length. Therefore, the insertion state of the insertion part 10 can be managed with high precision.
- the specific insertion length constitutes the distance from a reference position on the starting end of the movement path 10X (the position of the anus 50A or rectum 53) to the tip of the endoscope 1 moving along the movement path 10X.
- the removal length constitutes the distance from a terminal position on the movement path 10X (the position of the ileocecal portion 58) to the tip of the endoscope 1 moving along the movement path 10X.
- the first distance constitutes the distance from a reference position on the starting end of the movement path 10X (the position of the through hole 41) to the tip of the endoscope 1 moving along the movement path 10X.
- the first distance, specific insertion length, or removal length will also be referred to as distance information below.
- the processor 8P may also derive a specific insertion length, which is the insertion length of the insertion portion 10 with the anus or rectum as the reference position, during the removal process.
- the processor 8P can perform either a process of deriving the first distance and the specific insertion length during the insertion process and deriving the first distance and the removal length during the removal process, or a process of deriving the first distance and the specific insertion length during both the insertion process and the removal process.
- the processor 8P preferably controls the display device 7 to display at least one of the specific insertion length (second distance) and the first distance derived as described above, and controls the recording of the specific insertion length and the first distance in a recording medium (such as a memory of the expansion device 8) in association with information related to the endoscopic examination (hereinafter, referred to as examination-related information).
- the examination-related information refers to the captured image captured by the endoscope 1, the above-mentioned various event information, or the elapsed time (examination time) from the start of the endoscopic examination (examination start event).
- the processor 8P controls which derived value is recorded in association with the elapsed time (examination time) each time the first distance and the specific insertion length are derived.
- the processor 8P controls the captured image to be further associated with the elapsed time at that time and recorded.
- the processor 8P acquires event information, the processor 8P controls the event information to be further associated with the elapsed time at that time and recorded.
- the processor 8P preferably controls the display device 7 to display at least one of the removal length (second distance) and the first distance derived as described above, and controls the recording of the removal length and the first distance in association with the examination-related information on the recording medium.
- the processor 8P controls the display device 7 to display only the first distance among the first distance, the specific insertion length, and the removal length in both the insertion process and the removal process, and may further use the first distance, the specific insertion length, and the removal length for purposes other than display. Specifically, the processor 8P may control the recording of at least one of the first distance, the specific insertion length, and the removal length in association with examination-related information in a recording medium, or may control the output of operation support information for the endoscope 1 based on at least one of the first distance, the specific insertion length, and the removal length.
- the processor 8P determines, for example, from the derived specific insertion length that the tip of the insertion part 10 has reached a position where such hardness adjustment or manual compression is required, it controls the display device 7 to display information (operation support information) instructing the hardness adjustment or manual compression, or controls the speaker to output the information as audio. In this way, it is possible to smoothly insert the endoscope 1.
- the processor 8P may control the output of operation support information based on the first distance or the specific insertion length only in the insertion process, and may not perform this control in the removal process. In the removal process of a colonoscopic examination, it is often not difficult to remove the endoscope 1, so this reduces the processing load of the processor 8P.
- the processor 8P can use the derived first distance, specific insertion length, or removal length and prerecorded table data to determine the position (site) reached by the tip of the insertion section 10.
- the table data showing the correspondence between the tip position of the endoscope 1 in the large intestine and the first distance, the table data showing the correspondence between the tip position of the endoscope 1 in the large intestine and the specific insertion length, and the table data showing the correspondence between the tip position of the endoscope 1 in the large intestine and the removal length can be statistically obtained from the performance data of many endoscopic examinations performed on various subjects, or from the performance data of endoscopic examinations performed on the same subject, and recorded in a recording medium accessible by the processor 8P (for example, the memory of the expansion device 8, etc.).
- the processor 8P can determine the position reached by obtaining information on the tip position (site reached) of the endoscope 1 corresponding to the first distance, specific insertion length, or removal length derived during the endoscopic examination from the table data.
- the examination data including the examination-related information (captured image, event information, or examination time) and distance information (first distance, specific insertion length, or removal length) associated by processor 8P, is transferred to a server (not shown) and stored there.
- a server not shown
- an examination report creation support device that can access this server creates a draft of the examination report based on the examination data. Doctors can use this draft to create the final examination report, allowing them to perform their work efficiently.
- Fig. 14 is a graph showing an example of display of examination data associated and recorded by the processor 8P.
- the processor 8P controls displaying the graph shown in Fig. 14 on, for example, the display device 7 or another display.
- the graph displayed in this manner enables the operator of the endoscope 1 and his/her instructor to evaluate the technique of the endoscopic examination.
- the graph shown in FIG. 14 plots the first distance for each elapsed time of the endoscopic examination.
- a letter indicating the content of the event (S-top, SDJ, splenic curvature, hepatic curvature, and ileocecal area) is added.
- a letter indicating the content of the event (hardness adjustment, removal start, treatment, lesion detection, end of examination) is added.
- the graph shown in FIG. 14 may have the vertical axis representing distance, with the specific insertion length plotted during the insertion process and the removal length plotted during the removal process.
- the vertical axis may represent the specific insertion length and the specific insertion length may be plotted during each of the insertion process and removal process.
- the processor 8P may cause the display device 7 to display the image.
- the processor 8P may control the display device 7 to display the graph shown in FIG. 14 and a reference graph (a graph that plots distance information for each elapsed time and adds the occurrence timing of a specific part arrival event) based on previously generated reference data (data that associates elapsed time, distance information, and event information) for comparison.
- the reference data can be data that is statistically generated based on the examination data obtained from multiple endoscopic examinations, past examination data obtained from an endoscopic examination performed by an operator with a high evaluation of his/her technique, or examination data from a past endoscopic examination performed by the same operator as the operator performing the endoscopic examination shown in the graph in Figure 14, etc.
- the processor 8P may control the display of the graph shown in FIG. 14 on the display device 7 in real time during the endoscopic examination.
- the processor 8P acquires reference data recorded in the server's memory or the like before the start of the endoscopic examination, and causes the display device 7 to display a reference graph based on the acquired reference data.
- processor 8P When an operation is performed on the graph shown in FIG. 14 requesting modification of at least one of the elapsed time and event information, it is preferable for processor 8P to accept the modification and modify at least one of the elapsed time and event information in the test data corresponding to this graph. This makes it possible, for example, to change the "hardness adjustment” shown in FIG. 14 to "manual compression,” to shift the timing of the "hardness adjustment” shown in FIG. 14 to the left or right, or to do both. In this way, the correspondence between the elapsed time, distance information, and event information can be more accurately maintained.
- the processor 8P preferably generates table data (a correspondence table between reached sites and distance information) showing the statistical correspondence between event information (information on events of reaching a specific site) and distance information based on the examination data acquired in each of the multiple endoscopic examinations, and records the table data in the memory of the expansion device 8. Specifically, the processor 8P extracts distance information when the tip of the endoscope 1 reaches a specific site in the large intestine from the examination data of the insertion process acquired in each endoscopic examination, calculates a representative value (e.g., average value or median value) of all the extracted distance information, and repeats the process of associating the specific site with the representative value by changing the specific site, thereby generating first table data showing the correspondence between each specific site in the large intestine and the distance information.
- table data a correspondence table between reached sites and distance information
- FIG. 15 is a diagram showing an example of first table data.
- the distance information in the first table data shown in FIG. 15 is the first distance or the specific insertion length.
- the first table data may be generated separately for the insertion process and for the removal process.
- the distance information in the first table data for the insertion process is the specific insertion length
- the distance information in the first table data for the removal process is the removal length. Note that data showing the correspondence between the distance information and parts of the subject can also be generated according to anatomical information without using test data.
- the processor 8P is able to determine where in the large intestine the tip of the endoscope 1 is located.
- the endoscope system 200 not only the insertion length (first distance) of the insertion portion 10 into the subject when the position of the detection unit 40 installed outside the subject is taken as the starting point, but also the specific insertion length of the insertion portion 10 into the subject when the position of a first specific site (anus or rectum) in the subject is taken as the starting point, and the removal length of the insertion portion 10 outside the subject when the position of a second specific site (ileocecal portion) in the subject is taken as the starting point can be derived.
- the specific insertion length and removal length by setting the first specific site to, for example, the cardia and the second specific site to, for example, the duodenum.
- the specific insertion length and removal length are derived using the results of a reachable area recognition process using images captured by the endoscope 1 actually inserted into the subject, and by using these specific insertion length and removal length, the influence of individual differences between subjects can be eliminated and the tip position of the insertion section 10 can be managed with high precision.
- operation support for the endoscope 1 can be performed with high precision.
- the recording position of the captured image can be determined with high precision, which can be used to create a subsequent examination report and improve diagnostic accuracy. In particular, these effects can be further enhanced by being able to derive the specific insertion length and removal length separately.
- ⁇ Preferred mode I Insertion control by specific insertion length> If the insertion section 10 of the endoscope 1 has a self-propelled mechanism, the processor 8P may control the drive of the mechanism based on the derived specific insertion length or first distance in the insertion process. For example, the processor 8P controls the drive of the mechanism to move the insertion section 10 along the movement path 10X so that the time change of the specific insertion length or first distance derived in the insertion process becomes equal to the time change of the specific insertion length or first distance during ideal endoscope insertion determined statistically (for example, the time change of the specific insertion length or first distance in the above-mentioned reference data). In this way, the endoscope 1 can be efficiently inserted into the subject, regardless of the operator's level of skill.
- ⁇ Preferred form II Processing based on positional fluctuation of detection unit> Since the detection unit 40 is disposed outside the subject as shown in FIG. 1, the position of the detection unit 40 in the direction along the moving path 10X (the reference position used to derive the first distance) may vary during the endoscopic examination. For example, when the position of the detection unit 40 moves in a direction away from the subject from the start of the insertion process, the derived first distance increases by the moving distance of the detection unit 40, and as a result, an error occurs in the specific insertion length or removal length by the moving distance.
- the derived first distance decreases by the moving distance of the detection unit 40, and as a result, an error occurs in the specific insertion length or removal length by the moving distance. Therefore, it is preferable to determine whether or not there is such a positional change of the detection unit 40, and if there is a positional change, to correct the error of the specific insertion length or removal length associated with the positional change.
- the processor 8P acquires the amount of change per unit time of the first distance derived during the endoscopic examination (the difference between the first distance derived at timing t1 (distance LL1) and the first distance derived at timing t2 after timing t1 (distance LL2)).
- the processor 8P also acquires the amount of motion of the captured image during the period in which this amount of change was acquired (the amount of motion between the captured image captured at timing t1 and the captured image captured at timing t2).
- the amount of motion of the captured image is the amount of change in the luminance of the captured image, or the amount of movement of a feature point extracted from the captured image, etc.
- the processor 8P determines whether or not there is a change in the position of the detection unit 40 based on these amounts of change and motion.
- the processor 8P compares the amount of movement of the captured image converted into a distance in a direction along the movement path 10X with the amount of change in the first distance, and if the difference between the two is equal to or greater than a threshold, it determines that a change has occurred in the position of the detection unit 40, and if the difference between the two is less than the threshold, it determines that a change has not occurred in the position of the detection unit 40. If the processor 8P determines that a change has occurred in the position of the detection unit 40, it corrects the specific insertion length or removal length to offset the positional change of the detection unit 40. By this processing, even if the position of the detection unit 40 changes, the specific insertion length or removal length can be derived with high accuracy. Note that if the processor 8P determines that a change has occurred in the position of the detection unit 40, it may output warning information from the display device 7 or a speaker, etc. In this way, it is possible to prompt the operator to adjust the position of the detection unit 40.
- the processor 8P preferably performs notification control based on at least one of the first distance, the specific insertion length, and the removal length derived during the endoscopic examination and destination position information indicating the destination position of the movement path 10X that is pre-recorded in the memory or the like of the extension device 8.
- the notification control refers to displaying predetermined information on the display device 7 or outputting predetermined information from a speaker (not shown). By this control, the predetermined information is provided to a person involved in the endoscopic examination.
- the target position information can be, for example, information on the first distance acquired by the processor 8P while the endoscope 1 was imaging an area of interest within the subject in a previous endoscopic examination (e.g., a first examination prior to a second examination) performed on the same subject, or information on the specific insertion length and removal length.
- the operator checks the captured image, and if there is an area suspected of being a lesion in the captured image, performs an operation to record the area as a region of interest.
- the processor 8P records the first distance or specific insertion length derived at or immediately before the operation in the memory of the expansion device 8 as target position information.
- the processor 8P records the first distance or removal length derived at or immediately before the operation in the memory of the expansion device 8 as target position information.
- processor 8P When the first examination for subject H is completed and then the second examination for subject H is started, processor 8P performs control to notify the presence of an area of interest when the first distance or the specific insertion length or removal length derived sequentially becomes close to the above-mentioned target position information obtained from the memory of expansion device 8. For example, in the insertion step of the second examination, processor 8P performs control to notify the presence of an area of interest when the derived first distance or specific insertion length approximately matches the target position information (first distance or specific insertion length) recorded in the memory of expansion device 8. Also, in the removal step of the second examination, processor 8P performs control to notify the presence of an area of interest when the derived first distance or removal length approximately matches the target position information (first distance or removal length) recorded in the memory of expansion device 8.
- the processor 8P may record the target position information during the insertion process of the same endoscopic examination, and issue a notification based on the target position information during the removal process. For example, when the operator performs an operation to record an area of interest during the insertion process of an endoscopic examination, the processor 8P records the specific insertion length derived at or immediately before the operation in the memory of the expansion device 8 as target position information. Thereafter, when the removal process of the same endoscopic examination is started, the processor 8P performs control to notify of the presence of an area of interest based on the specific insertion length derived during the removal process and the target position information (specific insertion length) recorded in the memory of the expansion device 8 during the insertion process.
- the processor 8P sets a predetermined range of the specific insertion length including the destination position information recorded in the insertion process on the movement path 10X, and in the removal process, if the derived specific insertion length falls within the predetermined range, it notifies the presence of the region of interest.
- the destination position information recorded in the insertion process is the specific insertion length, whose value is distance XX1.
- the range between the value obtained by adding an arbitrary value ⁇ XX1 to the distance XX1 and the value obtained by subtracting the value ⁇ XX1 from the distance XX1 is set as the above-mentioned predetermined range.
- control is performed to notify the presence of the region of interest if the derived specific insertion length falls within this predetermined range. In this way, it is possible to provide a highly accurate notification by taking into account the difference in the position of the tip of the endoscope 1 in the large intestine in the insertion process and the removal process.
- the operator checks the captured image, and if an area suspected of being a lesion is found in the captured image, performs an operation to record that area as an area of interest, and then proceeds to insert the endoscope 1, and if an area that serves as a landmark is found, performs an operation to record that area as an area of interest.
- processor 8P when the operator performs an operation to record the lesion area, processor 8P records in the memory of expansion device 8 the distance information La (first distance or specific insertion length) derived at or shortly before the operation. Thereafter, when the operator performs an operation to record the landmark area, processor 8P calculates the difference ⁇ l (absolute value) between the distance information Lb (first distance or specific insertion length) derived at or shortly before the operation and the previously recorded distance information La, and records in memory as destination position information the distance Lc obtained by subtracting a value slightly smaller than the difference ⁇ l from the distance information Lb. Processor 8P also records in memory the captured image IM1 at the time the operation was performed.
- ⁇ l absolute value
- processor 8P acquires an image similar to image IM1, it sets the first distance or specific insertion length at that time as a reference value, and performs control to notify the presence of a region of interest when the first distance or specific insertion length derived thereafter becomes a value that is smaller than this reference value by the distance Lc.
- ⁇ Preferred mode IV Notification based on target position and image recognition result> It is preferable that the processor 8P controls the notification based on the first distance derived during the endoscopic examination, or the specific insertion length and removal length, the above-mentioned target position information recorded in the memory of the expansion device 8, etc., and the results of the lesion recognition processing.
- the processor 8P acquires an image captured by the endoscope 1 in that state or in the vicinity of the timing at which that state is reached, and performs lesion recognition processing based on the captured image. Then, if a lesion area is detected as a result of the lesion recognition processing, the processor 8P performs control to notify the presence of the target area, and does not perform that control if a lesion area is not detected. In this way, by further using the result of the lesion recognition processing, it is possible to determine with high accuracy whether the tip of the endoscope 1 has reached the location of the lesion area, which is the target position, and more accurate notification is possible.
- the destination position information may be distance information that the processor 8P can acquire when the tip of the endoscope 1 is at the starting end of the movement path 10X.
- the processor 8P controls to notify information related to the end of the endoscopic examination based on the distance information derived during the endoscopic examination and the destination position information acquired from the memory.
- Information related to the end of the endoscopic examination may be information indicating that the end of the endoscopic examination is approaching, or information encouraging the start of work associated with the end of the endoscopic examination (such as calling the subject who is using a sedative, preparing for cleaning the endoscope, or preparing for the next endoscopic examination).
- Such target position information is generated, for example, by statistically processing (e.g., averaging a large number of pieces of distance information) information on the first distance, removal length, or specific insertion length (only when the specific insertion length is derived instead of the removal length in the removal process) derived by processor 8P at a timing a predetermined time before the timing of detection of the examination end event in each of multiple endoscopic examinations previously performed by the same operator or multiple operators.
- statistically processing e.g., averaging a large number of pieces of distance information
- specific insertion length only when the specific insertion length is derived instead of the removal length in the removal process
- the processor 8P determines that the tip of the endoscope 1 has reached a position near the outside of the subject's body and performs control to notify information regarding the end of the endoscopic examination.
- the processor 8P determines that the tip of the endoscope 1 has reached a position near the outside of the subject's body and performs control to notify information regarding the end of the endoscopic examination. This allows relevant personnel who have confirmed the information to recognize that the end of the endoscopic examination is approaching and to start various tasks, making it possible to perform the endoscopic examination efficiently.
- the processor 8P determines the movement direction of the insertion section 10, and if it determines that the determined movement direction is a direction from inside the subject's body to outside the body, it performs control to notify information regarding the end of the endoscopic examination, and preferably does not perform such control if it determines that the determined movement direction is a direction from outside the subject's body to inside the body. In this way, it is possible to prevent information regarding the end of the endoscopic examination from being notified during the insertion process.
- the processor 8P detects the occurrence of a lesion detection event after controlling the notification of information regarding the completion of an endoscopic examination, it is preferable that the processor 8P change the content of the notification.
- Changing the content of the notification includes stopping the notification, or correcting the remaining time until the end of the examination if the remaining time is being notified. In this way, if a notable area such as a lesion area is detected after controlling the notification of information regarding the completion of an endoscopic examination, the content of the notification can be changed to encourage relevant parties to take the necessary action.
- the destination position information may be recorded in memory separately for the first examination and the second examination. Since the main purpose of the first examination is to determine whether or not there is a lesion area, the endoscope 1 is removed relatively quickly. On the other hand, since the main purpose of the second examination is to perform treatment such as removing the lesion area, the endoscope 1 is removed relatively quickly once the treatment is completed. Therefore, by setting destination position information suitable for each of the first examination and the second examination, it becomes possible to notify at the appropriate time. Similarly, it is possible to notify at the appropriate time by making the destination position information common to the first examination and the second examination and changing the time until notification when the notification conditions are met between the first examination and the second examination.
- ⁇ Preferred mode V Determination of insertion state>
- Various situations may occur when the endoscope 1 is inserted into the subject (particularly during the insertion process). For example, in a first specific state where the tip of the insertion section 10 is close to the inner wall of an organ, a reddish phenomenon occurs in which the captured image becomes reddish overall. In a second specific state where the tip of the insertion section 10 is dirty with adhesions, at least a part of the imaging range of the endoscope 1 is blocked. In addition, as a result of the intestinal wall of the large intestine being crushed on the inner side of the tip of the insertion section 10, a third specific state may occur in which the tip of the insertion section 10 cannot image the downstream side of the movement path 10X. In addition, a fourth specific state may occur in which a bend or loop is formed in the insertion section 10. The first specific state, the second specific state, and the third specific state each constitute a state of the tip of the endoscope 1, and constitute specific states.
- the processor 8P determines the insertion state of the endoscope 1 into the subject based on the image captured by the endoscope 1 and the distance information (first distance, specific insertion length, or removal length). Determining the insertion state of the endoscope 1 means determining the situation in which the insertion section 10 is placed inside the subject. Examples of situations that may affect endoscopic examination include situations in which the inner wall of an organ is stretched, situations in which observation cannot be performed sufficiently, situations in which movement along the movement path is difficult, and situations in which insertion is more than necessary (deflection or loop formation). The method of determining the insertion state is described in detail below.
- the processor 8P determines whether the state of the tip of the endoscope 1 is a first specific state based on the image captured by the endoscope 1, and determines whether the insertion state of the endoscope 1 into the subject is an organ extension state based on the determination result and the change in distance information (first distance, specific insertion length, or removal length).
- the first specific state in which the tip of the insertion section 10 is close to the inner wall of the organ continues even though the first distance or the specific insertion length is increasing, it can be determined that the tip of the endoscope 1 continues to be pressed into the inner wall of the organ and the inner wall is stretched.
- the captured image becomes reddish overall, so it is possible to determine whether the first specific state has occurred by analyzing the captured image.
- the processor 8P determines whether the first specific state has occurred from the output of an image recognition model obtained by inputting the captured image into an image recognition model generated by machine learning or the like.
- the processor 8P may determine whether the first specific state has occurred by the size of the red area contained in the captured image or pattern matching with a reference captured image obtained in the first specific state.
- the processor 8P determines that the organ stretch state has occurred when the determination result that the first specific state is obtained continuously (for a predetermined period of time) and the change (increase) in the distance information during the period in which the determination result is obtained is equal to or greater than the first threshold value.
- the processor 8P determines that an organ stretching state has occurred, it is preferable to output operation support information based on the organ stretching state. For example, the processor 8P may cause an alert indicating that the inner wall of the organ is being stretched to be displayed on the display device 7 or output from a speaker. In addition to outputting this alert, the processor 8P may also preferably output a recommended operation (pulling toward oneself, jiggling, etc.) to prevent further stretching of the inner wall. This allows the endoscope 1 to be inserted efficiently while reducing the load on the subject.
- the processor 8P may determine whether the organ is in an extended state or not based on the magnitude of the distance information derived during that period.
- the processor 8P determines the region corresponding to the minimum or maximum value of the distance information derived during that period based on the first table data shown in FIG. 15.
- the processor 8P determines that the state is an organ extension state.
- the processor 8P determines that the state is not an organ extension state but that the tip of the endoscope 1 has reached the splenic curvature, and issues a notification to encourage, for example, an angle operation.
- the processor 8P determines that the state is not an organ extension state but that the tip of the endoscope 1 has reached the ileocecal region, and issues a control to notify, for example, that the ileocecal reach has been reached. In this way, it is possible to more accurately determine whether the state is an organ extension state.
- the processor 8P determines whether the state of the tip of the endoscope 1 is in a second specific state based on the image captured by the endoscope 1, and determines whether the insertion state of the endoscope 1 into the subject is in an insufficient observation state based on the determination result and the amount of change in the distance information (first distance, specific insertion length, or removal length).
- the processor 8P determines whether the second specific state has occurred from the output of an image recognition model obtained by inputting the captured image into an image recognition model generated by machine learning or the like. The processor 8P may determine whether the second specific state has occurred based on the size of the occluded area included in the captured image.
- the processor 8P determines that the insufficient observation state has occurred when the determination result that the second specific state is present is obtained continuously (for a predetermined period of time) and the change amount (increase or decrease amount) of the distance information during the period in which the determination result is obtained is equal to or greater than the first threshold value.
- the processor 8P determines that an insufficient observation state has occurred, it is preferable for the processor 8P to output operation support information based on the insufficient observation state. For example, the processor 8P may cause the display device 7 to display recommended operations (such as supplying air, supplying water, or suctioning) for resolving the insufficient observation state (ensuring the field of view of the endoscope 1) or cause them to be output from the speaker. This can prevent diseased areas from being overlooked and improve the quality of endoscopic examinations.
- recommended operations such as supplying air, supplying water, or suctioning
- the above-mentioned first threshold value used for this judgment may be different between the insertion process and the removal process.
- observation is performed in more detail during the removal process than during the insertion process. Therefore, for example, by setting the first threshold value during the removal process smaller than the first threshold value during the insertion process, it becomes possible to output operation support information during the removal process even if the second specific state continues for only a short period of time. This can further improve the quality of endoscopic examination.
- the organ extension state and insufficient observation state described above constitute the first state.
- the processor 8P determines whether the state of the tip of the endoscope 1 is in a third specific state based on the image captured by the endoscope 1, and determines whether the insertion state of the endoscope 1 into the subject is a difficult-to-insert state based on the determination result and the amount of change in the distance information (first distance, specific insertion length, or removal length).
- the third specific state in which the tip of the insertion section 10 cannot image the downstream side of the movement path 10X continues and the first distance or the specific insertion length does not change, it can be said that the operator is unable to determine the traveling direction of the endoscope 1.
- the direction in which the endoscope 1 is inserted (the downstream side of the movement path 10X) is not visible on the captured image, so it is possible to determine whether the third specific state has occurred by analyzing the captured image.
- the processor 8P determines whether the third specific state has occurred from the output of an image recognition model obtained by inputting the captured image into an image recognition model generated by machine learning or the like.
- the processor 8P may determine whether the third specific state has occurred by determining whether the captured image includes a circular area corresponding to the shape of the lumen. The processor 8P determines that the difficult-to-insert state has occurred when the determination result that the third specific state is present is obtained continuously (for a predetermined period of time) and the amount of change (increase or decrease) in the distance information during the period in which the determination result is obtained is equal to or less than the second threshold value.
- the processor 8P determines that a difficult-insertion state has occurred, it is preferable for the processor 8P to output operation assistance information based on the difficult-insertion state. For example, the processor 8P may display recommended operations (water supply operations, jiggling, etc.) for advancing the insertion on the display device 7 or output them from the speaker. This allows the endoscope 1 to be inserted efficiently while reducing the burden on the subject.
- the processor 8P determines whether or not the insertion state of the endoscope 1 into the subject is the fourth specific state based on the captured image captured by the endoscope 1 and the distance information (first distance, specific insertion length, or removal length). More specifically, the processor 8P performs the above-mentioned reached portion recognition process based on the captured image captured by the endoscope 1, and determines whether or not the fourth specific state has occurred based on the result of the reached portion recognition process and the distance information.
- the processor 8P When the processor 8P acquires distance information (assumed to be distance LY1) at the first timing, it recognizes the location reached by the tip of the endoscope 1 at the time the distance information is acquired by a reach location recognition process. When the processor 8P recognizes the location reached by the tip of the endoscope 1, it acquires distance information (assumed to be distance LY2) corresponding to the reach location from the first table data exemplified in FIG. 15. If the distances LY1 and LY2 are substantially the same value, it can be said that the endoscope 1 is ideally inserted substantially in accordance with the reference data.
- the processor 8P compares the distances LY1 and LY2, and if the distance LY1 is greater than the distance LY2 by a threshold value or more, it determines that the insertion state of the endoscope 1 is in the fourth specific state, and if the distance LY1 is not greater than the distance LY2 by a threshold value or more, it determines that the insertion state of the endoscope 1 is not in the fourth specific state.
- processor 8P when processor 8P acquires distance information (say distance LY1) at a first timing, it acquires the reached portion (say portion J1) corresponding to that distance LY1 from the first table data exemplified in FIG. 15. Processor 8P also compares portion J1 with past reached portions recognized by a reached portion recognition process performed prior to the point in time when distance LY1 was acquired, and if portion J1 is not included among the past reached portions, it determines that the fourth specific state is in place.
- the processor 8P determines that the fourth specific state has occurred, it is preferable to notify the estimated position of the deflection/loop formation, or a recommended operation for eliminating the deflection/loop (manual compression, right twist, etc.), etc.
- the processor 8P can, for example, statistically estimate a portion between the reached portion recognized by the reached portion recognition process and the anus where the deflection/loop is likely to occur.
- the insertion state determination exemplified above may be performed only in the insertion process out of the insertion process and the removal process. Also, which insertion state is determined for each reachable range of the tip of the endoscope 1. For example, the determination of the occurrence of an insufficient observation state may be performed in all of the insertion process and removal process (the entire range from the anus to the ileocecal area), and the determination of the occurrence of an organ stretched state, a difficult-to-insert state, and a fourth specific state may be performed only in the range from the sigmoid colon to the splenic curvature. Also, the insertion state to be determined may be different between the insertion process and the removal process.
- the occurrence of an organ stretched state, an insufficient observation state, a difficult-to-insert state, and a fourth specific state may be determined in the insertion process, and the occurrence of an organ stretched state and an insufficient observation state may be determined in the removal process. By doing so, the processing load on the processor 8P can be reduced.
- the processor 8P controls the recording of the above-described insertion state determination results (organ extension state determination result, insufficient observation state determination result, difficult insertion state determination result, or fourth specific state determination result) as examination data in association with the elapsed time from when the determination result was obtained.
- the processor 8P controls the recording of the above-described insertion state determination results (organ extension state determination result, insufficient observation state determination result, difficult insertion state determination result, or fourth specific state determination result) as examination data in association with the elapsed time from when the determination result was obtained.
- the processor 8P controls the recording of the above-described insertion state determination results (organ extension state determination result, insufficient observation state determination result, difficult insertion state determination result, or fourth specific state determination result) as examination data in association with the elapsed time from when the determination result was obtained.
- the detection unit 40 described above can also be configured integrally with the insertion assisting member of the endoscope 1.
- the detection unit 40 may be formed integrally with an insertion assisting member that is inserted into the anus, or with a mouthpiece-type insertion assisting member that is held in the mouth.
- the detection unit 40 may also be formed integrally with endoscopic examination pants, or may be configured to be detachable from endoscopic examination pants.
- the endoscope 1 may be inserted into the body of the subject 50 through the mouth or nose.
- the detection unit 40 may be shaped so that it can be attached to the mouth or nose of the subject 50.
- the tubular member 17 has a first member 14 and a second member 15, each of which is composed of a magnetizable austenitic stainless steel, but one of these may be composed of a material that cannot be magnetized. In other words, one of these may not have a magnetic pattern formed thereon. Even in this case, the magnetic flux densities BX, BY, and BZ described above can be detected from the tubular member 17, so it is possible to determine the movement and rotation states of the insertion portion 10.
- a magnetic pattern is formed on the tubular member 17 in which two types of magnetic pole regions are arranged alternately in the longitudinal direction, and the longitudinal movement state of the insertion section 10 is determined based on the combination of classification levels of the magnetic information in two directions detected from the magnetic pattern.
- the two types of magnetic pole regions formed on the tubular member 17 do not have to be arranged alternately in the longitudinal direction. Even in this case, it is possible to determine the longitudinal movement state of the insertion section 10 based on the combination of classification levels of the magnetic information in two directions detected from the magnetic pattern.
- a pattern more complicated than the above magnetic pattern may be formed on the tubular member 17, and the magnetic detection units 43 and 44 may detect the pattern to determine the longitudinal movement state of the insertion unit 10.
- a table that associates each position in the longitudinal direction of the tubular member 17 with the magnetic flux density BX or magnetic flux density BY (classification level) detected at each position may be recorded in memory, and the processor 8P may classify the magnetic flux density BX or magnetic flux density BY detected by the magnetic detection unit 43 to obtain the classification level, and obtain information on the position corresponding to this classification level from this table to determine the insertion length of the insertion unit 10. In this way, the insertion length of the insertion unit 10 can be determined more precisely.
- the magnetic detection units 43 and 44 may be configured to detect magnetic flux density in one direction, thereby reducing costs.
- a processing device having a processor that derives a second distance, which is the distance from a specific site within the subject to the tip of the endoscope inserted into the subject, based on the result of the reach area recognition process and the first distance.
- the processing device is a processing device that derives the second distance based on the first distance in a state in which the specific part is recognized by the reached part recognition process and the first distance obtained after the specific part is recognized.
- the processing device is a processing device that derives the second distance by subtracting the first distance in a state in which the specific part is recognized by the reached portion recognition process from the first distance obtained after the specific part is recognized by the reached portion recognition process.
- the processing device includes the rectum or anus.
- the processing device is a processing device that derives the second distance by subtracting the first distance obtained after the specific part is recognized by the reached part recognition process from the first distance in a state in which the specific part is recognized by the reached part recognition process.
- the processing device according to (5) is a processing device including the ileocecal region.
- the processing device is a processing device that derives the second distance by using a turning point of the tip of the endoscope in an examination using the endoscope as the specific part.
- the processing device is deriving, as the second distance, a first value obtained by subtracting the first distance in a state in which the first specific portion is recognized by the reached portion recognition process from the first distance acquired after the first specific portion is recognized by the reached portion recognition process; deriving, as the second distance, a second value obtained by subtracting the first distance acquired after the second specific portion is recognized by the reached portion recognition process from the first distance in a state in which the second specific portion is recognized by the reached portion recognition process; A processing device that records the first value and the second value in association with the image.
- the processing device is A change in the first distance is obtained; obtaining an amount of motion of the image during the period in which the amount of change was obtained; A processing device that determines whether or not the reference position has changed based on the amount of change and the amount of movement.
- the processing device is a processing device that corrects the second distance based on a result of determining the variation of the reference position.
- the processing device is a processing device that causes a display device to display the first distance.
- the processing device is a processing device that causes the display device to display only the first distance out of the first distance and the second distance.
- the processing device is a processing device that associates and records information regarding an examination of the subject performed using the endoscope with the second distance.
- the processing device is a processing device that outputs operation support information for the endoscope based on the second distance.
- the processing device is a processing device that controls movement of the endoscope along the movement path based on the second distance.
- the processing device according to any one of (1) to (15), The reference position is determined by the position of a magnetic detection unit installed outside the subject's body.
- a magnetic pattern is formed along the longitudinal direction of the insertion section of the endoscope,
- the processor is a processing device that acquires the first distance based on a magnetic field detected by the magnetic detection unit from the magnetic pattern.
- An endoscope apparatus comprising: a processing device according to any one of (1) to (17) and the endoscope.
- a magnetic detection unit disposed on the movement path, the insertion section of the endoscope has a member including a metal extending in a longitudinal direction and having a magnetic pattern integrally formed along the longitudinal direction;
- the magnetic detection unit detects a magnetic field from the member,
- a magnetic detection unit disposed on the movement path, the insertion section of the endoscope has a member including a metal extending in a longitudinal direction and having a magnetic pattern formed along the longitudinal direction;
- the magnetic detection unit detects a magnetic field from the member,
- the processor derives the first distance based on the magnetic field detected by the magnetic detection unit;
- the insertion portion includes an insulating tubular member, a tubular first member including a metal and inserted into the tubular member, and a tubular second member including a metal and inserted into the first member;
- the member includes at least one of the first member and the second member, the first member is a helical tube,
- the second member of the endoscope apparatus is a mesh body.
- the endoscope apparatus according to (19), The insertion section of the endoscope device includes a flexible section of the endoscope.
- the soft portion includes an insulating tubular member, a tubular first member containing a metal and inserted into the tubular member, and a tubular second member containing a metal and inserted into the first member;
- the member of the endoscope apparatus includes at least one of the first member and the second member.
- At least one of the first member and the second member is made of magnetizable austenitic stainless steel.
- a first distance which is a distance from a reference position on a movement path of the endoscope to a tip of the endoscope moving along the movement path; acquiring an image captured by the endoscope, and performing a recognition process for recognizing a part of the subject that the tip of the endoscope has reached based on the image;
- a processing method for deriving a second distance which is the distance from a specific site within the subject to a tip of the endoscope inserted into the subject, based on a result of the recognition process and the first distance.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
Abstract
内視鏡の挿入状態を高精度に判定可能な処理装置、内視鏡装置、及び処理方法を提供する。 プロセッサ(8P)は、内視鏡(1)の移動経路(10X)上の基準位置から移動経路(10X)に沿って移動する内視鏡(1)の先端までの距離である第1距離を取得し、内視鏡(1)によって撮像された画像を取得し、その画像に基づいて、内視鏡(1)の先端が到達している被検体内の部位を認識する到達部位認識処理を行い、到達部位認識処理の結果と、第1距離とに基づいて、被検体内に挿入された内視鏡(1)の先端の被検体内の特定部位からの距離である第2距離を導出する。
Description
本発明は、処理装置、内視鏡装置、及び処理方法に関する。
特許文献1には、被検体に挿入される内視鏡の挿入部の挿入長を取得する挿入長取得装置と、上記挿入長取得装置によって取得された上記挿入長の情報を受信する通信部と、上記内視鏡の挿入部に設けられた撮像素子により撮像された上記被検体の撮像画像と上記通信部が受信した上記挿入長の情報とを関連付けて上記撮像画像の画像データの記録に際して上記挿入長の情報をメタデータとして記録する記録データ生成部とを具備する医療システムが記載されている。
特許文献2には、内視鏡によって撮像された画像を含む情報を取得する取得部と、上記情報に基づいて、上記内視鏡を操作する操作者の技術レベルを示す技術レベル評価値を算出する技術レベル評価値算出部と、を備え、上記技術レベル評価値算出部は、上記画像に写る特定シーンを判定する特定シーン判定部と、上記特定シーン判定部によって判定された上記特定シーンが写る上記画像に、他の画像と識別するための識別情報を付加して記録する画像記録部と、を備える画像処理装置が記載されている。
特許文献2には、内視鏡によって撮像された画像を含む情報を取得する取得部と、上記情報に基づいて、上記内視鏡を操作する操作者の技術レベルを示す技術レベル評価値を算出する技術レベル評価値算出部と、を備え、上記技術レベル評価値算出部は、上記画像に写る特定シーンを判定する特定シーン判定部と、上記特定シーン判定部によって判定された上記特定シーンが写る上記画像に、他の画像と識別するための識別情報を付加して記録する画像記録部と、を備える画像処理装置が記載されている。
本開示では、内視鏡の挿入状態を高精度に判定可能な技術を提供する。
本開示の一態様の処理装置は、内視鏡の移動経路上の基準位置から上記移動経路に沿って移動する上記内視鏡の先端までの距離である第1距離を取得し、上記内視鏡によって撮像された画像を取得し、上記画像に基づいて、上記内視鏡の先端が到達している被検体内の部位を認識する到達部位認識処理を行い、上記到達部位認識処理の結果と、上記第1距離とに基づいて、上記被検体内に挿入された上記内視鏡の先端の上記被検体内の特定部位からの距離である第2距離を導出する、プロセッサを備えるものである。
本開示の一態様の内視鏡装置は、上記処理装置と上記内視鏡とを備えるものである。
本開示の一態様の処理方法は、内視鏡の移動経路上の基準位置から上記移動経路に沿って移動する上記内視鏡の先端までの距離である第1距離を取得し、上記内視鏡によって撮像された画像を取得し、上記画像に基づいて、上記内視鏡の先端が到達している被検体内の部位を認識する認識処理を行い、上記認識処理の結果と、上記第1距離とに基づいて、上記被検体内に挿入された上記内視鏡の先端の上記被検体内の特定部位からの距離である第2距離を導出するものである。
本開示によれば、内視鏡の挿入状態を高精度に判定可能となる。
図1は、内視鏡システム200の概略構成を示す図である。内視鏡システム200は、検査又は手術等のために体内に挿入して用いられる医療用機器の一例である内視鏡1を有する内視鏡装置100と、検出ユニット40と、を備える。
内視鏡1は、一方向に延びる長尺状の器具であって体内に挿入される挿入部10と、挿入部10の基端部に設けられた観察モード切替操作、撮像記録操作、鉗子操作、送気送水操作、吸引操作、又は電気メス操作等を行うための操作部材が設けられた操作部11と、操作部11に隣接して設けられたアングルノブ12と、内視鏡1を光源装置5とプロセッサ装置4にそれぞれ着脱自在に接続するコネクタ部13A,13Bを含むユニバーサルコード13と、を備える。
操作部11には、細胞又はポリープ等の生体組織を採取するための処置具である生検鉗子を挿入する鉗子口が設けられている。なお、図1では省略されているが、操作部11及び挿入部10の内部には、鉗子口から挿入された生検鉗子が挿通される鉗子チャンネル、送気及び送水用のチャンネル、吸引用のチャンネル等の各種のチャンネルが設けられる。
挿入部10は、可撓性を有する軟性部10Aと、軟性部10Aの先端に設けられた湾曲部10Bと、湾曲部10Bの先端に設けられた軟性部10Aよりも硬質の先端部10Cとから構成される。先端部10Cには、撮像素子と撮像光学系が内蔵される。
湾曲部10Bは、アングルノブ12の回動操作により湾曲自在に構成されている。この湾曲部10Bは、内視鏡1が使用される被検体の部位等に応じて、任意の方向及び任意の角度に湾曲でき、先端部10Cを所望の方向に向けることができる。
以下では、挿入部10の延びる方向を長手方向Xと記載する。また、挿入部10の径方向のうちの1つを径方向Yと記載する。また、挿入部10の周方向のうちの1つ(挿入部10の外周縁の接線方向の1つ)を周方向Zと記載する。長手方向Xのうち、内視鏡1の基端(操作部11側)から先端に向かう方向を長手方向X1と記載し、内視鏡1の先端から基端に向かう方向を長手方向X2と記載する。また、径方向Yのうち、一方を径方向Y1と記載し、他方を径方向Y2と記載する。長手方向Xは、径方向Y及び周方向Zとは異なる方向の一つである。径方向Yは、長手方向X及び周方向Zとは異なる方向の一つである。本明細書において、長手方向Xは、第1方向を構成する。また、径方向Yは、第1方向と交差する第2方向を構成する。また、周方向Zは、第1方向及び第2方向とは異なる第3方向を構成する。
図1の例では、内視鏡1は、その挿入部10が、被検者50の肛門50Aから被検者50の体内に挿入されるものである。検出ユニット40は、一例として矩形板状で構成されており、挿入部10を挿通可能な貫通孔41を有する。検出ユニット40は、被検者50の臀部と挿入部10の間(すなわち、挿入部10の移動経路)に配置される。挿入部10は、検出ユニット40の貫通孔41を通って肛門50Aに到達し、ここから被検者50の体内に挿入される。本明細書において、挿入部10は、検出ユニット40に対し相対移動させて用いられる長尺状の器具を構成する。
内視鏡装置100は、内視鏡1と、この内視鏡1が接続されるプロセッサ装置4及び光源装置5からなる本体部2と、撮像画像等を表示する表示装置7と、プロセッサ装置4に対して各種情報を入力するためのインタフェースである入力部6と、各種機能を拡張するための拡張装置8と、を備える。
プロセッサ装置4は、内視鏡1、光源装置5、及び表示装置7を制御する各種のプロセッサ4Pを有する。拡張装置8は、各種処理を行うプロセッサ8Pを有する。プロセッサ4Pとプロセッサ8Pは、それぞれ、ソフトウエア(表示制御プログラムを含むプログラム)を実行して各種機能を果たす汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又は、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等である。プロセッサ4Pとプロセッサ8Pは、それぞれ、1つのプロセッサで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。プロセッサ4Pとプロセッサ8Pのそれぞれのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
拡張装置8は、プロセッサ8Pと、図示省略の通信インタフェース(プロセッサ装置4及び後述の検出ユニット40と通信するためのインタフェース)と、RAM(Random Access Memory)、ROM(Read Only Memory)、SSD(Solid State Drive)、又はHDD(hard disk drive)等の記録媒体で構成されるメモリとを備えており、処理装置を構成している。
プロセッサ8Pは、内視鏡1で撮像された撮像画像をプロセッサ装置4から取得し、その撮像画像に対して病変領域を認識する病変認識処理と、その撮像画像に対して鉗子又は針等の処置具が含まれるか否かを認識する処置具認識処理等を行ってもよい。
病変認識処理とは、撮像画像からの病変領域の検出とその検出された病変領域の識別とを行うための処理を言う。病変認識処理のうち、病変領域の検出のための処理を検出処理と言い、病変領域の識別のための処理を識別処理という。病変認識処理は、検出処理を少なくとも含む処理であればよい。病変領域の検出とは、悪性腫瘍又は良性腫瘍等の病変と疑われる病変領域(病変候補領域)を撮像画像の中から見つけ出すことをいう。病変領域の識別とは、検出処理によって検出された病変領域が悪性であるのか、良性であるのか、悪性であればどのような病気であるのか、その病気の進行度合いはどれくらいか、といったように、検出された病変領域の種類又は性質等を見分けることをいう。例えば、病変認識処理と処置具認識処理は、いずれも、機械学習によって生成された認識モデル(例えば、ニューラルネットワーク又はサポートベクターマシン等)、或いは、撮像画像に対する画像解析によって、実行することができる。
プロセッサ8Pが行う後述の各種処理は、プロセッサ8Pが単独で行ってもよいし、プロセッサ8Pと他のプロセッサとで分担して行ってもよい。他のプロセッサとは、例えば、内視鏡システム200により生成された検査データが記録される検査システム内のサーバのプロセッサ、又は、プロセッサ4P等である。或いは、プロセッサ8Pが行う各種処理を、プロセッサ4Pが行うようにすることも可能である。
図2は、内視鏡1の軟性部10Aの詳細構成を示す部分断面図である。挿入部10の大半の長さをしめる軟性部10Aは、そのほぼ全長にわたって可撓性を有し、特に体腔等の内部に挿入される部位はより可撓性に富む構造となっている。
軟性部10Aは、絶縁性の筒状部材を構成する外皮層18と、外皮層18内に設けられた管状部材17と、を備える。外皮層18は、コーティング層19によってコーティングされている。
管状部材17は、金属を含んで構成され且つ外皮層18により被覆された筒状の第1部材14と、金属を含んで構成され且つ第1部材14に内挿された筒状の第2部材15と、を備える。図2の例では、第2部材15は、金属帯片15aを螺旋状に巻回することにより形成された螺旋管で構成されている。また、第1部材14は、金属線を編組してなる筒状網体で構成されている。長手方向Xに連続的に延在し且つ薄い構造の第1部材14と第2部材15は、塑性加工によって形成されており、これらを構成する金属は、オーステナイト系ステンレスを含む。オーステナイト系ステンレスは、塑性加工していない状態では磁化不能であるが、塑性加工を行うことで磁化可能となっている。このように、第1部材14と第2部材15は、それぞれ、長手方向Xに延在する金属を含む部材を構成している。
外皮層18は、例えばエラストマー等の樹脂で構成されており、内側樹脂層18Aと外側樹脂層18Bの複数層構造となっている。外皮層18は、単層構造であってもよい。第1部材14及び第2部材15において、先端部10C側の端部には口金16Aが嵌合され、操作部11側の端部には口金16Bが嵌合されている。これら口金16A及び口金16Bは、外皮層18によって被覆されている。軟性部10Aは、口金16Aにおいて湾曲部10Bと連結され、口金16Bにおいて操作部11と連結される。
軟性部10Aのうち、管状部材17には、長手方向Xに沿って磁気パターンが形成されている。長手方向Xに沿う磁気パターンとは、負極(S極)と正極(N極)の2種の磁極領域が所定の配列パターンで長手方向Xに並んだものを言う。図2に示すように、第1部材14及び第2部材15の各々には、磁極領域を含む磁極部MAが複数設けられている。磁極部MAには、負極(S極)と正極(N極)の2種の磁極領域のうち、少なくとも一方が形成されている。このように、第1部材14と第2部材15は、それぞれ、長手方向Xに延び且つ磁気パターンが長手方向Xに沿って形成された部材を構成している。
図3は、管状部材17に形成された磁気パターンの詳細を示す模式図である。図4は、図3中のA-A矢視とB-B矢視のそれぞれの断面模式図である。図3及び図4に示すように、管状部材17には、管状部材17の周方向に沿って環状に形成された負極領域17Sを含む磁極部MA1と、管状部材17の周方向に沿って環状に形成された正極領域17Nを含む磁極部MA2が、長手方向Xに交互に並べて設けられている。磁極部MA1の総数と磁極部MA2の総数は同じである。
ここで、図3に示した磁気パターンを持つ管状部材17を含む内視鏡1の製造方法の一例を説明する。まず、周知の方法で、図1に示した構成の内視鏡1を製造する。次に、円筒状コイルを有し、この円筒状コイルに電流を流すことでこの円筒状コイル内に磁界を発生させることのできる磁界発生装置300を準備する。次に、図3に示すように、磁界発生装置300の円筒状コイルに、内視鏡1の挿入部10を先端側から挿入して、操作部11と軟性部10Aとの境界部分までコイルを相対移動させる。この状態で、磁界発生装置300の円筒状コイルに交流電流を流して磁界を形成し、挿入部10を、磁界発生装置300の円筒状コイルから、長手方向X2に一定速で引き抜く工程を行う。この工程により、塑性加工によって生じた管状部材17の磁力を除去して、管状部材17の消磁を行う。なお、この工程では、湾曲部10Bと先端部10Cが円筒状コイルを通過するまで挿入部10を引き抜くようにして、挿入部10の全体を消磁することが好ましい。つまり、内視鏡1の挿入部10において、湾曲部10Bと先端部10Cは、消磁されていることが好ましい。ある領域が消磁されるとは、その領域から検出される磁束密度が地磁気以下となることを言う。
少なくとも管状部材17(軟性部10A)の消磁を行った後、軟性部10Aの長手方向Xの所定位置における外周に磁界発生装置300の円筒状コイルが配置された状態を形成し、その状態で円筒状コイルに交流電流を流して磁界を形成する作業を行う。この作業により、磁界発生装置300の円筒状コイルの両端付近の位置において、管状部材17の周方向の全体にわたって負極領域17Sと正極領域17Nが形成される。その後、円筒状コイルに対する軟性部10Aの長手方向Xの位置をずらしていきながら、この作業を繰り返すことで、図3に示した磁気パターンを管状部材17に形成することができる。
このような製造方法を採用することで、既存の構成の内視鏡1や販売済みの内視鏡1であっても、軟性部10Aの管状部材17に対して任意の磁気パターンを容易に形成することができる。また、軟性部10Aの管状部材17の消磁を行ってから、管状部材17に磁気パターンを形成することで、所望の磁力を持つ磁気パターンを精度よく形成できる。また、円筒状コイルを用いて磁極領域を形成することで、磁極部MAにおいて、管状部材17の外周全体にわたって均一な磁力(磁束密度)を持つ磁極領域を形成できる。なお、図3では、管状部材17における負極領域17Sと正極領域17Nのそれぞれと他の領域との境界線が図示されているが、この境界線は便宜的に示しているものであり、不可視である。なお、プロセッサ8Pがアクセス可能なメモリ(例えば、拡張装置8に設けられたメモリ)には、管状部材17に形成された磁気パターンの情報が記録されることが好ましい。磁気パターンの情報は、管状部材17における2種の磁極領域の位置を示す情報、管状部材17における2種の磁極領域の配列ピッチを示す情報、挿入部10における磁極領域が形成された範囲を示す情報、又は、挿入部10における消磁された領域の位置を示す情報等を含む。挿入部10における消磁された領域は、挿入部10における磁気パターンが形成された領域に隣接する隣接領域を構成する。なお、湾曲部10Bと先端部10Cは、挿入部10における消磁された領域であるが、これらは、磁気パターンが形成されている領域と区別が着くように構成されていればよく、消磁されていることは必須ではない。例えば、磁気パターンとは明らかに異なるパターンや磁力で着磁がなされていてもよい。
図5は、検出ユニット40の構成例を示す分解斜視図である。検出ユニット40は、貫通孔41を有する筐体42と、筐体42に収容された磁気検出部43、磁気検出部44、通信用チップ45、蓄電池46、及び受電用コイル47と、を備える。
筐体42は、厚み方向に貫通する貫通孔41Aを有する矩形平板状の平板部42a、平板部42aの外周縁部から平板部42aの厚み方向に立ち上がる矩形枠状の側壁部42b、及び、平板部42aにおける貫通孔41Aの周縁部から平板部42aの厚み方向に立ち上がる筒状の内壁部42cを有する本体部42Aと、平板部42aと側壁部42bと内壁部42cで囲まれる収容空間を閉じるための矩形平板状の蓋部42Bと、を備える。この収容空間に、磁気検出部43、磁気検出部44、通信用チップ45、蓄電池46、及び受電用コイル47が収容されている。
蓋部42Bには厚み方向に貫通する貫通孔41Bが形成されており、蓋部42Bが上記収容空間を閉じた状態で、貫通孔41Aと貫通孔41Bが内壁部42cの内周部を介して連通して、内視鏡1が挿通可能な貫通孔41が形成される。貫通孔41は、内壁部42cの軸線方向(内視鏡1の挿通される方向)から見て真円形となっていることが好ましい。筐体42は、軽量化及び低コスト化等のために樹脂等で構成されていることが好ましく、収容空間への水分の浸入を防ぐ構造となっていることが好ましい。
磁気検出部43と磁気検出部44は、それぞれ、内壁部42cに近接して配置されており、内壁部42cの軸線に沿った方向x(貫通孔41の軸線に沿った方向)の磁束密度と、貫通孔41の径方向yの磁束密度と、方向x及び径方向yに直交する方向zの磁束密度と、を検出可能な3軸磁気センサである。
内視鏡1の挿入部10が貫通孔41に挿通された状態では、挿入部10の長手方向Xと方向xとが一致し、挿入部10の径方向Yと径方向yとが一致し、挿入部10の周方向Zと方向zとが一致する。したがって、磁気検出部43と磁気検出部44は、それぞれ、挿入部10の長手方向Xの磁束密度BXと、挿入部10の径方向Yの磁束密度BYと、挿入部10の周方向Zの磁束密度BZとを検出可能に構成されている。なお、磁気検出部43と磁気検出部44は、それぞれ、磁束密度BXを検出可能な1軸磁気センサと、磁束密度BYを検出可能な1軸磁気センサと、磁束密度BZを検出可能な1軸磁気センサの3つの磁気センサによって構成されていてもよい。本明細書において、磁束密度BXは、第1磁束密度を構成し、磁束密度BYは、第2磁束密度を構成し、磁束密度BZは、第3磁束密度を構成する。
磁気検出部43と磁気検出部44は、それぞれ、長手方向Xの成分を含む磁束密度と、径方向Yの成分を含む磁束密度と、周方向Zの成分を含む磁束密度を検出できればよく、3つの検出軸方向が、長手方向X、径方向Y、及び周方向Zのそれぞれと完全に一致していなくてもよい。磁気センサにおいて、第1検出軸方向が径方向Y及び周方向Zとは異なっており、第2検出軸方向が長手方向X及び周方向Zとは異なっており、第3検出軸方向が径方向Y及び長手方向Xとは異なっていれば、その磁気センサは、長手方向Xの成分を含む磁束密度を検出でき、径方向Yの成分を含む磁束密度を検出でき、周方向Zの成分を含む磁束密度を検出できる。
図6は、図5に示す検出ユニット40の本体部42Aを方向xから見た模式図である。図6に示すように、磁気検出部43と磁気検出部44は、方向xに見たときの貫通孔41の中心CPを挟んで対向する位置に配置されている。つまり、方向xに見た状態で、磁気検出部43と磁気検出部44を結ぶ線分LLの中点と、貫通孔41の中心CPとは略一致している。換言すると、磁気検出部43から貫通孔41の中心CPまでの距離と、磁気検出部44から貫通孔41の中心CPまでの距離とは略一致している。
図7は、貫通孔41内において挿入部10が取り得る位置の一例を示す図である。図7の状態ST1は、貫通孔41内において、挿入部10が磁気検出部43から径方向Yに最も離れている状態を示している。図7の状態ST2は、貫通孔41内において、挿入部10が磁気検出部44から径方向Yに最も離れている状態を示している。磁気検出部43と磁気検出部44は、それぞれ、図7の状態ST1と状態ST2のいずれにおいても、管状部材17に形成された磁気パターンから磁束密度を高精度に検出できるように、その検出範囲と設置位置が決められている。
本形態では、図6に示すように、内壁部42cにおける中心CPと方向zの位置が同じ部分の厚みが厚みr1となっている。この厚みr1は、一例として0.5mmである。管状部材17に形成される磁極領域の磁力を、挿入部10の外表面から挿入部10の径方向に0.5mm離れた位置で検出される磁束密度で定義すると、この磁力は、地磁気よりも十分に大きい値とし、且つ、一般的な磁気センサの性能に適した値(具体的には500マイクロテスラ)以上とすることが好ましい。また、例えば、図7の状態ST1又は状態ST2において、磁気検出部43と磁気検出部44が磁束密度を高精度に検出できるように、管状部材17に形成される磁極領域の磁力は、1000マイクロテスラから1500マイクロテスラの範囲とすることが、より好ましい。ただし、挿入部10が他の金属にくっつかないように、管状部材17に形成される磁極領域の磁力の上限値は、20ミリテスラ以下とすることが好ましい。一般的な磁気センサの最大感度を考慮すると、管状部材17に形成される磁極領域の磁力の上限値は、2ミリテスラ以下とすることがより好ましい。
図7に示したように、貫通孔41内において挿入部10の位置は変動し得る。しかし、管状部材17から磁気検出部43により検出される磁束密度BXと、管状部材17から磁気検出部44により検出される磁束密度BXの相加平均を求めることで、貫通孔41内において挿入部10がどの位置にある場合でも、磁気パターンに応じた磁束密度BXを検出することが可能となる。同様に、管状部材17から磁気検出部43により検出される磁束密度BYと、管状部材17から磁気検出部44により検出される磁束密度BYの相加平均を求めることで、貫通孔41内において挿入部10がどの位置にある場合でも、磁気パターンに応じた磁束密度BYを検出することが可能となる。同様に、管状部材17から磁気検出部43により検出される磁束密度BZと、管状部材17から磁気検出部44により検出される磁束密度BZの相加平均を求めることで、貫通孔41内において挿入部10がどの位置にある場合でも、磁気パターンに応じた磁束密度BZを検出することが可能となる。
図5に示す通信用チップ45は、磁気検出部43と磁気検出部44のそれぞれにより検出された磁束密度の情報を、無線通信によって拡張装置8に送信する。本明細書において、通信用チップ45は、磁気検出部43及び磁気検出部44により検出された情報を外部に出力する出力部を構成する。この磁束密度の情報は、プロセッサ装置4に送信されてもよく、この場合には、プロセッサ4Pが、その情報を拡張装置8のプロセッサ8Pに転送する。
蓄電池46は、受電用コイル47が非接触給電で受けた電力によって充電される。磁気検出部43、磁気検出部44、及び通信用チップ45は、蓄電池46から供給される電力によって作動する。検出ユニット40は、図示しない起動スイッチを有している。この起動スイッチがオン操作されることで、蓄電池46から磁気検出部43、磁気検出部44、及び通信用チップ45へ電力の供給が開始される。なお、検出ユニット40は、起動スイッチを設けずに、外部からの無線給電を受けて、磁気検出部43、磁気検出部44、及び通信用チップ45へ電力の供給が開始されるように構成してもよい。起動スイッチを設けない場合には、筐体42の収容空間を完全に密閉した構造を容易に実現できる。
図8は、磁気検出部43によって検出される磁束密度の一例を示す模式図である。なお、磁気検出部44によって検出される磁束密度は、図8と同様であるため、図示を省略する。図8に示す2つのグラフは、軟性部10Aが貫通孔41を通って長手方向X1に移動していった場合に、磁気検出部43によって検出される磁束密度BX及び磁束密度BYを示している。図8には、正極領域17Nから、この長手方向Xの隣の負極領域17Sに向かう磁束線が破線矢印にて示されている。
図8中の左上に示した検出ユニット40の貫通孔41に向かって軟性部10A(管状部材17)が移動していく場合、図8のグラフに示すように、磁気検出部43によって検出される磁束密度BXは、各正極領域17Nとその長手方向X1の隣の負極領域17Sとの間ではプラスの値となり、各正極領域17Nとその長手方向X2の隣の負極領域17Sとの間ではマイナスの値となる。また、磁気検出部43によって検出される磁束密度BYは、負極領域17Sの近傍ではマイナスの値且つ絶対値が大きな値となり、正極領域17Nの近傍ではプラスの値且つ絶対値が大きな値となり、負極領域17Sと正極領域17Nの中間位置付近ではゼロに近い値となる。
このように、管状部材17に形成された磁気パターンから、管状部材17の長手方向Xの複数の位置で検出される磁束密度は、磁束密度BXと磁束密度BYがそれぞれ正負の値で周期的に変化するものであり、且つ、磁束密度BXと磁束密度BYの位相が長手方向Xにずれたものとなっている。負極領域17Sのうち、磁束密度BYの絶対値が最大となる長手方向Xの端(図8中の位置P1の部分)を以下では負極端と記載し、正極領域17Nのうち、磁束密度BYの絶対値が最大となる長手方向Xの端(図8中の位置P2の部分)を以下では正極端と記載する。
一例として、磁界発生装置300の円筒状コイルの軸線方向の長さを60mmとし、磁界発生装置300の円筒状コイルの内径を18mmとし、円筒状コイルの長手方向Xへの移動ピッチを144mmとして、上述した方法で管状部材17に対して着磁を行うことで、負極端と正極端間の距離が72mmとなる磁気パターンを形成することができる。図8の例では、例えば、左端の負極領域17Sとその右隣の正極領域17Nの間に円筒状コイルを配置して磁界を形成することで、これら2つの磁極領域を形成できる。そして、その状態から、円筒状コイルを長手方向X2に144mm相対移動させ、その状態で磁界を形成することで、右端の正極領域17Nとその左隣の負極領域17Sを形成できる。このようにすると、長手方向Xに交互に形成された正極端と負極端の間の距離(位置P1と位置P2の間の距離)が72mmとなる磁気パターンを形成できる。
内視鏡システム200において、拡張装置8のプロセッサ8Pは、磁気検出部43及び磁気検出部44により検出された磁束密度の情報を検出ユニット40から取得し、取得した磁束密度BXと磁束密度BYに基づいて、挿入部10の長手方向Xへの移動状態を判定する。ここで判定する挿入部10の移動状態には、検出ユニット40に対し、挿入部10が長手方向Xのどちらの方向に移動している状態なのかを示す移動方向と、検出ユニット40の貫通孔41に挿入された挿入部10が、検出ユニット40に対して長手方向Xにどのくらいの距離移動しているのかを示す移動量(移動距離)と、が含まれる。なお、プロセッサ8Pは、磁気検出部43及び磁気検出部44のそれぞれにより同一タイミングで検出された磁束密度BXを相加平均し、磁気検出部43及び磁気検出部44のそれぞれにより同一タイミングで検出された磁束密度BYを相加平均し、これら相加平均して得た磁束密度BXと磁束密度BYに基づいて、挿入部10の移動状態を判定する。
プロセッサ8Pは、磁束密度BXをその大きさによって、複数の情報に分類し、磁束密度BYをその大きさによって、複数の情報に分類し、磁束密度BXを分類して得られる複数の情報のいずれかと、磁束密度BYを分類して得られる複数の情報のいずれかとの組み合わせに基づいて、挿入部10の長手方向Xへの移動状態を判定する。
具体的には、プロセッサ8Pは、磁束密度BXを2つのレベルに分類するための閾値として、第1閾値th(例えば、“0”)を設定し、磁束密度BYを3つのレベルに分類するための閾値として、第2閾値th1(0より大きい正の値)と第2閾値th2(0より小さい負の値)を設定する。そして、プロセッサ8Pは、磁束密度BXにおいて、第1閾値thよりも大きい値をハイレベルHとし、第1閾値thよりも小さい値をローレベルLとして分類する。また、プロセッサ8Pは、磁束密度BYにおいて、第2閾値th1よりも大きい値をハイレベルHとし、第2閾値th1と第2閾値th2の間の値をミドルレベルMとし、第2閾値th2よりも小さい値をローレベルLとして分類する。磁束密度BXをこのようにして分類した結果を磁束密度BXの分類レベルとも記載し、磁束密度BYをこのようにして分類した結果を磁束密度BYの分類レベルとも記載する。本明細書において、磁束密度BXの分類レベルのうち、ハイレベルは第4情報と第5情報の一方を構成し、ローレベルは第4情報と第5情報の他方を構成する。また、磁束密度BYの分類レベルのうち、ハイレベルは第1情報と第2情報の一方を構成し、ローレベルは第1情報と第2情報の他方を構成し、ミドルレベルは第3情報を構成する。
図9には、図8に示すグラフの磁束密度BXと磁束密度BYを分類した結果(分類レベル)が、太実線で示されている。図9に示すように、管状部材17において、隣り合う2つの位置P1の間(負極端同士の間)の範囲は、磁束密度BXがハイレベルとなり且つ磁束密度BYがローレベルとなる領域R1と、磁束密度BXがハイレベルとなり且つ磁束密度BYがミドルレベルとなる領域R2と、磁束密度BXがハイレベルとなり且つ磁束密度BYがハイレベルとなる領域R3と、磁束密度BXがローレベルとなり且つ磁束密度BYがハイレベルとなる領域R4と、磁束密度BXがローレベルとなり且つ磁束密度BYがミドルレベルとなる領域R5と、磁束密度BXがローレベルとなり且つ磁束密度BYがローレベルとなる領域R6とに分けられる。このように、長手方向Xで隣り合う負極端同士の間の範囲は、磁束密度BXの分類レベルと磁束密度BYの分類レベルの組み合わせによって、6つの領域R1~R6に分けることができる。
プロセッサ8Pは、図9に示した太実線(磁束密度BX,BYの分類レベル)をモニタすることで、挿入部10の検出ユニット40に対する移動方向と、検出ユニット40の位置を起点とした挿入部10の長手方向Xへの移動量(移動距離)と、を判定する。
例えば、管状部材17の最も先端側に設けられた負極領域17Sが貫通孔41を通過した場合に、プロセッサ8Pは、磁束密度BXの分類レベルと磁束密度BYの分類レベルの組み合わせから、管状部材17の最も先端の領域R1が貫通孔41内に位置することを検出し、この位置を基準位置として検出する。管状部材17の最も先端側に設けられた負極領域17Sから、先端部10Cの先端までの長手方向Xの距離(距離L1とする)は既知である。したがって、プロセッサ8Pは、この基準位置を検出すると、検出ユニット40に対する挿入部10の移動距離は“0”と判定し、更に、挿入部10の被検者50の体内への挿入長(基準位置(貫通孔41)から挿入部10の先端までの距離)が距離L1であると判定する。
プロセッサ8Pは、基準位置を検出した後、磁束密度BX,BYの分類レベルにより、貫通孔41内を通過している管状部材17の領域が、領域R1から領域R6に向かう方向に変化していると判定した場合には、挿入部10が長手方向X1に移動していると判定する。また、プロセッサ8Pは、挿入部10が長手方向X1に移動していると判定した場合には、貫通孔41内を通過している管状部材17の領域が1つ変化(例えば、領域R1から領域R2へ変化、領域R2から領域R3へ変化等)する毎に、挿入部10の長手方向X1への移動距離を単位距離ΔLだけ増やし、挿入部10の被検者50の体内への挿入長を単位距離ΔLだけ増やす。この単位距離ΔLは、隣り合う負極領域17S同士の間隔を6で割った値とすることができる。
一方、プロセッサ8Pは、磁束密度BX,BYの分類レベルにより、貫通孔41内を通過している管状部材17の領域が、領域R6から領域R1に向かう方向に変化していると判定した場合には、挿入部10が長手方向X2に移動していると判定する。また、プロセッサ8Pは、挿入部10が長手方向X2に移動していると判定した場合には、貫通孔41内を通過している管状部材17の領域が1つ変化する毎に、挿入部10の長手方向X1への移動距離を単位距離ΔLだけ減らし、挿入部10の被検者50の体内への挿入長を単位距離ΔLだけ減らす。
なお、挿入部10の移動速度によっては、貫通孔41内を通過している管状部材17の領域が、領域R1から領域R3に変化したと判定されたり、領域R3から領域R1に変化したと判定されたりすることも有り得る。このように、貫通孔41内を通過している管状部材17の領域が2つ分変化していると判定した場合には、プロセッサ8Pは、挿入部10の挿入長を、単位距離ΔLの2倍だけ増やしたり、減らしたりすればよい。
プロセッサ8Pは、このようにして判定した挿入長の情報を、表示装置7に表示させたり、不図示のスピーカから音声で出力させたり、操作部11に設けた振動子の振動によって内視鏡1の操作者に伝達したりする。これにより、内視鏡1による撮像位置の正確な記録、内視鏡1の操作のガイドや評価等が可能となる。
なお、前述したように、挿入部10において、先端部10Cと湾曲部10Bを消磁しておくことで、プロセッサ8Pは、基準位置の検出を容易に行うことができる。具体的には、挿入部10が先端側から貫通孔41に挿入され、長手方向X1に移動していくと、貫通孔41内を先端部10Cと湾曲部10Bが通過している間は、磁束密度BX及び磁束密度BYがいずれも“0”付近の値となる。そして、貫通孔41内に管状部材17の最も先端側の負極領域17Sが到達した時点で、磁束密度BX及び磁束密度BYは、図9に示すように、ハイレベルとローレベルの組み合わせとなるため、この磁束密度の変動によって、基準位置を容易に検出できる。
以上のように、プロセッサ8Pは、磁束密度BXをハイレベルとローレベルの2つに分類し、磁束密度BYをハイレベルとミドルレベルとローレベルの3つに分類し、これらの組み合わせに基づいて、挿入部10の長手方向Xへの移動状態を判定する。このように、磁束密度BXの分類レベルと磁束密度BYの分類レベルの組み合わせの変化をモニタすることで、挿入部10の移動方向、移動距離、及び挿入長を判定することができる。内視鏡システム200によれば、このような効果を、汎用的な構成の内視鏡1に対する着磁と、検出ユニット40の追加だけで実現できるため、システムの構築コストを下げることができる。また、非光学的に取得できる磁束密度の情報に基づいて、挿入部10の移動方向、移動距離、及び挿入長が判定されるため、挿入部10が汚れていても、その判定精度が低下することはなく、実用的である。
また、磁束密度BXの分類レベルと磁束密度BYの分類レベルの組み合わせを用いることで、隣り合う2種の磁極領域(負極領域17Sと正極領域17N)の間隔よりも細かい分解能(例えば、この間隔の1/3の単位)で、挿入部10の移動距離を判定できる。このように、移動距離を細かく判定できることで、内視鏡1による撮像位置の正確な記録、内視鏡1の操作のガイドや評価等に役立てることができる。
また、プロセッサ8Pは、磁気検出部43により検出される磁束密度と磁気検出部44により検出される磁束密度の相加平均を求め、この相加平均の磁束密度に基づいて、挿入部10の移動方向、移動距離、及び挿入長を判定する。このため、貫通孔41内における挿入部10の位置によらずに、磁気パターンに応じた磁束密度の変化を得ることができる。また、磁気検出部43と磁気検出部44が検出する磁束密度には、着磁によって生じるものに加えて、地磁気、建屋の鉄骨により生じる磁界、鋼製の家具により生じる磁界等に起因する外乱成分が含まれ得る。しかし、上記のように、2つの磁気検出部により検出される磁束密度の相加平均を取ることで、この外乱成分の影響を軽減することができる。
なお、貫通孔41の内径と挿入部10の外径の差を極力小さくしておけば、検出ユニット40に設けられる磁気検出部43と磁気検出部44のいずれか一方は必須ではなく、省略可能である。この場合、プロセッサ8Pは、磁気検出部43又は磁気検出部44により検出される磁束密度BX、BYに基づいて、挿入部10の移動方向、移動距離、及び挿入長を判定すればよい。
また、本形態では、管状部材17に形成される負極領域17Sと正極領域17Nは、それぞれ、管状部材17の外周に沿って環状に形成されている。このため、貫通孔41内において挿入部10がその周方向に回転した場合でも、磁気検出部43と磁気検出部44により検出される磁束密度の変化をほぼ無くすことができる。したがって、挿入部10がどのような姿勢であっても、挿入部10の移動方向、移動距離、及び挿入長を判定することができる。
磁気検出部43と磁気検出部44が検出する磁束密度には、外乱成分が含まれ得る。また、この外乱成分は、検出ユニット40の姿勢により、その向きも変化する。したがって、磁束密度BXと磁束密度BYの生データをそのまま用いて挿入部10の長手方向Xへの移動状態を判定するよりも、上述してきたように、磁束密度BXをハイレベルとローレベルの2つに分類し、磁束密度BYをハイレベルとミドルレベルとローレベルの3つに分類し、これら分類レベルの組み合わせに基づいて、挿入部10の長手方向Xへの移動状態を判定することで、外乱成分の影響を排除することができる。
以上の説明では、プロセッサ8Pが、磁束密度BXをハイレベルとローレベルの2つに分類し、磁束密度BYをハイレベルとミドルレベルとローレベルの3つに分類し、これら分類レベルの組み合わせに基づいて、挿入部10の長手方向Xへの移動状態を判定している。この変形例として、プロセッサ8Pが、磁束密度BXをハイレベルとローレベルの2つに分類し、磁束密度BYをハイレベルとローレベルの2つに分類し、これら分類レベルの組み合わせに基づいて、挿入部10の長手方向Xへの移動状態を判定してもよい。
具体的には、プロセッサ8Pは、磁束密度BXを2つのレベルに分類するための閾値として、“第1閾値th(例えば、0)”を設定し、磁束密度BYを2つのレベルに分類するための閾値として、“第2閾値th3(例えば、0)”を設定する。そして、プロセッサ8Pは、磁束密度BXにおいて、第1閾値thよりも大きい値をハイレベルとし、第1閾値thよりも小さい値をローレベルとして分類する。また、プロセッサ8Pは、磁束密度BYにおいて、第2閾値th3よりも大きい値をハイレベルとし、第2閾値th3よりも小さい値をローレベルとして分類する。
図10には、図8に示すグラフの磁束密度BXと磁束密度BYを分類した結果(分類レベル)が、太実線で示されている。図10に示すように、管状部材17において、2つの位置P1の間の範囲は、磁束密度BXがハイレベルとなり且つ磁束密度BYがローレベルとなる領域R1と、磁束密度BXがハイレベルとなり且つ磁束密度BYがハイレベルとなる領域R2と、磁束密度BXがローレベルとなり且つ磁束密度BYがハイレベルとなる領域R3と、磁束密度BXがローレベルとなり且つ磁束密度BYがローレベルとなる領域R4と、に分けられる。このように、長手方向Xで隣り合う負極端同士の間の範囲は、磁束密度BXの分類レベルと磁束密度BYの分類レベルの組み合わせによって、4つの領域R1~R4に分けることができる。プロセッサ8Pは、図10に示した太実線(磁束密度BX,BYの分類レベル)をモニタすることで、挿入部10の移動方向と、挿入部10の長手方向Xへの移動量(移動距離)と、を判定することが可能である。
なお、ここまでの説明では、プロセッサ8Pが磁束密度をその大きさによって複数の情報に分類しているが、検出ユニット40の通信用チップに設けられたプロセッサによって、この分類が行われる構成としてもよい。つまり、検出ユニット40からは、図9や図10に示した太実線で示す分類レベルの情報が、プロセッサ8Pに送信される構成としてもよい。また、プロセッサ8Pが、挿入部10の移動状態の判定を行うものとしているが、検出ユニット40の通信用チップに設けられたプロセッサがこの判定を行い、その判定結果を、プロセッサ8Pに送信する構成としてもよい。また、拡張装置8とネットワークを介して接続されたパーソナルコンピュータ等のプロセッサが、検出ユニット40から磁束密度の情報を取得して上記判定を行い、その判定結果をプロセッサ8Pに送信する構成としてもよい。また、プロセッサ8Pとは別体のプロセッサが、挿入部10の移動状態の判定を行ってもよい。また、内視鏡装置100の外部に設けられたプロセッサが、挿入部10の移動状態の判定を行い、その判定結果を、プロセッサ8Pに送信する構成としてもよい。
磁束密度BXと磁束密度BYのそれぞれをその大きさで分類する際に用いる閾値は、予め決められた固定値としてもよいが、貫通孔41への挿入部10の挿入が開始されてからの磁気検出部43と磁気検出部44により検出される磁束密度に基づいて決められる変動値とすることが好ましい。
例えば、検出ユニット40の起動スイッチがオンとなり、貫通孔41に挿入部10の挿通がなされ、管状部材17の最も先端側から3つ目の磁極領域が貫通孔41を通過すると、プロセッサ8Pは、磁気検出部43によって検出される磁束密度BXの最大値及び最小値と、磁気検出部43によって検出される磁束密度BYの最大値及び最小値と、をそれぞれ取得できる。プロセッサ8Pは、磁束密度BXの最大値及び最小値を取得すると、この最大値と最小値の平均値を求めて、その平均値を上記の第1閾値thとして設定する。また、プロセッサ8Pは、磁束密度BYの最大値と最小値を取得すると、この最大値と最小値の平均値を求め、その平均値に既定値を加算した値を上記の第2閾値th1として設定し、その平均値から既定値を減算した値を上記の第2閾値th2として設定する。この既定値は、外乱成分として想定される値よりも大きく、且つ、磁束密度BYの最大値と最小値のそれぞれの絶対値よりも小さい値である。管状部材17の最も先端側から3つ目までの磁極領域は、磁気パターンが形成された領域における消磁された領域(隣接領域)側の基端部を構成する。
以後、プロセッサ8Pは、このようにして設定した閾値を用いて、磁束密度BXと磁束密度BYの分類を行えばよい。このように、磁気検出部43と磁気検出部44により検出される磁束密度に基づいて閾値を設定することで、挿入部10の移動状態の判定をより高精度に行うことができる。
なお、このように、磁気検出部43と磁気検出部44により検出される磁束密度に基づいて閾値を設定する場合、プロセッサ8Pは、管状部材17の最も先端側から3つ目の磁極領域が貫通孔41を通過するまでの期間は、第1閾値th、第2閾値th1、及び第2閾値th2をそれぞれ予め決められた値に設定して、基準位置の検出や挿入部10の移動状態の判定を行い、その後は、上述した方法で第1閾値th、第2閾値th1、及び第2閾値th2を更新して、挿入部10の移動状態の判定を行うことが好ましい。
このように、内視鏡システム200では、挿入部10が貫通孔41を通過していくときに、磁気検出部43と磁気検出部44のそれぞれによって検出される磁束密度BX、BYが、それぞれ、プラスとマイナスの間で周期的に変化し、且つ、互いに位相のずれたものとなるように、管状部材17に磁気パターンが形成されていることで、挿入部10の移動状態の判定を行うことができる。このような磁気パターンは、図3及び図4に示した磁極部MA1、MA2の構成に限らず、様々な変形が可能である。
図11は、図3に示す磁極部MA1、MA2の変形例を示すA-A矢視とB-B矢視での断面模式図である。図11に示す変形例において、磁極部MA1は、負極領域17Sと正極領域17Nが管状部材17の周方向に沿って交互に且つ間隔を空けて形成された構成となっている。同様に、磁極部MA2は、負極領域17Sと正極領域17Nが管状部材17の周方向に沿って交互に且つ間隔を空けて形成された構成となっている。磁極部MA2は、磁極部MA1を、管状部材17の軸中心の周りに90度回転させた構成となっている。
図11に示すように、長手方向Xに見た状態では、磁極部MA1における正極領域17Nと磁極部MA2における負極領域17Sとが、管状部材17の周方向の同一位置に存在する。すなわち、管状部材17において、その周方向の同一位置にある全ての磁極領域は、負極領域17Sと正極領域17Nが交互に長手方向Xに並ぶ構成となっている。つまり、管状部材17には、負極領域17Sを先頭に、長手方向Xに沿って負極領域17Sと正極領域17Nが交互に並ぶ第1磁気パターンと、正極領域17Nを先頭に、長手方向Xに沿って負極領域17Sと正極領域17Nが交互に並ぶ第2磁気パターンとが、管状部材17の周方向に、間隔を空けて交互に並んで形成されたものとなっている。
図12は、図11に示す構成の磁極部MA1において発生する磁束線を模式的に示す図である。図12には、軟性部10Aが貫通孔41を通るときの、軟性部10Aに対する磁気検出部43、44の位置を図示している。
図12に示す状態では、磁気検出部43により検出される磁束密度BYはマイナスの大きい値となる。図12の状態から、軟性部10Aが反時計回りに45度回転すると、磁気検出部43により検出される磁束密度BYはゼロに近い値となる。図12の状態から、軟性部10Aが反時計回りに90度回転した場合には、磁気検出部43により検出される磁束密度BYはプラスの大きい値となる。図12の状態から、軟性部10Aが反時計回りに135度回転した場合には、磁気検出部43により検出される磁束密度BYはゼロに近い値となる。図12の状態から、軟性部10Aが反時計回りに180度回転した場合には、磁気検出部43により検出される磁束密度BYはマイナスの大きい値となる。このように、貫通孔41内で軟性部10Aがその周方向に回転した場合に、磁気検出部43により検出される磁束密度BYは、図8に示した磁束密度BYと同等のものとなる。同様に、貫通孔41内で軟性部10Aがその周方向に回転した場合に磁気検出部43により検出される磁束密度BZは、図8に示した磁束密度BYと同等で位相が90度ずれたものとなる。したがって、磁気検出部43によって検出される磁束密度BY、BZをそれぞれハイレベルとローレベルに分類した場合には、これら分類レベルは、図10に示す磁束密度BYの太実線と同等のもの(ただし、磁束密度BYと磁束密度BZでは位相が90度ずれたもの)となる。そのため、この分類レベルの組み合わせによって、挿入部10の回転方向と回転量を導出することが可能となる。
このような構成の磁気パターンを持つ内視鏡1を用いた場合には、プロセッサ8Pが、磁束密度BZと磁束密度BYのそれぞれを複数の情報に分類し、これら情報の組み合わせの変化を見ることで、挿入部10の移動状態の判定方法と同様に、挿入部10の周方向への回転状態(回転方向と回転量(回転角度))を判定することができる。なお、図11に示す構成では、管状部材17において、長手方向Xに延びる第1磁気パターン及び第2磁気パターンが形成されいるため、前述してきたように、磁束密度BXと磁束密度BYに基づいて、挿入部10の移動状態を判定することができる。図11では、磁極部MA1と磁極部MA2が、それぞれ、周方向に並ぶ4つの磁極領域を含むものとしている。しかし、磁極部MA1と磁極部MA2は、それぞれ、2つの磁極領域を含む構成であってもよいし、偶数且つ6つ以上の磁極領域を含む構成であってもよい。
なお、図11に示す構成においても、磁気検出部43により検出される磁束密度BY、BZと磁気検出部44により検出される磁束密度BY、BZの相加平均を求め、これらの2つの相加平均の値をそれぞれハイレベルとローレベルに分類し、この分類レベルの組み合わせによって、挿入部10の回転方向と回転量を導出することが好ましい。
<プロセッサ8Pの処理>
次に、プロセッサ8Pが実行する各種処理の詳細について説明する。この各種処理を説明するにあたり、内視鏡1の挿入部10の移動経路について説明する。図13は、内視鏡1を用いて行われる検査(以下、内視鏡検査と記載)における挿入部10の移動経路を説明するための模式図である。
次に、プロセッサ8Pが実行する各種処理の詳細について説明する。この各種処理を説明するにあたり、内視鏡1の挿入部10の移動経路について説明する。図13は、内視鏡1を用いて行われる検査(以下、内視鏡検査と記載)における挿入部10の移動経路を説明するための模式図である。
内視鏡検査には、胃等の上部消化器官を検査する内視鏡検査と、大腸等の下部消化器官を検査する内視鏡検査等が含まれる。また、内視鏡検査には、被検体内に病変領域が存在するか否かを調べるために挿入部10を被検体内に挿入する第1検査と、既にわかっている病変領域を切除するために挿入部10を被検体内に挿入する第2検査と、が含まれる。
(内視鏡の移動経路)
図13には、被検体(被検者50)の大腸51が示されている。大腸の内視鏡検査において、挿入部10は、図中の破線で示した移動経路10Xに沿って移動される。移動経路10Xは、被検体外における肛門50Aの近傍に配置された検出ユニット40の貫通孔41から、肛門50Aを通過して直腸53に達し、更に、直腸53から、S状結腸54、下行結腸55、横行結腸56、及び上行結腸57を通過して回盲部58まで至る管状の経路である。
図13には、被検体(被検者50)の大腸51が示されている。大腸の内視鏡検査において、挿入部10は、図中の破線で示した移動経路10Xに沿って移動される。移動経路10Xは、被検体外における肛門50Aの近傍に配置された検出ユニット40の貫通孔41から、肛門50Aを通過して直腸53に達し、更に、直腸53から、S状結腸54、下行結腸55、横行結腸56、及び上行結腸57を通過して回盲部58まで至る管状の経路である。
大腸の内視鏡検査且つ第1検査では、内視鏡1の操作者は、挿入部10を、貫通孔41を介して肛門50Aに挿入し、検査の折り返し地点である回盲部58まで到達させ、その後、回盲部58から被検体外に向かって抜き去っていく。以下では、挿入部10の先端を貫通孔41から回盲部58に移動させていく工程を挿入工程と記載し、挿入部10の先端を回盲部58から貫通孔41まで移動させていく工程を抜去工程と記載する。第1検査は、挿入工程と抜去工程のセットで構成される。大腸の内視鏡検査且つ第2検査は、検査の折り返し地点が、事前の第1検査で発見していた病変領域の存在位置に変更される点を除いては、第1検査と同じである。
なお、胃の内視鏡検査においては、第1検査の折り返し地点が十二指腸となり、第2検査の折り返し地点が、事前の第1検査で発見していた病変領域の存在位置となる。
(内視鏡検査時の処理)
内視鏡検査が開始されると、検出ユニット40の電源がオンされる。プロセッサ8Pは、前述したように、検出ユニット40により検出される磁束密度BX,BYに基づいて、移動経路10X上の基準位置(貫通孔41の位置)から挿入部10の先端までの第1距離(上述してきた挿入長)を導出する。
内視鏡検査が開始されると、検出ユニット40の電源がオンされる。プロセッサ8Pは、前述したように、検出ユニット40により検出される磁束密度BX,BYに基づいて、移動経路10X上の基準位置(貫通孔41の位置)から挿入部10の先端までの第1距離(上述してきた挿入長)を導出する。
プロセッサ8Pは、内視鏡1が起動すると、内視鏡1で撮像された撮像画像を逐次取得し、取得した撮像画像に基づいて、挿入部10の先端が到達している被検体内の部位(肛門、直腸、S状結腸、S-top(S状結腸頂上部)、SDJ(S状結腸と下行結腸の移行部)、下行結腸、脾彎部、横行結腸、肝彎部、上行結腸、回盲部、又は体外等)を認識する到達部位認識処理を行う。プロセッサ8Pは、例えば、撮像画像を入力として、被検体内の部位の認識結果を出力する、機械学習により生成された認識モデルを用いて、この到達部位認識処理を行う。或いは、プロセッサ8Pは、内視鏡1の操作者から入力された情報に基づいて、挿入部10の先端が被検体内のどの部位に到達しているのかを認識してもよい。例えば、操作者は、挿入部10の先端が所定部位に到達したことを撮像画像から認識した場合に、例えば内視鏡1に対して所定の操作を行って、所定部位に到達したことを示す情報を入力する。プロセッサ8Pは、この情報を受けると、挿入部10の先端が到達している被検体内の部位が所定部位であることを認識する。
プロセッサ8Pは、例えば、この到達部位認識処理の結果を用いることで、挿入工程と抜去工程のどちらが行われているかを判定することも可能である。一例として、プロセッサ8Pは、到達部位が肛門50A又は直腸53であるという認識結果が得られ、その後に、到達部位が回盲部58であるという認識結果が得られるまでの期間を、内視鏡1が移動経路10Xの始端から終端に向かって移動している挿入工程の期間(第1期間)として判定し、到達部位が回盲部58であるという認識結果が得られてから、到達部位が被検体外であるという認識結果が得られるまでの期間を、内視鏡1が移動経路10Xの終端から始端に向かって移動している抜去工程の期間(第2期間)として判定する。
プロセッサ8Pは、検出ユニット40により検出される磁束密度BX,BYに基づいて導出される第1距離の時間変化に基づいて、挿入部10の移動経路10X上の移動方向を判定し、その移動方向から、挿入工程の期間と抜去工程の期間を判別することもできる。例えば、プロセッサ8Pは、第1距離が増加傾向にある場合には、挿入部10が被検体の体外から回盲部58に向かう方向に移動していると判定し、挿入工程の期間(第1期間)であると判定する。一方、プロセッサ8Pは、第1距離が減少傾向にある場合には、挿入部10が回盲部58から被検体の体外に向かう方向に移動していると判定し、抜去工程の期間(第2期間)であると判定する。
(イベントの検出)
プロセッサ8Pは、例えば、上述した到達部位認識処理の結果と、上述した病変認識処理及び処置具認識処理の結果と、を用いることで、内視鏡検査に関連する様々なイベントの発生を検出して、そのイベントの情報であるイベント情報を取得することができる。
プロセッサ8Pは、例えば、上述した到達部位認識処理の結果と、上述した病変認識処理及び処置具認識処理の結果と、を用いることで、内視鏡検査に関連する様々なイベントの発生を検出して、そのイベントの情報であるイベント情報を取得することができる。
プロセッサ8Pは、例えば、挿入工程が開始されたというイベント、抜去工程が開始されたというイベント、内視鏡検査が終了したというイベント、被検体内の特定部位に内視鏡1の先端が到達したというイベント、内視鏡1の特定操作(例えば処置具の操作)がなされたというイベント、又は、被検体内から病変領域が検出されたというイベント等を検出することができる。
具体的には、プロセッサ8Pは、到達部位認識処理により、到達部位が肛門50Aであるという認識結果が得られた場合には、内視鏡検査が開始された(挿入工程が開始された)というイベント(検査開始イベント)の発生を検出する。プロセッサ8Pは、検査開始イベントの検出後に、到達部位認識処理により、到達部位が回盲部58であるという認識結果が得られた場合には、抜去工程が開始されたというイベント(抜去開始イベント)の発生を検出する。プロセッサ8Pは、抜去開始イベントの後に、到達部位が被検体内ではないという認識結果が得られた場合には、内視鏡検査が終了されたというイベント(検査終了イベント)の発生を検出する。
プロセッサ8Pは、病変認識結果によって病変領域が検出された場合には、病変領域が検出されたというイベント(病変検出イベント)の発生を検出する。プロセッサ8Pは、処置具認識結果によって処置具が検出された場合には、処置(処置具の操作)が行われたというイベント(処置イベント)の発生を検出する。プロセッサ8Pは、到達部位認識処理によって、予め決められた特定部位に到達したという認識結果が得られた場合には、挿入部10の先端が特定部位に到達したというイベント(特定部位到達イベント)の発生を検出する。
プロセッサ8Pは、操作者から入力される情報に基づいて、内視鏡1の特定操作(例えば挿入部10の硬度調整)がなされたというイベントを検出して、そのイベントの情報を取得することができる。
プロセッサ8Pは、操作者が特定の動作を行ったという操作者動作イベントの発生を検出し、そのイベントの情報を取得することもできる。例えば、操作者が、特定の動作として、挿入部10の回転(ひねり)又は用手圧迫等を行ったときに、音声入力、タッチパネル等の入力デバイスの操作、又は、内視鏡1のボタン操作等を行って、その動作を実施したことを示す情報を入力する。プロセッサ8Pは、この情報を受けることで、その動作がなされたというイベントの発生を検出することが可能である。図11に示した磁気パターンを採用すれば、プロセッサ8Pは、検出ユニット40により検出される磁束密度の情報に基づいて、挿入部10の回転が行われたことを検出することも可能である。
なお、プロセッサ8Pは、到達部位認識処理、病変認識処理、及び処置具認識処理の結果を用いずとも、操作者から入力される情報に基づいて、検査開始イベント、抜去開始イベント、検査終了イベント、病変検出イベント、処置イベント、及び特定部位到達イベントを検出することは可能である。例えば、操作者が、検査開始(挿入開始)、抜去開始、検査終了(抜去終了)、病変領域検出、処置の実施、又は特定部位への到達等の各種イベントの発生時に、音声入力、タッチパネル等の入力デバイスの操作、又は、内視鏡1のボタン操作等を行う。プロセッサ8Pは、これら操作によって、そのイベントの発生を検出して、イベント情報を取得することが可能である。
(第2距離の導出)
プロセッサ8Pは、上述した到達部位認識処理の結果と、磁束密度BX,BYに基づいて導出した第1距離とに基づいて、挿入部10の先端の被検体内の特定部位からの距離である第2距離を導出する。
プロセッサ8Pは、上述した到達部位認識処理の結果と、磁束密度BX,BYに基づいて導出した第1距離とに基づいて、挿入部10の先端の被検体内の特定部位からの距離である第2距離を導出する。
まず、大腸の内視鏡検査が開始されると、挿入工程の初期において、プロセッサ8Pは、挿入部10の先端の到達部位が肛門50A又は直腸53であるという認識結果を得る。プロセッサ8Pは、このような認識結果を得ると、その認識結果を得た状態において導出した第1距離を第1補正値として設定する。そして、プロセッサ8Pは、その認識結果を得た後は、磁束密度BX,BYに基づいて導出した第1距離から第1補正値を減算して、特定挿入長(移動経路10Xの始端側にある肛門50A又は直腸53を基準位置としたときの挿入部10の挿入長)を得る処理を行う。この処理により、挿入工程においては、肛門50A又は直腸53を特定部位(第1特定部位)とする上記第2距離が、特定挿入長として、逐次導出されることになる。特定挿入長は、第1値を構成する。例えば、図13に示すように、位置PO1に挿入部10の先端が到達した状態で、到達部位が直腸53であるとの認識結果が得られた場合を想定する。この場合、直腸53から少し進んだ位置PO2に挿入部10の先端が移動すると、その時点で導出される第1距離(=D1)から、位置PO1に挿入部10の先端がある状態で導出された第1距離(=D0、第1補正値)を減算した値(=D2)が特定挿入長として導出される。
その後、挿入工程が継続して、挿入工程から抜去工程に切り替わる折り返し地点(つまり回盲部58)まで挿入部10の先端が移動すると、プロセッサ8Pは、挿入部10の先端の到達部位が回盲部58であるという認識結果を得る。プロセッサ8Pは、到達部位が回盲部58であるという認識結果を得ると、その認識結果を得た状態において導出した第1距離を第2補正値として設定する。そして、プロセッサ8Pは、その認識結果を得た後は、第2補正値から、磁束密度BX,BYに基づいて導出した第1距離を減算して、抜去長(移動経路10Xの終端にある回盲部58を基準位置としたときの挿入部10の抜去長)を得る処理を行う。この処理により、抜去工程においては、回盲部58を特定部位(第2特定部位)とする上記第2距離が、抜去長として、逐次導出されることになる。抜去長は、第2値を構成する。
なお、大腸の内視鏡検査の挿入工程では、大腸を折り畳みながら挿入部10を挿入したり、大腸を引き延ばしながら挿入部10を挿入したりといったことが行われる場合がある。一方、大腸の内視鏡検査の抜去工程では、大腸が定常状態に戻った状態で挿入部10の抜き去りが行われる。このため、大腸の内視鏡検査では、挿入工程と抜去工程とで、磁束密度BX,BYに基づいて導出される第1距離が同じ値であっても、挿入部10の先端が存在している大腸51内での位置は異なる場合がある。本形態では、挿入工程においては、挿入部10の先端位置を特定挿入長で管理し、抜去工程においては、挿入部10の先端位置を抜去長で管理できる。このため、挿入部10の挿入状態を高精度に管理することができる。
特定挿入長は、移動経路10X上の始端側の基準位置(肛門50A又は直腸53の位置)から移動経路10Xに沿って移動する内視鏡1の先端までの距離を構成する。抜去長は、移動経路10X上の終端位置(回盲部58の位置)から移動経路10Xに沿って移動する内視鏡1の先端までの距離を構成する。第1距離は、移動経路10Xの始端側の基準位置(貫通孔41の位置)から移動経路10Xに沿って移動する内視鏡1の先端までの距離を構成する。第1距離、特定挿入長、又は抜去長を以下では距離情報とも記載する。
なお、プロセッサ8Pは、抜去工程においても、肛門又は直腸を基準位置とした挿入部10の挿入長である特定挿入長を導出するようにしてもよい。つまり、プロセッサ8Pは、挿入工程において第1距離及び特定挿入長を導出し且つ抜去工程において第1距離及び抜去長を導出する処理と、挿入工程及び抜去工程のそれぞれにおいて第1距離及び特定挿入長を導出する処理と、のいずれかを行うことができる。
(内視鏡検査時の表示、記録)
プロセッサ8Pは、挿入工程の期間においては、以上のようにして導出した特定挿入長(第2距離)と第1距離の少なくとも一方を、表示装置7に表示する制御を行ったり、内視鏡検査に関する情報(以下、検査関連情報と記載)と関連付けて、記録媒体(例えば拡張装置8のメモリ等)に記録する制御を行ったりすることが好ましい。検査関連情報とは、内視鏡1により撮像される撮像画像、上述した各種のイベント情報、又は内視鏡検査の開始(検査開始イベント)からの経過時間(検査時間)等のことを言う。例えば、プロセッサ8Pは、第1距離及び特定挿入長を導出する毎に、どの導出値を、経過時間(検査時間)と関連付けて記録する制御を行う。プロセッサ8Pは、撮像画像の記録指示があった場合には、そのときの経過時間に対して撮像画像を更に関連付けて記録する制御を行う。プロセッサ8Pは、イベント情報を取得した場合には、そのときの経過時間に対してイベント情報を更に関連付けて記録する制御を行う。
プロセッサ8Pは、挿入工程の期間においては、以上のようにして導出した特定挿入長(第2距離)と第1距離の少なくとも一方を、表示装置7に表示する制御を行ったり、内視鏡検査に関する情報(以下、検査関連情報と記載)と関連付けて、記録媒体(例えば拡張装置8のメモリ等)に記録する制御を行ったりすることが好ましい。検査関連情報とは、内視鏡1により撮像される撮像画像、上述した各種のイベント情報、又は内視鏡検査の開始(検査開始イベント)からの経過時間(検査時間)等のことを言う。例えば、プロセッサ8Pは、第1距離及び特定挿入長を導出する毎に、どの導出値を、経過時間(検査時間)と関連付けて記録する制御を行う。プロセッサ8Pは、撮像画像の記録指示があった場合には、そのときの経過時間に対して撮像画像を更に関連付けて記録する制御を行う。プロセッサ8Pは、イベント情報を取得した場合には、そのときの経過時間に対してイベント情報を更に関連付けて記録する制御を行う。
プロセッサ8Pは、抜去工程の期間においては、以上のようにして導出した抜去長(第2距離)と第1距離の少なくとも一方を、表示装置7に表示する制御を行ったり、検査関連情報と関連付けて記録媒体に記録する制御を行ったりすることが好ましい。
プロセッサ8Pは、挿入工程と抜去工程のいずれにおいても、第1距離と、特定挿入長及び抜去長と、のうち、第1距離のみを表示装置7に表示する制御を行い、更に、第1距離、特定挿入長、及び抜去長を、表示以外の他の用途に用いてもよい。具体的には、プロセッサ8Pは、第1距離、特定挿入長、及び抜去長の少なくとも1つと、検査関連情報とを関連付けて記録媒体に記録する制御を行ったり、第1距離、特定挿入長、及び抜去長の少なくとも1つに基づいて内視鏡1の操作支援情報を出力する制御を行ったりしてもよい。
例えば、挿入工程において、挿入部10の先端の位置によっては、挿入部10を円滑に挿入できるようにするために、内視鏡1の挿入部10の硬度調整が必要になったり、用手圧迫が必要になったりする。プロセッサ8Pは、例えば、導出した特定挿入長から、このような硬度調整や用手圧迫が必要となる位置に挿入部10の先端が到達していると判定した場合には、硬度調整や用手圧迫を指示する情報(操作支援情報)を表示装置7に表示する制御を行ったり、スピーカから音声で出力する制御を行ったりする。このようにすることで、内視鏡1の挿入を円滑に行うことが可能となる。プロセッサ8Pは、挿入工程と抜去工程のうち、挿入工程においてのみ、第1距離又は特定挿入長に基づいて操作支援情報を出力する制御を行い、抜去工程においては、この制御を行わないようにしてもよい。大腸の内視鏡検査の抜去工程では、内視鏡1の抜き去りが困難にならないことが多いため、このようにすることで、プロセッサ8Pの処理負荷を軽減できる。
プロセッサ8Pは、導出した第1距離、特定挿入長、又は抜去長と、予め記録されているテーブルデータと、を用いて、挿入部10の先端が到達している位置(部位)の判定を行うことができる。例えば、内視鏡1の大腸内での先端位置と第1距離との対応関係を示すテーブルデータ、内視鏡1の大腸内での先端位置と特定挿入長との対応関係を示すテーブルデータ、及び、内視鏡1の大腸内での先端位置と抜去長との対応関係を示すテーブルデータを、様々な被検者に対して行われた多数の内視鏡検査の実績データから統計的に求めて、或いは、同一の被検者に対して行われた内視鏡検査の実績データから統計的に求めて、プロセッサ8Pがアクセス可能な記録媒体(例えば拡張装置8のメモリ等)に記録しておくことができる。プロセッサ8Pは、内視鏡検査時に導出した第1距離、特定挿入長、又は抜去長に対応する内視鏡1の先端位置(到達部位)の情報を、上記テーブルデータから取得することで、挿入部10の先端が到達している位置の判定を行うことができる。
プロセッサ8Pによって関連付けられた検査関連情報(撮像画像、イベント情報、又は検査時間)及び距離情報(第1距離、特定挿入長、又は抜去長)を含む検査データは、図示省略のサーバに転送されて保存される。内視鏡検査の終了後は、このサーバにアクセス可能な検査レポート作成支援装置が、上記検査データに基づいて、検査レポートのドラフトを作成する。医師は、このドラフトを利用して最終的な検査レポートを作成することで、効率的に業務を行うことができる。
(検査データの表示例)
図14は、プロセッサ8Pにより関連付けて記録された検査データの表示例を示すグラフである。プロセッサ8Pは、図14に示すグラフを、例えば表示装置7やその他のディスプレイに表示する制御を行う。このようにして表示されたグラフにより、内視鏡1の操作者やその指導者等が、内視鏡検査の手技を評価可能となる。
図14は、プロセッサ8Pにより関連付けて記録された検査データの表示例を示すグラフである。プロセッサ8Pは、図14に示すグラフを、例えば表示装置7やその他のディスプレイに表示する制御を行う。このようにして表示されたグラフにより、内視鏡1の操作者やその指導者等が、内視鏡検査の手技を評価可能となる。
図14に示すグラフは、内視鏡検査の経過時間毎に第1距離がプロットされたものとなっている。図14に示すグラフには、特定部位到達イベントが検出されたタイミングに対し、そのイベントの内容(到達部位)を示す文字(S-top、SDJ、脾彎部、肝彎部、及び回盲部)が付されている。また、その他のイベントが検出されたタイミングに対し、そのイベントの内容を示す文字(硬度調整、抜去開始、処置、病変検出、検査終了)が付されている。挿入工程の開始(経過時間=0)から抜去開始イベントまでが挿入工程の期間であり、抜去開始イベントから検査終了イベントまでが抜去工程の期間である。
図14に示すグラフは、縦軸を距離とし、挿入工程の期間では特定挿入長をプロットし、抜去工程の期間では抜去長をプロットしたものとしてもよい。或いは、抜去工程において抜去長の代わりに特定挿入長を導出する場合には、縦軸を特定挿入長とし、挿入工程と抜去工程のそれぞれの期間で特定挿入長をプロットしたものとしてもよい。
プロセッサ8Pは、図14における距離情報のプロット波形の任意位置が指定された場合に、その任意位置の経過時間に関連付けられた撮像画像が記録されている場合には、その撮像画像を表示装置7に表示させてもよい。プロセッサ8Pは、図14に示すグラフと、予め生成された基準データ(経過時間、距離情報、及びイベント情報を関連付けたデータ)に基づく基準グラフ(経過時間毎に距離情報をプロットし且つ特定部位到達イベントの発生タイミングを付加したグラフ)と、を対比可能に表示装置7に表示する制御を行ってもよい。
基準データは、複数回の内視鏡検査のそれぞれによって得られた検査データに基づいて統計的に生成されたデータ、手技の評価が高い操作者によって実施された内視鏡検査によって得られた過去の検査データ、又は、図14に示すグラフの内視鏡検査時と同一の操作者によって行われた過去の内視鏡検査の検査データ等とすることができる。
プロセッサ8Pは、図14に示すグラフを、内視鏡検査中、リアルタイムで表示装置7に表示する制御を行ってもよい。この場合、プロセッサ8Pは、内視鏡検査の開始前に、サーバのメモリ等に記録されている基準データを取得し、取得した基準データに基づく基準グラフを表示装置7に表示させる。プロセッサ8Pは、この基準グラフを表示装置7に表示させた後、内視鏡検査が開始された場合には、表示中の基準グラフにおける“経過時間=0”のときの距離情報と、内視鏡検査の開始後に導出した距離情報とが一致したタイミングを、検査開始タイミングとして検出し、距離情報のプロットを開始して、実施中の内視鏡検査に対応するグラフを表示することが好ましい。
プロセッサ8Pは、図14に示すグラフに対して、経過時間とイベント情報の少なくとも一方の修正を要求する操作がなされた場合には、その修正を受け付けて、このグラフに対応する検査データにおける経過時間とイベント情報の少なくとも一方を修正することが好ましい。これにより、例えば、図14に示す“硬度調整”を“用手圧迫”に変更したり、図14に示す“硬度調整”のタイミングを左右にずらしたり、その両方を行ったりすることができるようになる。このようにすることで、経過時間、距離情報、及びイベント情報の対応関係をより正確に残すことができる。
プロセッサ8Pは、複数回の内視鏡検査のそれぞれにおいて取得した検査データに基づいて、イベント情報(特定部位到達イベントの情報)と距離情報との統計的な対応を示すテーブルデータ(到達部位と距離情報の対応テーブル)を生成して、拡張装置8のメモリ等に記録することが好ましい。具体的には、各内視鏡検査で得た挿入工程の検査データから、大腸内の特定部位に内視鏡1の先端が到達したときの距離情報を抽出し、抽出した全ての距離情報の代表値(例えば平均値や中央値等)を算出し、その特定部位とその代表値とを対応付ける処理を、特定部位を変更して繰り返し行うことで、大腸内の各特定部位と距離情報との対応を示す第1テーブルデータを生成する。
図15は、第1テーブルデータの一例を示す図である。図15に示す第1テーブルデータにおける距離情報は、第1距離又は特定挿入長である。第1テーブルデータは、挿入工程用と、抜去工程用とで分けて生成しておいてもよい。この場合、挿入工程用の第1テーブルデータの距離情報は特定挿入長となり、抜去工程用の第1テーブルデータの距離情報は抜去長となる。なお、検査データを用いずとも、距離情報と被検体内の部位との対応関係を示すデータは、解剖学的な情報にしたがって生成することも可能である。
プロセッサ8Pは、内視鏡検査中に導出した距離情報と、図15に例示される第1テーブルデータとを用いることで、内視鏡1の先端が大腸内のどの位置にあるのかを判定することが可能となる。
<内視鏡システム200の主な効果>
内視鏡システム200によれば、被検体外に設置された検出ユニット40の位置を起点としたときの挿入部10の被検体内への挿入長(第1距離)だけでなく、被検体内の第1特定部位(肛門又は直腸)を起点としたときの挿入部10の被検体内への特定挿入長と、被検体内の第2特定部位(回盲部)を起点としたときの挿入部10の被検体外への抜去長と、を導出することができる。なお、胃の内視鏡検査を行う場合には、第1特定部位を例えば噴門部とし、第2特定部位を例えば十二指腸として、特定挿入長と抜去長を得ることが可能である。
内視鏡システム200によれば、被検体外に設置された検出ユニット40の位置を起点としたときの挿入部10の被検体内への挿入長(第1距離)だけでなく、被検体内の第1特定部位(肛門又は直腸)を起点としたときの挿入部10の被検体内への特定挿入長と、被検体内の第2特定部位(回盲部)を起点としたときの挿入部10の被検体外への抜去長と、を導出することができる。なお、胃の内視鏡検査を行う場合には、第1特定部位を例えば噴門部とし、第2特定部位を例えば十二指腸として、特定挿入長と抜去長を得ることが可能である。
内視鏡システム200によれば、実際に被検体内に挿入されている内視鏡1で撮像して得た撮像画像を用いた到達部位認識処理の結果を用いて特定挿入長と抜去長を導出しているため、これら特定挿入長と抜去長を用いることで、被検体毎の個体差の影響を排除して、挿入部10の先端位置を精度よく管理できるようになる。この結果、内視鏡検査中においては、内視鏡1の操作支援を高精度に行うことができる。また、撮像画像の記録位置を高精度に判断することができ、後の検査レポート作成に役立てたり、診断精度を向上させたりすることができる。特に、特定挿入長と抜去長を分けて導出できることで、これらの効果をより高めることができる。
<好ましい形態I:特定挿入長による挿入制御>
内視鏡1の挿入部10が自走式の機構を有する場合には、プロセッサ8Pは、挿入工程において、導出した特定挿入長又は第1距離に基づいて、その機構の駆動制御を行ってもよい。例えば、プロセッサ8Pは、挿入工程において導出した特定挿入長又は第1距離の時間変化が、統計的に求められた理想的な内視鏡挿入時の特定挿入長又は第1距離の時間変化(例えば、上述した基準データにおける特定挿入長又は第1距離の時間変化)と等しくなるように、上記機構を駆動して、挿入部10を移動経路10Xに沿って移動させる制御を行う。このようにすることで、操作者の熟練度に関係なく、内視鏡1の被検体内への挿入を効率よく行うことができる。
内視鏡1の挿入部10が自走式の機構を有する場合には、プロセッサ8Pは、挿入工程において、導出した特定挿入長又は第1距離に基づいて、その機構の駆動制御を行ってもよい。例えば、プロセッサ8Pは、挿入工程において導出した特定挿入長又は第1距離の時間変化が、統計的に求められた理想的な内視鏡挿入時の特定挿入長又は第1距離の時間変化(例えば、上述した基準データにおける特定挿入長又は第1距離の時間変化)と等しくなるように、上記機構を駆動して、挿入部10を移動経路10Xに沿って移動させる制御を行う。このようにすることで、操作者の熟練度に関係なく、内視鏡1の被検体内への挿入を効率よく行うことができる。
<好ましい形態II:検出ユニットの位置変動に基づく処理>
検出ユニット40は、図1に示したように被検体外に配置されるため、移動経路10Xに沿った方向における検出ユニット40の位置(第1距離の導出に用いられる基準位置)は、内視鏡検査中に変動し得る。例えば、検出ユニット40の位置が、挿入工程の開始時よりも被検体から遠ざかる方向に移動した場合には、導出される第1距離が検出ユニット40の移動距離だけ増え、その結果、特定挿入長又は抜去長には、その移動距離分だけ誤差が生じる。一方、検出ユニット40の位置が、挿入工程の開始時よりも被検体に近づく方向に移動した場合には、導出される第1距離が、検出ユニット40の移動距離だけ減少し、その結果、特定挿入長又は抜去長には、その移動距離分だけ誤差が生じる。したがって、このような検出ユニット40の位置変動の有無を判定して、位置変動が生じている場合には、その位置変動に伴う特定挿入長又は抜去長の誤差を補正することが好ましい。
検出ユニット40は、図1に示したように被検体外に配置されるため、移動経路10Xに沿った方向における検出ユニット40の位置(第1距離の導出に用いられる基準位置)は、内視鏡検査中に変動し得る。例えば、検出ユニット40の位置が、挿入工程の開始時よりも被検体から遠ざかる方向に移動した場合には、導出される第1距離が検出ユニット40の移動距離だけ増え、その結果、特定挿入長又は抜去長には、その移動距離分だけ誤差が生じる。一方、検出ユニット40の位置が、挿入工程の開始時よりも被検体に近づく方向に移動した場合には、導出される第1距離が、検出ユニット40の移動距離だけ減少し、その結果、特定挿入長又は抜去長には、その移動距離分だけ誤差が生じる。したがって、このような検出ユニット40の位置変動の有無を判定して、位置変動が生じている場合には、その位置変動に伴う特定挿入長又は抜去長の誤差を補正することが好ましい。
例えば、プロセッサ8Pは、内視鏡検査中に導出した第1距離の単位時間あたりの変化量(タイミングt1において導出した第1距離(距離LL1とする)と、タイミングt1の後のタイミングt2において導出した第1距離(距離LL2とする)との差分)を取得する。また、プロセッサ8Pは、この変化量を取得した期間における撮像画像の動き量(タイミングt1で撮像された撮像画像と、タイミングt2で撮像された撮像画像の間の動き量)を取得する。撮像画像の動き量は、撮像画像の輝度の変化量、又は、撮像画像から抽出される特徴点の移動量等である。プロセッサ8Pは、これら変化量と動き量に基づいて、検出ユニット40の位置の変動の有無を判定する。
例えば、プロセッサ8Pは、撮像画像の動き量を移動経路10Xに沿った方向の距離に換算した換算値と、第1距離の変化量とを比較し、両者の差が閾値以上の場合には、検出ユニット40の位置に変動が生じていると判定し、両者の差が閾値未満の場合には、検出ユニット40の位置に変動が生じていないと判定する。プロセッサ8Pは、検出ユニット40の位置に変動が生じていると判定した場合には、検出ユニット40の位置変動分を相殺するように、特定挿入長又は抜去長を補正する。このような処理により、検出ユニット40の位置変動があっても、特定挿入長又は抜去長の導出を高精度に行うことができる。なお、プロセッサ8Pは、検出ユニット40の位置に変動が生じていると判定した場合に、表示装置7又はスピーカ等から警告情報を出力させてもよい。このようにすることで、操作者に対して検出ユニット40の位置調整を促すことができる。
<好ましい形態III:目的位置による報知>
プロセッサ8Pは、内視鏡検査中において導出した第1距離、特定挿入長、及び抜去長の少なくとも1つと、拡張装置8のメモリ等に予め記録されている、移動経路10Xの目的位置を示す目的位置情報とに基づいて、報知する制御を行うことが好ましい。報知する制御とは、表示装置7に所定情報を表示させたり、図示省略のスピーカから所定情報を出力させたりすることを言う。この制御によって、内視鏡検査に関わる人に、所定情報が提供される。
プロセッサ8Pは、内視鏡検査中において導出した第1距離、特定挿入長、及び抜去長の少なくとも1つと、拡張装置8のメモリ等に予め記録されている、移動経路10Xの目的位置を示す目的位置情報とに基づいて、報知する制御を行うことが好ましい。報知する制御とは、表示装置7に所定情報を表示させたり、図示省略のスピーカから所定情報を出力させたりすることを言う。この制御によって、内視鏡検査に関わる人に、所定情報が提供される。
目的位置情報は、例えば、同一の被検者に対して行われた過去の内視鏡検査(例えば、第2検査を行う場合における、事前の第1検査)において、内視鏡1が被検体内の注目領域を撮像している状態でプロセッサ8Pにより取得された第1距離の情報、又は、特定挿入長及び抜去長の情報とすることができる。
例えば、ある被検者(被検者Hとする)に対する大腸の内視鏡検査且つ第1検査の挿入工程において、操作者が、撮像画像を確認し、その撮像画像に病変と疑われる領域があった場合に、その領域を注目領域として記録する操作を行う場合を想定する。この場合、プロセッサ8Pは、操作者から注目領域の記録を行う操作が行われた場合に、その操作が行われた時点又はその時点の直近に導出した第1距離又は特定挿入長を、目的位置情報として拡張装置8のメモリに記録する。また、被検者Hに対する大腸の内視鏡検査且つ第1検査の抜去工程において、操作者が、撮像画像を確認し、その撮像画像に病変と疑われる領域があった場合に、その領域を注目領域として記録する操作を行う場合を想定する。この場合、プロセッサ8Pは、操作者から注目領域の記録を行う操作が行われた場合に、その操作が行われた時点又はその時点の直近に導出した第1距離又は抜去長を、目的位置情報として拡張装置8のメモリに記録する。
被検者Hに対する第1検査が終了し、その後、被検者Hの第2検査が開始された場合には、プロセッサ8Pは、逐次導出する第1距離、或いは、特定挿入長又は抜去長が、拡張装置8のメモリから取得した上記目的位置情報と近い値になった場合に、注目領域の存在を報知する制御を行う。例えば、プロセッサ8Pは、第2検査の挿入工程においては、導出した第1距離又は特定挿入長が、拡張装置8のメモリに記録されている目的位置情報(第1距離又は特定挿入長)とほぼ一致する場合に、注目領域の存在を報知する制御を行う。また、プロセッサ8Pは、第2検査の抜去工程においては、導出した第1距離又は抜去長が、拡張装置8のメモリに記録されている目的位置情報(第1距離又は抜去長)とほぼ一致する場合に、注目領域の存在を報知する制御を行う。
プロセッサ8Pは、抜去工程においても特定挿入長を導出するようにした場合には、同一の内視鏡検査のうち、挿入工程において目的位置情報の記録を行い、抜去工程において、その目的位置情報に基づいて報知を行ってもよい。例えば、プロセッサ8Pは、内視鏡検査の挿入工程において、操作者から注目領域の記録を行う操作が行われた場合に、その操作が行われた時点又はその時点の直近に導出した特定挿入長を、目的位置情報として拡張装置8のメモリに記録する。その後、同一の内視鏡検査の抜去工程が開始されると、プロセッサ8Pは、その抜去工程において導出した特定挿入長と、挿入工程において拡張装置8のメモリに記録した目的位置情報(特定挿入長)とに基づいて、注目領域の存在を報知する制御を行う。
具体的には、プロセッサ8Pは、挿入工程において記録した目的位置情報を含む特定挿入長の所定範囲を移動経路10X上に設定し、抜去工程においては、導出した特定挿入長がその所定範囲に入っている場合に、注目領域の存在を報知する。例えば、挿入工程において記録された目的位置情報が特定挿入長であり、その値が距離XX1であるとする。この場合、距離XX1に任意の値ΔXX1を加算した値と、距離XX1から値ΔXX1を減算した値との間の範囲が、上記の所定範囲として設定される。そして、抜去工程においては、導出される特定挿入長がこの所定範囲に入った場合に、注目領域の存在を報知する制御が行われる。このようにすることで、挿入工程と抜去工程における内視鏡1の先端の大腸内での位置の相違を考慮して、精度の高い報知が可能となる。
別のケースとして、被検者Hに対する大腸の内視鏡検査且つ挿入工程において、操作者が、撮像画像を確認し、その撮像画像に病変と疑われる領域があった場合に、その領域を注目領域として記録する操作を行い、その後、内視鏡1の挿入を進めて、目印となる領域があった場合に、その領域を注目領域として記録する操作を行う場合を想定する。
この場合、プロセッサ8Pは、操作者から病変領域の記録を行う操作が行われた場合に、その操作が行われた時点又はその時点の直近に導出した距離情報La(第1距離又は特定挿入長)を拡張装置8のメモリに記録する。その後、プロセッサ8Pは、操作者から目印となる領域の記録を行う操作が行われた場合に、その操作が行われた時点又はその時点の直近に導出した距離情報Lb(第1距離又は特定挿入長)と、事前に記録した距離情報Laとの差Δl(絶対値)を算出し、距離情報Lbから、差Δlよりも僅かに小さい値を減算して得た距離Lcを目的位置情報としてメモリに記録する。また、プロセッサ8Pは、その操作が行われたときの撮像画像IM1をメモリに記録する。その後、抜去工程が開始され、プロセッサ8Pは、撮像画像IM1に類似する撮像画像を取得すると、その時点での第1距離又は特定挿入長を基準値とし、その後に導出する第1距離又は特定挿入長が、この基準値よりも距離Lcだけ小さい値になった場合に、注目領域の存在を報知する制御を行う。
以上のように、目的位置情報と、第1距離、又は、特定挿入長及び抜去長とに基づいて、注目領域の存在を報知することで、操作者が病変領域を見落としてしまうのを防いで、検査精度の向上や検査効率の向上が可能となる。
<好ましい形態IV:目的位置と画像認識結果による報知>
プロセッサ8Pは、内視鏡検査中において導出した第1距離、或いは、特定挿入長及び抜去長と、拡張装置8のメモリ等に記録されている上記の目的位置情報と、病変認識処理の結果と、に基づいて、報知する制御を行うことが好ましい。
プロセッサ8Pは、内視鏡検査中において導出した第1距離、或いは、特定挿入長及び抜去長と、拡張装置8のメモリ等に記録されている上記の目的位置情報と、病変認識処理の結果と、に基づいて、報知する制御を行うことが好ましい。
例えば、プロセッサ8Pは、内視鏡検査時に導出した第1距離、特定挿入長、又は抜去長が、拡張装置8のメモリに記録されている目的位置情報(第1距離、特定挿入長、又は抜去長)とほぼ一致する状態になると、その状態或いはその状態になるタイミングの近傍において内視鏡1により撮像された撮像画像を取得し、その撮像画像に基づいて病変認識処理を行う。そして、プロセッサ8Pは、病変認識処理の結果、病変領域が検出された場合には、注目領域の存在を報知する制御を行い、病変領域が検出されない場合には、その制御を行わない。このように、病変認識処理の結果を更に用いることで、内視鏡1の先端が、目的位置である病変領域の存在位置に到達しているかどうかを高精度に判定することができ、より的確な報知が可能となる。
<目的位置情報の変形例>
目的位置情報は、内視鏡1の先端が移動経路10Xの始端側の位置にある状態にてプロセッサ8Pが取得可能な距離情報とすることもできる。この場合、プロセッサ8Pは、内視鏡検査時に導出した距離情報と、メモリから取得した目的位置情報に基づいて、内視鏡検査の終了に関する情報を報知する制御を行う。内視鏡検査の終了に関する情報とは、内視鏡検査の終了が近づいていることを示す情報、又は、内視鏡検査の終了に伴う作業(鎮静剤を使用している被検者への呼びかけ、内視鏡の洗浄のための準備作業、又は、次の内視鏡検査のための準備作業等)の開始を促す情報等である。
目的位置情報は、内視鏡1の先端が移動経路10Xの始端側の位置にある状態にてプロセッサ8Pが取得可能な距離情報とすることもできる。この場合、プロセッサ8Pは、内視鏡検査時に導出した距離情報と、メモリから取得した目的位置情報に基づいて、内視鏡検査の終了に関する情報を報知する制御を行う。内視鏡検査の終了に関する情報とは、内視鏡検査の終了が近づいていることを示す情報、又は、内視鏡検査の終了に伴う作業(鎮静剤を使用している被検者への呼びかけ、内視鏡の洗浄のための準備作業、又は、次の内視鏡検査のための準備作業等)の開始を促す情報等である。
このような目的位置情報は、例えば、同一の操作者或いは複数の操作者が過去に実施した複数回の内視鏡検査の各々において、プロセッサ8Pが、検査終了イベントの検出タイミングから所定時間前のタイミングにおいて導出した第1距離、抜去長、又は、特定挿入長(抜去工程において抜去長の代わりに特定挿入長を導出する場合に限る)の情報を統計的に処理する(例えばこれら多数の距離情報の平均化等)ことで、生成される。
例えば、プロセッサ8Pは、抜去工程において、抜去長と、目的位置情報(抜去長)との差が閾値以下になった場合、或いは、抜去長が目的位置情報(抜去長)よりも大きくなった場合に、被検体の体外近傍の位置に内視鏡1の先端が到達したと判定して、内視鏡検査の終了に関する情報を報知する制御を行う。または、プロセッサ8Pは、抜去工程において、第1距離又は特定挿入長と、目的位置情報(第1距離又は特定挿入長)との差が閾値以下になった場合に、被検体の体外近傍の位置に内視鏡1の先端が到達したと判定して、内視鏡検査の終了に関する情報を報知する制御を行う。これにより、その情報を確認した関係者は、内視鏡検査の終了が近づいていることを認識して、各種の作業を開始することができ、内視鏡検査を効率よく行うことが可能になる。
なお、プロセッサ8Pは、抜去長と目的位置情報(抜去長)との差が閾値以下になった場合、又は、第1距離又は特定挿入長と目的位置情報(第1距離又は特定挿入長)との差が閾値以下になった場合には、挿入部10の移動方向を判定し、判定した移動方向が、被検体の体内から体外に向かう方向であると判定した場合に、内視鏡検査の終了に関する情報を報知する制御を行い、判定した移動方向が、被検体の体外から体内に向かう方向であると判定した場合には、その制御を行わないことが好ましい。このようにすることで、内視鏡検査の終了に関する情報が挿入工程において報知されるのを防ぐことができる。
プロセッサ8Pは、内視鏡検査の終了に関する情報を報知する制御を行った後に、病変検出イベントの発生を検出した場合には、その報知内容を変更することが好ましい。報知内容の変更には、報知の停止、又は、検査終了までの残り時間を報知している場合のその残り時間の修正等が含まれる。このように、内視鏡検査の終了に関する情報を報知する制御を行った後に、病変領域等の注目すべき領域を検出した場合には、報知内容を変更することで、関係者に必要な行動を促すことができる。
この変形例における目的位置情報は、第1検査と第2検査とで分けてメモリに記録しておいてもよい。第1検査は、病変領域の有無を判定するのが主目的であるため、内視鏡1が比較的時間をかけて抜去される。一方、第2検査は、病変領域の切除等の処置が主目的であるため、処置が済んでしまえば、内視鏡1が比較的時間をかけずに抜去される。したがって、第1検査と第2検査のそれぞれに適した目的位置情報を設定しておくことで、適切なタイミングでの報知が可能になる。目的位置情報を第1検査と第2検査とで共通とし、報知条件を満たした場合の報知を行うまでの時間を第1検査と第2検査で変えることでも、同様に、適切なタイミングでの報知が可能になる。
<好ましい形態V:挿入状態の判定>
内視鏡1を被検体内に挿入している状態(特に挿入工程)では、様々な状況が発生し得る。例えば、挿入部10の先端が臓器の内壁に近接した第1特定状態では、撮像画像が全体として赤っぽくなる赤玉現象が発生する。また、挿入部10の先端が付着物によって汚れている第2特定状態では、内視鏡1の撮像範囲の少なくとも一部が遮蔽される。また、挿入部10の先端よりも奥側において大腸の腸壁が潰されている結果、挿入部10の先端によって移動経路10Xの下流側を撮像不能な第3特定状態になることがある。また、挿入部10にたわみやループが形成された第4特定状態となることがある。第1特定状態、第2特定状態、及び第3特定状態は、それぞれ、内視鏡1の先端の状態を構成しており、特定状態を構成する。
内視鏡1を被検体内に挿入している状態(特に挿入工程)では、様々な状況が発生し得る。例えば、挿入部10の先端が臓器の内壁に近接した第1特定状態では、撮像画像が全体として赤っぽくなる赤玉現象が発生する。また、挿入部10の先端が付着物によって汚れている第2特定状態では、内視鏡1の撮像範囲の少なくとも一部が遮蔽される。また、挿入部10の先端よりも奥側において大腸の腸壁が潰されている結果、挿入部10の先端によって移動経路10Xの下流側を撮像不能な第3特定状態になることがある。また、挿入部10にたわみやループが形成された第4特定状態となることがある。第1特定状態、第2特定状態、及び第3特定状態は、それぞれ、内視鏡1の先端の状態を構成しており、特定状態を構成する。
好ましい形態Vでは、プロセッサ8Pは、内視鏡1により撮像された撮像画像と、距離情報(第1距離、特定挿入長、又は抜去長)と、に基づいて、内視鏡1の被検体内への挿入状態を判定する。内視鏡1の挿入状態の判定とは、挿入部10が被検体内においてどのような状況に置かれているのかを判定することを言う。この状況として、内視鏡検査に影響があり得るものとしては、臓器の内壁を伸展させている状況、観察を十分に行うことができない状況、移動経路に沿った移動が困難になっている状況、必要以上に挿入がなされている(たわみやループが形成)状況等が含まれる。以下、挿入状態の判定方法の詳細について説明する。
(臓器の内壁を過度に伸展させている挿入状態(臓器伸展状態)の判定)
プロセッサ8Pは、内視鏡1により撮像された撮像画像に基づいて内視鏡1の先端の状態が第1特定状態であるか否かを判定し、その判定結果と、距離情報(第1距離、特定挿入長、又は抜去長)の変化量と、に基づいて、内視鏡1の被検体内への挿入状態が臓器伸展状態であるか否かを判定する。
プロセッサ8Pは、内視鏡1により撮像された撮像画像に基づいて内視鏡1の先端の状態が第1特定状態であるか否かを判定し、その判定結果と、距離情報(第1距離、特定挿入長、又は抜去長)の変化量と、に基づいて、内視鏡1の被検体内への挿入状態が臓器伸展状態であるか否かを判定する。
第1距離又は特定挿入長が増加しているにもかかわらず、挿入部10の先端が臓器の内壁に近接した第1特定状態が継続されている場合には、臓器の内壁に内視鏡1の先端が押し込まれ続けて内壁が伸びている状態であると判定できる。第1特定状態では撮像画像が全体として赤っぽくなるため、撮像画像を解析することで、第1特定状態の発生の有無を判定可能である。プロセッサ8Pは、例えば、機械学習等により生成された画像認識モデルに撮像画像を入力して得られるこの画像認識モデルの出力から、第1特定状態が発生しているか否かを判定する。プロセッサ8Pは、撮像画像に含まれる赤色領域の大きさや、第1特定状態で得られる基準の撮像画像とのパターンマッチング等によって、第1特定状態が発生しているか否かを判定してもよい。プロセッサ8Pは、第1特定状態であるとの判定結果が連続(所定時間継続)して得られ、且つ、その判定結果が得られている期間における距離情報の変化量(増加量)が第1閾値以上である場合に、臓器伸展状態が発生していると判定する。
プロセッサ8Pは、臓器伸展状態が発生していると判定した場合には、臓器伸展状態に基づく操作支援情報を出力することが好ましい。例えば、プロセッサ8Pは、臓器の内壁を伸展していることを示すアラートを表示装置7に表示させたり、スピーカから出力させたりする。また、プロセッサ8Pは、このアラートの出力と併せて、それ以上、内壁を伸展させないための推奨操作(手前に引く、ジグリングする等)を出力することが好ましい。これにより、被検体にかかる負荷を軽減しつつ、内視鏡1の挿入を効率よく行うことが可能となる。
なお、プロセッサ8Pは、第1特定状態であるとの判定結果が連続(所定時間継続)して得られ、且つ、その判定結果が得られている期間における距離情報の変化量(増加量)が第1閾値以上であっても、その期間に導出される距離情報の大きさによって、臓器伸展状態であるか否かを判定してもよい。
例えば、プロセッサ8Pは、第1特定状態であるとの判定結果が連続して得られ、且つ、その判定結果が得られている期間における距離情報の変化量(増加量)が第1閾値以上である場合に、その期間に導出される距離情報の最小値又は最大値に対応する部位を、図15に示す第1テーブルデータに基づいて判定する。プロセッサ8Pは、判定した部位が肛門からSDJの範囲に属している場合には、臓器伸展状態であると判定する。プロセッサ8Pは、判定した部位が脾彎部である場合には、臓器伸展状態ではなく、脾彎部に内視鏡1の先端が達した状態と判定して、例えばアングル操作を促す報知を行う。プロセッサ8Pは、判定した部位が回盲部である場合には、臓器伸展状態ではなく、回盲部に内視鏡1の先端が達した状態と判定して、例えば回盲到達を報知する制御を行う。このようにすることで、臓器伸展状態であるかどうかの判定をより高精度に行うことができる。
(観察不十分となり得る挿入状態(観察不十分状態)の判定)
プロセッサ8Pは、内視鏡1により撮像された撮像画像に基づいて内視鏡1の先端の状態が第2特定状態であるか否かを判定し、その判定結果と、距離情報(第1距離、特定挿入長、又は抜去長)の変化量と、に基づいて、内視鏡1の被検体内への挿入状態が観察不十分状態であるか否かを判定する。
プロセッサ8Pは、内視鏡1により撮像された撮像画像に基づいて内視鏡1の先端の状態が第2特定状態であるか否かを判定し、その判定結果と、距離情報(第1距離、特定挿入長、又は抜去長)の変化量と、に基づいて、内視鏡1の被検体内への挿入状態が観察不十分状態であるか否かを判定する。
挿入部10の先端が付着物によって汚れている第2特定状態が継続されているにもかかわらず、第1距離又は特定挿入長が増加している場合には、臓器の内壁の観察が十分に行えない可能性がある。第2特定状態では、挿入部10の先端の付着物によって生じる影や反射光が撮像画像に含まれる。このため、撮像画像を解析することで、第2特定状態の発生の有無を判定可能である。プロセッサ8Pは、例えば、機械学習等により生成された画像認識モデルに撮像画像を入力して得られるこの画像認識モデルの出力から、第2特定状態が発生しているか否かを判定する。プロセッサ8Pは、撮像画像に含まれる遮蔽領域の大きさ等によって、第2特定状態が発生しているか否かを判定してもよい。プロセッサ8Pは、第2特定状態であるとの判定結果が連続(所定時間継続)して得られ、且つ、その判定結果が得られている期間における距離情報の変化量(増加量又は減少量)が第1閾値以上である場合に、観察不十分状態が発生していると判定する。
プロセッサ8Pは、観察不十分状態が発生していると判定した場合には、観察不十分状態に基づく操作支援情報を出力することが好ましい。例えば、プロセッサ8Pは、観察不十分状態を解消する(内視鏡1の視界を確保する)ための推奨操作(送気する、送水する、吸引する等)を表示装置7に表示させたり、スピーカから出力させたりする。これにより、病変領域の見落としを防いで、内視鏡検査の質を向上させることができる。
なお、この判定に用いる上記の第1閾値は、挿入工程と抜去工程とで異なる値としてもよい。一般に、抜去工程では、挿入工程よりも、観察が詳細に行われる。そのため、例えば、抜去工程における第1閾値を、挿入工程における第1閾値よりも小さくしておくことで、抜去工程においては、第2特定状態が僅かな時間継続するだけで、操作支援情報を出力できるようになる。これにより、内視鏡検査の質をより向上させることができる。
上述した臓器伸展状態と観察不十分状態は、第1状態を構成する。
(進行方向へ移動困難な挿入状態(挿入困難状態)の判定)
プロセッサ8Pは、内視鏡1により撮像された撮像画像に基づいて内視鏡1の先端の状態が第3特定状態であるか否かを判定し、その判定結果と、距離情報(第1距離、特定挿入長、又は抜去長)の変化量と、に基づいて、内視鏡1の被検体内への挿入状態が挿入困難状態であるか否かを判定する。
プロセッサ8Pは、内視鏡1により撮像された撮像画像に基づいて内視鏡1の先端の状態が第3特定状態であるか否かを判定し、その判定結果と、距離情報(第1距離、特定挿入長、又は抜去長)の変化量と、に基づいて、内視鏡1の被検体内への挿入状態が挿入困難状態であるか否かを判定する。
挿入部10の先端によって移動経路10Xの下流側を撮像不能な第3特定状態が継続されていて、且つ、第1距離又は特定挿入長が変化していない場合には、操作者が内視鏡1の進行方向を判断できなくなっている状況と言える。第3特定状態では、内視鏡1を挿入していく方向(移動経路10Xの下流側)が撮像画像上で見えなくなるため、撮像画像を解析することで、第3特定状態の発生の有無を判定可能である。プロセッサ8Pは、例えば、機械学習等により生成された画像認識モデルに撮像画像を入力して得られるこの画像認識モデルの出力から、第3特定状態が発生しているか否かを判定する。プロセッサ8Pは、撮像画像に、管腔の形状に相当する円状の領域が含まれるかどうかを判定して、第3特定状態が発生しているか否かを判定してもよい。プロセッサ8Pは、第3特定状態であるとの判定結果が連続(所定時間継続)して得られ、且つ、その判定結果が得られている期間における距離情報の変化量(増加量又は減少量)が第2閾値以下である場合に、挿入困難状態が発生していると判定する。
プロセッサ8Pは、挿入困難状態が発生していると判定した場合には、挿入困難状態に基づく操作支援情報の出力を行うことが好ましい。例えば、プロセッサ8Pは、挿入を進めるための推奨操作(送水操作、ジグリング等)を表示装置7に表示させたり、スピーカから出力させたりする。これにより、被検体にかかる負荷を軽減しつつ、内視鏡1の挿入を効率よく行うことが可能となる。
(第4特定状態(たわみやループ形成)の判定)
プロセッサ8Pは、内視鏡1により撮像された撮像画像と、距離情報(第1距離、特定挿入長、又は抜去長)と、に基づいて、内視鏡1の被検体内への挿入状態が第4特定状態であるか否かを判定する。より具体的には、プロセッサ8Pは、内視鏡1により撮像された撮像画像に基づいて上述した到達部位認識処理を行い、この到達部位認識処理の結果と、距離情報とに基づいて、第4特定状態の発生の有無を判定する。
プロセッサ8Pは、内視鏡1により撮像された撮像画像と、距離情報(第1距離、特定挿入長、又は抜去長)と、に基づいて、内視鏡1の被検体内への挿入状態が第4特定状態であるか否かを判定する。より具体的には、プロセッサ8Pは、内視鏡1により撮像された撮像画像に基づいて上述した到達部位認識処理を行い、この到達部位認識処理の結果と、距離情報とに基づいて、第4特定状態の発生の有無を判定する。
プロセッサ8Pは、第1タイミングで距離情報(距離LY1とする)を取得すると、その距離情報を取得した時点での内視鏡1の先端の到達部位を到達部位認識処理によって認識する。プロセッサ8Pは、内視鏡1の先端の到達部位を認識すると、図15に例示された第1テーブルデータから、その到達部位に対応する距離情報(距離LY2とする)を取得する。距離LY1と距離LY2がほぼ同じ値となっていれば、内視鏡1はほぼ基準データにしたがって理想的に挿入されていると言える。これに対し、距離LY1が距離LY2よりも閾値以上大きい場合には、必要以上に内視鏡1が挿入されている、つまり、たわみやループが形成されていると判断できる。したがって、プロセッサ8Pは、距離LY1と距離LY2を比較し、距離LY1が距離LY2よりも閾値以上大きい場合には、内視鏡1の挿入状態が第4特定状態であると判定し、距離LY1が距離LY2よりも閾値以上大きくない場合には、内視鏡1の挿入状態が第4特定状態ではないと判定する。
或いは、プロセッサ8Pは、第1タイミングで距離情報(距離LY1とする)を取得すると、図15に例示された第1テーブルデータから、その距離LY1に対応する到達部位(部位J1とする)を取得する。また、プロセッサ8Pは、その距離LY1を取得した時点よりも前に行われた到達部位認識処理によって認識した過去の到達部位と、部位J1とを比較し、過去の到達部位の中に部位J1が含まれない場合には、第4特定状態であると判定する。
プロセッサ8Pは、第4特定状態が発生していると判定した場合には、推定したたわみ
・ループ形成位置、又は、たわみ・ループを解消するための推奨操作(用手圧迫する、右ひねりする等)等を報知することが好ましい。プロセッサ8Pは、例えば、到達部位認識処理によって認識した到達部位から、その到達部位と肛門との間におけるたわみ・ループが発生しやすい部位を統計的に推定することができる。
・ループ形成位置、又は、たわみ・ループを解消するための推奨操作(用手圧迫する、右ひねりする等)等を報知することが好ましい。プロセッサ8Pは、例えば、到達部位認識処理によって認識した到達部位から、その到達部位と肛門との間におけるたわみ・ループが発生しやすい部位を統計的に推定することができる。
以上に例示した挿入状態の判定は、挿入工程と抜去工程のうち、挿入工程のみで行ってもよい。また、内視鏡1の先端の到達範囲毎に、どの挿入状態の判定を行うかを決めてもよい。例えば、観察不十分状態の発生有無の判定は挿入工程及び抜去工程の全て(肛門から回盲部の全範囲)において行い、臓器伸展状態、挿入困難状態、及び第4特定状態の発生有無の判定は、S状結腸から脾彎部までの範囲においてのみ行うようにしてもよい。また、挿入工程と抜去工程とで、判定すべき挿入状態を変更してもよい。例えば、挿入工程では、臓器伸展状態、観察不十分状態、挿入困難状態、及び第4特定状態の発生有無を判定し、抜去工程では、臓器伸展状態及び観察不十分状態の発生有無を判定するようにしてもよい。これらのようにすることで、プロセッサ8Pの処理負荷を軽減することができる。
(挿入状態の判定結果の記録)
プロセッサ8Pは、以上に説明した挿入状態の判定結果(臓器伸展状態であるとの判定結果、観察不十分状態であるとの判定結果、挿入困難状態であるとの判定結果、又は、第4特定状態であるとの判定結果)を、その判定結果が得られた時の経過時間と関連付けて、検査データとして記録する制御を行うことが好ましい。このようにすることで、例えば、図14に示すグラフにおいて、臓器伸展状態となった期間、観察不十分状態となった期間、挿入困難状態となった期間、第4特定状態(たわみ・ループ形成)となった期間を併せて確認することができ、手技の評価に役立てることができる。
プロセッサ8Pは、以上に説明した挿入状態の判定結果(臓器伸展状態であるとの判定結果、観察不十分状態であるとの判定結果、挿入困難状態であるとの判定結果、又は、第4特定状態であるとの判定結果)を、その判定結果が得られた時の経過時間と関連付けて、検査データとして記録する制御を行うことが好ましい。このようにすることで、例えば、図14に示すグラフにおいて、臓器伸展状態となった期間、観察不十分状態となった期間、挿入困難状態となった期間、第4特定状態(たわみ・ループ形成)となった期間を併せて確認することができ、手技の評価に役立てることができる。
上述してきた検出ユニット40は、内視鏡1の挿入補助部材と一体的に構成することも可能である。例えば、検出ユニット40は、肛門に挿入される挿入補助部材と一体的に形成されたり、口に咥えるマウスピースタイプの挿入補助部材と一体的に形成されたりしてもよい。また、検出ユニット40は、内視鏡検査用パンツと一体的に形成してもよいし、内視鏡検査用パンツに対して着脱可能に構成してもよい。
本開示の技術は、上述したものに限らず、以下に示すように、適宜変更が可能である。
例えば、内視鏡1は、被検者50の口や鼻から体内に挿入されるものであってもよい。この場合には、検出ユニット40は、被検者50の口や鼻に装着可能な形状とすればよい。
管状部材17は、第1部材14と第2部材15を有し、それぞれが磁化可能なオーステナイト系ステンレスを含む構成としているが、これらのうちの一方は、磁化不能な材料で構成されていてもよい。つまり、これらのうちの一方には磁気パターンが形成されていなくてもよい。その場合でも、管状部材17からは、前述してきた磁束密度BX、BY、BZを検出できるため、挿入部10の移動状態と回転状態の判定は可能である。
以上の説明では、管状部材17に2種の磁極領域が長手方向に交互に並ぶ磁気パターンを形成し、その磁気パターンから検出された2方向の磁気情報の分類レベルの組み合わせに基づいて、挿入部10の長手方向への移動状態を判定するものとした。しかし、管状部材17に形成される2種の磁極領域は、長手方向に交互に配置されていなくてもよい。このようにした場合でも、磁気パターンから検出された2方向の磁気情報の分類レベルの組み合わせに基づいて、挿入部10の長手方向への移動状態を判定することは可能である。
また、変形例として、管状部材17に、上記磁気パターンよりも複雑なパターンを形成しておき、そのパターンを磁気検出部43、44により検出することで、挿入部10の長手方向への移動状態を判定してもよい。具体的には、管状部材17の長手方向の各位置と、その各位置で検出される磁束密度BX又は磁束密度BY(分類レベル)とを対応付けたテーブルをメモリに記録しておき、プロセッサ8Pは、磁気検出部43が検出した磁束密度BX又は磁束密度BYを分類して分類レベルを取得し、この分類レベルに対応する位置の情報を、このテーブルから取得して、挿入部10の挿入長を判定するようにしてもよい。このようにすることで、挿入部10の挿入長をより細かく判定することができる。また、磁気検出部43、44を、一方向の磁束密度を検出するものとすることができ、コストを下げることができる。
以上説明してきたように、本明細書には少なくとも以下の事項が記載されている。
(1)
内視鏡の移動経路上の基準位置から上記移動経路に沿って移動する上記内視鏡の先端までの距離である第1距離を取得し、
上記内視鏡によって撮像された画像を取得し、上記画像に基づいて、上記内視鏡の先端が到達している被検体内の部位を認識する到達部位認識処理を行い、
上記到達部位認識処理の結果と、上記第1距離とに基づいて、上記被検体内に挿入された上記内視鏡の先端の上記被検体内の特定部位からの距離である第2距離を導出する、プロセッサを備える処理装置。
内視鏡の移動経路上の基準位置から上記移動経路に沿って移動する上記内視鏡の先端までの距離である第1距離を取得し、
上記内視鏡によって撮像された画像を取得し、上記画像に基づいて、上記内視鏡の先端が到達している被検体内の部位を認識する到達部位認識処理を行い、
上記到達部位認識処理の結果と、上記第1距離とに基づいて、上記被検体内に挿入された上記内視鏡の先端の上記被検体内の特定部位からの距離である第2距離を導出する、プロセッサを備える処理装置。
(2)
(1)に記載の処理装置であって、
上記プロセッサは、上記到達部位認識処理によって上記特定部位が認識された状態における上記第1距離と、上記特定部位が認識された後に取得される上記第1距離とに基づいて、上記第2距離を導出する処理装置。
(1)に記載の処理装置であって、
上記プロセッサは、上記到達部位認識処理によって上記特定部位が認識された状態における上記第1距離と、上記特定部位が認識された後に取得される上記第1距離とに基づいて、上記第2距離を導出する処理装置。
(3)
(2)に記載の処理装置であって、
上記プロセッサは、上記到達部位認識処理によって上記特定部位が認識された後に取得される上記第1距離から、上記到達部位認識処理によって上記特定部位が認識された状態における上記第1距離を減算して得られる値を上記第2距離として導出する処理装置。
(2)に記載の処理装置であって、
上記プロセッサは、上記到達部位認識処理によって上記特定部位が認識された後に取得される上記第1距離から、上記到達部位認識処理によって上記特定部位が認識された状態における上記第1距離を減算して得られる値を上記第2距離として導出する処理装置。
(4)
(3)に記載の処理装置であって、
上記特定部位は、直腸又は肛門を含む処理装置。
(3)に記載の処理装置であって、
上記特定部位は、直腸又は肛門を含む処理装置。
(5)
(3)又は(4)に記載の処理装置であって、
上記プロセッサは、上記到達部位認識処理によって上記特定部位が認識された状態における上記第1距離から、上記到達部位認識処理によって上記特定部位が認識された後に取得される上記第1距離を減算して得られる値を上記第2距離として導出する処理装置。
(3)又は(4)に記載の処理装置であって、
上記プロセッサは、上記到達部位認識処理によって上記特定部位が認識された状態における上記第1距離から、上記到達部位認識処理によって上記特定部位が認識された後に取得される上記第1距離を減算して得られる値を上記第2距離として導出する処理装置。
(6)
(5)に記載の処理装置であって、
上記特定部位は、回盲部を含む処理装置。
(5)に記載の処理装置であって、
上記特定部位は、回盲部を含む処理装置。
(7)
(5)又は(6)に記載の処理装置であって、
上記プロセッサは、上記内視鏡を用いた検査における上記内視鏡の先端の折り返し地点を上記特定部位として上記第2距離を導出する処理装置。
(5)又は(6)に記載の処理装置であって、
上記プロセッサは、上記内視鏡を用いた検査における上記内視鏡の先端の折り返し地点を上記特定部位として上記第2距離を導出する処理装置。
(8)
(1)から(7)のいずれかに記載の処理装置であって、
上記プロセッサは、
上記到達部位認識処理によって第1特定部位が認識された後に取得される上記第1距離から、上記到達部位認識処理によって上記第1特定部位が認識された状態における上記第1距離を減算して得られる第1値を上記第2距離として導出し、
上記到達部位認識処理によって第2特定部位が認識された状態における上記第1距離から、上記到達部位認識処理によって上記第2特定部位が認識された後に取得される上記第1距離を減算して得られる第2値を上記第2距離として導出し、
上記第1値と上記第2値を上記画像と関連付けて記録する処理装置。
(1)から(7)のいずれかに記載の処理装置であって、
上記プロセッサは、
上記到達部位認識処理によって第1特定部位が認識された後に取得される上記第1距離から、上記到達部位認識処理によって上記第1特定部位が認識された状態における上記第1距離を減算して得られる第1値を上記第2距離として導出し、
上記到達部位認識処理によって第2特定部位が認識された状態における上記第1距離から、上記到達部位認識処理によって上記第2特定部位が認識された後に取得される上記第1距離を減算して得られる第2値を上記第2距離として導出し、
上記第1値と上記第2値を上記画像と関連付けて記録する処理装置。
(9)
(1)から(8)のいずれかに記載の処理装置であって、
上記プロセッサは、
上記第1距離の変化量を取得し、
上記変化量を取得した期間における上記画像の動き量を取得し、
上記変化量と上記動き量に基づいて、上記基準位置の変動の有無を判定する処理装置。
(1)から(8)のいずれかに記載の処理装置であって、
上記プロセッサは、
上記第1距離の変化量を取得し、
上記変化量を取得した期間における上記画像の動き量を取得し、
上記変化量と上記動き量に基づいて、上記基準位置の変動の有無を判定する処理装置。
(10)
(9)に記載の処理装置であって、
上記プロセッサは、上記基準位置の変動の判定結果に基づいて、上記第2距離を補正する処理装置。
(9)に記載の処理装置であって、
上記プロセッサは、上記基準位置の変動の判定結果に基づいて、上記第2距離を補正する処理装置。
(11)
(1)から(10)のいずれかに記載の処理装置であって、
上記プロセッサは、上記第1距離を表示装置に表示させる処理装置。
(1)から(10)のいずれかに記載の処理装置であって、
上記プロセッサは、上記第1距離を表示装置に表示させる処理装置。
(12)
(11)に記載の処理装置であって、
上記プロセッサは、上記第1距離と上記第2距離のうちの上記第1距離のみを上記表示装置に表示させる処理装置。
(11)に記載の処理装置であって、
上記プロセッサは、上記第1距離と上記第2距離のうちの上記第1距離のみを上記表示装置に表示させる処理装置。
(13)
(1)から(12)のいずれかに記載の処理装置であって、
上記プロセッサは、上記内視鏡を用いて行われる上記被検体の検査に関する情報と、上記第2距離とを関連付けて記録させる処理装置。
(1)から(12)のいずれかに記載の処理装置であって、
上記プロセッサは、上記内視鏡を用いて行われる上記被検体の検査に関する情報と、上記第2距離とを関連付けて記録させる処理装置。
(14)
(1)から(13)のいずれかに記載の処理装置であって、
上記プロセッサは、上記第2距離に基づいて、上記内視鏡の操作支援情報を出力する処理装置。
(1)から(13)のいずれかに記載の処理装置であって、
上記プロセッサは、上記第2距離に基づいて、上記内視鏡の操作支援情報を出力する処理装置。
(15)
(1)に記載の処理装置であって、
上記プロセッサは、上記第2距離に基づいて、上記内視鏡の上記移動経路に沿った移動を制御する処理装置。
(1)に記載の処理装置であって、
上記プロセッサは、上記第2距離に基づいて、上記内視鏡の上記移動経路に沿った移動を制御する処理装置。
(16)
(1)から(15)のいずれかに記載の処理装置であって、
上記基準位置は、上記被検体の体外に設置された磁気検出部の位置によって決まる処理装置。
(1)から(15)のいずれかに記載の処理装置であって、
上記基準位置は、上記被検体の体外に設置された磁気検出部の位置によって決まる処理装置。
(17)
(16)に記載の処理装置であって、
上記内視鏡の挿入部には、長手方向に沿って磁気パターンが形成されており、
上記プロセッサは、上記磁気パターンから上記磁気検出部により検出された磁場に基づいて、上記第1距離を取得する処理装置。
(16)に記載の処理装置であって、
上記内視鏡の挿入部には、長手方向に沿って磁気パターンが形成されており、
上記プロセッサは、上記磁気パターンから上記磁気検出部により検出された磁場に基づいて、上記第1距離を取得する処理装置。
(18)
(1)から(17)のいずれかに記載の処理装置と、上記内視鏡とを備える内視鏡装置。
(1)から(17)のいずれかに記載の処理装置と、上記内視鏡とを備える内視鏡装置。
(19)
(18)に記載の内視鏡装置であって、
上記移動経路に配置される磁気検出部を備え、
上記内視鏡の挿入部は、長手方向に延び且つ磁気パターンが上記長手方向に沿って一体的に形成された金属を含む部材を有し、
上記磁気検出部は、上記部材から磁場を検出し、
上記プロセッサは、上記磁気検出部により検出された磁場に基づいて、上記第1距離を導出する内視鏡装置。
(18)に記載の内視鏡装置であって、
上記移動経路に配置される磁気検出部を備え、
上記内視鏡の挿入部は、長手方向に延び且つ磁気パターンが上記長手方向に沿って一体的に形成された金属を含む部材を有し、
上記磁気検出部は、上記部材から磁場を検出し、
上記プロセッサは、上記磁気検出部により検出された磁場に基づいて、上記第1距離を導出する内視鏡装置。
(20)
(18)に記載の内視鏡装置であって、
上記移動経路に配置される磁気検出部を備え、
上記内視鏡の挿入部は、長手方向に延び且つ磁気パターンが上記長手方向に沿って形成された金属を含む部材を有し、
上記磁気検出部は、上記部材から磁場を検出し、
上記プロセッサは、上記磁気検出部により検出された磁場に基づいて、上記第1距離を導出し、
上記挿入部は、絶縁性の筒状部材と、金属を含んで構成され且つ上記筒状部材に内挿された筒状の第1部材と、金属を含んで構成され且つ上記第1部材に内挿された筒状の第2部材と、を有し、
上記部材は、上記第1部材と上記第2部材の少なくとも一方を含み、
上記第1部材は、螺旋管であり、
上記第2部材は、網体である内視鏡装置。
(18)に記載の内視鏡装置であって、
上記移動経路に配置される磁気検出部を備え、
上記内視鏡の挿入部は、長手方向に延び且つ磁気パターンが上記長手方向に沿って形成された金属を含む部材を有し、
上記磁気検出部は、上記部材から磁場を検出し、
上記プロセッサは、上記磁気検出部により検出された磁場に基づいて、上記第1距離を導出し、
上記挿入部は、絶縁性の筒状部材と、金属を含んで構成され且つ上記筒状部材に内挿された筒状の第1部材と、金属を含んで構成され且つ上記第1部材に内挿された筒状の第2部材と、を有し、
上記部材は、上記第1部材と上記第2部材の少なくとも一方を含み、
上記第1部材は、螺旋管であり、
上記第2部材は、網体である内視鏡装置。
(21)
(19)に記載の内視鏡装置であって、
上記挿入部は、上記内視鏡の軟性部を含む内視鏡装置。
(19)に記載の内視鏡装置であって、
上記挿入部は、上記内視鏡の軟性部を含む内視鏡装置。
(22)
(21)に記載の内視鏡装置であって、
上記軟性部は、絶縁性の筒状部材と、金属を含んで構成され且つ上記筒状部材に内挿された筒状の第1部材と、金属を含んで構成され且つ上記第1部材に内挿された筒状の第2部材と、を有し、
上記部材は、上記第1部材と上記第2部材の少なくとも一方を含む内視鏡装置。
(21)に記載の内視鏡装置であって、
上記軟性部は、絶縁性の筒状部材と、金属を含んで構成され且つ上記筒状部材に内挿された筒状の第1部材と、金属を含んで構成され且つ上記第1部材に内挿された筒状の第2部材と、を有し、
上記部材は、上記第1部材と上記第2部材の少なくとも一方を含む内視鏡装置。
(23)
(22)に記載の内視鏡装置であって、
上記第1部材と上記第2部材の少なくとも一方は、磁化可能なオーステナイト系ステンレスによって構成される内視鏡装置。
(22)に記載の内視鏡装置であって、
上記第1部材と上記第2部材の少なくとも一方は、磁化可能なオーステナイト系ステンレスによって構成される内視鏡装置。
(24)
(19)から(23)のいずれかに記載の内視鏡装置であって、
上記磁気検出部は、上記部材の長手方向に沿った複数の位置において、第1方向の第1磁束密度と、上記第1方向に交差する第2方向の第2磁束密度を検出する内視鏡装置。
(19)から(23)のいずれかに記載の内視鏡装置であって、
上記磁気検出部は、上記部材の長手方向に沿った複数の位置において、第1方向の第1磁束密度と、上記第1方向に交差する第2方向の第2磁束密度を検出する内視鏡装置。
(25)
内視鏡の移動経路上の基準位置から上記移動経路に沿って移動する上記内視鏡の先端までの距離である第1距離を取得し、
上記内視鏡によって撮像された画像を取得し、上記画像に基づいて、上記内視鏡の先端が到達している被検体内の部位を認識する認識処理を行い、
上記認識処理の結果と、上記第1距離とに基づいて、上記被検体内に挿入された上記内視鏡の先端の上記被検体内の特定部位からの距離である第2距離を導出する、処理方法。
内視鏡の移動経路上の基準位置から上記移動経路に沿って移動する上記内視鏡の先端までの距離である第1距離を取得し、
上記内視鏡によって撮像された画像を取得し、上記画像に基づいて、上記内視鏡の先端が到達している被検体内の部位を認識する認識処理を行い、
上記認識処理の結果と、上記第1距離とに基づいて、上記被検体内に挿入された上記内視鏡の先端の上記被検体内の特定部位からの距離である第2距離を導出する、処理方法。
以上、各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
なお、本出願は、2022年10月31日出願の日本特許出願(特願2022-174969)に基づくものであり、その内容は本出願の中に参照として援用される。
1 内視鏡
MA,MA1,MA2 磁極部
4P プロセッサ
4 プロセッサ装置
5 光源装置
6 入力部
7 表示装置
8 拡張装置
8P プロセッサ
10A 軟性部
10B 湾曲部
10C 先端部
10 挿入部
11 操作部
12 アングルノブ
13A,13B コネクタ部
13 ユニバーサルコード
14 第1部材
15a 金属帯片
15 第2部材
16A,16B 口金
17N 正極領域
17S 負極領域
17 管状部材
18A 内側樹脂層
18B 外側樹脂層
18 外皮層
19 コーティング層
40 検出ユニット
42 筐体
42A 本体部
42B 蓋部
42a 平板部
42b 側壁部
42c 内壁部
41A,41B,41 貫通孔
43,44 磁気検出部
45 通信用チップ
46 蓄電池
47 受電用コイル
50A 肛門
53 直腸
54 S状結腸
55 下行結腸
56 横行結腸
57 上行結腸
58 回盲部
50 被検者
100 内視鏡装置
200 内視鏡システム
300 磁界発生装置
PO1、PO2 位置
MA,MA1,MA2 磁極部
4P プロセッサ
4 プロセッサ装置
5 光源装置
6 入力部
7 表示装置
8 拡張装置
8P プロセッサ
10A 軟性部
10B 湾曲部
10C 先端部
10 挿入部
11 操作部
12 アングルノブ
13A,13B コネクタ部
13 ユニバーサルコード
14 第1部材
15a 金属帯片
15 第2部材
16A,16B 口金
17N 正極領域
17S 負極領域
17 管状部材
18A 内側樹脂層
18B 外側樹脂層
18 外皮層
19 コーティング層
40 検出ユニット
42 筐体
42A 本体部
42B 蓋部
42a 平板部
42b 側壁部
42c 内壁部
41A,41B,41 貫通孔
43,44 磁気検出部
45 通信用チップ
46 蓄電池
47 受電用コイル
50A 肛門
53 直腸
54 S状結腸
55 下行結腸
56 横行結腸
57 上行結腸
58 回盲部
50 被検者
100 内視鏡装置
200 内視鏡システム
300 磁界発生装置
PO1、PO2 位置
Claims (25)
- 内視鏡の移動経路上の基準位置から前記移動経路に沿って移動する前記内視鏡の先端までの距離である第1距離を取得し、
前記内視鏡によって撮像された画像を取得し、前記画像に基づいて、前記内視鏡の先端が到達している被検体内の部位を認識する到達部位認識処理を行い、
前記到達部位認識処理の結果と、前記第1距離とに基づいて、前記被検体内に挿入された前記内視鏡の先端の前記被検体内の特定部位からの距離である第2距離を導出する、プロセッサを備える処理装置。 - 請求項1に記載の処理装置であって、
前記プロセッサは、前記到達部位認識処理によって前記特定部位が認識された状態における前記第1距離と、前記特定部位が認識された後に取得される前記第1距離とに基づいて、前記第2距離を導出する処理装置。 - 請求項2に記載の処理装置であって、
前記プロセッサは、前記到達部位認識処理によって前記特定部位が認識された後に取得される前記第1距離から、前記到達部位認識処理によって前記特定部位が認識された状態における前記第1距離を減算して得られる値を前記第2距離として導出する処理装置。 - 請求項3に記載の処理装置であって、
前記特定部位は、直腸又は肛門を含む処理装置。 - 請求項3に記載の処理装置であって、
前記プロセッサは、前記到達部位認識処理によって前記特定部位が認識された状態における前記第1距離から、前記到達部位認識処理によって前記特定部位が認識された後に取得される前記第1距離を減算して得られる値を前記第2距離として導出する処理装置。 - 請求項5に記載の処理装置であって、
前記特定部位は、回盲部を含む処理装置。 - 請求項5に記載の処理装置であって、
前記プロセッサは、前記内視鏡を用いた検査における前記内視鏡の先端の折り返し地点を前記特定部位として前記第2距離を導出する処理装置。 - 請求項1に記載の処理装置であって、
前記プロセッサは、
前記到達部位認識処理によって第1特定部位が認識された後に取得される前記第1距離から、前記到達部位認識処理によって前記第1特定部位が認識された状態における前記第1距離を減算して得られる第1値を前記第2距離として導出し、
前記到達部位認識処理によって第2特定部位が認識された状態における前記第1距離から、前記到達部位認識処理によって前記第2特定部位が認識された後に取得される前記第1距離を減算して得られる第2値を前記第2距離として導出し、
前記第1値と前記第2値を前記画像と関連付けて記録する処理装置。 - 請求項1に記載の処理装置であって、
前記プロセッサは、
前記第1距離の変化量を取得し、
前記変化量を取得した期間における前記画像の動き量を取得し、
前記変化量と前記動き量に基づいて、前記基準位置の変動の有無を判定する処理装置。 - 請求項9に記載の処理装置であって、
前記プロセッサは、前記基準位置の変動の判定結果に基づいて、前記第2距離を補正する処理装置。 - 請求項1に記載の処理装置であって、
前記プロセッサは、前記第1距離を表示装置に表示させる処理装置。 - 請求項11に記載の処理装置であって、
前記プロセッサは、前記第1距離と前記第2距離のうちの前記第1距離のみを前記表示装置に表示させる処理装置。 - 請求項1に記載の処理装置であって、
前記プロセッサは、前記内視鏡を用いて行われる前記被検体の検査に関する情報と、前記第2距離とを関連付けて記録させる処理装置。 - 請求項1に記載の処理装置であって、
前記プロセッサは、前記第2距離に基づいて、前記内視鏡の操作支援情報を出力する処理装置。 - 請求項1に記載の処理装置であって、
前記プロセッサは、前記第2距離に基づいて、前記内視鏡の前記移動経路に沿った移動を制御する処理装置。 - 請求項1に記載の処理装置であって、
前記基準位置は、前記被検体の体外に設置された磁気検出部の位置によって決まる処理装置。 - 請求項16に記載の処理装置であって、
前記内視鏡の挿入部には、長手方向に沿って磁気パターンが形成されており、
前記プロセッサは、前記磁気パターンから前記磁気検出部により検出された磁場に基づいて、前記第1距離を取得する処理装置。 - 請求項1に記載の処理装置と、前記内視鏡とを備える内視鏡装置。
- 請求項18に記載の内視鏡装置であって、
前記移動経路に配置される磁気検出部を備え、
前記内視鏡の挿入部は、長手方向に延び且つ磁気パターンが前記長手方向に沿って一体的に形成された金属を含む部材を有し、
前記磁気検出部は、前記部材から磁場を検出し、
前記プロセッサは、前記磁気検出部により検出された磁場に基づいて、前記第1距離を導出する内視鏡装置。 - 請求項19に記載の内視鏡装置であって、
前記挿入部は、前記内視鏡の軟性部を含む内視鏡装置。 - 請求項20に記載の内視鏡装置であって、
前記軟性部は、絶縁性の筒状部材と、金属を含んで構成され且つ前記筒状部材に内挿された筒状の第1部材と、金属を含んで構成され且つ前記第1部材に内挿された筒状の第2部材と、を有し、
前記部材は、前記第1部材と前記第2部材の少なくとも一方を含む内視鏡装置。 - 請求項21に記載の内視鏡装置であって、
前記第1部材と前記第2部材の少なくとも一方は、磁化可能なオーステナイト系ステンレスによって構成される内視鏡装置。 - 請求項18に記載の内視鏡装置であって、
前記移動経路に配置される磁気検出部を備え、
前記内視鏡の挿入部は、長手方向に延び且つ磁気パターンが前記長手方向に沿って形成された金属を含む部材を有し、
前記磁気検出部は、前記部材から磁場を検出し、
前記プロセッサは、前記磁気検出部により検出された磁場に基づいて、前記第1距離を導出し、
前記挿入部は、絶縁性の筒状部材と、金属を含んで構成され且つ前記筒状部材に内挿された筒状の第1部材と、金属を含んで構成され且つ前記第1部材に内挿された筒状の第2部材と、を有し、
前記部材は、前記第1部材と前記第2部材の少なくとも一方を含み、
前記第1部材は、螺旋管であり、
前記第2部材は、網体である内視鏡装置。 - 請求項19に記載の内視鏡装置であって、
前記磁気検出部は、前記部材の長手方向に沿った複数の位置において、第1方向の第1磁束密度と、前記第1方向に交差する第2方向の第2磁束密度を検出する内視鏡装置。 - 内視鏡の移動経路上の基準位置から前記移動経路に沿って移動する前記内視鏡の先端までの距離である第1距離を取得し、
前記内視鏡によって撮像された画像を取得し、前記画像に基づいて、前記内視鏡の先端が到達している被検体内の部位を認識する認識処理を行い、
前記認識処理の結果と、前記第1距離とに基づいて、前記被検体内に挿入された前記内視鏡の先端の前記被検体内の特定部位からの距離である第2距離を導出する、処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022174969 | 2022-10-31 | ||
JP2022-174969 | 2022-10-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024095865A1 true WO2024095865A1 (ja) | 2024-05-10 |
Family
ID=90930379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/038544 WO2024095865A1 (ja) | 2022-10-31 | 2023-10-25 | 処理装置、内視鏡装置、及び処理方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024095865A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07289503A (ja) * | 1994-04-27 | 1995-11-07 | Terumo Corp | 長尺物挿入用ガイド |
JP2009279148A (ja) * | 2008-05-21 | 2009-12-03 | Olympus Medical Systems Corp | 電子内視鏡装置 |
JP2010088573A (ja) * | 2008-10-06 | 2010-04-22 | Olympus Medical Systems Corp | 医療装置 |
JP2016189812A (ja) * | 2015-03-30 | 2016-11-10 | 富士フイルム株式会社 | 内視鏡撮影部位特定装置、方法、プログラム |
WO2018116573A1 (ja) * | 2016-12-19 | 2018-06-28 | オリンパス株式会社 | 内視鏡挿入形状観測装置 |
-
2023
- 2023-10-25 WO PCT/JP2023/038544 patent/WO2024095865A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07289503A (ja) * | 1994-04-27 | 1995-11-07 | Terumo Corp | 長尺物挿入用ガイド |
JP2009279148A (ja) * | 2008-05-21 | 2009-12-03 | Olympus Medical Systems Corp | 電子内視鏡装置 |
JP2010088573A (ja) * | 2008-10-06 | 2010-04-22 | Olympus Medical Systems Corp | 医療装置 |
JP2016189812A (ja) * | 2015-03-30 | 2016-11-10 | 富士フイルム株式会社 | 内視鏡撮影部位特定装置、方法、プログラム |
WO2018116573A1 (ja) * | 2016-12-19 | 2018-06-28 | オリンパス株式会社 | 内視鏡挿入形状観測装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5676058B1 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
EP2082678B1 (en) | Endoscope insertion shape analysis system | |
US20220254017A1 (en) | Systems and methods for video-based positioning and navigation in gastroenterological procedures | |
JP6389136B2 (ja) | 内視鏡撮影部位特定装置、プログラム | |
EP1681011A1 (en) | Insertion support system | |
JP2004321796A (ja) | カプセル形内視鏡装置のためのコンピュータ支援3次元画像形成方法、無線内視鏡装置および医療技術装置 | |
WO2018211674A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP4855901B2 (ja) | 内視鏡挿入形状解析システム | |
JPWO2020165978A1 (ja) | 画像記録装置、画像記録方法および画像記録プログラム | |
CN114980793A (zh) | 内窥镜检查辅助装置、内窥镜检查辅助装置的工作方法以及程序 | |
JP6043028B1 (ja) | 超音波観測システム | |
JP2016539767A (ja) | 内視鏡検査用装置 | |
WO2024095865A1 (ja) | 処理装置、内視鏡装置、及び処理方法 | |
WO2024095864A1 (ja) | 処理装置、内視鏡装置、及び処理方法 | |
WO2024095866A1 (ja) | 処理装置、内視鏡装置、及び処理方法 | |
JP2024065892A (ja) | 処理装置、内視鏡装置、及び処理方法 | |
JP2024065893A (ja) | 処理装置、内視鏡装置、及び処理方法 | |
US12042126B2 (en) | Monitoring system and evaluation method for insertion operation of endoscope | |
EP4324420A1 (en) | System | |
CN113905662A (zh) | 消化道扫描设备、身体扫描设备、身体扫描方法和声学消化器官监测系统 | |
CN110811527A (zh) | 一种具备形状推测及疾病在线辅助诊断功能的内窥镜 | |
WO2023195103A1 (ja) | 検査支援システムおよび検査支援方法 | |
WO2023209884A1 (ja) | 医療支援システムおよび画像表示方法 | |
WO2021176665A1 (ja) | 手術支援システム、手術支援方法、及び、プログラム | |
JP7264407B2 (ja) | 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23885622 Country of ref document: EP Kind code of ref document: A1 |