WO2008059636A1 - Système d'analyse de forme lors de l'insertion d'un endoscope et système d'observation d'un corps vivant - Google Patents

Système d'analyse de forme lors de l'insertion d'un endoscope et système d'observation d'un corps vivant Download PDF

Info

Publication number
WO2008059636A1
WO2008059636A1 PCT/JP2007/063882 JP2007063882W WO2008059636A1 WO 2008059636 A1 WO2008059636 A1 WO 2008059636A1 JP 2007063882 W JP2007063882 W JP 2007063882W WO 2008059636 A1 WO2008059636 A1 WO 2008059636A1
Authority
WO
WIPO (PCT)
Prior art keywords
shape
unit
endoscope
coordinate
insertion shape
Prior art date
Application number
PCT/JP2007/063882
Other languages
English (en)
French (fr)
Inventor
Hideki Tanaka
Original Assignee
Olympus Medical Systems Corp.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2006306975A external-priority patent/JP4855902B2/ja
Priority claimed from JP2006306974A external-priority patent/JP4855901B2/ja
Priority claimed from JP2006324901A external-priority patent/JP4855912B2/ja
Application filed by Olympus Medical Systems Corp. filed Critical Olympus Medical Systems Corp.
Priority to EP07790676.6A priority Critical patent/EP2082678B1/en
Priority to CN2007800415775A priority patent/CN101534699B/zh
Publication of WO2008059636A1 publication Critical patent/WO2008059636A1/ja
Priority to US12/464,404 priority patent/US8251890B2/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/41—Detecting, measuring or recording for evaluating the immune or lymphatic systems
    • A61B5/414—Evaluating particular organs or parts of the immune or lymphatic systems
    • A61B5/416—Evaluating particular organs or parts of the immune or lymphatic systems the spleen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/20—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7232—Signal processing specially adapted for physiological signals or for diagnostic purposes involving compression of the physiological signal, e.g. to extend the signal recording period

Definitions

  • the present invention relates to an endoscope insertion shape analysis system and a living body observation system, and in particular, an endoscope insertion shape analysis system capable of acquiring information for assisting an insertion operation of an insertion portion of an endoscope, and
  • the present invention relates to a biological observation system.
  • Endoscopes have been widely used in the medical field and industrial field. Endoscopes are used, for example, in the medical field when performing observations and various treatments on living tissues and the like.
  • the insertion part of the endoscope when the insertion part of the endoscope is inserted into the subject's anal force and the lower gastrointestinal tract is observed or subjected to various treatments, the insertion part is smoothly inserted into the bent body cavity.
  • an endoscope insertion shape analysis system that can detect the position, bending state, and the like of the insertion portion in the body cavity is used together with the endoscope.
  • the three-dimensional coordinate values projected onto the P-type Fourier descriptor are used as feature quantities, and by comparing the feature quantities with the teacher data, the portion corresponding to the loop formation candidate forms a loop shape. !, Judgment of power or not, t, the structure is disclosed.
  • the endoscope insertion shape analysis apparatus disclosed in Japanese Patent Application Laid-Open No. 2004-358095 has a predetermined movement distance of the distal end portion of the endoscope inserted into the large intestine within a predetermined period.
  • the endoscope insertion shape analysis apparatus disclosed in Japanese Patent Application Laid-Open No. 2004-358095 is A shape analyzing means for analyzing the shape of the insertion portion of the mirror, and an information providing means for providing information on the shape of the insertion portion according to the result of praying by the shape analyzing means. Yes.
  • the endoscope insertion shape analysis apparatus disclosed in Japanese Patent Application Laid-Open No. 2004-358095 can provide information that leads to improved insertion of the endoscope.
  • the presence or absence of a loop shape is determined based on the projected coordinate value on a predetermined plane. There is a risk that the detection accuracy of the loop shape may be lowered due to the change in the posture of the subject or individual differences in the length of the intestine of the subject.
  • the endoscope insertion shape analysis apparatus disclosed in Japanese Patent Application Laid-Open No. 2004-358095 has a configuration for identifying where the extension of the large intestine occurs in the insertion portion of the endoscope. If it does not exist, it may not be possible to detect the extension of the large intestine that occurs at the intermediate portion of the insertion portion of the endoscope as described above. As a result, in the endoscope insertion shape analysis apparatus disclosed in Japanese Patent Application Laid-Open No. 2004-358095, the user cannot smoothly perform the insertion operation of the insertion portion of the endoscope. It happens.
  • the endoscope insertion shape analysis device disclosed in Japanese Patent Application Laid-Open No. 2004-358095 is a message that warns that extension of the large intestine has occurred based on the shape of the insertion portion of the endoscope. Even if the user performs an operation for canceling the extension after the message is output, the message is continuously displayed for a certain period of time.
  • the endoscope insertion shape analysis apparatus disclosed in Japanese Patent Application Laid-Open No. 2004-358095 provides the content of information provided to the user who operates the insertion portion of the endoscope with respect to the operation actually performed. However, there is a problem that it causes a sense of incongruity that is different.
  • the present invention has been made in view of the above-described points, and provides an endoscope insertion shape analysis system capable of detecting a loop shape formed by an insertion portion of an endoscope with higher accuracy than in the past.
  • the present invention has been made in view of the above-described points, and is intended for insertion of an insertion portion of an endoscope.
  • the objective is to provide an endoscope insertion shape analysis system that can be operated more smoothly than before.
  • the present invention has been made in view of the above-described points, and by providing information appropriately in accordance with an operation on an insertion portion of an endoscope, a user's discomfort has been conventionally achieved.
  • the purpose is to provide a biological observation system that can be reduced in comparison.
  • An endoscope insertion shape analysis system includes an insertion state acquisition unit that acquires coordinate values of a plurality of locations in an insertion unit of an endoscope inserted into a subject, Based on the coordinate values of the plurality of locations, among the insertion portions inserted into the subject, an insertion shape detection unit that detects at least some of the insertion shapes, the coordinate values of the predetermined plurality of locations, and the A coordinate plane setting unit that sets a plurality of coordinate planes according to the insertion shape; an insertion shape projection unit that projects the insertion shape onto each of the plurality of coordinate planes; and the insertion that is projected onto each of the plurality of coordinate planes. And an insertion shape determining unit that determines whether or not a predetermined shape exists in the shape.
  • the endoscope insertion shape analysis system is based on the coordinate values of a plurality of locations in the insertion portion of the endoscope inserted into the subject.
  • An insertion shape detection unit for detecting a shape, a line segment corresponding to the insertion shape, an insertion shape division unit for setting a plurality of division points on the line segment, and a base end side of the insertion unit Based on the moving speed, it is detected whether or not an insertion operation is performed on the insertion portion, and among the plurality of division points, a coordinate value on a predetermined coordinate axis is locally maximized, and the insertion operation is performed.
  • an insertion stop point estimator for detecting one dividing point where the transmission rate of the moving speed that fluctuates along with the threshold is less than a predetermined threshold value.
  • the endoscope insertion shape analysis system is based on the coordinate values of a plurality of locations in the insertion portion of the endoscope inserted into the subject.
  • An insertion shape detection unit for detecting a shape, a line segment corresponding to the insertion shape, an insertion shape division unit for setting a plurality of division points on the line segment, and a base end side of the insertion unit It is detected whether or not an insertion operation is performed on the insertion portion based on the moving speed in the position, and among the plurality of division points, a coordinate value on a predetermined coordinate axis is locally maximized, and the insertion is performed.
  • an insertion stop point estimation unit that detects one division point at which the local radius of curvature that fluctuates with the operation is less than a predetermined threshold value.
  • the living body observation system acquires an insertion state acquisition for acquiring insertion state information, which is information including coordinate values of a plurality of predetermined positions in an insertion portion of an endoscope inserted into a subject.
  • insertion state information which is information including coordinate values of a plurality of predetermined positions in an insertion portion of an endoscope inserted into a subject.
  • an analysis processing unit that generates analysis data according to each coordinate value of the predetermined plurality of locations, a storage unit that stores the analysis data, and a storage unit that stores the analysis data
  • the display period control value is calculated based on the latest analysis data and one or more past analysis data among the analysis data, and the insertion operation of the insertion unit can be supported based on the display period control value.
  • a display control unit for determining whether or not to display insertion auxiliary information as information on the display unit.
  • FIG. 1 is a diagram showing an example of a configuration of a main part of a living body observation system including an endoscope insertion shape analysis system according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing coordinates of a source coil provided in an insertion portion of the endoscope shown in FIG. 1, which is detected by the endoscope insertion shape detecting device shown in FIG.
  • FIG. 3A is a diagram showing an outline of insertion shape data generated in the endoscope insertion shape detection device of FIG.
  • FIG. 3B is a diagram showing an outline of data and information included in each frame data of FIG. 3A.
  • FIG. 3C is a diagram showing an outline of three-dimensional coordinate data included in the coil coordinate data of FIG. 3B.
  • FIG. 4 is a flowchart showing an example of processing performed when determining the presence or absence of a loop shape in the first embodiment of the present invention.
  • FIG. 5 is a diagram geometrically showing an outline of the processing of the flowchart of FIG.
  • FIG. 6 is a flowchart showing an example of processing performed when an insertion stop point is detected in the second embodiment of the present invention.
  • FIG. 7 In the second embodiment of the present invention, the insertion stop detected by the series of processes of FIG.
  • the flowchart which shows an example of the process performed when evaluating a stop point.
  • FIG. 8 is a diagram showing an example of a first marker displayed on the display in accordance with the processing result of the series of processing in FIG.
  • FIG. 9 is a diagram showing an example of a second marker displayed on the display in accordance with the processing result of the series of processing in FIG.
  • FIG. 10 is a flowchart showing an example different from FIG. 7 of the process performed when evaluating the insertion stop point detected by the series of processes in FIG. 6 in the second embodiment of the present invention.
  • FIG. 11 is a diagram showing a functional block configuration and the like realized by the image processing apparatus of FIG.
  • FIG. 12 is an explanatory diagram showing a flow of processing performed by each block having the configuration shown in FIG. 11 in the third embodiment of the present invention.
  • FIG. 13 is an explanatory diagram showing a flow of processing performed by an analysis result display control block in the fourth embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an example of a configuration of a main part of a living body observation system according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing the coordinates of the source coil provided in the insertion portion of the endoscope of FIG. 1, which is detected by the endoscope insertion shape detecting device of FIG.
  • FIG. 3A is a diagram showing an outline of insertion shape data generated in the endoscope insertion shape detection device of FIG.
  • FIG. 3B is a diagram showing an outline of data and information included in each frame data of FIG. 3A.
  • FIG. 3C is a diagram showing an outline of the three-dimensional coordinate data included in the coil coordinate data of FIG. 3B.
  • FIG. 4 is a flowchart illustrating an example of processing performed when determining the presence or absence of a loop shape according to the first embodiment.
  • FIG. 5 is a diagram geometrically showing an outline of the processing of the flowchart of FIG.
  • the living body observation system 1 includes an endoscope apparatus 2 capable of observing the inside of a subject with an endoscope 6, and an endoscope 6 inserted into the subject.
  • An endoscope insertion shape detection device that detects the insertion shape of the endoscope and outputs the insertion shape as insertion shape data 3 and an image processing device 4 that performs various processes according to the insertion shape data output from the endoscope insertion shape detection device 3.
  • the endoscope apparatus 2 can be inserted into a large intestine or the like existing inside a subject, and an endoscope 6 that images a subject inside the subject and outputs it as an imaging signal, and the subject
  • a light source device 7 that supplies illumination light for illuminating the endoscope 6, and a video processor 8 that performs signal processing on the imaging signal output from the endoscope 6 and outputs it as a video signal 8
  • a monitor 9 that displays an image of a subject imaged by the endoscope 6 as an endoscopic observation image based on a video signal output from the video processor 8.
  • the endoscope 6 has an elongated insertion portion 11 that can be inserted into the subject, and an operation portion 12 provided at the rear end of the insertion portion 11.
  • a light guide 13 is inserted into the insertion portion 11 such that one end side is disposed at the distal end portion 14 of the insertion portion 11 and the other end side is connectable to the light source device 7.
  • the illumination light supplied from the light source device 7 is also emitted through the light guide 13 and an illumination window force (not shown) provided at the distal end portion 14 of the insertion portion 11.
  • a curved portion configured to be bendable is provided on the rear end side of the distal end portion 14 of the insertion portion 11.
  • the bending portion can be bent by operating a bending operation knob (not shown) provided on the operation portion 12.
  • an object lens 15 is attached to an observation window (not shown) provided adjacent to an illumination window (not shown).
  • an imaging surface of the imaging device 16 having a charge coupled device (abbreviated as CCD) is arranged at the imaging position of the objective lens 15.
  • the image sensor 16 is connected to the video processor 8 via a signal line, photoelectrically converts the subject image formed by the objective lens 15, and outputs it as an image signal to the video processor 8.
  • the video processor 8 performs signal processing for generating a video signal based on the imaging signal output from the imaging device 16. Then, the video processor 8 outputs, for example, an RGB signal, which is a video signal generated by the signal processing, to the monitor 9. Then, on the display surface of the monitor 9, an image of the subject imaged by the image sensor 16 is displayed as an endoscopic observation image.
  • the light source device 7 supplies the surface sequential illumination light composed of R (red), G (green), and B (blue)
  • the light source device 7 is synchronized with the period in which each light is supplied. Assume that the synchronization signal is output to the video processor 8. At this time, the video processor 8 performs signal processing in synchronization with the synchronization signal output from the light source device 7.
  • the operation unit 12 of the endoscope 6 is provided with a switch (not shown) that can give an instruction such as a release instruction.
  • a plurality of source coils C, C,..., C are arranged in the insertion portion 11 of the endoscope 6 with a predetermined interval in the longitudinal direction. Has been. And sauce
  • a magnetic field is generated around each other.
  • the magnetic field generated in the source coils C to C is detected by the endoscope insertion shape.
  • Detection is performed by a sense coil unit 19 provided in the device 3 and including a plurality of sense coils.
  • the endoscope insertion shape detecting device 3 is connected to source coils C to C provided in the endoscope 6.
  • a sense coil unit 19 for detecting the magnetic field generated by the shape a sense coil unit 19 for detecting the magnetic field generated by the shape
  • a display 22 for displaying the insertion shape estimated by the shape processing device 21.
  • the sense coil unit 19 that constitutes a part of the insertion state acquisition unit is disposed around the detection bed where the patient lies, and detects and detects the magnetic field generated by the source coils C to C.
  • the magnetic field thus output is output to the shape processing device 21 as a detection signal.
  • the shape processing device 21 that constitutes a part of the insertion state acquisition unit and has the function of the insertion shape detection unit is configured to detect each position coordinate data of the source coils C to C based on the detection signal.
  • the shape processing device 21 generates a video signal of the estimated insertion shape of the insertion unit 11 and outputs, for example, an RGB signal, which is the generated video signal, to the display 22.
  • the insertion shape of the insertion section 11 is displayed as an image on the display screen of the display 22.
  • the shape processing device 21 is observed by the endoscope 6 In the middle, three-dimensional coordinate information indicating the insertion shape of the insertion unit 11 and insertion shape data such as shape display attributes are continuously generated and output to the image processing device 4 via the communication port 21a.
  • the shape processing device 21 of the present embodiment can output only the insertion shape data when the release switch is operated, for example, to the image processing device 4.
  • the endoscope insertion shape detection device 3 generates a rotation angle and an enlargement / reduction ratio of an insertion shape image displayed on the display 22 after being generated by the shape detection processing by the shape processing device 21. It is assumed that the shape display attribute such as “!” Can be changed by instructing and inputting it on the operation panel or the like.
  • the video processor 8 has an operation panel (not shown) for inputting examination information which is information such as a patient's name, date of birth, sex, age, patient code, and examination date. is doing.
  • the inspection information input on the operation panel (not shown) is also transmitted to the image processing apparatus 4 via the communication port 8a.
  • the image processing device 4 assists the user in inserting the insertion unit 11 based on the insertion shape data output from the endoscope insertion shape detection device 3 and the examination information output from the video processor 8.
  • a personal computer (hereinafter simply referred to as a PC) 25 that performs analysis processing for generating supportable insertion auxiliary information, a mouse 26 and a keyboard 27 that can perform various instructions and inputs to the PC 25, and a PC 25 And a display 28 capable of reproducing or displaying the auxiliary insertion information generated by the analysis process.
  • the PC 25 includes a communication port 25a for fetching insertion shape data output from the communication port 21a of the shape processing device 21 of the endoscope insertion shape detecting device 3, and a video port processor 8 of the endoscope device 2.
  • a communication port 25b that captures inspection information output from the communication port 8a, a moving image input board 25c that converts a video signal generated by the video processor 8 into predetermined compressed image data, and various processes and controls.
  • a hard disk (hereinafter simply referred to as HDD) 34 for storing image data and the like.
  • Each part of the PC 25 is connected to each other by a nos line 35.
  • the moving image input board 25c of the image processing device 4 has a moving image generated by the video processor 8. For example, a YZC signal is input as an image video signal. And video input board
  • 25c converts the video signal of the moving image into compressed moving image data using a predetermined compression format such as the MJPEG format, and outputs the compressed moving image data to the HDD 34 or the like.
  • the insertion shape data captured in the communication port 25a and the inspection information captured in the communication port 25b are output to the HDD 34, for example.
  • the endoscope insertion shape analysis system is configured to include a sense coil unit 19, a shape processing device 21, and a CPU 31 as main parts.
  • the shape processing device 21 of the endoscope insertion shape detection device 3 is incorporated in the insertion portion 11 of the endoscope 6 in accordance with the timing at which an imaging signal for one frame is output from the imaging device 16 of the endoscope 6.
  • Generate insert shape data including 3D coordinates of M source coils C to C.
  • the shape processing device 21 outputs the insertion shape data to the image processing device 4, generates an insertion shape image of the insertion unit 11 based on the insertion shape data, and displays the insertion shape image on the display 22. Output to.
  • the three-dimensional coordinates of the source coil Ci are (X. j , Y. j
  • the inserted shape data including data is configured as frame data relating to each frame (that is, 0th frame data, 1st frame data, etc, And is sequentially transmitted to the image processing device 4. Is done.
  • each frame data as the insertion state information has data such as insertion shape data creation time, display attributes, attached information, and source coil three-dimensional coordinate data (coil coordinate data). It is structured!
  • the coil coordinate data is obtained from the distal end side of the insertion portion 11 to the proximal end side (operation).
  • the three-dimensional coordinates of the source coils C to C arranged in sequence on the cropping section 12 side are shown.
  • the three-dimensional coordinates of the source coil outside the detection range by the endoscope insertion shape detection device 3 are, for example, predetermined coordinate values (for example, (0, 0, 0) that cause the fact that they are outside the detection range. ).
  • the insertion portion 11 of the endoscope 6 When the insertion portion 11 of the endoscope 6 is inserted into the body cavity from the anus of the subject by the user, the insertion portion 11 exists in the body cavity by the imaging element 16 provided at the distal end portion 14 of the insertion portion 11.
  • the subject is imaged.
  • the subject image picked up by the image pickup device 16 is output as an image pickup signal, subjected to signal processing by the video processor 8 and converted into a video signal, and then output to the motor 9.
  • the image of the subject imaged by the image sensor 16 is displayed on the monitor 9 as an endoscopic observation image.
  • the endoscope insertion shape detection device 3 detects the magnetic field generated from each of the source coils C to C.
  • the shape processing device 21 estimates the insertion shape of the insertion portion 11 based on the detection signal output in accordance with the magnetic field, as well as being detected by the sense coil unit 19. As a result, the insertion shape of the insertion section 11 estimated by the shape processing device 21 is displayed on the display 22.
  • the shape processing device 21 of the endoscope insertion shape detecting device 3 receives frame data including the position information of each source coil from the CPU 31 of the PC 25 of the image processing device 4 via the communication port 21a. Output sequentially.
  • FIG. 5 is a diagram geometrically showing an outline of the processing of the flow chart of FIG.
  • the CPU 31 selects any two sources.
  • the distance L between the coils is calculated (step S1 in FIG. 4), and it is detected whether the calculated distance L is less than the threshold value T. If the CPU 31 detects that the distance L is greater than or equal to the threshold T (step S2 in FIG. 4), it performs the process of step S3 in FIG. 4 to be described later. C When PU31 detects that the distance L is greater than or equal to the threshold value T (step S2 in FIG. 4), the distance between the two source coils for all combinations of the source coils c to C is further determined.
  • the distance L between the two source coils indicates the linear distance to one source coil force and the other source coil.
  • the CPU 31 calculates two combinations of all the source coils C to C.
  • step S16 in Fig. 4 When it is detected that the distance L between the source coils has been calculated (step S16 in Fig. 4), the series of processing ends. In addition, when CPU 31 detects that there is a combination of source coils C to C for which the distance L between the two source coils has not been calculated (step S16 in FIG. 4)
  • CPU 31 detects two source coils whose distance L is less than threshold value T in step S2 of FIG. 4, CPU 31 determines the insertion shape between the two source coils in insertion portion 11 inserted in the subject. Then, by dividing the line segment R, which is a line segment generated in this way, the coordinate values of N division points in the line segment R are calculated (step S3 in FIG. 4).
  • the line segment R may be generated by using a part of the insertion shape of the insertion portion 11 estimated by the endoscope insertion shape detection device 3, or the source coils C to C. Of 3D coordinates
  • the CPU 31 sets a plane F1 in which the line segment R exists and calculates a normal vector D in the plane F1 based on the N division points generated in the process of step S3 in FIG. (Step S4 in Fig. 4).
  • the CPU 31 as the coordinate plane setting unit sets the coordinate values (Vlx, Vly, Viz), (V2x, V2y, V2z), N, By substituting VNx, VNy, and VNz) into general plane equations, the following equation (1) is set as the equation for plane F1.
  • Equation (1) is a matrix with N rows and 1 column force.
  • matrix A in the formula (2) is the same matrix as the second matrix on the right side of the formula (1), and is a matrix composed of N rows and 3 columns.
  • the CPU 31 calculates the value of the normal vector D (a, b, c) by calculating the pseudo inverse matrix A + in the matrix A of the above equation (2) and applying the LU decomposition in the above equation (1).
  • the CPU 31 calculates a vector a 0 obtained by inclining the normal vector D (a, b, c) with respect to the plane Fl by an angle ⁇ (for example, 10 degrees) (step S5 in FIG. 4), A plane AO having the vector a 0 as a normal vector is calculated (step S6 in FIG. 4).
  • the CPU 31 is parallel to the plane F1 and the vector ( ⁇ ⁇ - ⁇ ) is The vector oc i obtained by rotating the vector ⁇ ⁇ - 1 by a predetermined angle ⁇ (for example, 45 degrees) is calculated (step S8 in FIG. 4) on the existing plane, and the vector ai is calculated as a normal vector.
  • the plane Ai is calculated (Step S9 in Fig. 4)
  • step S8 and step S9 in Fig. 4 step S10 in Fig. 4).
  • the CPU 31 as the insertion shape projection unit includes a plane F1 calculated by the processes in steps S3 and S4 in FIG. 4, a plane A 0 calculated by the processes in steps S5 and S6 in FIG. Project each 3D coordinate value of line segment R onto each of (d + 2) planes that combine planes Al to Ad calculated by repeating the processing from step S7 to step S10 in step 4. (Step S11 in Figure 4).
  • the CPU 31 as the insertion shape determination unit is projected onto each of (d + 2) planes.
  • a loop shape determination process is performed on each of the (d + 2) planes (step S12 in FIG. 4). Specifically, for example, the CPU 31 calculates a power spectrum based on the P-type Fourier descriptor from each three-dimensional coordinate value of the line segment R projected on each of (d + 2) planes, and calculates the calculated power spectrum. Compare the power spectrum with one or more predetermined power spectra written according to one or more loop-shaped pattern data (teacher data) written in advance on the HDD 34 or the like. It is determined that the minute R forms a loop shape.
  • a method for determining whether or not one line segment forms a loop shape using the P-type Fourier descriptor and the power spectrum described above is described in Japanese Patent Application Laid-Open No. 2004-358095. Therefore, detailed description is omitted here.
  • step S13 in Fig. 4 the line segment R forms a loop shape! /, NA! / (Step S14 in FIG. 4), and in the combination of the other two source coils that are different from the combination of the two source coils to be processed so far, step S1 in FIG. Perform the descending process again.
  • the CPU 31 as the insertion shape determination unit detects the presence of the loop shape in all of the (d + 2) planes based on the loop determination in step S 12 of FIG. 4 (step of FIG. 4). In the case of S13), it is determined that the line segment R forms a loop shape (step S15 in FIG. 4), and the series of processing ends.
  • the living body observation system 1 including the endoscope insertion shape analysis system of the present embodiment corresponds to the coordinate plane on which the insertion shape of the insertion unit 11 is projected according to the insertion shape. In addition, it is possible to determine whether or not the inserted shape forms a loop shape while setting to a plurality of coordinate planes. As a result, the living body observation system 1 including the endoscope insertion shape analysis system of the present embodiment can detect the loop shape formed by the insertion portion 11 of the endoscope 6 with higher accuracy than in the past. Can do.
  • FIG. 6 is a flowchart showing an example of processing performed when an insertion stop point is detected in the second embodiment of the present invention. It is a chart.
  • FIG. 7 is a flowchart showing an example of processing performed when evaluating the insertion stop point detected by the series of processing of FIG. 6 in the second embodiment of the present invention.
  • FIG. 8 is a diagram showing an example of the first marker displayed on the display in accordance with the processing result of the series of processing in FIG.
  • FIG. 9 is a diagram illustrating an example of the second marker displayed on the display in accordance with the processing result of the series of processing in FIG.
  • FIG. 10 is a flowchart showing an example different from FIG. 7 of the process performed when evaluating the insertion stop point detected by the series of processes in FIG. 6 in the second embodiment of the present invention. .
  • the living body observation system of the second embodiment has substantially the same configuration as the living body observation system 1 described in the first embodiment! Therefore, in the present embodiment, the description of the parts having the same configuration or action as the biological observation system 1 of the first embodiment is omitted, and the configuration or the difference from the biological observation system 1 of the first embodiment is omitted. The description about the part which has an effect
  • the endoscope insertion shape analysis system according to the present embodiment is configured to include the shape processing device 21 and the CPU 31 as main parts!
  • the insertion portion 11 of the endoscope 6 When the insertion portion 11 of the endoscope 6 is inserted into the body cavity of the subject by the user, the insertion portion 11 exists in the body cavity by the imaging element 16 provided at the distal end portion 14 of the insertion portion 11.
  • the subject is imaged.
  • the subject image picked up by the image pickup device 16 is output as an image pickup signal, subjected to signal processing by the video processor 8 and converted into a video signal, and then output to the motor 9.
  • the image of the subject imaged by the imaging element 16 is displayed on the monitor 9 as an endoscopic observation image.
  • the endoscope insertion shape detection device 3 includes a source coil C
  • the shape processing device 21 estimates the insertion shape of the insertion portion 11 based on the detection signal output in accordance with the magnetic field, as well as being detected by the sense coil unit 19. As a result, the insertion shape of the insertion section 11 estimated by the shape processing device 21 is displayed on the display 22.
  • the shape processing device 21 of the endoscope insertion shape detecting device 3 has frame data including position information of each source coil in the PC 25 of the image processing device 4 via the communication port 21a. Output sequentially to CPU31.
  • the CPU 31 causes the user to stop the insertion operation of the insertion section 11 among the insertion sections 11 inserted into the subject based on the frame data sequentially output from the endoscope insertion shape detection device 3 As a process for detecting the insertion stop point where the “” exists, the insertion stop point detection process shown in the flowchart of FIG. 6 is performed.
  • the CPU 31 as the insertion shape dividing unit applies, for example, the Catmull-Rom curve equation to the coil coordinate data included in the frame data sequentially output from the endoscope insertion shape detection device 3.
  • the insertion portion 11 inserted into the subject is inserted into the subject from the source coil (source coil C) arranged on the most distal side.
  • a line segment corresponding to the insertion state of the insertion part 11 formed by each source coil up to the source coil arranged on the most proximal side is calculated and the line segment is divided ( Step S101 in Fig. 6).
  • the CPU 31 divides the line segment according to the insertion state of the insertion unit 11 by, for example, n division points D to D in the process of step S101 of FIG.
  • each division point is assumed to be set as D, D,..., D, D from the distal end side to the proximal end side.
  • Each dividing point is
  • the distance between adjacent division points is set to be equally spaced so that the distance is a predetermined value d.
  • the CPU 31 calculates the moving speeds V to V at the n division points D to D, the division point coordinate values obtained from the past frame data force, and the division point coordinate values obtained from the current frame data. The difference is calculated. Furthermore, the CPU 31 calculates the insertion axis direction at the n division points D to D from the first derivative value of the Catmull-Rom curve, and the movement speed V to the insertion axis direction at the n division points D to D. By projecting V, the moving speeds V to V in the insertion axis direction at n division points D to D are calculated.
  • the CPU 31 determines the moving speed V in the insertion axis direction of the nth dividing point D existing on the proximal end side in the insertion portion 11 inserted into the subject among the dividing points D to D.
  • step S103 in FIG. 6 It is determined that an insertion operation has been performed, and processing in step S104 in FIG. CPU31 detects that the moving speed V is below the threshold T1 (Fig. 6).
  • step S103 it is determined that no insertion operation has been performed on the insertion unit 11, and the insertion stop point detection process shown in FIG. 6 is terminated.
  • the moving speed V in the insertion axis direction of the nth division point D is
  • n an Constant regardless of time.
  • step S103 in FIG. 6 the CPU 31 determines that the moving speed V is greater than the threshold value T1.
  • the dividing point D force is also set as the dividing point D at the dividing point D adjacent to the tip end 14 side (step S104 in FIG. 6).
  • the CPU 31, stores at least one of the video processor 8, the memory 33, and the HDD 34, reads the model information of the endoscope 6, and stores the model information in the model information. Based on this, it is detected whether or not the dividing point D set in the process of step S104 in FIG. 6 exists in the curved portion (not shown) of the insertion portion 11.
  • the CPU 31 detects that the dividing point D is present at the bending portion (not shown) of the insertion portion 11 (step S105 in FIG. 6)
  • the dividing point D is positioned at a position where it can be bent by the user's operation. It is determined that there is, and the insertion stop point detection process shown in Fig. 6 is terminated.
  • the CPU 31 detects that the dividing point D does not exist in the curved portion (not shown) of the insertion portion 11 (step S105 in FIG. 6)
  • the CPU 31 continues to perform the processing in step S106 in FIG.
  • the CPU 31 detects that the dividing point D does not exist in the curved portion (not shown) of the insertion portion 11 in the process of step S105 in FIG. 6, the CPU 31 further moves the dividing point D in the insertion axis direction thereafter.
  • the speed V is acquired (step S106 in Fig. 6), and the moving speed V is less than the threshold T2.
  • CPU 31 Detects whether there is a certain force. Then, CPU 31 confirms that moving speed V is less than threshold value T2.
  • step S107 in FIG. 6 If it is detected (step S107 in FIG. 6), it is determined that there is a possibility that the factor for stopping the insertion operation of the insertion unit 11 by the user may exist at the division point D, and the processing of step S109 in FIG. Continue to do.
  • CPU31 must have a moving speed V equal to or greater than threshold T2.
  • step S107 in FIG. 6 the dividing point D force is also set to the dividing point D adjacent to the tip 14 side (step S108 in FIG. 6), and the step of FIG. Repeat the process from step S105 to step S107.
  • CPU 31 determines that movement speed V is less than threshold value T2 in the process of step S107 of FIG.
  • the division point D adjacent to the tip end 14 side from the division point D is set as the division point D (step S109 in FIG. 6).
  • the CPU 31 determines that the division point D set in step S109 in FIG. 6 is based on the above-described model information of the endoscope 6 and the curved portion of the insertion portion 11 (not shown!) Is curved.
  • the CPU 31 determines that the dividing point D is the bay (not shown) of the insertion part 11.
  • the dividing point D is controlled by the user.
  • step S110 in FIG. 6 the processing of step SI11 in FIG. 6 is continued.
  • the y-axis in this embodiment is assumed to be set as a coordinate axis from the front side of the body cavity (for example, the anal side) to the back side (for example, the stomach side).
  • the CPU 31 determines the division point D, D, D, D, D and D.
  • the division point D is detected as an insertion stop point (step S113 in FIG. 6).
  • CPU31 has a maximum y coordinate at the dividing point D.
  • the dividing point D force is also adjacent to the tip 14 side.
  • a division point D that is in contact is set (step S112 in FIG. 6).
  • step S110 and step SI11 of FIG. 6 is performed again.
  • the CPU 31 uses the frame data used in the insertion stop point detection process of FIG.
  • the insertion stop point D detected by the insertion stop point detection process shown in FIG. 6 is evaluated based on other frame data existing later in time series (for example, one to several frames later).
  • the CPU 31 obtains the moving speed V in the insertion axis direction of the nth division point D existing on the proximal end side of the insertion portion 11 inserted in the subject.
  • step S121 in Fig. 7 the moving speed V of the insertion stop point D in the direction of the insertion axis
  • the CPU 31 moves at the insertion stop point D based on the other frame data.
  • the moving speed V is calculated using the following formula (3) (step S123 in FIG. 7).
  • CPU31 detects that the moving speed V is larger than the threshold T1 (step in Fig. 7).
  • step S124 in FIG. 7 it is determined that either the insertion portion 11 is not operated or the insertion portion 11 is removed. Then, the series of processes in FIG.
  • the CPU 31 as the insertion stop point estimation unit moves the moving speed V relative to the moving speed V.
  • PU31 is a value indicating the transmission rate of the moving speed V when the insertion portion 11 is inserted.
  • step S126 in FIG. 1 In order to evaluate the stopping point D, the processing in step S126 in FIG.
  • step SI 25 it is determined that the extension of the large intestine at insertion stop point D has been resolved.
  • the CPU 31 calculates the ratio of the moving speed V to the moving speed V, that is, the value of V / V.
  • the second marker as the notification information indicating the position of the stop point D is shown in FIG.
  • step S128 in FIG. 7 After performing control to display on the display 28 while being superimposed on the insertion shape of the insertion unit 11 (step S128 in FIG. 7), the series of processing in FIG. 7 is terminated.
  • the CPU 31 removes the insertion unit 11 in a state where the operation of the insertion unit 11 is not performed in each process of step S103 in FIG. 6, step S124 in FIG. 7, and step S 125 in FIG. Operation state and insertion stop point D
  • the marker 28 displayed on the display 28 is also hidden.
  • the CPU 31 for example, as shown in FIG. 8 and FIG. Compare the shape and / or size of the first marker, which indicates the position where the spread occurs, with the shape and / or size of the second marker, which indicates the position immediately before the extension of the large intestine occurs by the insertion part 11. It is assumed that it is displayed on the display 28 so as to stand out.
  • the insertion stop point detection process shown in FIG. 6 and the insertion stop point evaluation process shown in FIG. 7 of this embodiment are not limited to this order, but are performed in the reverse order. It may be.
  • the living body observation system 1 including the endoscope insertion shape analysis system causes the large intestine to expand by performing the processes shown in Figs.
  • the insertion operation of the insertion portion 11 of the endoscope 6 can be made smoother than before.
  • the CPU 31 moves the moving speed V in the direction perpendicular to the insertion axis direction at the insertion stop point D.
  • the position where the extension of the large intestine occurs may be detected.
  • the CPU 31 stops the insertion stop in FIG. 6 based on other frame data existing in time series (for example, one to several frames later) from the frame data used in the insertion stop point detection process in FIG.
  • As a process to evaluate the insertion stop point D detected by the point detection process is a process to evaluate the insertion stop point D detected by the point detection process.
  • step 7 the insertion stop point evaluation process shown in the flowchart of Fig. 10 is performed.
  • the CPU 31 obtains the moving speed V in the insertion axis direction of the nth division point D existing on the proximal end side of the insertion portion 11 inserted in the subject.
  • radius R for example, use the first and second derivative values of the Catmull-Rom curve equation.
  • the CPU 31 detects whether or not the moving speed V is greater than the threshold value T1. And
  • the CPU 31 detects that the moving speed V is larger than the threshold value T1 (step in FIG. 10).
  • Step S133 it is determined that an insertion operation has been performed on the insertion unit 11, and the processing of Step S134 of FIG. CPU31 has moving speed V below threshold T1
  • step S133 in FIG. 10 the insertion unit 11 is not being operated, or the insertion unit 11 is being removed and is in a state of deviation. And the series of processing in FIG. 10 is terminated.
  • the CPU 31 determines that the local radius of curvature R at the insertion stop point D is less than the threshold value T5.
  • CPU31 Detects whether there is a certain force. CPU31 then calculates the local curvature at insertion stop point D.
  • step S135 in FIG. 10 The processing in step S135 in FIG. 10 is continued.
  • CPU31 is also at insertion stop point D.
  • the CPU 31 as the notification unit detects whether or not the local curvature radius R k k at the insertion stop point D is less than a threshold value T6 (T6 to T5). Then, the CPU 31 detects that the local curvature radius R at the insertion stop point D is less than the threshold ⁇ 6 (Fig. 10 k k
  • Step SI 35 if it is determined that extension of the large intestine occurs at insertion stop point D, k
  • a first marker as notification information indicating the position of the insertion stop point D is displayed.
  • the series of processing in FIG. 10 is terminated.
  • the CPU 31 as the notification unit has a local curvature half k at the insertion stop point D.
  • the CPU 31 performs the operation of the insertion unit 11 in steps S133 of FIG. 10 and step S134 of FIG. K in the state where the removal operation is performed on the other hand and the state where the extension of the large intestine at the insertion stop point D is eliminated.
  • the CPU 31 causes the extension of the large intestine to be generated by the insertion portion 11 as shown in FIG.
  • the shape and / or size of the first marker that indicates the position to be recognizable should be conspicuous compared to the shape and / or size of the second marker that indicates the position immediately before the insertion of the large intestine by the insertion part 11. It is assumed that it is displayed on the display 28.
  • the insertion stop point detection process shown in FIG. 6 and the insertion stop point evaluation process shown in FIG. 10 of the present embodiment are not limited to this order, but are performed in the reverse order. It may be.
  • the living body observation system 1 including the endoscope insertion shape analysis system causes the extension of the large intestine by performing the processes shown in Figs.
  • the insertion operation of the insertion portion 11 of the endoscope 6 can be made smoother than before.
  • the first marker and the second marker described above are not limited to figures, and may be, for example, a character string or a graph that can notify the user of the extension of the large intestine. Further, the first marker and the second marker described above may be configured such that the display state changes stepwise as the colon expands.
  • the CPU 31 of the present embodiment is not limited to performing only one of the insertion stop point evaluation processes shown in FIGS. 7 and 10, and is intended to improve the detection accuracy of colonic extension.
  • both insertion stop point evaluation processes may be performed simultaneously by parallel processing, and based on the results of the parallel processing, the position where the large intestine stretches may be evaluated.
  • FIG. 11 and 12 relate to the third embodiment of the present invention.
  • FIG. 11 is a diagram showing a functional block configuration and the like realized by the image processing apparatus of FIG.
  • FIG. 12 is an explanatory diagram showing the flow of processing performed by each block having the configuration shown in FIG. 11 in the third embodiment of the present invention.
  • the living body observation system of the third embodiment has substantially the same configuration as the living body observation system 1 described in the first embodiment and the second embodiment. For this reason, in the present embodiment, the description of the parts having the same configuration or action as the living body observation system 1 of the first embodiment and the second embodiment is omitted, and the first embodiment and A description will be mainly given of a portion having a configuration or action different from that of the living body observation system 1 of the second embodiment.
  • the insertion state acquisition unit in the present embodiment and the fourth embodiment described later is configured to include the sense coil unit 19 and the shape processing device 21.
  • the CPU 31 of the image processing device 4 performs processing based on a processing program stored in the processing program storage unit 32 in accordance with observation by the endoscope device 2. I do.
  • the processing program executed by the CPU 31 includes a frame data acquisition block 41 that acquires frame data and stores it in the memory 33, and a memory as a storage unit. Analysis processing is performed on the frame data stored in memory 33, analysis data block 42 storing analysis data 33b in memory 33, analysis results are displayed, and insertion shape analysis information consisting of a plurality of analysis data 33b And an analysis result display control block 43 that controls the display (or display characteristics) of the auxiliary insertion information according to 33c.
  • the frame data acquisition block 41 and the analysis processing block 42 repeatedly perform processing in a loop.
  • the frame data acquisition block 41 stores the frame data, which is also transmitted by the endoscope insertion shape detection device 3, in the memory 33, and also for the HDD 34 (shown in FIG. 1). Store.
  • the analysis processing block 42 as the analysis processing unit uses the frame data 33a of the memory 33, and the direction in which the insertion unit 11 faces and the amount of movement of the source coil one frame before at each source coil position.
  • the data for examining the response operation state (in response to the insertion operation) of the insertion unit 11 is calculated. Then, the analysis processing block 42 sequentially stores the calculated data in the memory 33 as analysis data 33b.
  • the analysis result display control block 43 is a processing block that is repeatedly executed at regular intervals, independent of the loop processing power of the frame data acquisition block 41 and the analysis processing block 42 described above.
  • the analysis result display control block 43 as the display control unit acquires the analysis data 33b stored in the memory 33 as the insertion shape analysis information 33c, and arranges it at the most distal side of the insertion unit 11 of the endoscope 6. Speed of the selected source coil C and the maximum of the insertion part 11 of the endoscope 6
  • the analysis result display control block 43 controls the display state of the auxiliary insertion information on the display 28 based on the calculation result.
  • the insertion portion 11 of the endoscope 6 When the insertion portion 11 of the endoscope 6 is inserted into the body cavity of the subject by the user, the insertion portion 11 exists in the body cavity by the imaging element 16 provided at the distal end portion 14 of the insertion portion 11.
  • the subject is imaged.
  • the subject image picked up by the image pickup device 16 is output as an image pickup signal, subjected to signal processing by the video processor 8 and converted into a video signal. Is output to As a result, the image of the subject imaged by the image sensor 16 is displayed on the monitor 9 as an endoscopic observation image.
  • the endoscope insertion shape detection device 3 detects the magnetic field generated from each of the source coils C to C.
  • the shape processing device 21 estimates the insertion shape of the insertion portion 11 based on the detection signal output in accordance with the magnetic field, as well as being detected by the sense coil unit 19. As a result, the insertion shape of the insertion section 11 estimated by the shape processing device 21 is displayed on the display 22.
  • the shape processing device 21 of the endoscope insertion shape detecting device 3 sequentially outputs frame data including position information of each source coil to the PC 25 of the image processing device 4 via the communication port 21a.
  • the CPU 31 of the PC 25 acquires the frame data output from the endoscope insertion shape detection device 3 in the frame data acquisition block 41 of the processing program, and also acquires the acquired frame. Store the data in memory 33.
  • the CPU 31 performs analysis processing on the frame data 33a stored in the memory 33 in the analysis processing block 42 of the processing program, so that The moving speed of the source coil C arranged on the distal end side and the
  • the generated analysis data 33b is sequentially stored in the memory 33.
  • the moving speed of the source coil is calculated, for example, by the moving amount force of the source coil for each frame. Further, in the present embodiment, the moving speed of the source coil takes a positive value in the insertion direction of the insertion portion 11 and takes a negative value in the removal direction of the insertion portion 11.
  • the analysis result display control block 43 inserts the latest analysis data of the analysis data 33b stored in the memory 33 and the analysis data immediately before the latest analysis data into the shape analysis information 33c. Is acquired every predetermined period (step S201 in FIG. 12). The analysis result display control block 43 then moves the moving speed of the source coil C arranged on the most proximal side of the insertion portion 11 in the latest analysis data 33b in the acquired insertion shape analysis information 33c.
  • the correction ratio g is set according to the data (step S202 in FIG. 12). Specifically, the analysis result display control block 43 is based on the latest analysis data included in the insertion shape analysis information 33c, and the source coil C arranged on the most proximal side of the insertion portion 11 is used.
  • the analysis result display control block 43 is based on the latest analysis data included in the insertion shape analysis information 33c, and the moving speed of the source coil C arranged on the most proximal side of the insertion portion 11 is determined.
  • the correction ratio g is set to 0.5. Furthermore, the analysis result display control block 43 is based on the latest analysis data included in the insertion shape analysis information 33c, and the source coil C arranged on the most proximal side of the insertion portion 11 is used.
  • the correction ratio g is set to 0.25.
  • the analysis result display control block 43 displays the latest analysis data among the analysis data stored in the memory 33 and the analysis data one previous to the latest analysis data. It is configured to obtain the insertion shape analysis information and set the correction ratio g.
  • the present invention is not limited to this.
  • the latest analysis data and the latest analysis data are temporally continuous. It is configured to obtain P pieces of past analysis data as insertion shape analysis information and set the correction ratio g!
  • the analysis result display control block 43 is, for example, information on the bending angle of the insertion unit 11, information on the shape pattern of the insertion shape of the insertion unit 11, or the insertion unit 1 It is also possible to obtain information about the insertion amount of 1! /, Or whether it is misaligned as the insertion shape analysis information 33c and set the correction ratio g (and the display period control value Rc described later).
  • the analysis result display control block 43 increases or decreases the correction ratio g according to the increase or decrease of the bending angle of the insertion unit 11 (for example, decreases the correction ratio g according to the decrease of the bending angle). ) Further, the analysis result display control block 43 increases or decreases the correction ratio g according to the change in the shape pattern of the insertion shape of the insertion portion 11 (for example, decreases the correction ratio g according to the transition from the loop shape to the substantially linear shape). ). Furthermore, the analysis result display control block 43 increases or decreases the correction ratio g according to the increase or decrease of the insertion amount of the insertion unit 11 (for example, decreases the correction ratio g according to the decrease of the insertion amount). Also good.
  • the analysis result display control block 43 is updated based on the insertion shape analysis information 33c.
  • the analysis result display control block 43 is inserted by the following equation (4) determined based on the moving speed ratio Rb, the moving speed ratio Rp, and the correction ratio g set in the process of step S202 in FIG.
  • a display period control value Rc for controlling the display period of the auxiliary information is calculated (step S203 in FIG. 12).
  • the analysis result display control block 43 compares the display period control value Rc calculated in step S203 of FIG. 12 with the threshold value Rcth related to the display period control value Rc.
  • the analysis result display control block 43 detects that the display period control value Rc is greater than the threshold value Rcth (step S204 in FIG. 12)
  • the insertion unit 11 inserts or removes without forming a loop shape or the like. It is determined that the insertion auxiliary information displayed on the display 28 is deleted (step S205 in FIG. 12).
  • the analysis result display control block 43 detects that the display period control value Rc is equal to or less than the threshold value Rcth (step S204 in FIG.
  • the insertion unit 11 forms a loop shape or the like, thereby If the insertion of 11 is properly made, it is determined that there is no insertion, and processing for displaying the insertion auxiliary information on the display 28 is performed (step S206 in FIG. 12).
  • the insertion auxiliary information displayed on the display 28 can be used to support the insertion operation of the insertion unit 11 by the user, for example, information indicating extension of the large intestine, or Information on how to cancel the loop shape of the insertion portion 11 and the like.
  • the analysis result display control block 43 repeats the processing from step S201 to step S206 in Fig. 12 at regular intervals, so that the display period control value Rc is equal to or less than the threshold value Rcth.
  • the auxiliary insertion information is continuously displayed and the auxiliary insertion information is deleted at the timing when the display period control value Rc becomes larger than the threshold value Rcth.
  • the living body observation system 1 of the present embodiment displays the insertion auxiliary information display period for supporting the insertion operation of the insertion unit 11 by the user in the source coil C.
  • the living body observation system 1 of the present embodiment is appropriately inserted according to the operation on the insertion portion 11 of the endoscope 6.
  • the entrance assistance information By providing the entrance assistance information, the user's uncomfortable feeling can be reduced as compared with the conventional case.
  • the living body observation system 1 of the present embodiment has the above-described configuration, so that insertion auxiliary information may be erroneously displayed. Noise is applied to the source coils C and C when instantaneous operation is performed.
  • FIG. 13 relates to a fourth embodiment of the present invention.
  • FIG. 13 is an explanatory diagram showing the flow of processing performed by the analysis result display control block in the fourth embodiment of the present invention.
  • the living body observation system of the fourth embodiment has substantially the same configuration as the living body observation system 1 described in the first to third embodiments. For this reason, in the present embodiment, descriptions of parts having the same configuration or action as the biological observation system 1 of the first to third embodiments are omitted, and the first to third embodiments are omitted. A description will be mainly given of a part having a configuration or action different from that of the living body observation system 1 of the third embodiment.
  • the CPU 31 (having the biological observation system 1) of the present embodiment has the processing executed by the analysis result display control block 43 of the third embodiment in the analysis result display control block 43A of the processing program. A series of processes described below, which are different processes, are performed.
  • the analysis result display control block 43A includes the latest analysis data stored in the memory 33, and one or more past analysis data continuous in time with respect to the latest analysis data. E pieces of analysis data (for example, 5 pieces) are combined and acquired as inserted shape analysis information 33c at predetermined intervals (step S211 in FIG. 13).
  • the analysis result display control block 43A calculates the moving speed ratio of the source coils C and C for each of the acquired E analysis data, and the E analysis data.
  • J pieces of analysis data in which the calculated moving speed ratio takes a value equal to or less than a predetermined threshold are detected (step S212 in FIG. 13).
  • the analysis result display control block 43A includes a value of JZE as a display period control value in this embodiment and a threshold value TH (for example, 0.6). Make a comparison.
  • the analysis result display control block 43 detects that the value of JZE is smaller than the threshold value TH (step S213 in FIG. 13), the insertion part 11 is inserted or removed without forming a loop shape or the like, It is determined that it is displayed on the display 28, and processing for deleting the insertion auxiliary information is performed (step S214 in FIG. 13).
  • the analysis result display control block 43A detects that the value of JZE is less than or equal to the threshold TH (step S213 in FIG. 13), the insertion section 11 forms a loop shape or the like, so that the insertion operation is properly performed. Thus, it is determined that there is nothing, and processing for displaying the insertion auxiliary information on the display 28 is performed (step S 215 in FIG. 13).
  • the analysis result display control block 43A inserts during the period in which the value of JZE is equal to or less than the threshold TH by repeatedly performing the processing up to step S211 force step S2 15 in FIG. 13 at regular intervals.
  • the auxiliary information is kept displayed and the auxiliary insertion information is deleted when the JZE value becomes larger than the threshold value TH.
  • the living body observation system 1 of the present embodiment uses the display period of the auxiliary insertion information for supporting the insertion operation of the insertion unit 11 by the user, the moving speed of the source coils C0 and CM. It has a configuration that can be changed as appropriate according to the fluctuations. As a result, the living body observation system 1 of the present embodiment reduces the user's uncomfortable feeling as compared with the conventional case by appropriately providing insertion assistance information according to the operation of the insertion portion 11 of the endoscope 6. Is possible.
  • the living body observation system 1 of the present embodiment has the above-described configuration, so that the auxiliary insertion information may be erroneously displayed. Noise is applied to the source coils C and C when instantaneous operation is performed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Immunology (AREA)
  • Vascular Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)

Description

明 細 書
内視鏡揷入形状解析システム及び生体観測システム
技術分野
[0001] 本発明は、内視鏡挿入形状解析システム及び生体観測システムに関し、特に、内 視鏡の挿入部の挿入操作を補助するための情報を取得可能な内視鏡挿入形状解 析システム及び生体観測システムに関するものである。
背景技術
[0002] 内視鏡は、医療分野及び工業分野等において従来広く用いられている。また、内 視鏡は、例えば、医療分野においては、生体組織等に対して観察及び種々の処置 を行う際に用いられている。
[0003] 特に、内視鏡が有する挿入部を被験者の肛門側力 挿入し、下部消化管に対して 観察や種々の処置を行う場合においては、該揷入部を屈曲した体腔内に円滑に挿 入するために、体腔内における該揷入部の位置、屈曲状態等を検出することのでき る内視鏡挿入形状解析システムが、内視鏡と併せて用いられて ヽる。
[0004] 前述した内視鏡挿入形状検出システムと略同様の機能を有する装置としては、例 えば、 日本国特開 2004— 358095号公報の内視鏡挿入形状解析装置がある。
[0005] 日本国特開 2004— 358095号公報には、内視鏡の挿入部のうち、ループ形成候 補にあたる部分を n個に分割し、各分割点の所定の平面 (z = 0平面)へ投影された 3 次元座標値を P型フーリエ記述子として特徴量ィ匕するとともに、該特徴量と教師デー タとの比較を行うことにより、該ループ形成候補にあたる部分がループ形状を形成し て!、る力否かを判断する、 t 、う構成が開示されて 、る。
[0006] また、日本国特開 2004— 358095号公報の内視鏡挿入形状解析装置は、所定の 期間内にお 、て、大腸内に挿入された内視鏡の先端部の移動距離が所定の閾値以 下であり、かつ、該大腸内に挿入された内視鏡の挿入部の長さが増加し続けている ことを検出した場合に、該大腸の伸展が生じていると判定するような機能を有してい る。
[0007] さらに、日本国特開 2004— 358095号公報の内視鏡挿入形状解析装置は、内視 鏡が有する挿入部の形状を解析する形状解析手段と、前記形状解析手段による解 祈の結果に応じて、該揷入部の形状に関する情報を提供する情報提供手段と、を有 して構成されている。このような構成により、日本国特開 2004— 358095号公報の内 視鏡挿入形状解析装置は、内視鏡の挿入性向上につながる情報の提供を行うこと ができる。
[0008] しかし、前述した、日本国特開 2004— 358095号公報に記載の構成においては、 所定の平面への投影座標値に基づ 、てループ形状の有無が判断されるため、例え ば、被検体の体位変換、または、被検体の腸の長さの個人差により、ループ形状の 検出精度が低下してしまう虞がある。
[0009] ところで、一般的に、内視鏡の先端部が大腸内の脾湾曲部以降に到達している場 合、内視鏡の挿入部の中間部が腸管を押すことにより大腸の伸展が生じる。しかし、 日本国特開 2004— 358095号公報の内視鏡挿入形状解析装置は、大腸の伸展が 内視鏡の挿入部のどの位置にぉ 、て生じて 、るかを特定するための構成を有して ヽ ないことにより、前述したような、内視鏡の挿入部の中間部において生じる大腸の伸 展を検出することができない場合がある。その結果、日本国特開 2004— 358095号 公報の内視鏡挿入形状解析装置においては、ユーザが内視鏡の挿入部の挿入操 作をスムーズに行うことができな 、、 t 、う課題が生じて 、る。
[0010] また、日本国特開 2004— 358095号公報の内視鏡挿入形状解析装置は、例えば 、内視鏡の挿入部の形状に基づ 、て大腸の伸展が生じたことを警告するメッセージ を出力した後、ユーザにより該伸展を解除するような操作が行われた場合であっても 、該メッセージを一定時間表示し続けてしまうような構成を有している。これにより、 日 本国特開 2004— 358095号公報の内視鏡挿入形状解析装置は、内視鏡の挿入部 の操作を行うユーザに対し、実際に行った操作に対して提供される情報の内容が異 なるような違和感を生じさせてしまう、と 、う課題を有して 、る。
[0011] 本発明は、前述した点に鑑みてなされたものであり、内視鏡の挿入部により形成さ れるループ形状を従来に比べて高精度に検出可能な内視鏡挿入形状解析システム を提供することを目的として!ヽる。
[0012] また、本発明は、前述した点に鑑みてなされたものであり、内視鏡の挿入部の挿入 操作を従来に比べてスムーズにすることが可能な内視鏡挿入形状解析システムを提 供することを目的としている。
[0013] さらに、本発明は、前述した点に鑑みてなされたものであり、内視鏡の挿入部に対 する操作に応じて適切に情報の提供を行うことにより、ユーザの違和感を従来に比べ て軽減することができる生体観測システムを提供することを目的として ヽる。
発明の開示
課題を解決するための手段
[0014] 本発明における第 1の態様の内視鏡挿入形状解析システムは、被検体内に挿入さ れた内視鏡の挿入部における複数の箇所の座標値を取得する挿入状態取得部と、 前記複数の箇所の座標値に基づき、前記被検体内に挿入された前記挿入部のうち 、少なくとも一部の挿入形状を検出する挿入形状検出部と、前記所定の複数の箇所 の座標値及び前記挿入形状に応じて複数の座標平面を設定する座標平面設定部と 、前記挿入形状を前記複数の座標平面各々に投影する挿入形状投影部と、前記複 数の座標平面各々に投影された前記挿入形状に所定の形状が存在するか否かを判 定する挿入形状判定部と、を有することを特徴とする。
[0015] 本発明における第 2の態様の内視鏡挿入形状解析システムは、被検体内に挿入さ れた内視鏡の挿入部における複数の箇所の座標値に基づき、前記挿入部の挿入形 状を検出する挿入形状検出部と、前記挿入形状に応じた線分を生成するとともに、 前記線分上に複数の分割点を設定する挿入形状分割部と、前記挿入部の基端側に おける移動速度に基づいて前記挿入部に対して挿入操作がなされているか否かを 検出するとともに、前記複数の分割点のうち、所定の座標軸における座標値が局所 的に極大となり、かつ、前記挿入操作に伴って変動する前記移動速度の伝達率が所 定の閾値未満である一の分割点を検出する挿入停止点推定部と、を有することを特 徴とする。
[0016] 本発明における第 3の態様の内視鏡挿入形状解析システムは、被検体内に挿入さ れた内視鏡の挿入部における複数の箇所の座標値に基づき、前記挿入部の挿入形 状を検出する挿入形状検出部と、前記挿入形状に応じた線分を生成するとともに、 前記線分上に複数の分割点を設定する挿入形状分割部と、前記挿入部の基端側に おける移動速度に基づいて前記挿入部に対して挿入操作がなされているか否かを 検出するとともに、前記複数の分割点のうち、所定の座標軸における座標値が局所 的に極大となり、かつ、前記挿入操作に伴って変動する局所的な曲率半径が所定の 閾値未満となる一の分割点を検出する挿入停止点推定部と、を有することを特徴と する。
[0017] 本発明における生体観測システムは、被検体内に挿入された内視鏡の挿入部にお ける所定の複数の箇所の座標値を含む情報である、挿入状態情報を取得する挿入 状態取得部と、前記挿入状態情報に基づき、前記所定の複数の箇所の座標値各々 に応じた解析データを生成する解析処理部と、前記解析データを記憶する記憶部と 、前記記憶部に記憶された解析データのうち、最新の解析データと 1または複数の過 去の解析データとに基づいて表示期間制御値を算出するとともに、該表示期間制御 値に基づき、前記挿入部の挿入操作を支援可能な情報である、挿入補助情報を表 示部に表示させるか否かを判定する表示制御部と、を有することを特徴とする。 図面の簡単な説明
[0018] [図 1]本発明の実施形態に係る内視鏡挿入形状解析システムを具備する生体観測シ ステムの要部の構成の一例を示す図。
[図 2]図 1の内視鏡挿入形状検出装置において検出される、図 1の内視鏡の挿入部 に設けられたソースコイルの座標を示す図。
[図 3A]図 1の内視鏡挿入形状検出装置において生成される、挿入形状データの概 要を示す図。
[図 3B]図 3Aのフレームデータ各々に含まれるデータ及び情報の概要を示す図。
[図 3C]図 3Bのコイル座標データに含まれる 3次元座標データの概要を示す図。
[図 4]本発明の第 1の実施形態において、ループ形状の有無を判定する際に行われ る処理の一例を示すフローチャート。
[図 5]図 4のフローチャートの処理の概要を幾何的に示した図。
[図 6]本発明の第 2の実施形態において、挿入停止点を検出する際に行われる処理 の一例を示すフローチャート。
[図 7]本発明の第 2の実施形態において、図 6の一連の処理により検出された挿入停 止点を評価する際に行われる処理の一例を示すフローチャート。
[図 8]図 7の一連の処理の処理結果に応じてディスプレイに表示される第 1のマーカ 一の一例を示す図。
[図 9]図 7の一連の処理の処理結果に応じてディスプレイに表示される第 2のマーカ 一の一例を示す図。
[図 10]本発明の第 2の実施形態において、図 6の一連の処理により検出された挿入 停止点を評価する際に行われる処理の、図 7とは異なる例を示すフローチャート。
[図 11]図 1の画像処理装置により実現される機能ブロックの構成等を示す図。
[図 12]本発明の第 3の実施形態において、図 11に示す構成を有する各ブロックによ り行われる処理の流れを示す説明図。
[図 13]本発明の第 4の実施形態において、解析結果表示制御ブロックにより行われ る処理の流れを示す説明図。
発明を実施するための最良の形態
[0019] 以下、図面を参照して本発明の実施の形態を説明する。
[0020] (第 1の実施形態）
図 1から図 5は、本発明の第 1の実施形態に係るものである。図 1は、本発明の実施 形態に係る生体観測システムの要部の構成の一例を示す図である。図 2は、図 1の 内視鏡挿入形状検出装置において検出される、図 1の内視鏡の挿入部に設けられ たソースコイルの座標を示す図である。図 3Aは、図 1の内視鏡挿入形状検出装置に おいて生成される、挿入形状データの概要を示す図である。図 3Bは、図 3Aのフレー ムデータ各々に含まれるデータ及び情報の概要を示す図である。図 3Cは、図 3Bの コイル座標データに含まれる 3次元座標データの概要を示す図である。図 4は、第 1 の実施形態にぉ 、て、ループ形状の有無を判定する際に行われる処理の一例を示 すフローチャートである。図 5は、図 4のフローチャートの処理の概要を幾何的に示し た図である。
[0021] 生体観測システム 1は、図 1に示すように、内視鏡 6による被検体の内部の観察が 可能な内視鏡装置 2と、該被検体の内部に挿入された内視鏡 6の挿入形状を検出す るとともに、該挿入形状を挿入形状データとして出力する内視鏡挿入形状検出装置 3と、内視鏡挿入形状検出装置 3から出力される挿入形状データに応じた各種処理 を行う画像処理装置 4と、を有して構成されている。
[0022] 内視鏡装置 2は、被検体の内部に存在する大腸等に挿入可能であるとともに、該被 検体の内部の被写体を撮像し、撮像信号として出力する内視鏡 6と、該被写体を照 明するための照明光を内視鏡 6に対して供給する光源装置 7と、内視鏡 6から出力さ れる撮像信号に対して信号処理を行 ヽ、映像信号として出力するビデオプロセッサ 8 と、ビデオプロセッサ 8から出力される映像信号に基づき、内視鏡 6により撮像された 被写体の像を内視鏡観察画像として表示するモニタ 9と、を有して構成されて 、る。
[0023] 内視鏡 6は、被検体の内部に挿入可能な細長の挿入部 11と、挿入部 11の後端に 設けられた操作部 12とを有している。挿入部 11の内部には、一端側が挿入部 11の 先端部 14に配置されているとともに、他端側が光源装置 7に接続可能である、ライト ガイド 13が挿通されている。これにより、光源装置 7から供給される照明光は、ライト ガイド 13を介し、挿入部 11の先端部 14に設けられた図示しない照明窓力も出射さ れる。
[0024] なお、挿入部 11の先端部 14の後端側には、湾曲自在に構成された図示しない湾 曲部が設られている。そして、前記図示しない湾曲部は、操作部 12に設けられた図 示しない湾曲操作ノブ等の操作により湾曲させることができる。
[0025] 先端部 14には、図示しない照明窓に隣接して設けられた、図示しない観察窓に対 物レンズ 15が取り付けられている。また、対物レンズ 15の結像位置には、電荷結合 素子 (CCDと略記)等力もなる撮像素子 16の撮像面が配置されて 、る。
[0026] 撮像素子 16は、信号線を介してビデオプロセッサ 8と接続されており、対物レンズ 1 5により結像された被写体の像を光電変換し、撮像信号としてビデオプロセッサ 8へ 出力する。
[0027] ビデオプロセッサ 8は、撮像素子 16から出力される撮像信号に基づいて映像信号 を生成するための信号処理を行う。そして、ビデオプロセッサ 8は、前記信号処理に より生成した映像信号である、例えば RGB信号をモニタ 9に出力する。そして、モニタ 9の表示面には、撮像素子 16において撮像された被写体の像が内視鏡観察画像と して表示される。 [0028] なお、光源装置 7は、 R (赤）、 G (緑)及び B (青)からなる面順次の照明光を供給す る場合には、各々の光が供給される期間に同期した同期信号をビデオプロセッサ 8 に出力するものとする。このとき、ビデオプロセッサ 8は、光源装置 7から出力される前 記同期信号に同期して信号処理を行うものとする。
[0029] 内視鏡 6の操作部 12には、前述した図示しない湾曲操作ノブに加え、レリーズ指示 等の指示を行うことが可能な図示しな 、スィッチが設けられて 、る。
[0030] また、内視鏡 6の挿入部 11の内部には、長手方向に所定の間隔を有して複数のソ ースコイル C、 C、 · ··、 C (C〜C と略記）が配置されている。そして、ソースコ
0 1 M- 1 0 M- 1
ィル C〜C は、内視鏡挿入形状検出装置 3から出力される駆動信号に応じ、各
0 M- 1
々周囲に磁界を発生する。
[0031] そして、ソースコイル C〜C において発せられた磁界は、内視鏡挿入形状検出
0 M- 1
装置 3が具備する、複数のセンスコイルが内蔵されたセンスコイルユニット 19により検 出される。
[0032] 内視鏡挿入形状検出装置 3は、内視鏡 6に設けられたソースコイル C〜C にお
0 M- 1
V、て発せられた磁界を検出するセンスコイルユニット 19と、センスコイルユニット 19に よって検出された磁界の検出信号に基づいて挿入部 11の形状 (挿入形状)を推定 する形状処理装置 21と、形状処理装置 21によって推定された挿入形状を表示する ディスプレイ 22とを有して構成されて 、る。
[0033] 挿入状態取得部の一部を構成するセンスコイルユニット 19は、患者が横たわる検 查ベッドの周辺部などに配置され、ソースコイル C〜C による磁界を検出し、検出
0 M- 1
した該磁界を検出信号として形状処理装置 21に出力する。
[0034] 挿入状態取得部の一部を構成するとともに、挿入形状検出部の機能を有する形状 処理装置 21は、検出信号に基づいて、ソースコイル C〜C の各位置座標データ
0 M- 1
の算出を行うとともに、算出した該位置座標データに基づいて挿入部 11の挿入形状 を推定する。また、形状処理装置 21は、推定した挿入部 11の挿入形状の映像信号 を生成するとともに、生成した映像信号である、例えば RGB信号をディスプレイ 22に 対して出力する。これにより、ディスプレイ 22の表示画面には、挿入部 11の挿入形状 が画像表示される。さらに、形状処理装置 21は、内視鏡 6による観察が行われている 最中に、挿入部 11の挿入形状を示す 3次元座標情報、及び形状表示属性等の挿入 形状データを連続的に生成し、通信ポート 21aを介して画像処理装置 4に出力する。
[0035] なお、本実施形態の形状処理装置 21は、例えば、レリーズスィッチが操作された際 の挿入形状データのみを画像処理装置 4に出力することができるものとする。
[0036] また、本実施形態の内視鏡挿入形状検出装置 3は、形状処理装置 21による形状 検出処理により生成された後、ディスプレイ 22に表示される挿入形状の画像の回転 角及び拡大縮小率等の形状表示属性を、図示しな!、操作パネル等にぉ 、て指示及 び入力することにより、変更することができるものとする。
[0037] なお、ビデオプロセッサ 8は、例えば、患者の氏名、生年月日、性別、年齢、患者コ ード及び検査日時等の情報である検査情報を入力するための図示しない操作パネ ルを有している。そして、前記図示しない操作パネルにおいて入力された検査情報 は、通信ポート 8aを介して画像処理装置 4にも送信される。
[0038] 画像処理装置 4は、内視鏡挿入形状検出装置 3から出力される挿入形状データと、 ビデオプロセッサ 8から出力される検査情報とに基づき、ユーザの挿入部 11の挿入 操作を補助または支援可能な挿入補助情報を生成するための解析処理を行うパー ソナルコンピュータ（以下、単に PCと称する） 25と、 PC25に対する各種指示及び入 力を行うことが可能なマウス 26及びキーボード 27と、 PC25の解析処理により生成さ れた挿入補助情報等を再生または表示可能なディスプレイ 28とを有している。
[0039] PC25は、内視鏡挿入形状検出装置 3の形状処理装置 21の通信ポート 21aから出 力される挿入形状データを取り込む通信ポート 25aと、前記内視鏡装置 2のビデオプ 口セッサ 8の通信ポート 8aから出力される検査情報を取り込む通信ポート 25bと、ビデ ォプロセッサ 8で生成された動画像の映像信号を所定の圧縮画像データに変換する 動画像入力ボード 25cと、各種処理及び制御を行う CPU31と、 CPU31〖こおける前 記画像処理に用いられる処理プログラムが格納された処理プログラム格納部 32と、 C PU31により処理されたデータ等を一時的に格納するメモリ 33と、 CPU31により処理 された画像データ等を記憶するハードディスク（以下、単に HDDと称する） 34とを有 する。そして、 PC25が有する各部は、ノ スライン 35により相互に接続されている。
[0040] 画像処理装置 4の動画像入力ボード 25cには、ビデオプロセッサ 8で生成された動 画像の映像信号として、例えば YZC信号が入力される。そして、動画像入力ボード
25cは、前記動画像の映像信号を、例えば、 MJPEG形式等の所定の圧縮形式を用 いて圧縮動画像データに変換するとともに、該圧縮動画像データを HDD34等に対 して出力する。
[0041] なお、通信ポート 25aにお!/ヽて取り込まれた挿入形状データ、及び、通信ポート 25 bにおいて取り込まれた検査情報は、例えば、 HDD34に対して出力されることにより
、 PC25内において保存可能である。
[0042] また、本実施形態の内視鏡挿入形状解析システムは、センスコイルユニット 19と、 形状処理装置 21と、 CPU31とを要部として有して構成されているものとする。
[0043] ここで、内視鏡挿入形状検出装置 3が挿入形状データを生成する際に行う処理に ついて説明を行う。
内視鏡挿入形状検出装置 3の形状処理装置 21は、内視鏡 6の撮像素子 16から 1 フレーム分の撮像信号が出力されるタイミングに応じ、内視鏡 6の挿入部 11に内蔵さ れた M個のソースコイル C〜C の 3次元座標を含む挿入形状データを生成する。
0 M- 1
また、形状処理装置 21は、前記挿入形状データを画像処理装置 4へ出力するととも に、前記挿入形状データに基づいて挿入部 11の挿入形状の画像を生成し、該挿入 形状の画像をディスプレイ 22へ出力する。
[0044] なお、第 jフレーム（ただし、 j = 0、 1、 2· ··)における、挿入部 11の先端側力も i番目（ ただし、 i=0、 1、 · ··、 M— 1)のソースコイル Ciの 3次元座標は、図 2のように（X.j, Y.j
, Zj)として示されるものとする。
[0045] この内視鏡挿入形状検出装置 3で検出されたソースコイル C〜C の座標系の
0 M- 1
データを含む挿入形状データは、図 3Aに示すように、各フレームに関するフレーム データ（つまり、第 0フレームデータ、第 1フレームデータ、 ···）として構成されており、 画像処理装置 4に順次送信される。そして、挿入状態情報としての各フレームデータ は、図 3Bに示すように、挿入形状データの作成時刻、表示属性、付属情報及びソー スコイルの 3次元座標データ（コイル座標データ）等のデータを有して構成されて!、る
[0046] また、コイル座標データは、図 3Cに示すように、挿入部 11の先端側から基端側 (操 作部 12側）に順次配置されたソースコイル C〜C の 3次元座標をそれぞれ示す
0 M- 1
データである。なお、内視鏡挿入形状検出装置 3による検出範囲外のソースコイルの 3次元座標は、例えば、検出範囲外であることが分力るような所定の座標値 (例えば（ 0, 0, 0) )として設定されるものとする。
[0047] 次に、本実施形態における生体観測システム 1の作用につ 、て説明を行う。
[0048] ユーザにより内視鏡 6の挿入部 11が被検体の肛門側から体腔内へ挿入されると、 挿入部 11の先端部 14に設けられた撮像素子 16により、該体腔内に存在する被写 体が撮像される。撮像素子 16により撮像された被写体の像は、撮像信号として出力 され、ビデオプロセッサ 8により信号処理が施されて映像信号に変換された後、モ- タ 9に対して出力される。これにより、モニタ 9には、撮像素子 16により撮像された被 写体の像が内視鏡観察画像として表示される。
[0049] 内視鏡挿入形状検出装置 3は、ソースコイル C〜C 各々から発せられた磁界を
0 M- 1
センスコイルユニット 19において検出するとともに、該磁界に応じて出力される検出 信号に基づく挿入部 11の挿入形状を形状処理装置 21において推定する。これによ り、ディスプレイ 22には、形状処理装置 21において推定された挿入部 11の挿入形 状が表示される。
[0050] また、内視鏡挿入形状検出装置 3の形状処理装置 21は、各ソースコイルの位置情 報を含むフレームデータを、通信ポート 21aを介して画像処理装置 4の PC25が有す る CPU31へ順次出力する。
[0051] CPU31は、内視鏡挿入形状検出装置 3から出力される挿入形状データに基づき、 被検体内に挿入された挿入部 11がループ形状を形成して ヽるカゝ否かを判定するた めの処理として、図 4のフローチャートに示す処理を行う。なお、図 5は、図 4のフロー チャートの処理の概要を幾何的に示した図である。
[0052] まず、 CPU31は、内視鏡挿入形状検出装置 3から出力される挿入形状データが有 する、ソースコイル C〜C の 3次元座標のデータに基づき、いずれか 2つのソース
0 M- 1
コイル間の距離 Lを算出する（図 4のステップ S1)とともに、算出した該距離 Lが閾値 T 未満であるか否かを検出する。そして、 CPU31は、距離 Lが閾値 T以上であることを 検出した場合（図 4のステップ S2)、後述する図 4のステップ S3の処理を行う。また、 C PU31は、距離 Lが閾値 T以上であることを検出した場合（図 4のステップ S 2)、さらに 、全てのソースコイル c〜C の組み合わせについて、 2つのソースコイル間の距
0 M- 1
離 Lを算出した力否かを検出する。なお、本実施形態において、 2つのソースコイル 間の距離 Lは、一方のソースコイル力 他方のソースコイルまでの直線距離を示すも のとする。
[0053] そして、 CPU31は、全てのソースコイル C〜C の組み合わせについて、 2つの
0 M- 1
ソースコイル間の距離 Lを算出したことを検出した場合（図 4のステップ S16)、一連の 処理を終了する。また、 CPU31は、 2つのソースコイル間の距離 Lを算出していない ソースコイル C〜C の組み合わせがあることを検出した場合（図 4のステップ S16)
0 M- 1
、図 4のステップ S1以降の処理を再度行う。
[0054] CPU31は、図 4のステップ S2において距離 Lが閾値 T未満である 2つのソースコィ ルを検出すると、被検体内に挿入された揷入部 11における該 2つのソースコイル間 の挿入形状に基づ!、て生成される線分である線分 Rを分割することにより、該線分 R における N個の分割点の座標値を算出する（図 4のステップ S3)。なお、前記線分 R は、内視鏡挿入形状検出装置 3により推定された挿入部 11の挿入形状の一部を用 いて生成されるものであっても良いし、また、ソースコイル C〜C の 3次元座標の
0 M- 1
データに対して Catmull— Rom曲線の方程式を適用することにより生成されるもの であっても良い。
[0055] その後、 CPU31は、図 4のステップ S3の処理において生成した N個の分割点に基 づき、線分 Rが存在する平面 F1を設定するとともに、該平面 F1における法線ベクトル Dを算出する（図 4のステップ S4)。
[0056] 具体的には、座標平面設定部としての CPU31は、線分 Rにおける N個の分割点の 座標値（Vlx, Vly, Viz) , (V2x, V2y, V2z)、 · ··、（VNx, VNy, VNz)各々を一 般的な平面の方程式に代入することにより、下記数式（1)を平面 F1の方程式として 設定する。
( 1 )
Figure imgf000013_0001
VNzノ V\x V2x . . VNx、
A = V\y V2y . · . VNy • · · ( 2 )
KV\z Viz .. . VNz^ なお、数式（1)における左辺の行列は、 N行 1列力もなる行列であるとする。また、 数式（2)における行列 Aは、数式（1)の右辺 2番目の行列と同一の行列であり、 N行 3列からなる行列であるとする
そして、 CPU31は、上記数式（2)の行列 Aにおける擬似逆行列 A+の算出、及び、 上記数式（1)における LU分解の適用により、法線ベクトル D (a, b, c)の値を算出す る。
[0058] 次に、 CPU31は、法線ベクトル D (a, b, c)を平面 Flに対して角度 Θ (例えば 10 度)傾けたベクトル a 0を算出する（図 4のステップ S5)とともに、該ベクトル a 0を法線 ベクトルとする平面 AOを算出する（図 4のステップ S6)。
[0059] さらに、 CPU31は、変数 i (i= l , 2, · · · , d)を 1に設定した（図 4のステップ S7)後、 平面 F1に平行かつベクトル ( α Ο -Ν)が存在する平面上にお!、て、ベクトル α ί- 1 を所定の角度 β (例えば 45度）回転させたベクトル oc iを算出する（図 4のステップ S8 )とともに、該ベクトル a iを法線ベクトルとする平面 Aiを算出する（図 4のステップ S9)
[0060] そして、座標平面設定部としての CPU31は、変数 i= dになるまで、すなわち、ベタ トル a 1から a d各々を法線ベクトルとして有する、平面 Al〜Adを算出するまで、前 述した図 4のステップ S8及びステップ S9の処理を繰り返し行う（図 4のステップ S 10)
[0061] 挿入形状投影部としての CPU31は、図 4のステップ S3及びステップ S4の処理によ り算出した平面 F1と、図 4のステップ S5及びステップ S6の処理により算出した平面 A 0と、図 4のステップ S7からステップ S 10までの処理を繰り返すことにより算出した平 面 Al〜Adとを合わせた (d+ 2)個の平面各々に対し、線分 Rが有する各 3次元座標 値を投影する（図 4のステップ S 11)。
[0062] その後、挿入形状判定部としての CPU31は、（d+ 2)個の平面各々に投影された 線分 Rの各 3次元座標値に基づき、該 (d+ 2)個の平面各々におけるループ形状の 判定処理を行う（図 4のステップ S 12)。具体的には、 CPU31は、例えば、（d+ 2)個 の平面各々に投影された線分 Rの各 3次元座標値から、 P型フーリエ記述子に基づく パワースペクトルを算出するとともに、算出した該パワースペクトルと、 HDD34等に 予め書き込まれた、 1または複数のループ形状のパターンデータ（教師データ）に応 じた所定の 1または複数のパワースペクトルとを比較し、所定の条件を満たす場合に 線分 Rがループ形状を形成していると判定する。なお、前述した、 P型フーリエ記述 子及びパワースペクトルを用いて一の線分がループ形状を形成して 、る力否かを判 定する方法は、特開 2004— 358095号公報に記載されているため、ここでは詳細な 説明を省略する。
[0063] 挿入形状判定部としての CPU31は、図 4のステップ S12におけるループ判定に基 づき、（d+ 2)個の平面のうち、いずれか一の平面においてループ形状の存在が検 出されなかった（図 4のステップ S 13)場合、線分 Rがループ形状を形成して！/、な!/、と 判定し（図 4のステップ S14)、これまでの処理対象の 2つのソースコイルの組み合わ せとは異なる、他の 2つのソースコイルの組み合わせにおいて、図 4のステップ S1以 降の処理を再度行う。また、挿入形状判定部としての CPU31は、図 4のステップ S 12 におけるループ判定に基づき、（d+ 2)個の平面のうち、全ての平面においてループ 形状の存在が検出された（図 4のステップ S13)場合、線分 Rがループ形状を形成し ていると判定し（図 4のステップ S15)、一連の処理を終了する。
[0064] 以上に述べたように、本実施形態の内視鏡挿入形状解析システムを具備する生体 観測システム 1は、挿入部 11の挿入形状が投影される座標平面を、該挿入形状に応 じた複数の座標平面に設定しつつ、該挿入形状がループ形状を形成して!/ヽるか否 かを判定可能な構成を有している。その結果、本実施形態の内視鏡挿入形状解析 システムを具備する生体観測システム 1は、内視鏡 6の挿入部 11により形成されるル ープ形状を従来に比べて高精度に検出することができる。
[0065] (第 2の実施形態）
図 6から図 10は、本発明の第 2の実施形態に係るものである。図 6は、本発明の第 2 の実施形態において、挿入停止点を検出する際に行われる処理の一例を示すフロ 一チャートである。また、図 7は、本発明の第 2の実施形態において、図 6の一連の処 理により検出された挿入停止点を評価する際に行われる処理の一例を示すフローチ ヤートである。図 8は、図 7の一連の処理の処理結果に応じてディスプレイに表示され る第 1のマーカーの一例を示す図である。図 9は、図 7の一連の処理の処理結果に応 じてディスプレイに表示される第 2のマーカーの一例を示す図である。図 10は、本発 明の第 2の実施形態において、図 6の一連の処理により検出された挿入停止点を評 価する際に行われる処理の、図 7とは異なる例を示すフローチャートである。
[0066] なお、第 2の実施形態の生体観測システムは、第 1の実施形態にお!、て説明した生 体観測システム 1と略同様の構成を有するものである。そのため、本実施形態におい ては、第 1の実施形態の生体観測システム 1と同一の構成または作用を有する部分 についての説明を省略するとともに、第 1の実施形態の生体観測システム 1と異なる 構成または作用を有する部分についての説明を主に行うものとする。また、本実施形 態の内視鏡挿入形状解析システムは、形状処理装置 21と、 CPU31とを要部として 有して構成されて!、るものとする。
[0067] 次に、本実施形態における生体観測システム 1の作用につ 、て説明を行う。
[0068] ユーザにより内視鏡 6の挿入部 11が被検体の肛門側力 体腔内へ挿入されると、 挿入部 11の先端部 14に設けられた撮像素子 16により、該体腔内に存在する被写 体が撮像される。撮像素子 16により撮像された被写体の像は、撮像信号として出力 され、ビデオプロセッサ 8により信号処理が施されて映像信号に変換された後、モ- タ 9に対して出力される。これにより、モニタ 9には、撮像素子 16により撮像された被 写体の像が内視鏡観察画像として表示される。
[0069] 内視鏡挿入形状検出装置 3は、ソースコイル C
0〜C 各々から発せられた磁界を M- 1
センスコイルユニット 19において検出するとともに、該磁界に応じて出力される検出 信号に基づく挿入部 11の挿入形状を形状処理装置 21において推定する。これによ り、ディスプレイ 22には、形状処理装置 21において推定された挿入部 11の挿入形 状が表示される。
[0070] また、内視鏡挿入形状検出装置 3の形状処理装置 21は、各ソースコイルの位置情 報を含むフレームデータを、通信ポート 21aを介して画像処理装置 4の PC25が有す る CPU31へ順次出力する。
[0071] CPU31は、内視鏡挿入形状検出装置 3から順次出力されるフレームデータに基 づき、被検体内に挿入された挿入部 11のうち、ユーザによる挿入部 11の挿入操作を 停止させる要因が存在する箇所である、挿入停止点を検出するための処理として、 図 6のフローチャートに示す挿入停止点検出処理を行う。
[0072] まず、挿入形状分割部としての CPU31は、内視鏡挿入形状検出装置 3から順次 出力されるフレームデータが有するコイル座標データに対し、例えば、 Catmull-R om曲線の方程式を適用することにより、被検体内に挿入された挿入部 11にお ヽて 最も先端側に配置されたソースコイル (ソースコイル C )から、被検体内に挿入された
0
挿入部 11にお 、て最も基端側に配置されたソースコイルまでの各ソースコイルにより 形成される、挿入部 11の挿入状態に応じた線分を算出するとともに、該線分を分割 する（図 6のステップ S101)。なお、 CPU31は、前述した図 6のステップ S101の処理 において、挿入部 11の挿入状態に応じた線分を、例えば、 n個の分割点 D〜Dに より分割するものとする。また、本実施形態において、各分割点は、先端側から基端 側にかけて、 D、 D、 · ··、 D 、 Dと設定されるものであるとする。また、各分割点は
1 2 n-1 n
、隣接する分割点間の距離が所定の値 dになるように、等間隔に分割設定されるもの であるとする。
[0073] また、 CPU31は、 n個の分割点 D〜Dにおける移動速度 V〜Vを、過去のフレ ームデータ力 求めた分割点座標値と、現在のフレームデータから求めた分割点座 標値との差分により算出する。さらに、 CPU31は、 n個の分割点 D〜Dにおける挿 入軸方向を Catmull— Rom曲線の 1次微分値により算出するとともに、 n個の分割点 D〜Dにおける挿入軸方向に移動速度 V〜Vを射影することにより、 n個の分割点 D〜Dにおける挿入軸方向の移動速度 V 〜V を算出する。
1 n al an
[0074] 次に、 CPU31は、分割点 D〜Dのうち、被検体内に挿入された揷入部 11におい て基端側に存在する n番目の分割点 Dの挿入軸方向の移動速度 V を前述した演
n an
算を行うことにより取得し（図 6のステップ S 102)、その後さらに、該移動速度 V が閾
an 値 T1 (T1 >0)よりも大きいか否かを検出する。そして、 CPU31は、移動速度 V 力 s
an 閾値 T1よりも大き 、ことを検出した場合（図 6のステップ S 103)、挿入部 11に対して 挿入操作がなされていると判定し、後述する図 6のステップ S104の処理を引き続き 行う。また、 CPU31は、移動速度 V が閾値 T1以下であることを検出した場合（図 6
an
のステップ S 103)、挿入部 11に対して挿入操作がなされていないと判定し、図 6に示 す挿入停止点検出処理を終了する。
[0075] なお、本実施形態にぉ 、て、 n番目の分割点 Dの挿入軸方向の移動速度 V は、
n an 時間によらず一定であるとする。
[0076] CPU31は、図 6のステップ S103の処理において、移動速度 V が閾値 T1よりも大
an
きいことを検出した後、分割点 D力も先端部 14側に隣接する分割点 D を分割点 Dとして設定する（図 6のステップ S104)。
[0077] さらに、 CPU31は、例えば、ビデオプロセッサ 8、メモリ 33及び HDD34のうちの少 なくとも 、ずれか一に記憶されて 、る内視鏡 6の機種情報を読み込むとともに、該機 種情報に基づき、図 6のステップ S 104の処理において設定された分割点 Dが挿入 部 11の（図示しない）湾曲部に存在するか否かを検出する。そして、 CPU31は、分 割点 Dが挿入部 11の（図示しない）湾曲部に存在することを検出した場合（図 6のス テツプ S105)、分割点 Dがユーザの操作により湾曲可能な位置にあると判定し、図 6 に示す挿入停止点検出処理を終了する。また、 CPU31は、分割点 Dが挿入部 11 の（図示しない）湾曲部に存在しないことを検出した場合（図 6のステップ S105)、図 6のステップ S 106の処理を引き続き行う。
[0078] CPU31は、図 6のステップ S105の処理において、分割点 Dが揷入部 11の（図示 しない）湾曲部に存在しないことを検出すると、その後さらに、分割点 Dの挿入軸方 向の移動速度 V を取得し（図 6のステップ S 106)、該移動速度 V が閾値 T2未満で
at at
ある力否かを検出する。そして、 CPU31は、移動速度 V が閾値 T2未満であることを
at
検出した場合（図 6のステップ S107)、ユーザによる挿入部 11の挿入操作を停止さ せる要因が分割点 Dに存在する可能性があると判定し、後述する図 6のステップ S1 09の処理を引き続き行う。また、 CPU31は、移動速度 V が閾値 T2以上であること
at
を検出した場合（図 6のステップ S107)、分割点 D力も先端部 14側に隣接する分割 点 D を設定する（図 6のステップ S108)とともに、該分割点 D に対し、図 6のステ ップ S 105からステップ S 107までの処理を再度行う。 [0079] CPU31は、図 6のステップ S107の処理において、移動速度 V が閾値 T2未満で
at
あることを検出した後、分割点 Dから先端部 14側に隣接する分割点 D を分割点 D として設定する（図 6のステップ S 109)。
k
[0080] さらに、 CPU31は、前述した内視鏡 6の機種情報に基づき、図 6のステップ S109 の処理にぉ 、て設定された分割点 Dが挿入部 11の（図示しな!、）湾曲部に存在す
k
るカゝ否かを検出する。そして、 CPU31は、分割点 Dが挿入部 11の（図示しない）湾
k
曲部に存在することを検出した場合（図 6のステップ SI 10)、分割点 Dがユーザの操
k
作により湾曲可能な位置にあると判定し、図 6に示す挿入停止点検出処理を終了す る。また、 CPU31は、分割点 Dが挿入部 11の（図示しない)湾曲部に存在しないこ
k
とを検出した場合（図 6のステップ S 110)、図 6のステップ SI 11の処理を引き続き行う
[0081] 挿入停止点推定部としての CPU31は、図 6のステップ S 110の処理において、分 割点 Dが挿入部 11の（図示しない)湾曲部に存在しないことを検出すると、その後さ k
らに、分割点 Dの y座標が極大値をとる力否かを検出する（図 6のステップ S111)。な
k
お、本実施形態における y軸は、体腔内手前側（例えば肛門側）から奥側（例えば胃 側）にかけての座標軸として設定されているものであるとする。
具体的には、 CPU31は、分割点 D 、D 、D、D 及び D の、分割点 Dの
k- 2 k- 1 k k+ 1 k+2 k 近傍に位置する 5つの分割点の y座標の値を各々比較し、該 5つの分割点の y座標 のうち、分割点 Dの y座標の値が最大値であることを検出した場合に、分割点 Dの y
k k 座標が極大値をとると判定する。
[0082] CPU31は、分割点 Dの y座標が極大値をとると判定した場合（図 6のステップ S11
k
1)、ユーザによる挿入部 11の挿入操作を停止させる要因が分割点 Dに存在すると
k
判定し、該分割点 Dを挿入停止点として検出した（図 6のステップ S113)後、図 6に
k
示す挿入停止点検出処理を終了する。また、 CPU31は、分割点 Dの y座標が極大
k
値をとらないと判定した場合（図 6のステップ Si l l)、分割点 D力も先端部 14側に隣
k
接する分割点 D を設定する（図 6のステップ S112)とともに、該分割点 D に対し
k- l k- 1
、図 6のステップ S 110及びステップ SI 11の処理を再度行う。
[0083] その後、 CPU31は、図 6の挿入停止点検出処理において用いたフレームデータよ りも時系列的に後（例えば 1から数フレーム後）に存在する他のフレームデータに基 づき、図 6の挿入停止点検出処理により検出した挿入停止点 Dに対する評価を行う
k
ための処理として、図 7のフローチャートに示す挿入停止点評価処理を行う。
[0084] CPU31は、前記他のフレームデータに基づき、被検体内に挿入された揷入部 11 にお ヽて基端側に存在する n番目の分割点 Dの挿入軸方向の移動速度 V を取得
n an するとともに（図 7のステップ S121)、挿入停止点 Dの挿入軸方向の移動速度 V を
k ak 取得する（図 7のステップ S 122)。
[0085] また、 CPU31は、前記他のフレームデータに基づいて挿入停止点 Dにおける移
k
動速度 Vを取得するとともに、挿入停止点 Dにおける、挿入軸方向に垂直な方向の
k k
移動速度 V を下記数式（3)を用いて算出する（図 7のステップ S 123)。
rk
[0086]
k = - V · · · ( 3 ) その後、 CPU31は、移動速度 V が閾値 T1よりも大きいか否かを検出する。そして
an
、 CPU31は、移動速度 V が閾値 T1よりも大きいことを検出した場合（図 7のステップ
an
SI 24)、挿入部 11に対して挿入操作がなされていると判定し、後述する図 7のステツ プ S125の処理を引き続き行う。また、 CPU31は、移動速度 V が閾値 T1以下であ
an
ることを検出した場合（図 7のステップ S124)、挿入部 11の操作が行われていない状 態、または、挿入部 11に対して抜去操作がなされている状態のいずれかであると判 定し、図 7の一連の処理を終了する。
[0087] さらに、挿入停止点推定部としての CPU31は、移動速度 V に対する移動速度 V
an ak の割合、すなわち、 V /V の値が閾値 T3未満であるか否かを検出する。そして、 C
ak an
PU31は、挿入部 11が挿入される際の移動速度 V の伝達率を示す値である、 V
an ak
/V の値が閾値 T3未満であることを検出した場合（図 7のステップ S125)、挿入停 an
止点 Dに対する評価を行うために、後述する図 7のステップ S126の処理を引き続き k
行う。また、 CPU31は、 V /V の値が閾値 T3以上であることを検出した場合（図 7
ak an
のステップ SI 25)、挿入停止点 Dにおける大腸の伸展が解消されたと判定し、図 7
k
の一連の処理を終了する。
[0088] CPU31は、移動速度 V に対する移動速度 V の割合、すなわち、 V /V の値
an rk rk an が閾値 T4未満である力否かを検出する。そして、告知部としての CPU31は、 V /
rk
V の値が閾値 T4未満であることを検出した場合（図 7のステップ S126)、挿入停止 an
点 Dにおいて大腸の伸展が生じていると判定するとともに、該挿入停止点 Dの位置 k k を示す告知情報としての第 1のマーカーを、例えば図 8に示すような状態として、挿入 部 11の挿入形状に重畳させつつディスプレイ 28に表示させる制御を行った後（図 7 のステップ S127)、図 7の一連の処理を終了する。また、告知部としての CPU31は、 V /V の値が閾値 T4以上であることを検出した場合（図 7のステップ S126)、挿入 rk an
停止点 Dにおいて大腸が伸展する直前の状態であると判定するとともに、該挿入停
k
止点 Dの位置を示す告知情報としての第 2のマーカーを、例えば図 9に示すような状 k
態として、挿入部 11の挿入形状に重畳させつつディスプレイ 28に表示させる制御を 行った後（図 7のステップ S128)、図 7の一連の処理を終了する。
[0089] なお、 CPU31は、図 6のステップ S103、図 7のステップ S124及び図 7のステップ S 125の各処理において、挿入部 11の操作が行われていない状態、挿入部 11に対し て抜去操作がなされている状態、及び、挿入停止点 D
kにおける大腸の伸展が解消さ れた状態のうちの 、ずれかの状態であると判定した場合、ディスプレイ 28に表示され ている各マーカーを非表示にする処理を併せて行うものとする。
[0090] また、 CPU31は、大腸の伸展が生じていることにより患者に大きな負荷力かかって いることを示すために、例えば、図 8及び図 9に示すように、挿入部 11により大腸の伸 展が生じている位置を示す第 1のマーカーの形状及び (または)サイズを、挿入部 11 により大腸の伸展が生じる直前の位置を示す第 2のマーカーの形状及び (または)サ ィズに比べて目立つようにディスプレイ 28に表示させるものであるとする。
[0091] さらに、本実施形態の図 6に示す挿入停止点検出処理、及び、図 7に示す挿入停 止点評価処理は、この順番に行われるものに限らず、逆の順番に行われるものであ つても良い。
[0092] 以上に述べたように、本実施形態の内視鏡挿入形状解析システムを具備する生体 観測システム 1は、図 6及び図 7に示す各処理を行うことにより、大腸の伸展が生じて いる位置を検出するとともにユーザに示すことができ、その結果、内視鏡 6の挿入部 1 1の挿入操作を従来に比べてスムーズにすることができる。 [0093] なお、 CPU31は、挿入停止点 Dにおける挿入軸方向に垂直な方向の移動速度 V
k
に基づ!/、て挿入部 11により大腸の伸展が生じて 、る位置を検出するものに限らず rk
、例えば、該挿入停止点 Dにおける局所的な曲率半径に基づいて挿入部 11により
k
大腸の伸展が生じている位置を検出するものであっても良い。その場合、 CPU31は 、図 6の挿入停止点検出処理において用いたフレームデータよりも時系列的に後（例 えば 1から数フレーム後）に存在する他のフレームデータに基づき、図 6の挿入停止 点検出処理により検出した挿入停止点 Dに対する評価を行うための処理として、（図
k
7の挿入停止点評価処理に代わり、）図 10のフローチャートに示す挿入停止点評価 処理を行う。
[0094] ここで、図 10の挿入停止点評価処理の詳細についての説明を行う。
[0095] CPU31は、前記他のフレームデータに基づき、被検体内に挿入された揷入部 11 にお ヽて基端側に存在する n番目の分割点 Dの挿入軸方向の移動速度 V を取得
n an するとともに（図 10のステップ S131)、挿入停止点 Dにおける局所的な曲率半径 R
k k を算出する（図 10のステップ S132)。なお、挿入停止点 Dにおける局所的な曲率半
k
径 Rは、例えば、 Catmull— Rom曲線の方程式の 1次微分値及び 2次微分値を用 k
、ることにより算出することができる。
[0096] その後、 CPU31は、移動速度 V が閾値 T1よりも大きいか否かを検出する。そして
an
、 CPU31は、移動速度 V が閾値 T1よりも大きいことを検出した場合（図 10のステツ
an
プ S133)、挿入部 11に対して挿入操作がなされていると判定し、後述する図 10のス テツプ S 134の処理を引き続き行う。また、 CPU31は、移動速度 V が閾値 T1以下
an
であることを検出した場合（図 10のステップ S133)、挿入部 11の操作が行われてい な 、状態、または、挿入部 11に対して抜去操作がなされて 、る状態の 、ずれかであ ると判定し、図 10の一連の処理を終了する。
[0097] さらに、 CPU31は、挿入停止点 Dにおける局所的な曲率半径 Rが閾値 T5未満で
k k
ある力否かを検出する。そして、 CPU31は、挿入停止点 Dにおける局所的な曲率
k
半径 Rが閾値 T5未満であることを検出した場合（図 10のステップ S134)、後述する k
図 10のステップ S135の処理を引き続き行う。また、 CPU31は、挿入停止点 Dにお
k ける局所的な曲率半径 Rが閾値 T5以上であることを検出した場合（図 10のステップ S134)、挿入停止点 Dにおける大腸の伸展が解消されたと判定し、図 10の一連の k
処理を終了する。
[0098] その後、告知部としての CPU31は、挿入停止点 Dにおける局所的な曲率半径 R k k が閾値 T6 (T6く T5)未満である力否かを検出する。そして、 CPU31は、挿入停止 点 Dにおける局所的な曲率半径 Rが閾値 Τ6未満であることを検出した場合（図 10 k k
のステップ SI 35)、挿入停止点 Dにおいて大腸の伸展が生じていると判定するとと k
もに、該挿入停止点 Dの位置を示す告知情報としての第 1のマーカーをディスプレイ k
28に表示させる制御を行った後（図 10のステップ S136)、図 10の一連の処理を終 了する。また、告知部としての CPU31は、挿入停止点 Dにおける局所的な曲率半 k
径 Rが閾値 T6以上であることを検出した場合（図 10のステップ S135)、挿入停止点 k
Dにおいて大腸が伸展する直前の状態であると判定するとともに、該挿入停止点 D k k の位置を示す告知情報としての第 2のマーカーをディスプレイ 28に表示させる制御 を行った後（図 10のステップ S1037)、図 10の一連の処理を終了する。
[0099] なお、 CPU31は、図 10のステップ S133及び図 10のステップ S134の各処理にお V、て、挿入部 11の操作が行われて!/、な!/、状態、挿入部 11に対して抜去操作がなさ れている状態、及び、挿入停止点 Dにおける大腸の伸展が解消された状態のうちの k
いずれかの状態であると判定した場合、ディスプレイ 28に表示されている各マーカー を非表示にする処理を併せて行うものとする。
[0100] また、 CPU31は、大腸の伸展が生じていることにより患者に大きな負荷力かかって いることを示すために、例えば、図 8に示すように、挿入部 11により大腸の伸展が生 じて ヽる位置を示す第 1のマーカーの形状及び (または）サイズを、挿入部 11により 大腸の伸展が生じる直前の位置を示す第 2のマーカーの形状及び (または)サイズに 比べて目立つようにディスプレイ 28に表示させるものであるとする。
[0101] さらに、本実施形態の図 6に示す挿入停止点検出処理、及び、図 10に示す挿入停 止点評価処理は、この順番に行われるものに限らず、逆の順番に行われるものであ つても良い。
[0102] 以上に述べたように、本実施形態の内視鏡挿入形状解析システムを具備する生体 観測システム 1は、図 6及び図 10に示す各処理を行うことにより、大腸の伸展が生じ ている位置を検出するとともにユーザに示すことができ、その結果、内視鏡 6の挿入 部 11の挿入操作を従来に比べてスムーズにすることができる。
[0103] なお、前述した第 1のマーカー及び第 2のマーカーは、図形によるものに限らず、例 えば、ユーザに大腸の伸展を告知可能な文字列またはグラフ等によるものであっても 良い。また、前述した第 1のマーカー及び第 2のマーカーは、大腸の伸展状態に伴つ て表示状態が段階的に変化するようなものとして構成されても良い。
[0104] また、本実施形態の CPU31は、図 7及び図 10に示す挿入停止点評価処理のうち 、どちらか一方のみを行うものに限らず、大腸の伸展の検出精度の向上を図るために 、例えば、並列処理により両方の挿入停止点評価処理を同時に行い、該並列処理の 結果に基づ 、て大腸の伸展が生じて 、る位置を評価するものであっても良!、。
[0105] (第 3の実施形態）
図 11及び図 12は、本発明の第 3の実施形態に係るものである。図 11は、図 1の画 像処理装置により実現される機能ブロックの構成等を示す図である。図 12は、本発 明の第 3の実施形態において、図 11に示す構成を有する各ブロックにより行われる 処理の流れを示す説明図である。
[0106] なお、第 3の実施形態の生体観測システムは、第 1の実施形態及び第 2の実施形 態にお 、て説明した生体観測システム 1と略同様の構成を有するものである。そのた め、本実施形態においては、第 1の実施形態及び第 2の実施形態の生体観測システ ム 1と同一の構成または作用を有する部分についての説明を省略するとともに、第 1 の実施形態及び第 2の実施形態の生体観測システム 1と異なる構成または作用を有 する部分についての説明を主に行うものとする。また、本実施形態及び後述の第 4の 実施形態における挿入状態取得部は、センスコイルユニット 19及び形状処理装置 2 1を有して構成されて 、るものとする。
[0107] 本実施形態及び後述の第 4の実施形態において、画像処理装置 4の CPU31は、 内視鏡装置 2による観察に伴い、処理プログラム格納部 32に格納されている処理プ ログラムに基づく処理を行う。
[0108] CPU31により実行される前記処理プログラムは、図 11に示すように、フレームデー タを取得してメモリ 33に格納するフレームデータ取得ブロック 41と、記憶部としてのメ モリ 33に格納されたフレームデータに対する解析処理を行い、解析データ 33bをメ モリ 33に格納する解析処理ブロック 42と、解析結果の表示を行うとともに、複数の解 析データ 33bからなる挿入形状解析情報 33cに応じた挿入補助情報の表示 (または 表示特性)を制御する解析結果表示制御ブロック 43と、を有して構成されている。
[0109] また、図 11に示すように、フレームデータ取得ブロック 41及び解析処理ブロック 42 は、ループ状に処理を繰り返し行う。
[0110] フレームデータ取得ブロック 41は、図 11に示すように、内視鏡挿入形状検出装置 3 力も送信されるフレームデータをメモリ 33に格納すると共に、（図 1に示す) HDD34 に対しても格納する。
[0111] 解析処理部としての解析処理ブロック 42は、メモリ 33のフレームデータ 33aを使用 して、各ソースコイル位置において揷入部 11の向いている方向、及び、 1フレーム前 におけるソースコイルの移動量等、挿入部 11の（挿入操作に対する）応答動作状態 を調べるためのデータの算出を行う。そして、この解析処理ブロック 42は、算出した データを解析データ 33bとしてメモリ 33に順次格納する。
[0112] 一方、解析結果表示制御ブロック 43は、前述したフレームデータ取得ブロック 41及 び解析処理ブロック 42のループ処理力 独立した、一定期間毎に繰り返し実行され る処理ブロックである。
[0113] 表示制御部としての解析結果表示制御ブロック 43は、メモリ 33に格納された解析 データ 33bを挿入形状解析情報 33cとして取得するとともに、内視鏡 6の挿入部 11の 最も先端側に配置されたソースコイル Cの移動速度及び内視鏡 6の挿入部 11の最
0
も基端側に配置されたソースコイル C の移動速度の速度比等を該挿入形状解析
M- 1
情報 33cに基づいて算出する。そして、解析結果表示制御ブロック 43は、前記算出 結果に基づき、ディスプレイ 28における挿入補助情報の表示状態を制御する。
[0114] 次に、本実施形態における生体観測システム 1の作用について説明を行う。
[0115] ユーザにより内視鏡 6の挿入部 11が被検体の肛門側力 体腔内へ挿入されると、 挿入部 11の先端部 14に設けられた撮像素子 16により、該体腔内に存在する被写 体が撮像される。撮像素子 16により撮像された被写体の像は、撮像信号として出力 され、ビデオプロセッサ 8により信号処理が施されて映像信号に変換された後、モ- タ 9に対して出力される。これにより、モニタ 9には、撮像素子 16により撮像された被 写体の像が内視鏡観察画像として表示される。
[0116] 内視鏡挿入形状検出装置 3は、ソースコイル C〜C 各々から発せられた磁界を
0 M- 1
センスコイルユニット 19において検出するとともに、該磁界に応じて出力される検出 信号に基づく挿入部 11の挿入形状を形状処理装置 21において推定する。これによ り、ディスプレイ 22には、形状処理装置 21において推定された挿入部 11の挿入形 状が表示される。
[0117] また、内視鏡挿入形状検出装置 3の形状処理装置 21は、各ソースコイルの位置情 報を含むフレームデータを、通信ポート 21aを介して画像処理装置 4の PC25へ順次 出力する。
[0118] PC25の CPU31は、図 11に示すように、処理プログラムのフレームデータ取得ブロ ック 41において、内視鏡挿入形状検出装置 3から出力されたフレームデータを取得 するとともに、取得した該フレームデータをメモリ 33に格納する。
[0119] また、 CPU31は、図 12に示すように、処理プログラムの解析処理ブロック 42にお いて、メモリ 33に格納されたフレームデータ 33aに対して解析処理を施すことにより、 挿入部 11の最も先端側に配置されたソースコイル Cの移動速度と、挿入部 11の最
0
も基端側に配置されたソースコイル C の移動速度とを有する解析データ 33bを生
M- 1
成するとともに、生成した該解析データ 33bをメモリ 33に順次格納する。なお、本実 施形態において、ソースコイルの移動速度は、例えば、該ソースコイルの 1フレーム 毎の移動量力も算出されるものであるとする。また、本実施形態において、ソースコィ ルの移動速度は、挿入部 11の挿入方向において正の値をとり、挿入部 11の抜去方 向にお 、て負の値をとるものとする。
[0120] 解析結果表示制御ブロック 43は、メモリ 33に格納された解析データ 33bのうち、最 新の解析データと、該最新の解析データの 1個前の解析データとを挿入形状解析情 報 33cとして所定の期間毎に取得する（図 12のステップ S201)。そして、解析結果表 示制御ブロック 43は、取得した挿入形状解析情報 33cにおいて、最新の解析データ 33bが有する、挿入部 11の最も基端側に配置されたソースコイル C の移動速度
M- 1
のデータに応じて補正比率 gを設定する（図 12のステップ S202)。 [0121] 具体的には、解析結果表示制御ブロック 43は、挿入形状解析情報 33cが有する最 新の解析データに基づき、挿入部 11の最も基端側に配置されたソースコイル C
M- 1 の移動速度が 20mmZsec以上であれば、補正比率 gを 0. 75として設定する。また 、解析結果表示制御ブロック 43は、挿入形状解析情報 33cが有する最新の解析デ ータに基づき、挿入部 11の最も基端側に配置されたソースコイル C の移動速度
M- 1
力 SOmmZsec以上かつ 20mmZsec未満であれば、補正比率 gを 0. 5として設定す る。さらに、解析結果表示制御ブロック 43は、挿入形状解析情報 33cが有する最新 の解析データに基づき、挿入部 11の最も基端側に配置されたソースコイル C の
M- 1 移動速度が OmmZsec未満であれば、補正比率 gを 0. 25として設定する。
[0122] なお、本実施形態において、解析結果表示制御ブロック 43は、メモリ 33に格納され た各解析データのうち、最新の解析データと、該最新の解析データの 1個前の解析 データとを挿入形状解析情報として取得して補正比率 gを設定するものとして構成さ れているが、これに限らず、例えば、最新の解析データと、該最新の解析データに対 して時間的に連続した P個の過去の解析データとを挿入形状解析情報として取得し て補正比率 gを設定するものとして構成されて!、ても良 、。
[0123] また、本実施形態にお!、て、解析結果表示制御ブロック 43は、例えば、挿入部 11 の湾曲角度の情報、挿入部 11の挿入形状の形状パターンの情報、または、挿入部 1 1の挿入量の情報の!/、ずれかを挿入形状解析情報 33cとして取得して補正比率 g ( 及び後述する表示期間制御値 Rc)を設定するものであっても良!、。
[0124] 具体的には、解析結果表示制御ブロック 43は、挿入部 11の湾曲角度の増減に応 じて補正比率 gを増減させる (例えば湾曲角度の減少に応じて補正比率 gを減少させ る)ものであっても良い。また、解析結果表示制御ブロック 43は、挿入部 11の挿入形 状の形状パターンの変化に応じて補正比率 gを増減させる（例えばループ形状から 略直線形状への移行に応じて補正比率 gを減少させる)ものであっても良い。さらに、 また、解析結果表示制御ブロック 43は、挿入部 11の挿入量の増減に応じて補正比 率 gを増減させる（例えば挿入量の減少に応じて補正比率 gを減少させる)ものであつ ても良い。
[0125] その後、解析結果表示制御ブロック 43は、挿入形状解析情報 33cに基づき、最新 の解析データにおけるソースコイル C及び C の移動速度比 Rbと、該最新の解析
0 M- 1
データの 1個前の解析データにおけるソースコイル C及び C の移動速度比 Rpと
0 M- 1
を算出する。そして、解析結果表示制御ブロック 43は、移動速度比 Rbと、移動速度 比 Rpと、図 12のステップ S202の処理において設定した補正比率 gとに基づいて定 められる下記数式 (4)により、挿入補助情報の表示期間を制御するための表示期間 制御値 Rcを算出する（図 12のステップ S203)。
[0126] Rc=g XRb+ (l—g) XRp …（4)
さらに、解析結果表示制御ブロック 43は、図 12のステップ S203において算出した 、表示期間制御値 Rcと、表示期間制御値 Rcに関する閾値 Rcthとの比較を行う。そ して、解析結果表示制御ブロック 43は、表示期間制御値 Rcが閾値 Rcthよりも大きい ことを検出すると（図 12のステップ S204)、挿入部 11がループ形状等を形成すること なく挿入または抜去がなされていると判定し、ディスプレイ 28に表示されている挿入 補助情報を消去するための処理を行う（図 12のステップ S205)。また、解析結果表 示制御ブロック 43は、表示期間制御値 Rcが閾値 Rcth以下であることを検出すると（ 図 12のステップ S 204)、挿入部 11がループ形状等を形成することにより、挿入部 11 の挿入が適切になされて 、な ヽと判定し、ディスプレイ 28に挿入補助情報を表示す るための処理を行う（図 12のステップ S206)。
[0127] なお、本実施形態にぉ 、てディスプレイ 28に表示される挿入補助情報は、ユーザ による挿入部 11の挿入操作を支援可能であるような、例えば、大腸の伸展を示す情 報、または、挿入部 11のループ形状の解除方法に関する情報等である。
[0128] そして、解析結果表示制御ブロック 43は、図 12のステップ S201力らステップ S206 までの処理を一定期間毎に繰り返し行うことにより、表示期間制御値 Rcが閾値 Rcth 以下である期間中には挿入補助情報を表示し続けるとともに、表示期間制御値 Rcが 閾値 Rcthより大きくなつたタイミングにおいて挿入補助情報を消去する。
[0129] 以上に述べたように、本実施形態の生体観測システム 1は、ユーザによる挿入部 11 の挿入操作を支援するための挿入補助情報の表示期間を、ソースコイル C
0及び C M
の移動速度の変動に応じて適宜変更可能な構成を有している。その結果、本実施 形態の生体観測システム 1は、内視鏡 6の挿入部 11に対する操作に応じて適切に挿 入補助情報の提供を行うことにより、ユーザの違和感を従来に比べて軽減することが できる。
[0130] また、本実施形態の生体観測システム 1は、前述した構成を有していることにより、 誤って挿入補助情報が表示される可能性があるような、例えば、ユーザによる挿入部 11の瞬間的な操作がなされた場合、及び、ソースコイル C及び C に対してノイズ
0 M- 1
が加えられた場合等においても、挿入補助情報を無用に表示させることがない。
[0131] (第 4の実施形態）
図 13は、本発明の第 4の実施形態に係るものである。図 13は、本発明の第 4の実 施形態において、解析結果表示制御ブロックにより行われる処理の流れを示す説明 図である。
[0132] なお、第 4の実施形態の生体観測システムは、第 1の実施形態乃至第 3の実施形 態にお 、て説明した生体観測システム 1と略同様の構成を有するものである。そのた め、本実施形態においては、第 1の実施形態乃至第 3の実施形態の生体観測システ ム 1と同一の構成または作用を有する部分についての説明を省略するとともに、第 1 の実施形態乃至第 3の実施形態の生体観測システム 1と異なる構成または作用を有 する部分についての説明を主に行うものとする。
[0133] 本実施形態の（生体観測システム 1が有する） CPU31は、処理プログラムの解析結 果表示制御ブロック 43Aにお 、て、第 3の実施形態の解析結果表示制御ブロック 43 が行う処理とは異なる処理である、以降に記す一連の処理を行う。
[0134] 解析結果表示制御ブロック 43Aは、メモリ 33に格納された解析データのうち、最新 の解析データと、該最新の解析データに対して時間的に連続した 1または複数の過 去の解析データとを合わせた、 E個（例えば 5個）の解析データを挿入形状解析情報 33cとして所定の期間毎に取得する（図 13のステップ S211)。
[0135] その後、解析結果表示制御ブロック 43Aは、取得した E個の解析データ各々にお いて、ソースコイル C及び C の移動速度比を算出するとともに、 E個の解析データ
0 M- 1
のうち、算出した移動速度比が所定の閾値 (例えば 0. 1)以下の値をとる J個の解析 データを検出する（図 13のステップ S212)。解析結果表示制御ブロック 43Aは、本 実施形態における表示期間制御値としての JZEの値と、閾値 TH (例えば 0. 6)との 比較を行う。解析結果表示制御ブロック 43は、 JZEの値が閾値 THよりも小さいこと を検出すると（図 13のステップ S213)、挿入部 11がループ形状等を形成することなく 挿入操作または抜去操作がなされて 、ると判定し、ディスプレイ 28に表示されて 、る 挿入補助情報を消去するための処理を行う（図 13のステップ S214)。また、解析結 果表示制御ブロック 43Aは、 JZEの値が閾値 TH以下であることを検出すると（図 13 のステップ S213)、挿入部 11がループ形状等を形成することにより、挿入操作が適 切になされて 、な ヽと判定し、ディスプレイ 28に挿入補助情報を表示するための処 理を行う（図 13のステップ S 215)。
[0136] そして、解析結果表示制御ブロック 43Aは、図 13のステップ S211力 ステップ S2 15までの処理を一定期間毎に繰り返し行うことにより、 JZEの値が閾値 TH以下であ る期間中には挿入補助情報を表示し続けるとともに、 JZEの値が閾値 THより大きく なったタイミングにお 、て挿入補助情報を消去する。
[0137] 以上に述べたように、本実施形態の生体観測システム 1は、ユーザによる挿入部 11 の挿入操作を支援するための挿入補助情報の表示期間を、ソースコイル C 0及び C M の移動速度の変動に応じて適宜変更可能な構成を有している。その結果、本実施 形態の生体観測システム 1は、内視鏡 6の挿入部 11に対する操作に応じて適切に挿 入補助情報の提供を行うことにより、ユーザの違和感を従来に比べて軽減することが できる。
[0138] また、本実施形態の生体観測システム 1は、前述した構成を有していることにより、 誤って挿入補助情報が表示される可能性があるような、例えば、ユーザによる挿入部 11の瞬間的な操作がなされた場合、及び、ソースコイル C及び C に対してノイズ
0 M- 1
が加えられた場合等においても、挿入補助情報を無用に表示させることがない。
[0139] なお、本発明は、上述した各実施形態に限定されるものではなぐ発明の趣旨を逸 脱しな 、範囲内にお 、て種々の変更や応用が可能であることは勿論である。
[0140] 本出願は、 2006年 11月 13曰に曰本国に出願された特願 2006— 306974号、 20 06年 11月 13日〖こ日本国【こ出願された特願 2006— 306975号、及び、 2006年 11 月 30日に日本国に出願された特願 2006— 324901号を優先権主張の基礎として 出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用さ れたものとする。

Claims

請求の範囲
[1] 被検体内に挿入された内視鏡の挿入部における複数の箇所の座標値を取得する 挿入状態取得部と、
前記複数の箇所の座標値に基づき、前記被検体内に挿入された前記挿入部のう ち、少なくとも一部の挿入形状を検出する挿入形状検出部と、
前記所定の複数の箇所の座標値及び前記挿入形状に応じて複数の座標平面を設 定する座標平面設定部と、
前記挿入形状を前記複数の座標平面各々に投影する挿入形状投影部と、 前記複数の座標平面各々に投影された前記挿入形状に所定の形状が存在するか 否かを判定する挿入形状判定部と、
を有することを特徴とする内視鏡挿入形状解析システム。
[2] 前記座標平面設定部は、前記所定の複数の箇所の座標値及び前記挿入形状に 応じ、前記挿入形状が存在する一の座標平面と、該一の座標平面の法線ベクトルに 基づく他の座標平面と、を少なくとも設定することを特徴とする請求項 1に記載の内視 鏡挿入形状解析システム。
[3] 前記所定の形状は、ループ形状であることを特徴とする請求項 1に記載の内視鏡 挿入形状解析システム。
[4] 被検体内に挿入された内視鏡の挿入部における複数の箇所の座標値に基づき、 前記挿入部の挿入形状を検出する挿入形状検出部と、
前記挿入形状に応じた線分を生成するとともに、前記線分上に複数の分割点を設 定する挿入形状分割部と、
前記挿入部の基端側における移動速度に基づいて前記挿入部に対して挿入操作 がなされているか否かを検出するとともに、前記複数の分割点のうち、所定の座標軸 における座標値が局所的に極大となり、かつ、前記挿入操作に伴って変動する前記 移動速度の伝達率が所定の閾値未満である一の分割点を検出する挿入停止点推 定部と、
を有することを特徴とする内視鏡挿入形状解析システム。
[5] 被検体内に挿入された内視鏡の挿入部における複数の箇所の座標値に基づき、 前記挿入部の挿入形状を検出する挿入形状検出部と、
前記挿入形状に応じた線分を生成するとともに、前記線分上に複数の分割点を設 定する挿入形状分割部と、
前記挿入部の基端側における移動速度に基づいて前記挿入部に対して挿入操作 がなされているか否かを検出するとともに、前記複数の分割点のうち、所定の座標軸 における座標値が局所的に極大となり、かつ、前記挿入操作に伴って変動する局所 的な曲率半径が所定の閾値未満となる一の分割点を検出する挿入停止点推定部と を有することを特徴とする内視鏡挿入形状解析システム。
[6] さらに、前記一の分割点において前記被検体内の大腸が伸展している旨を示すた めの、告知情報を表示部に出力させるための処理を行う告知部を有することを特徴と する請求項 4に記載の内視鏡挿入形状解析システム。
[7] さらに、前記一の分割点において前記被検体内の大腸が伸展している旨を示すた めの、告知情報を表示部に出力させるための処理を行う告知部を有することを特徴と する請求項 5に記載の内視鏡挿入形状解析システム。
[8] 被検体内に挿入された内視鏡の挿入部における所定の複数の箇所の座標値を含 む情報である、挿入状態情報を取得する挿入状態取得部と、
前記挿入状態情報に基づき、前記所定の複数の箇所の座標値各々に応じた解析 データを生成する解析処理部と、
前記解析データを記憶する記憶部と、
前記記憶部に記憶された解析データのうち、最新の解析データと 1または複数の過 去の解析データとに基づいて表示期間制御値を算出するとともに、該表示期間制御 値に基づき、前記挿入部の挿入操作を支援可能な情報である、挿入補助情報を表 示部に表示させるか否かを判定する表示制御部と、
を有することを特徴とする生体観測システム。
[9] 前記 1または複数の過去の解析データは、前記最新の解析データに対して時間的 に各々連続したものであることを特徴とする請求項 8に記載の生体観測システム。
[10] 前記解析データは、前記挿入部の先端側の所定の第 1の位置と、前記挿入部の基 端側の所定の第 2の位置との移動速度比であることを特徴とする請求項 8に記載の 生体観測システム。
[11] 前記解析データは、前記挿入部の湾曲角度であることを特徴とする請求項 8に記 載の生体観測システム。
[12] 前記解析データは、前記挿入部の挿入形状の形状パターンであることを特徴とす る請求項 8に記載の生体観測システム。
[13] 前記解析データは、前記挿入部が前記被検体内に挿入された挿入量であることを 特徴とする請求項 8に記載の生体観測システム。
PCT/JP2007/063882 2006-11-13 2007-07-12 Système d'analyse de forme lors de l'insertion d'un endoscope et système d'observation d'un corps vivant WO2008059636A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07790676.6A EP2082678B1 (en) 2006-11-13 2007-07-12 Endoscope insertion shape analysis system
CN2007800415775A CN101534699B (zh) 2006-11-13 2007-07-12 内窥镜插入形状分析系统
US12/464,404 US8251890B2 (en) 2006-11-13 2009-05-12 Endoscope insertion shape analysis system and biological observation system

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2006306975A JP4855902B2 (ja) 2006-11-13 2006-11-13 生体観測システム
JP2006306974A JP4855901B2 (ja) 2006-11-13 2006-11-13 内視鏡挿入形状解析システム
JP2006-306974 2006-11-13
JP2006-306975 2006-11-13
JP2006-324901 2006-11-30
JP2006324901A JP4855912B2 (ja) 2006-11-30 2006-11-30 内視鏡挿入形状解析システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/464,404 Continuation US8251890B2 (en) 2006-11-13 2009-05-12 Endoscope insertion shape analysis system and biological observation system

Publications (1)

Publication Number Publication Date
WO2008059636A1 true WO2008059636A1 (fr) 2008-05-22

Family

ID=39401450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/063882 WO2008059636A1 (fr) 2006-11-13 2007-07-12 Système d'analyse de forme lors de l'insertion d'un endoscope et système d'observation d'un corps vivant

Country Status (4)

Country Link
US (1) US8251890B2 (ja)
EP (1) EP2082678B1 (ja)
CN (1) CN102078194B (ja)
WO (1) WO2008059636A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016098254A1 (ja) * 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
WO2016098252A1 (ja) * 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
WO2016098255A1 (ja) * 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
WO2016098253A1 (ja) * 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
WO2016098251A1 (ja) * 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
CN105979850A (zh) * 2014-02-20 2016-09-28 奥林巴斯株式会社 机械手系统及其控制方法
JP2020141851A (ja) * 2019-03-06 2020-09-10 富士フイルム株式会社 内視鏡システム、その作動方法、内視鏡システムに用いられる受信側装置および同期信号中継装置
WO2021166103A1 (ja) * 2020-02-19 2021-08-26 オリンパス株式会社 内視鏡システム、管腔構造算出装置及び管腔構造情報の作成方法
US11602263B2 (en) 2016-10-12 2023-03-14 Olympus Corporation Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2196127B1 (en) * 2007-10-02 2015-02-25 Olympus Medical Systems Corp. Endoscope shape analyzer
EP2425760B1 (en) 2009-11-06 2013-01-16 Olympus Medical Systems Corp. Endoscope system
CN102469930B (zh) 2009-11-06 2014-09-10 奥林巴斯医疗株式会社 内窥镜系统
JP5198686B2 (ja) 2010-07-01 2013-05-15 オリンパスメディカルシステムズ株式会社 プローブ形状検出装置及びプローブ形状検出装置の作動方法
JP5676054B2 (ja) 2012-07-10 2015-02-25 パナソニックＩｐマネジメント株式会社 挿入装置の制御装置及び作動方法、制御装置を有する挿入装置、挿入装置の制御プログラム、並びに、挿入装置の制御用集積電子回路
WO2014110118A1 (en) * 2013-01-10 2014-07-17 Ohio University Method and device for evaluating a colonoscopy procedure
CN104048593B (zh) * 2014-06-26 2017-02-01 广州市易轩生物科技有限公司 一种三维空间测量装置
JP2018075218A (ja) * 2016-11-10 2018-05-17 ソニー株式会社 医療用支持アーム及び医療用システム
WO2018116446A1 (ja) * 2016-12-22 2018-06-28 オリンパス株式会社 可撓管挿入装置
CN110769737B (zh) * 2017-06-21 2022-03-29 奥林巴斯株式会社 插入辅助装置、工作方法和包括插入辅助装置的内窥镜装置
JP6957645B2 (ja) * 2017-12-25 2021-11-02 オリンパス株式会社 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示システムの作動方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004358095A (ja) 2003-06-06 2004-12-24 Olympus Corp 内視鏡挿入形式解析装置及び内視鏡挿入形式解析方法
JP2006288752A (ja) * 2005-04-11 2006-10-26 Olympus Medical Systems Corp 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
JP2006306975A (ja) 2005-04-27 2006-11-09 Pentel Corp インキ追従体組成物
JP2006306974A (ja) 2005-04-27 2006-11-09 Petroleum Energy Center 炭化水素油の水素化処理触媒及びその製造方法並びに炭化水素油の水素化処理方法
JP2006324901A (ja) 2005-05-18 2006-11-30 Funai Electric Co Ltd 録画装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2115776T3 (es) * 1992-08-14 1998-07-01 British Telecomm Sistema de localizacion de posicion.
US6059718A (en) * 1993-10-18 2000-05-09 Olympus Optical Co., Ltd. Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope
DE19706703A1 (de) * 1997-02-20 1998-08-27 Philips Patentverwaltung MR-Verfahren und MR-Anordnung zur Bestimmung der Position einer Mikrospule
JP2000175861A (ja) * 1998-12-17 2000-06-27 Olympus Optical Co Ltd 内視鏡形状検出装置
US6511417B1 (en) * 1998-09-03 2003-01-28 Olympus Optical Co., Ltd. System for detecting the shape of an endoscope using source coils and sense coils
US6773393B1 (en) * 1999-08-05 2004-08-10 Olympus Optical Co., Ltd. Apparatus and method for detecting and displaying form of insertion part of endoscope
FI113564B (fi) * 2001-03-19 2004-05-14 Elekta Neuromag Oy Kappaleiden paikannus
JP3917885B2 (ja) * 2002-04-08 2007-05-23 オリンパス株式会社 カプセル内視鏡システム
WO2004039249A1 (ja) 2002-10-29 2004-05-13 Olympus Corporation 内視鏡情報の処理装置および処理方法
US9636188B2 (en) * 2006-03-24 2017-05-02 Stryker Corporation System and method for 3-D tracking of surgical instrument in relation to patient body
US20090102479A1 (en) * 2007-09-24 2009-04-23 Smith Scott R MRI Phase Visualization of Interventional Devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004358095A (ja) 2003-06-06 2004-12-24 Olympus Corp 内視鏡挿入形式解析装置及び内視鏡挿入形式解析方法
JP2006288752A (ja) * 2005-04-11 2006-10-26 Olympus Medical Systems Corp 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
JP2006306975A (ja) 2005-04-27 2006-11-09 Pentel Corp インキ追従体組成物
JP2006306974A (ja) 2005-04-27 2006-11-09 Petroleum Energy Center 炭化水素油の水素化処理触媒及びその製造方法並びに炭化水素油の水素化処理方法
JP2006324901A (ja) 2005-05-18 2006-11-30 Funai Electric Co Ltd 録画装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2082678A4

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105979850A (zh) * 2014-02-20 2016-09-28 奥林巴斯株式会社 机械手系统及其控制方法
JPWO2016098254A1 (ja) * 2014-12-19 2017-10-12 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
JPWO2016098252A1 (ja) * 2014-12-19 2017-10-12 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
WO2016098253A1 (ja) * 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
WO2016098251A1 (ja) * 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
JPWO2016098255A1 (ja) * 2014-12-19 2017-10-12 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
JPWO2016098253A1 (ja) * 2014-12-19 2017-10-12 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
WO2016098255A1 (ja) * 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
WO2016098254A1 (ja) * 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
WO2016098252A1 (ja) * 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
JPWO2016098251A1 (ja) * 2014-12-19 2017-10-19 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
US10791914B2 (en) 2014-12-19 2020-10-06 Olympus Corporation Insertion/removal supporting apparatus and insertion/removal supporting method
US11602263B2 (en) 2016-10-12 2023-03-14 Olympus Corporation Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times
JP2020141851A (ja) * 2019-03-06 2020-09-10 富士フイルム株式会社 内視鏡システム、その作動方法、内視鏡システムに用いられる受信側装置および同期信号中継装置
JP6995793B2 (ja) 2019-03-06 2022-01-17 富士フイルム株式会社 内視鏡システム、その作動方法、内視鏡システムに用いられる受信側装置および同期信号中継装置
WO2021166103A1 (ja) * 2020-02-19 2021-08-26 オリンパス株式会社 内視鏡システム、管腔構造算出装置及び管腔構造情報の作成方法
JP7423740B2 (ja) 2020-02-19 2024-01-29 オリンパス株式会社 内視鏡システム、管腔構造算出装置、管腔構造算出装置の作動方法及び管腔構造情報作成プログラム

Also Published As

Publication number Publication date
US8251890B2 (en) 2012-08-28
EP2082678B1 (en) 2018-12-19
CN102078194A (zh) 2011-06-01
US20090221869A1 (en) 2009-09-03
CN102078194B (zh) 2012-11-14
EP2082678A4 (en) 2015-03-11
EP2082678A1 (en) 2009-07-29

Similar Documents

Publication Publication Date Title
WO2008059636A1 (fr) Système d'analyse de forme lors de l'insertion d'un endoscope et système d'observation d'un corps vivant
JP4855901B2 (ja) 内視鏡挿入形状解析システム
JP4274854B2 (ja) 内視鏡挿入形状解析装置
JP7096445B2 (ja) 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置
JP4789545B2 (ja) 内視鏡挿入形状解析装置
WO2013140667A1 (ja) 画像処理装置
JP2008301968A (ja) 内視鏡画像処理装置
US20130002842A1 (en) Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
JP6206869B2 (ja) 内視鏡観察支援装置
US20220409030A1 (en) Processing device, endoscope system, and method for processing captured image
JP4855902B2 (ja) 生体観測システム
JP4855912B2 (ja) 内視鏡挿入形状解析システム
JP4616076B2 (ja) 画像表示装置
JP2007130154A (ja) 内視鏡挿入部形状把握システム
CN110769731A (zh) 内窥镜系统、内窥镜系统的工作方法
JP3548430B2 (ja) 内視鏡形状検出装置
JP2007130132A (ja) 内視鏡挿入部形状把握システム
EP3607870B1 (en) Endoscope shape display device, and endoscope system
JP2008093213A (ja) 医療用画像処理装置及び医療用画像処理方法
WO2023181175A1 (ja) 内視鏡検査支援システム、内視鏡検査支援方法および記憶媒体
JP7167334B2 (ja) モニタリングシステム及び内視鏡の模型への挿入操作の評価方法
WO2021176665A1 (ja) 手術支援システム、手術支援方法、及び、プログラム
EP3607869B1 (en) Endoscope shape display device, and endoscope system
JP2000081302A (ja) 位置検出装置
JP3392358B2 (ja) 位置検出装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780041577.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07790676

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2007790676

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE