WO2004039249A1 - 内視鏡情報の処理装置および処理方法 - Google Patents

内視鏡情報の処理装置および処理方法 Download PDF

Info

Publication number
WO2004039249A1
WO2004039249A1 PCT/JP2003/013829 JP0313829W WO2004039249A1 WO 2004039249 A1 WO2004039249 A1 WO 2004039249A1 JP 0313829 W JP0313829 W JP 0313829W WO 2004039249 A1 WO2004039249 A1 WO 2004039249A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
shape
information
unit
image
Prior art date
Application number
PCT/JP2003/013829
Other languages
English (en)
French (fr)
Inventor
Katsumi Hirakawa
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2002314699A external-priority patent/JP4025621B2/ja
Priority claimed from JP2003162844A external-priority patent/JP4274854B2/ja
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to DE60330335T priority Critical patent/DE60330335D1/de
Priority to US10/515,668 priority patent/US8211010B2/en
Priority to EP03809860A priority patent/EP1504712B1/en
Publication of WO2004039249A1 publication Critical patent/WO2004039249A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7232—Signal processing specially adapted for physiological signals or for diagnostic purposes involving compression of the physiological signal, e.g. to extend the signal recording period
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Definitions

  • the present invention relates to an endoscope insertion shape analysis apparatus that analyzes an insertion shape of an endoscope insertion part in a body cavity and displays the insertion shape information as an image to improve the endoscope insertion operability.
  • an electronic endoscope has an elongated and flexible insertion section provided with an electronic imaging element at the tip, and this insertion section is inserted from the outside into a subject, which is a lumen in a body cavity, and inserted.
  • the subject can be observed from the image reproduced on the monitor screen based on the image signal generated and imaged by the electronic imaging element at the distal end of the body, and the living body can be inspected with the treatment forceps inserted from the forceps channel provided in the insertion section. Tissue collection and therapeutic procedures are being performed.
  • the lumen in the body cavity is bent, for example, like the large intestine or the small intestine.
  • the endoscope insertion part is a tube. If it is known how far into the cavity it has been inserted or what the shape of the endoscope insertion section is, the operability of the observation procedure with the endoscope will be improved.
  • a probe having a built-in probe source coil is passed through the channel at the end of the endoscope, and the probe source coil is magnetized.
  • a field generation drive signal is supplied, and a magnetic field generated from the probe source coil is detected by a plurality of three-axis sense coils provided at predetermined positions on a bed on which the subject is mounted, and a detection signal of the sense coil is detected.
  • the position of the probe source coil is calculated based on. Based on the calculated position, shape image information of the insertion portion is generated, and based on the shape image information, displayed as a shape image of the insertion portion on a monitor, and the shape image is also generated in two orthogonal perspective image directions.
  • an endoscope shape detection device that can simultaneously display two screens on a monitor (for example, see Japanese Patent Application Laid-Open No. H08-107875 (columns 017 to 01)). 78, Fig. 1 to Fig. 13))). ,
  • a source coil composed of a plurality of first coils
  • a sense coil composed of a plurality of second coils for detecting magnetic fields from the plurality of first coils of the source coil, and any one of the source coil and the sense coil
  • a shape estimating means for arranging one of them at an insertion portion of an endoscope to be inserted into a body cavity, and estimating a shape of the endoscope insertion portion based on a magnetic field of a source coil detected by the sense coil.
  • the endoscope shape detecting device there is an endoscope shape detecting device that detects a specific shape from the shape of the insertion portion estimated by the shape estimating means and generates a warning when the specific shape is detected (for example, Japanese Patent Application Laid-Open Publication No. 2000-0-1775861 (columns 011 to 049, FIGS. 1 to 10)).
  • the operator's consciousness in the examination of a subject with an endoscope is mainly focused on the endoscope image generated by imaging the observation site of the lumen, and if necessary, the shape detection device of the endoscope insertion part In general, the user looks at the inserted part shape image generated and displayed.
  • an endoscope having an endoscope insertion support function that detects the formation of the loop, issues a warning, and alerts the operator.
  • a mirror shape detecting device has been proposed in the above-mentioned Japanese Patent Application Laid-Open No. H08-107875. Furthermore, in order to improve the insertability, it is desirable to provide information in accordance with the movement of the endoscope insertion section that is actually inserted, and to provide information indicating the endoscope insertion method and operation instructions, etc. ing.
  • the present invention has been made in view of such a demand, and has an endoscope insertion shape analysis capable of analyzing the shape of an endoscope insertion portion and providing information that leads to an improvement in endoscope insertability. It aims to provide equipment.
  • the operator's consciousness while observing a subject with an endoscope is mainly focused on the endoscope image generated and imaged from the observation site of the lumen, and generated by the shape detection device of the endoscope insertion section.
  • an endoscope-shaped apparatus disclosed in the above-mentioned Japanese Patent Application Laid-Open No. 8-107875 is disclosed. Since the endoscopic image of the observation site and the insertion part shape image are displayed simultaneously on the monitor screen, the operator's consciousness is paid to both images. Can be eliminated.
  • the endoscope shape detection device disclosed in Japanese Patent Application Laid-Open No. 2000-175758 discloses a method in which a loop is drawn in the process of inserting an endoscope insertion portion into a lumen. At the same time, when the entrance is shaped like a loop in the lumen, the rope shape is detected and a warning is issued, giving the patient uncomfortable feeling. This is to prevent discomfort to the subject.
  • endoscope shape detection devices do not suggest any recording of the endoscope image of the subject and the insertion portion shape image.
  • an endoscopic image is recorded and used for confirmation of an observation part at a later date and acquisition training of an endoscope operation.
  • video equipment is used for recording and recording the endoscope image and the insertion section shape image, and the endoscope image and the insertion section shape image are recorded on different video devices. For this reason, the endoscope image and the insertion part shape image do not match during the playback display, or the endoscope image and the insertion part shape image are simultaneously recorded and recorded on a single video device. Requires special video equipment.
  • An endoscope that records both the shape image of the insertion section and the endoscope image detected by such an endoscope shape detection device, and records the endoscope image in association with the insertion section shape image at the time of the recording.
  • An image filing system has been proposed in Japanese Patent Application No. 2001-34709.
  • an object of the present invention is to provide an endoscope image processing apparatus capable of storing both an endoscope insertion shape data and endoscope image data and synchronously reproducing both images.
  • Another object is to provide an image processing device. Disclosure of the invention
  • An endoscope information processing device includes: a shape analyzing unit configured to detect a shape of an insertion unit of an endoscope having an insertion unit to be inserted into a body cavity, and to analyze an insertion shape obtained by detecting a shape of the insertion unit; An information providing unit that provides information on the endoscope operation status in accordance with the result of the analysis performed by the computer.
  • FIG. 1 is a block diagram showing an overall configuration of an electronic endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is an explanatory diagram illustrating an insertion position coordinate system in the electronic endoscope system according to the first embodiment.
  • FIG. 3 is an explanatory diagram illustrating a data structure of insertion position detection data generated by the endoscope insertion shape observation device of the electronic endoscope system according to the first embodiment.
  • Figure 4 Flowchart explaining the processing operation of the electronic endoscope system of the first embodiment.
  • FIG. 5 is a flowchart for explaining the extension detection operation of the subject in the electronic endoscope system according to the first embodiment.
  • Fig. 6 Description of the display screen displayed on the display during endoscopy in the electronic endoscope system of the first embodiment described above
  • Fig. 7 Electronic endoscope system of the second embodiment of the present invention 5 is a flowchart illustrating the angle detecting operation of the endoscope end portion in FIG.
  • FIG. 8 is an explanatory diagram for explaining an angle formed between the direction of the insertion section and the direction of movement of the insertion section in the electronic endoscope system according to the second embodiment.
  • FIG. 9 is a flowchart illustrating an angle detection and a warning action of the endoscope end portion in the electronic endoscope system according to the third embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating the electronic endoscope system according to the third embodiment. Sight
  • FIG. 4 is an explanatory diagram illustrating angle detection of a mirror tip.
  • FIG. 11 is a flowchart for explaining an angle detection and a warning action of the endoscope end portion in the electronic endoscope system according to the fourth embodiment of the present invention.
  • FIG. 12 is a front view for explaining a loop detection and loop release method display operation of an endoscope insertion unit in an electronic endoscope system according to a fifth embodiment of the present invention.
  • FIG. 13 is an explanatory diagram illustrating a state of a loop of an endoscope insertion section in the electronic endoscope system according to the fifth embodiment.
  • FIG. 14 is an explanatory diagram illustrating a state of a loop of an endoscope insertion unit in the electronic endoscope system according to the fifth embodiment.
  • FIG. 15 An explanatory diagram for explaining a method of releasing a loop of an endoscope insertion section in the electronic endoscope system according to the fifth embodiment.
  • FIG. 16 is an explanatory diagram illustrating a method of releasing a loop of an endoscope insertion section in the electronic endoscope system according to the fifth embodiment.
  • FIG. 17 is an explanatory diagram for explaining a method of releasing the loop of the endoscope insertion section in the electronic endoscope system according to the fifth embodiment.
  • FIG. 18 is an explanatory diagram illustrating a method of releasing a loop of an endoscope insertion section in the electronic endoscope system according to the fifth embodiment.
  • FIG. 19 is a block diagram showing a configuration of an electronic endoscope system according to a sixth embodiment of the present invention.
  • FIG. 20 is a flowchart illustrating a processing operation for recording and storing an endoscope image and endoscope insertion shape data in the electronic endoscope system according to the sixth embodiment.
  • FIG. 21 A flowchart for explaining a synchronous playback processing operation of an endoscope image and an endoscope insertion shape image in the electronic endoscope system according to the sixth embodiment.
  • Fig. 22 In the electronic endoscope system according to the sixth embodiment, the reproduction of synchronous reproduction of the endoscope image and the endoscope insertion shape image is performed. A flowchart explaining the logical operation.
  • FIG. 23 is a diagram showing a display screen when recording and storing an endoscope image and endoscope insertion shape data in the electronic endoscope system according to the sixth embodiment.
  • FIG. 24 A diagram showing a display screen of a synchronous playback processing operation with an endoscope insertion shape image in the electronic endoscope system according to the sixth embodiment.
  • FIG. 25 Seventh embodiment of the present invention 4 is a flowchart illustrating an input processing operation of additional information in an endoscope image and an endoscope insertion shape image in the electronic endoscope system of FIG.
  • Fig. 26 In the electronic endoscope system according to the seventh embodiment, the endoscope image, the endoscope insertion shape image and the additional information are reproduced synchronously. Charter.
  • FIG. 27 is a diagram showing a display screen of an endoscope image, an endoscope insertion shape image, and additional information synchronous reproduction processing operation in the electronic endoscope system according to the seventh embodiment.
  • FIG. 28 In the electronic endoscope system according to the eighth embodiment of the present invention, the operation of searching for a characteristic item of an endoscope image or an endoscope insertion shape image and displaying related information for the characteristic item is performed.
  • FIG. 29 is a diagram showing a display screen of a feature item search processing operation of an endoscope image or an endoscope insertion shape image in the electronic endoscope system according to the eighth embodiment.
  • FIG. 1 is an overall configuration of an electronic endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is an explanatory diagram illustrating an insertion position coordinate system in the electronic endoscope system according to the first embodiment
  • FIG. 3 is an internal view of the electronic endoscope system according to the first embodiment.
  • FIG. 4 is an explanatory diagram for explaining a data structure of the insertion position detection data generated by the endoscope insertion shape observation device.
  • FIG. 4 is a flowchart for explaining a processing operation of the electronic endoscope system of the first embodiment.
  • FIG. 5 is a flowchart illustrating the extension detecting operation of the subject in the electronic endoscope system according to the first embodiment.
  • FIG. 6 is a flowchart illustrating the operation of the electronic endoscope system according to the first embodiment.
  • FIG. 9 is an explanatory diagram illustrating a display screen displayed on the display during an endoscope inspection.
  • the electronic endoscope system 1 includes an endoscope device 2, an endoscope insertion shape observation device 3, and an image processing device 4.
  • the endoscope device 2 includes an electronic endoscope 12, a video processor 10, a light source device 11, and an observation monitor 14.
  • the electronic endoscope 12 is provided with an electronic image pickup device at a distal end of an elongated insertion portion inserted into a lumen of a body cavity which is a subject, and controls the drive of the electronic image pickup device to control the tube.
  • observation light for illuminating the observation site in the lumen is illuminated by a light guide provided in the insertion section.
  • a bending portion is provided at a distal end portion of the insertion portion of the electronic endoscope 12, and a bending operation can be performed from an operation portion provided at the base end of the insertion portion.
  • a release switch 12a is provided on the operation unit of the electronic endoscope 12 and drives and controls an electronic image pickup device with the video processor 10 and an imaged image generated and generated. Send and receive signals And a light guide cable for guiding observation light from the light source device 11 to the light guide.
  • the electronic endoscope 12 is provided with a detection function for detecting the insertion position and shape of the insertion section in the lumen.
  • This insertion position and shape detection function are not shown, a plurality of source coils provided at predetermined intervals in the insertion portion of the endoscope, and a plurality of source coils provided in the endoscope insertion shape observation device 3. It has a sense coil unit 19 having a sense coil.
  • the video processor 10 drives and controls the electronic image pickup device of the electronic endoscope 12, performs predetermined signal processing on a video signal of a moving image that is photoelectrically converted by the electronic image pickup device and generated, and outputs a luminance signal. It generates YZC signals consisting of color and color signals, or RGB signals.
  • the Y / C signal or RGB signal composed of the luminance signal and the chrominance signal generated by the video processor 1Q is directly output to the observation monitor 14 and the image processing device 15.
  • the video processor 10 has a function of inputting examination information relating to an endoscopic examination.
  • the light source device 11 includes a lamp that is an illumination light source, a lighting circuit for the lamp, and the like, and supplies the illumination light projected when the lamp is turned on to the light guide of the electronic endoscope 12, and a tip of the insertion portion. Is projected to the observation site of the lumen.
  • the observation monitor 14 displays an endoscope image based on the Y / C signal, the RGB signal, or the like generated by the video processor 10.
  • the endoscope insertion shape observation device 3 is a peripheral device of the endoscope device 2 and has a sense coil unit 19 for detecting a magnetic field from a source coil provided in the electronic endoscope 12.
  • a shape processing device 13 for estimating the shape of the endoscope insertion portion based on the magnetic field detected by the device, and a monitor (display) for displaying the shape of the endoscope insertion portion estimated by the shape processing device 13 It has 13b.
  • the shape processing device 13 outputs a drive signal for driving the source coil to the electronic endoscope 12 to generate a magnetic field in the source coil, and a detection signal from the sense coil unit 19 for detecting the magnetic field Based on the calculated position coordinates of each source coil, the shape of the endoscope insertion section is estimated from the calculated position coordinates. In addition, it generates an insertion section shape image signal for displaying the estimated shape of the endoscope insertion section on the monitor 133 ⁇ 4, and also outputs three-dimensional coordinates indicating the shape of the endoscope insertion section to be output to the image processing device 4. It is configured to generate an inserted shape data such as information and a shape display attribute.
  • the endoscope insertion shape observation device 3 includes a shape display attribute such as a rotation angle and an enlargement / reduction ratio of an insertion portion shape image generated and processed by the shape processing device 13 and displayed on the monitor 13 b. It can be changed by inputting instructions from the operation panel not shown.
  • the inserted shape data generated by the shape processing device 13 can be output to the image processing device 4.
  • the endoscope insertion shape observation device 3 continuously outputs the insertion shape data to the image processing device 4 during the endoscopic inspection, and is provided in the electronic endoscope 12. It is also possible to output only the insertion shape data when operating the release switch 12a.
  • the image processing apparatus 4 includes a personal computer (hereinafter, PC) 15, a mouse 16 and a keyboard 17 for inputting various instructions to the PC 15, and various information processed by the PC 15. It has a display 18 for reproducing and displaying image information and image information.
  • PC personal computer
  • the PC 15 receives the insertion shape data output from the communication port 13 a of the shape processing device 13 of the endoscope insertion shape observation device 3.
  • the video signal of the video generated by the video processor 10 is input to the video input port 15 c of the image processing device 4, and the video signal of the video is converted into a predetermined compressed video video.
  • the signal is converted to a compressed image in the MJPEG format, for example, and then stored in a recording device (not shown) of the PC 15. ,
  • examination information related to the endoscope examination is input from the video processor 10 and the observation monitor 1 is set based on the inputted examination information data.
  • the inspection information data can be transmitted and recorded from the communication port 10a to the image processing apparatus 4 via the communication port 15b.
  • the test information includes, for example, the patient's name, date of birth, gender, age, patient code, and test date and time.
  • the image processing device 4 is connected to the video processor 10 as necessary, and receives and stores various information from the video processor 10.
  • the endoscope insertion shape observing device 3 is composed of M built-in insertion portions of the electronic endoscope 12 for each frame of an image signal generated by the electronic imaging device of the electronic endoscope 12. Generate the inserted shape data including the three-dimensional coordinates of the source coil. Based on the inserted shape data, an inserted shape image is generated, displayed on the display 13b, and inserted. The input shape data is output to the image processing device 4.
  • the source coil coordinate system detected by the endoscope insertion shape observation device 3 has M source coils built into the insertion section of the electronic endoscope 12 for estimating the insertion shape.
  • the 3D coordinates (X j i, Y j ) of the i-th (where i 0, 1,..., M-1) counting from the end of the frame insertion part i 3 Z j i).
  • One packet contains data such as the insertion and creation time of the insertion shape data, display attribute information, attached information, and source coil coordinates.
  • the source coil coordinate data the three-dimensional coordinates of the source coil built into the insertion section of the electronic endoscope 12 are shifted from the tip of the insertion section to the operation section provided at the base end of the insertion section. They are arranged side by side in order.
  • the coordinates of the source coil outside the detection range of the endoscope insertion shape observation device 3 are set to predetermined constants.
  • This processing operation is realized by developing and driving the inspection abrication provided in the image processing apparatus 4 to the PC 15.
  • the video processor 10 inputs examination information, and the PC 15 of the image processing apparatus 4 starts an examination application.
  • the display 18 shows the inspection window 100 shown in FIG.
  • the endoscope image window 105 is displayed.
  • step S 1 When the inspection application is driven to expand on the PC 15 of the image processing apparatus 4 and the inspection window 100 is displayed on the display 18, the PC 15 proceeds to step S 1 to display the video.
  • This mode is set to a mode for receiving and storing the inspection information and the endoscope image data from the processor 10 and the insertion shape data from the shape processing device 13 of the endoscope insertion shape observation device 3.
  • step S2 the PC 15 operates the mouse 16 or the keyboard 17 so that the operator can operate the mouse 16 or the keyboard 17 to display the test start button (in the figure) displayed in the test window 100. It is determined whether or not 1 0 1 has been turned on. It waits until the inspection start button 101 is turned on, and when it is turned on, step S3 and subsequent steps are executed.
  • step S3 the PC 15 opens the communication port 15a to start communication with the shape processing device 13 of the endoscope insertion shape observation device 3, and in step S4, the communication port 1 5b, communication with the video processor 10 is started.
  • step S5 the PC 15 transmits an inspection information acquisition command to the video processor 10 from the communication port 15b to the communication port 10a of the video processor 10 in step S5.
  • the video processor 10 that has received the test information acquisition command transmits the test information to the PC 15.
  • step S5 the PC 15 transmits the inspection information transmitted from the video processor 10 to the recording device (not shown) in step S6.
  • step S7 the PC 15 transmits a command for acquiring the insertion shape data from the communication port 15a to the communication port 13a of the shape processing device 13 from the communication port 15a.
  • the shape processing device 13 that has received the data acquisition command starts transmitting and outputting the inserted shape data. This Is transmitted until the communication between the PC 15 and the shape processing device 13 ends and the communication port 15a is closed.
  • step S8 the PC 15 receives the inserted shape data transmitted and output from the shape processing device 13 in step S7, and associates it with the inspection information recorded and stored in step S6.
  • the file is recorded and stored on a hard disk (not shown) provided in the PC 15 (hereinafter, referred to as an insertion shape file).
  • step S9 the PC 15 converts the moving image video signal input from the video processor 10 to the moving image input port 15c into a compressed image data of MJPEG format, and
  • the file is stored in a hard disk (not shown) of the PC 15 in association with the inspection information recorded and stored in the step S6 (hereinafter referred to as an image file), and the moving image input port is also used.
  • the moving image input to 150c is displayed in the endoscope image area 106 of the endoscope image window 105 shown in FIG.
  • step S10 the PC 15 executes the warning process from step S21 shown in FIG. 5, and when this warning process is completed, the PC 15 proceeds to step S11 in which the inspection window Inspection end button for dough 100 (indicated as EndExam. In the figure) It is determined whether or not 102 has been operated, and if it is determined that inspection end button 102 has not been operated, the above-described steps are performed. Returning to step S8, when it is determined that the inspection end button 102 has been operated, in step S12, the communication ports 15a and 15b are closed, and the shape processing device 13 and the video processor 10 are closed. Terminates the communication with the user.
  • the warning process in step S10 is a process of detecting extension of the large intestine, which is the subject. If the length of the endoscope insertion portion in the large intestine is extended while the distal end of the insertion portion of the electronic endoscope 12 is almost stopped, it is considered that the large intestine is extended. Insertion length detection of endoscope insertion part Thus, extension of the large intestine is detected.
  • step S21 the PC 15 determines whether or not the insertion shape data in the frame immediately before the current frame insertion shape data acquired and recorded in step S8 has been acquired. If it is determined that the frame insertion has not been obtained, the process proceeds to step S11 and subsequent steps.
  • step S21 If it is determined in step S21 that the insertion shape data of the previous frame has been acquired, the PC 15 determines in step S22 from the insertion shape data of the previous frame and the current frame.
  • the movement amount di: f of the distal end of the insertion portion of the electronic endoscope 1 2 is calculated from Equation 1.
  • the movement amount d if calculated by the equation 1 uses only m pieces of data from the tip of the insertion portion.
  • the calculation of the movement amount dif is not limited to Expression 1, and for example, the Euclidean distance may be used.
  • the moving distance of the distal end of the insertion portion which is the moving amount di calculated by the mathematical expression 1 in step S22, is compared with a predetermined threshold value in step S23, and the moving distance, which is the moving amount dif, is smaller than the predetermined threshold value. If it is larger, the tip of the insertion portion is determined to be in the insertion movement, and the process proceeds to step S11 and subsequent steps. If smaller than the threshold value, the tip of the insertion portion is determined to be in the stopped state, and steps S24 and later are executed.
  • step S 24 the PC 15 inserts the electronic endoscope 12 of the current frame detected by the shape processing device 13 of the inserted shape observation device 3. Find the length of the entrance.
  • the length of the insertion portion of the electronic endoscope 12 is, for example, based on the number of effective source coordinates in the insertion shape data generated by the shape processing device 13. Is calculated.
  • step S25 the PC 15 determines the length of the current frame insertion portion calculated in step S24 and the endoscope insertion portion of the frame preceding the current frame.
  • step S25 Compare with the length of As a result of the comparison in step S25, if the length of the endoscope insertion portion of the current frame is longer than the length of the endoscope insertion portion of the previous frame, it is determined that the insertion portion is moving during insertion. Step-Moves to the processing after S11, and if the length of the endoscope insertion part of the current frame is shorter than the length of the endoscope insertion part of the previous frame, the insertion part is determined to be stopped or pulled out. Step S26 and subsequent steps are executed.
  • the PC 15 determines in step 25 that the length of the insertion portion of the current frame is shorter than the length of the insertion portion at the time of the previous frame, and that extension of the large intestine has not occurred. In the above, whether the end of the insertion section of the endoscope has stopped and whether the length of the insertion section of the endoscope of the current frame has been longer in the front frame for a predetermined number of frames judge.
  • step S26 the extension of the large intestine does not occur unless the distal end of the insertion portion of the electronic endoscope is in a stopped state and the length of the insertion portion of the front frame has not been increased for a predetermined number of frames.
  • the colon is extended. Is determined to have occurred, and step S27 is executed.
  • step S 27 PC 15 generates a warning signal to warn that colon expansion has occurred, and generates a warning sound to provide information on the shape of the endoscope entrance. Then, a warning message is displayed in the warning display section 110 of the inspection window 100 in FIG.
  • police The notification display is not only characters, but also a graphic display such as an icon on the warning graphic display section 111 or a blinking warning display.
  • the image processing apparatus of the present invention uses the plurality of insertion shape data of the current frame and the previous frame in accordance with the movement of the endoscope insertion unit actually inserted. It is possible to provide information on the shape of the stomach, and it is also possible to quickly and easily detect and judge the extension of the large intestine, etc., which is the observation site, and prompt the operator to be alerted promptly.
  • the image processing device 4 only the warning for detecting the extension of the large intestine was described based on the insertion shape data from the insertion shape observation device 3, but the browsing of the endoscope image and the insertion shape data was performed. It is also possible to prepare a viewer that enables it and detect extension of the large intestine for the specified insertion shape data.
  • the configuration of the electronic endoscope system 1 according to the second embodiment is the same as that of the above-described first embodiment, and the endoscope device 2 and the endoscope insertion shape observation device 3 in the image processing device 4.
  • the processing method for the endoscope image from the camera and the inserted shape data is basically the same.
  • the difference of the second embodiment from the first embodiment described above is that the image processing apparatus 4 differs in the processing method of the warning process in step S10, and the second embodiment in step S10 In the warning processing, the processing after step S1 shown in FIG. 7 is executed.
  • step S41 the PC 15 determines whether or not the insertion shape data in the frame preceding the current frame insertion shape data acquired and recorded in step S8 has been acquired, and the previous frame. If it is determined that the inserted shape data has not been acquired, the process proceeds to step S11 and subsequent steps.
  • step S41 the insertion shape data of the previous frame is obtained. If it is determined that the electronic endoscope 12 has been inserted, the movement amount dif 1 of the insertion end of the electronic endoscope 12 is determined from the insertion shape data of the previous frame and the current frame in step S 42. Calculated from Equation 2.
  • the movement amount di f 1 calculated by this equation 2 uses only m l data from the tip of the insertion section.
  • the calculation of the movement amount dif 1 is not limited to Expression 2, and for example, the Euclidean distance may be used.
  • the movement distance of the distal end of the insertion portion which is the movement amount dif 1 calculated in step S42 by the expression 2, is compared with a predetermined threshold value in step S43, and the movement distance of the movement amount dif 1 is the predetermined threshold value. If the value is larger than the threshold value, the insertion portion tip is determined to be in the insertion movement, and the process proceeds to step S11 and subsequent steps. Be executed.
  • step S44 the PC 15 determines the amount of movement of the input section of the electronic endoscope 1 2 from the operation section side based on the input shape data of the previous frame and the current frame, as in step S42. dif 2 is calculated from Equation 3.
  • the moving distance on the operation unit side of the input unit which is the moving amount dif 2 calculated by Expression 3 in this step S44, is compared with a predetermined threshold value in step S45, and the moving distance which is the moving amount dif2 is obtained. If the threshold value is smaller than the predetermined threshold, the operation unit side of the insertion unit determines that the operation unit is stopped, and shifts to the processing after step S11. If the threshold value is larger than the threshold value, the operation unit side of the insertion unit is determined to be moving. Steps S46 and subsequent steps are performed.
  • the PC 15 in step S 46 is based on Equation 4, and as shown in FIG. 8, the i-th frame of the ⁇ -th frame which is the current frame and the ⁇ -th frame of the j-th frame which is the previous frame.
  • V ec 1 (X j ,-X J ' -1 i, Y j i-Y J ' ZZ)
  • V ec 2 (X i _1 i-!-X i _ I Y 1 -1 Y i ⁇ iz Z
  • a ngii cos — 1 (VX 1 VX 2 + VY 1 VY 2 + VZ 1 VZ 2) / (dn 1 dn 2)
  • the direction of 2 is the direction of the inlet, (X j — J i 1 ) — 1 z 1 j)
  • step S47 the PC 15 compares the angle An obtained in step S46 with a predetermined threshold, and inserts the insertion part of the electronic endoscope 12 into the direction of the insertion part. To determine if it is. If the angle An between the moving direction of the distal end of the insertion portion and the direction of the distal end of the insertion portion is smaller than a predetermined threshold value, it is determined that the operator has performed the insertion operation of the electronic endoscope 12. Then, step S48 and subsequent steps are executed, and if it is larger than the predetermined threshold value, it is determined that the insertion operation of the electronic endoscope 12 has not been performed, and the process proceeds to the step S11 and subsequent steps. I do.
  • step S47 When it is determined in step S47 that the insertion operation of the electronic endoscope 12 has been performed, the PC 15 performs the insertion operation of the electronic endoscope 12 in step S48. It is determined whether or not the state continues for a predetermined number of frames, and if it is determined that the state does not continue for the predetermined number of frames, the process proceeds to step S11 and thereafter, and it is determined that the predetermined number of frames has continued. Then, it is determined that the extension of the large intestine has occurred, and a warning is generated in step S49 as providing information on the shape of the endoscope insertion portion.
  • a warning method for example, a warning sound may be generated by the PC 15 or a warning message may be displayed on the warning display section 110 of the inspection window shown in FIG. Further, the warning display may be not only characters but also figures such as icons, and those character figures may be displayed by blinking.
  • the image processing device 4 explained only the warning for detecting the extension of the large intestine when receiving the inserted shape data from the inserted shape observation device 3, it is possible to view the endoscope image and the inserted shape data. It is also possible to prepare a viewer to detect the extension of the large intestine for the specified insertion shape data.
  • a third embodiment of the present invention will be described with reference to FIGS.
  • the configuration of the electronic endoscope system 1 of the third embodiment is the same as that of the above-described first embodiment, and the endoscope device 2 and the endoscope insertion shape observation device 3 in the image processing device 4
  • the processing method for the endoscope image from the camera and the inserted shape data is basically the same.
  • the difference between the third embodiment and the first embodiment described above is that a detection process performed when an insertion operation is performed in a state in which a certain angle (angle) is given to the distal end of the insertion portion of the electronic endoscope 12. It is. If the insertion operation of the endoscope is performed without observing the insertion direction of the insertion portion of the endoscope with the end of the insertion portion of the endoscope being given an angle, it will cause discomfort to the subject patient. This is to warn of the insertion operation with the endoscope insertion tip given an angle.
  • the detection of the insertion operation in a state where the end of the endoscope insertion portion is given an angle is realized as an inspection application provided in the image processing device 4 in the same manner as in the first embodiment.
  • this inspection application is started on the PC 15, the display window 100 shown in FIG. 6 is displayed on the display 18, and the operation of this inspection application is as described in the step S 1.
  • the operation is the same as that of S12.
  • the warning process executed in step S10 is the process after step S61 shown in FIG.
  • step S61 the PC 15 acquires and records in step S8.
  • the input shape data in the frame immediately before the current frame input shape data recorded is obtained. If it is determined that the inserted shape data of the previous frame has not been acquired, the process proceeds to step S11 and subsequent steps.
  • step S61 If it is determined in step S61 that the insertion shape data of the previous frame has been acquired, the PC 15 determines in step S62 that the insertion shape data of the previous frame and the current frame have been obtained. From evening, electronic endoscope 1 2 Find the angle An gj 'i at the tip of the insertion section. This angle An gj, as shown in FIG. 1 0 Ri by the number equation 5, by selecting the three points continuously out from the endoscope insertion portion distal end of the m source Sukoiru coordinates sequentially angle An g J ' Ask for i. Note that the larger the angle considered when the starting points of V ec 3 and V ec 4 are aligned, the greater the bending of the tip of the insertion portion.
  • V ec 3 ( ⁇ ), x ) i + i , Y i, _ Y i, + _
  • V ec 4 (X] i + 2 - ⁇ ) i + Y i i + 2 _ Y
  • a ng ⁇ i c o s - (VX 3 VX 4 + VY 3 VY 4 + VZ 3 VZ 4) (dn 3 dn 4)
  • Step S 6 3 angle shows the even value greater than a predetermined threshold value A ng j exists and the angle to the front end of the endoscope is judged that is given, PC 1 5 is Sutedzupu S 6 At 4, the current frame power detected by the shape processing device 13 of the inserted shape observation device 3 Obtain the length of the insertion section of the child endoscope 1 2.
  • the length of the insertion portion of the electronic endoscope 12 is calculated by, for example, calculating the length of the insertion portion of the endoscope based on the number of effective source coil coordinate data generated by the shape processing device 13 in the evening. I do.
  • step S65 the PC 15 determines the length of the current frame insertion portion calculated in step S64 and the endoscope insertion portion of the frame preceding the current frame. Compare with the length of As a result of the comparison in step S65, when the length of the endoscope insertion portion of the current frame is longer than the length of the endoscope dedicated portion of the previous frame, the insertion portion is inserted into the organ and moved. If the judgment is made, the process proceeds to step S66J4, and if the length of the endoscope insertion portion of the current frame is shorter than the length of the endoscope insertion portion of the previous frame, the insertion portion is stopped or stopped. ⁇ It is determined that the insertion portion has been pulled out, and step S11 and subsequent steps are executed.
  • step S66 the PC 15 determines whether or not the increase in the length of the endoscope insertion portion has continued for a predetermined number of frames.
  • step S66 If it is determined in this step S66 that the state of increase in the length of the insertion portion has not continued for the predetermined number of frames, the flow shifts to the processing in step S11 and thereafter, and the predetermined frame continues. Is determined, in step S67, a warning signal is generated to warn that the endoscope insertion section is inserted with an angle given to the distal end, and the shape of the endoscope insertion section is generated. A warning sound is generated by providing information about the warning, and a warning message is displayed in the warning display section 110 of the inspection window 100 in FIG.
  • the warning display is not only characters but also a graphic display such as an icon or blinking display.
  • the information on the shape of the endoscope insertion part according to the movement of the endoscope insertion part that is actually inserted is obtained by the plurality of insertion shape data of the current frame and the previous frame.
  • FIG. 11 a fourth embodiment of the present invention will be described with reference to FIGS. 11 and 12.
  • FIG. 11 a fourth embodiment of the present invention will be described with reference to FIGS. 11 and 12.
  • the configuration of the electronic endoscope system 1 of the fourth embodiment is the same as that of the above-described first embodiment, and the endoscope device 2 and the endoscope insertion shape observation device 3 in the image processing device 4.
  • the processing method of the endoscope image and the inserted shape data from the camera is basically the same.
  • the fourth embodiment is different from the above-described third embodiment in a detection process in a case where an insertion operation is performed in a state where a different angle is given to the distal end of the insertion section of a different electronic endoscope 12.
  • the detection of the insertion operation in a state where the end of the endoscope insertion portion is given an angle is realized as an inspection application provided in the image processing device 4 in the same manner as in the third embodiment.
  • this inspection application is activated on the PC 15, the inspection window 100 shown in FIG. 6 is displayed on the display 18.
  • the operation of this inspection application is as described in the above steps S 1 to S 1.
  • the operation of S12 is the same.
  • the processing executed in step S10 is the processing after step S81 shown in FIG.
  • step S81 the PC 15 determines whether or not the insertion shape data in the frame immediately before the insertion shape data of the current frame acquired and recorded in step S8 has been acquired. If it is determined that the frame insertion shape data has not been acquired, the process proceeds to step S11 and subsequent steps.
  • step S81 determines in step S82 that the insertion shapes of the previous frame and the current frame have been acquired. From day one, the angle Angji of the distal end of the insertion portion of the electronic endoscope 12 was calculated as shown in FIG. From the coordinates of the m source coils from the distal end of the endoscope insertion point, three consecutive points are selected in order, and the angle Angj is determined.
  • step S 8 3 the angle An gj obtained multiple at the step S 8 2 is compared with a predetermined threshold value, a value larger than the predetermined threshold value of the angle An g j i If there is one, it is determined that an angle has been given to the end of the endoscope insertion portion, and the steps from step S84 are executed, and there is no one indicating an angle Ang j value larger than the predetermined threshold value When the determination is made, the processing shifts to the processing from step S11.
  • step S 8 the angle A ng j i indicating a value larger by a predetermined threshold value at 3, the angle to the endoscope ⁇ tip is judged that is given, PC 1 5
  • Equation 4 the angle between the direction of movement of the operation section of the insertion section of the electronic endoscope 12 and the direction of the insertion section operation section side is calculated from Equation 4 based on the insertion shape data of the previous frame and the current frame.
  • the direction of movement of the insertion unit operation unit and the front frame are determined using the jth frame as the current frame and the ith coil coordinate of the jth and 11th frame as the previous frame.
  • the angle An g j ⁇ formed by the orientation of the input operation unit is obtained from the i-th and i + l-th coil coordinates of the j-th frame that is the frame.
  • step S85 the PC 15 compares the angle Ang j i obtained in step S84 with the predetermined threshold value to determine whether the operation section of the insertion section of the electronic endoscope 12 has been inserted. To judge. The angle Angji between the moving direction of the input section operating section and the moving direction of the input section operating section is If it is smaller than the predetermined threshold value, it is determined that the surgeon is performing the insertion operation of the operation unit of the insertion unit of the electronic endoscope 12, and steps S86 and the subsequent steps are executed, and the operation is performed. If it is larger, it is determined that the insertion operation of the insertion section operation section of the electronic endoscope 12 has not been performed, and the flow proceeds to the processing from step S11.
  • step S85 If it is determined in step S85 that the insertion section operation section of the electronic endoscope 12 has been inserted, the PC 15 proceeds to step S86 and uses the formula 4 as shown in FIG. Using the ith coil coordinate of the j-th frame, which is the frame, and the i-th coil coordinate of the j-1 frame, which is the previous frame, the direction of movement of the tip of the insertion portion is determined by the j-1th frame, which is the previous frame. The angle Ang j formed by the orientation of the insertion part is obtained from the first and i-th eleventh coordinates of the above.
  • the vector formed by (X j — Y J - 1 i, Z j - 1 i) and (X j - 1 i-i 3 Y J " 1 i _ i, Z j - 1 ⁇ _! torr V ec 2 direction is the direction of the insertion portion, (XJ '- ii, Y j - 1 i, Z J - 1 i) and (X j i, Y j i , ⁇ ) of vector V ec 1 serving The direction indicates the direction of movement of the tip of the insertion part, where i is the coil number given in advance.
  • step S87 the PC 15 determines whether the tip of the insertion portion of the electronic endoscope 12 is inserted in another direction different from the observation direction from the angle Ang j obtained in step S86.
  • the direction of movement of the distal end of the insertion section is determined as follows: when the angle Angji with the direction of the distal end of the insertion section is larger than a predetermined threshold, the distal end of the insertion section of the endoscope is inserted in a direction different from the observation direction. It is determined that it has been done.
  • step S87 If it is determined in step S87 that the distal end of the insertion portion of the endoscope is inserted in a direction different from the observation direction, steps S88 and thereafter are executed, and the insertion distal end of the endoscope is moved in the observation direction. If it is determined that the data has been inserted, the flow shifts to the processing from step S11.
  • step S87 the insertion section tip of the endoscope is different from the observation direction If it is determined that the insertion has been performed in the direction, the PC 15 determines in step S88 whether or not the insertion operation in another direction different from the observation direction has continued for a predetermined number of frames. If it is determined that the number of frames has not been continued, the process proceeds to the processing after step S11. If it is determined that the predetermined number of frames has been continued, the operation unit of the endoscope is inserted and inserted. It is determined that the insertion operation is being performed with an angle given to the distal end, and a warning is generated in step S89.
  • a warning sound may be generated by the PC 15 or a warning message may be displayed on a warning display section 110 of the inspection window 100 shown in FIG.
  • the warning display may be not only characters but also figures such as icons, and those character figures may be displayed blinking.
  • the image processing device 4 described only the warning that the insertion was performed when the insertion shape was received from the insertion shape observing device 3 when the insertion shape was received from the insertion shape observation device 3.
  • Image and Inserted Shape Data It is possible to prepare a viewer that allows viewing in the evening, and issue a similar warning for the specified inserted shape data.
  • the configuration of the electronic endoscope system 1 according to the fifth embodiment is the same as that of the above-described first embodiment, and the endoscope device 2 and the endoscope insertion shape observation device 3 in the image processing device 4.
  • the processing method for the endoscope image and the inserted shape data from the camera is basically the same.
  • a loop may be formed in the process of inserting the insertion portion of the endoscope into the large intestine.
  • This loop is called a loop, a loop, an alp, etc. depending on its shape.
  • an operation of releasing the loop of the endoscope insertion section and performing linearization is performed. Be done.
  • the state of the loop is recognized and displayed, and the method of linearizing the endoscope insertion section is displayed, whereby the endoscope is displayed. It aims to improve the insertability of the insertion section, shorten the time required for endoscopy, and reduce patient discomfort.
  • the detection of the loop formed between the endoscope insertion portion and the distal end is realized as an inspection abrication provided in the image processing device 4 as in the first embodiment.
  • this inspection application is started on the PC 15, the display window 100 shown in FIG. 6 is displayed on the display 18, and the operation of this inspection application is performed in the above-described steps S1 to S1.
  • the operations of 1 and 2 are the same.
  • the processing executed in step S101 is the processing after step S101 shown in FIG.
  • the loop is clockwise or counterclockwise. Is it?
  • the direction of rotation of the loop is considered to be the direction from the distal end of the endoscope insertion section to the operation section side.
  • curve feature extraction technology can be used for loop recognition and rotation direction determination.
  • the inserted shape is considered as a two-dimensional curve projected on the X and Y axes, and for example, a P-type Fourier descriptor is used.
  • the P-type Fourier descriptor is described in detail in IEICE Transactions Vol. J67-ANo.3. This method first divides a curve by V n (Vn is a positive number of segments) line segments, expresses the end points of the line segments in complex form, defines the total curvature function at each point, and calculates the total curvature
  • V n is a positive number of segments
  • PC 15 is step S 101, and determines a loop formation candidate.
  • a circular loop is formed, since the source coil and the source coil are close to each other, a portion where the distance between the two source coils is smaller than a predetermined threshold is set as a loop formation candidate.
  • the PC 15 calculates the Euclidean distance between the power spectrum Cq (k) and the power spectrum C (k) in step S103, in this step S103.
  • the determined short distance is compared with a predetermined threshold in step S104, and if the determined short distance is smaller than the threshold, a loop is formed. It is determined that there is. In this loop determination, if both C O (k) and C I (k) are smaller than the threshold, it is determined that the rotation direction is smaller. If there is no loop, the processing shifts to the processing after step S11. If it is determined in step S104 that there is a loop, PC1
  • step S106 a normal vector of the plane S is obtained, and an angle 0 formed with a line of sight vector indicating the direction of observing the endoscope insertion part is obtained.
  • step S107 the coordinates of (Px0, Py0, Pz0) on the distal end side of the insertion portion are substituted into the equation of plane S, and whether it is on the viewpoint side with respect to plane S, Or determine if you are on the opposite side of the viewpoint.
  • the ( ⁇ 1) angle 6> is larger than 90 degrees, and if the substitution result is positive, the viewpoint side (Fig. (See 13), (2), angle 6> is greater than 90 degrees If the substitution result is negative, the opposite side of the viewpoint (see Fig. 13), (3) angle 0 is less than 90 degrees If the substitution result is positive, it is on the opposite side from the viewpoint (see Fig. 14). (4) If the angle 0 is 90 degrees or less, and if the substitution result is negative, it is on the viewpoint side (see Fig. 14).
  • step S108 the operation method of the endoscope, that is, the loop release method is determined from the relationship between the direction of the loop, the tip of the insertion portion, and the plane S in step S107.
  • An example of the criterion of the loop release method is as follows.
  • step S109 the PC 15 uses the loop release method set in step S108 as the provision of endoscope operation information (information for prompting the operation) in the examination window 1.
  • endoscope operation information information for prompting the operation
  • the PC 15 uses the loop release method set in step S108 as the provision of endoscope operation information (information for prompting the operation) in the examination window 1.
  • endoscope operation information information for prompting the operation
  • the display of the operation method display section 1 1 1 1 may be displayed in the form of an arrow or the like in a clockwise or counterclockwise direction or a figure indicating an endoscope rotation operation, or an operation explanation, Alternatively, spoken instructions can be used.
  • the release operation display when receiving the inserted shape data from the inserted shape observing device 3 is shown in the image processing device 4, but the endoscope image and the inserted shape data can be viewed. It is also possible to prepare a viewer and perform a similar display for the specified insertion shape data.
  • the insertion-shape is recognized, the state of the loop is recognized and displayed, and the insertion operation is presented to improve the civilization of the endoscope, shorten the time required for endoscopy, and provide the patient with the information. It will reduce pain.
  • the image processing device 4 for realizing the first to fifth embodiments described above may be one of the functions constituting the electronic endoscope system 1, or may be mounted on the endoscope insertion shape observation device 3. .
  • an integrated function constituting the insertion shape observation device 3 and the electronic endoscope system 1 can be provided.
  • the mechanism for estimating the shape of the endoscope insertion section may be any one of a source coil group for generating magnetism and a sense coil group for detecting magnetism.
  • a source coil group for generating magnetism and a sense coil group for detecting magnetism.
  • One example is described in which one is mounted on the endoscope insertion part and the shape is estimated by the magnetism detected by the sense coil group.
  • an optical fiber that causes transmission loss due to bending is used.
  • This optical fiber is installed in the endoscope insertion section, and a method of detecting the bending of the insertion section according to the change in the amount of light transmitted through the optical fiber, or applying a special ink to a flexible substrate and bending the substrate Other detection methods, such as utilizing a characteristic in which the resistance value changes in proportion to the distance, may be used.
  • FIG. 19 shows a configuration of an electronic endoscope system according to a sixth embodiment of the present invention.
  • FIG. 20 is a flowchart illustrating a processing operation of recording and storing an endoscope image and an endoscope insertion shape data in the electronic endoscope system according to the sixth embodiment.
  • FIG. 21 is a flowchart for explaining the synchronous reproduction processing operation between the endoscope image and the endoscope insertion shape image in the electronic endoscope system according to the sixth embodiment, and FIG.
  • a flowchart for explaining one operation of a reproduction timer for synchronous reproduction of an endoscope image and an endoscope insertion shape image FIG.
  • the endoscope image and the endoscope insertion shape are shown on the display screen when recording and storing the image.
  • FIG. 24 is a view showing the sixth embodiment.
  • synchronous playback processing with the endoscope insertion shape image It is a diagram showing a display screen.
  • the electronic endoscope system 201 includes an endoscope device 202, an endoscope insertion shape observation device 203, and an image processing device 204.
  • the electronic endoscope 2 12 is provided with an electronic imaging device at the distal end of an elongated insertion portion to be inserted into a lumen in a body cavity, and controls the drive of the electronic imaging device to control the lumen.
  • the observation site of the lumen is illuminated by a light guide provided in the insertion section.
  • a bending portion is provided at a distal end portion of the insertion portion of the electronic endoscope 2 12, and the bending operation can be performed from an operation portion provided at the base end of the insertion portion.
  • the operation unit of the electronic endoscope 212 controls the drive of the electronic image pickup device between the release switch 212a and the video processor 210, and the imaging generated and generated.
  • Cape that sends and receives video signals A light guide cable and the like for guiding illumination light from the light source device 211 to the light guide are provided.
  • the electronic endoscope 2 12 is provided with a detection function for detecting the insertion position and the shape of the insertion section in the lumen. As in the related art, it has a plurality of source coils provided in the insertion section of the endoscope and a plurality of sense coils (not shown) provided in the endoscope insertion shape observation device 203.
  • the video processor 210 drives and controls the electronic image pickup device of the electronic endoscope 2 12, performs predetermined signal processing on an image pickup video signal generated by photoelectric conversion by the electronic image pickup device, and performs color signal and Generates Y / C signal or RGB signal with luminance signal.
  • the Y / C signal or the RGB signal having the luminance signal and the chrominance signal generated by the video processor 210 is directly output to the observation monitor 214 and the image processing device 215. ing.
  • the video processor 210 has a function of inputting examination information relating to endoscopy.
  • the light source device 211 includes a lamp as an illumination light source, a lighting circuit of the lamp, and the like, and supplies illumination light projected when the lamp is turned on to the light guide of the electronic endoscope 211. It is projected from the distal end of the insertion section to the observation site in the lumen.
  • the observation monitor 214 displays an endoscope image based on the Y / C signal or the RGB signal generated by the video processor 210.
  • the endoscope insertion shape observing device 203 is a peripheral device of the endoscope device 202, and is shown in the drawing attached to the endoscope insertion shape observing device 203. Based on the magnetic field of the source coil provided in the electronic endoscope 2 12 detected by the sense coil that is not provided, the position coordinates of each source coil are calculated and calculated. Shape processor 213 for estimating and forming the shape of the inserted part and generating an inserted part shape image signal, and displaying the inserted shape image based on the inserted part shape image signal generated by the shape processor 213 Monitor 2 1 3b.
  • the endoscope insertion shape observation device 203 has a shape such as a rotation angle and an enlargement / reduction ratio of an insertion portion shape image that is processed and generated by the shape processing device 213 and displayed on the monitor 213b.
  • the display attributes can be changed by inputting instructions from an operation panel (not shown).
  • the shape processing device 2 13 is provided with a communication port 2 13 a.
  • the image processing device 3D coordinate information indicating an endoscope insertion shape and an insertion shape data such as a shape display attribute are processed by an image processing device. Output to 204 is possible.
  • the image processing device 204 is a personal computer. 2 15 ('hereinafter PC 2 15), mouse 2 16 and keyboard 2 17 for inputting various instructions to this PC 2 15 and processed by PC 2 15 It has a display 218 that reproduces and displays various types of information data and image information.
  • the PC 215 has a communication port 21 for taking in the insertion shape data output from the communication port 213a of the shape processing device 213 of the endoscope insertion shape observation device 203. 5a, a communication port 215b for capturing endoscope inspection information output from a communication port 210a of the video processor 210 of the endoscope 2, and the endoscope 2 A moving image input port 215c for converting the moving image video signal generated by the video processor 210 into a predetermined compressed image data.
  • the video signal of the moving image generated by the video processor 210 is input to the moving image input port 215c of the image processing device 204.
  • the video signal of the moving image is converted to a predetermined compressed moving image video signal data, for example, a compressed image data of MJPEG format, and stored in a recording device (not shown) of the PC 215. .
  • examination information related to the endoscope examination is input from the video processor 210, and observation is performed based on the input examination information data.
  • the information is displayed on the monitor 214 in the form of letters and numbers, and the inspection information is transmitted from the communication port 210a to the image processing device 204 via the communication port 215b. It is possible to record.
  • the test information includes, for example, the patient's name, date of birth, gender, age, patient code, and test date and time.
  • the image processing device 204 is connected to the video processor 210 as necessary, and receives and stores various information data from the video processor 210.
  • the operation of the image processing device 204 in the electronic endoscope system 201 having such a configuration will be described.
  • the endoscope insertion shape data from the shape processing device 211 of the endoscope insertion shape observation device 203 is acquired, and the inspection information and the endoscope image from the video processor 210 are acquired and stored.
  • the processing operation will be described with reference to FIGS.
  • This processing operation is realized by driving an endoscope inspection application provided in the image processing device 204.
  • the video processor 210 inputs inspection information, and the image processing devices 2 and 4 activate an endoscopic inspection abrication.
  • the display 218 displays the inspection window 300 shown in FIG. 23 (a) and the endoscopic image window shown in FIG. 23 (b).
  • Dow 305 is displayed.
  • the PC 215 of the image processing device 204 drives the abrique for endoscopy, and the inspection window is displayed on the display 218.
  • the PC 215 sets the mode for receiving and storing the examination information and the endoscope image data from the video processor 210 in step S201. Is done.
  • step S202 the PC 215 operates the mouse 216 or the keyboard 217, and the operator operates the mouse 216 or the keyboard 217 to display the examination start button () displayed on the examination window 300.
  • Start E xam. In the figure. Determine whether 3 0 1 has been turned on. It waits until the inspection start button 301 is turned on, and when it is turned on, the steps from step S203 are executed.
  • step S203 the PC 215 opens the communication port 215a and starts communication with the shape processing device 213 of the endoscope insertion shape observation device 203, and in step S204. Then, the communication port 215b is opened, and communication with the video processor 210 is started.
  • step S205 the PC 215 sends a command for acquiring inspection information to the video processor 210 from the communication port 215b through the communication port 210a of the video processor 210b.
  • the video processor 210 that has received the inspection information acquisition command transmits the inspection information to the PC 215.
  • step S205 the PC 215 transmits the inspection information transmitted from the video processor 210 to the recording device (not shown) in step S206.
  • step S207 the PC 215 transmits a command to acquire the insertion shape data from the communication port 215a to the communication port 213a of the shape processing device 213, and The shape processing device 213 that has received the command to acquire the inserted shape data overnight starts transmitting and outputting the inserted shape data. This transmission is continued until the communication between the PC 215 and the shape processing device 213 ends, and the communication port 215a is closed.
  • PC 215 is formed in step S 208 and in step S 207 described above.
  • the insert shape data transmitted and output from the shape processing device 213 is received, and is associated with the inspection information recorded and stored in the above-described step S206, and is linked to a hard disk (not shown) provided in the PC 215.
  • File Record and save hereinafter, referred to as insertion shape file).
  • step S209 the PC 215 converts the moving image signal input from the video processor 210 to the moving image input port 215c into a compressed image data in MJPEG format. Then, the file is recorded on a hard disk (not shown) of the PC 215 in association with the inspection information recorded and stored in the step S206 (hereinafter, referred to as an image file), and the moving image is recorded.
  • the moving image input to the image input port 215c is displayed in the endoscope image area 306 of the endoscope image window ⁇ 305 shown in FIG. 23 (b).
  • step S210 the PC 215 determines whether or not the inspection. Inspection end button (indicated as "EndExam.” In the figure) of the window 300 has been operated. When it is determined that the end button 302 is not operated, the process returns to step S208, and when it is determined that the inspection end button 302 is operated, at step S211 The communication ports 2 15 a and 15 b are closed to end the information communication between the shape processing device 2 13 and the video processor 210.
  • the image processing device 204 converts the examination information data input by the video processor 210 of the endoscope device 202 and the video signal captured by the electronic endoscope 212 into
  • the endoscope image data converted into the predetermined compressed image data and the insertion shape data observed and generated by the endoscope insertion shape observation device 203 are acquired, and the inspection information is stored in a predetermined recording device. Record in association.
  • the synchronous reproduction processing operation of the endoscope image and the insertion shape image is performed. This will be described with reference to FIGS. 21 and 24.
  • the function of temporarily stopping playback, terminating the playback, directly specifying a display frame, and changing the display attribute will be described.
  • the display attributes are the rotation of the endoscope insertion shape around the X-axis and the rotation around the Y-axis.
  • the coordinate system of the insertion shape display is the insertion shape display screen 330 shown in Fig. 24 (b). Shown in These functions are executed by a viewing application (hereinafter abbreviated as “viewer”) that runs on the image processing device 204.
  • viewer a viewing application
  • the display 2 18 displays the figure- 24 (a ) Playback control window 3 1 0
  • the insertion shape display window 3 30 shown in Fig. 24 (b) and the endoscopic image window 3 35 shown in Fig. 24 (c) are displayed. You.
  • the synchronization between the endoscope image and the insertion shape image is synchronized. For playback, synchronized playback of both is possible by creating a frame table that adjusts the playback start time based on the creation time of the image file and the insertion shape file.
  • the creation time of the image file is 10: 00: 00: 00
  • the insertion shape file creation time is 10: 00: 01: 01
  • the endoscope image frame rate is 30 frames per second
  • a table showing the relationship between the endoscope image frame number of the image file and the frame number of the inserted shape file can be formed as shown in Table 1.
  • the processing interval of the playback time is determined from the frame rate without using the relationship shown in Table 1 and played back. It may be displayed.
  • the surgeon activates the viewer of the PC 215 and displays the display 218 in FIG.
  • the playback control window 310 shown in a), the insertion shape display window 330 shown in Fig. 24 (b), and the endoscopic image window 335 shown in Fig. 24 (c) Is displayed.
  • the PC 215 specifies an image file in which the operator performs synchronized playback of the endoscope image and the insertion shape image in step S221.
  • the image file for performing the synchronous playback can be specified by, for example, using the playback control window 310 (represented as Play in the figure) 3 1 1 with the mouse 2 1 6 or key board.
  • a file selection window is displayed on the display 2 18.
  • the image file is associated with the inspection information of the image file.
  • the inserted shape file becomes the partner of the synchronized playback.
  • Image files Let the number of frames included in the file be.
  • the PC 215 enters the step.
  • the range of the slide controller 3 14 in the playback control window 3 10 is initialized to the minimum value 0 and the maximum value to N f-1.
  • step S223 When the initialization of the various variables in step S223 is completed, the PC215 sets a reproduction timer in step S224.
  • This evening image is a software-to-air image used for multiplexing of software.
  • This playback image executes display processing of an endoscope image and an insertion shape, which will be described later, at a fixed time interval.
  • the interval at which the image is processed is the frame rate f (fps) of the endoscope image. ), L Zf (s
  • step S224 the PC 215 proceeds to step 322, and in step 322, the playback control button 314 playback end button (denoted by Stop in the figure). It is determined whether 1 3 has been operated. If it is determined that the playback end button 3 1 3 has been operated, the drive of the playback image is terminated in step S2 36, and the endoscope image and the inserted shape image are displayed.
  • the playback operation button 3 13 is determined not to have been operated, the synchronous playback display processing operation of It is determined whether the slide controller 3 14 a of the reproduction control window 3 10 has been operated and moved.
  • the slide controller 3 14 in step S 2 26 directly specifies the frame of the endoscopic image to be reproduced by the operator, and displays the inserted shape image associated with the specified endoscopic image. be able to.
  • Step S226 When it is determined in step S226 that the knob 314a of the slide controller 314a has moved and the frame of the endoscopic image to be reproduced and displayed has been designated, the control is completed.
  • step S228, the PC 215 obtains the frame position set by moving the slide control knob 314a of the slide controller 314a, and obtains an endoscope image of the position data.
  • the display frame number of the file is set to F rm
  • step S 229 the endoscope image frame corresponding to the display frame number F rm of the endoscope image file is drawn in step S 228.
  • 2 4 (c)
  • the image display screen 3 3 5 is displayed on the display screen, and the insertion shape data and display attributes corresponding to F rm are obtained from the insertion shape file, and the display attributes and rotation around the X axis are obtained.
  • Angle 6> The inserted shape image reconstructed by rotating the inserted shape with respect to the rotation axis 0 y around the X and Y axes is displayed on the inserted shape display screen 330 of FIG. Return to 2 25. .
  • this endoscopic image window 335 and the insertion shape window ⁇ 330 is superimposed appropriately on the display 218 or the endoscope image and insertion shape are reduced to an appropriate scale according to the settings given in advance, and displayed so that both windows do not overlap. May be. The size of both windows can be changed by the user. If it is determined in step S226 that the knob 314a of the slide controller 314 has not been moved, the PC215 is moved to step S230.
  • step S2 3 2 and subsequent steps are executed and it is determined that the play button 3 1 1 has been operated, the PC 2 15 sets the status to playback (St 2 Playback) in step S 2 3 1. Then, the updating of the endoscope image and the inserted shape image by the reproduction image is restarted, and the process returns to step S225.
  • step S2 32 If it is determined in step S2 32 that the pause button 3 12 has not been operated, the PC 2 15 proceeds to step S 2 34 and inserts the rotary button 3 15 ( (Indicated by arrow keys in the vertical and horizontal directions in the figure) is operated, and if it is judged that it has not been operated, the process returns to step S2 25 and the insert shape rotating button 3 15 is operated. If it is determined that the insertion shape rotation button 3 1 5 has been selected in step S 2 35 The rotation angle of the operated insertion shape image is increased or decreased, and the process returns to step S225.
  • the rotary button 3 15 (Indicated by arrow keys in the vertical and horizontal directions in the figure) is operated, and if it is judged that it has not been operated, the process returns to step S2 25 and the insert shape rotating button 3 15 is operated. If it is determined that the insertion shape rotation button 3 1 5 has been selected in step S 2 35 The rotation angle of the operated insertion shape image is increased or decreased, and the process returns to step S225.
  • the rotation angle ⁇ y around the Y axis is increased by Cy when the rotation angle is increased or decreased in step S 2 35.
  • the rotation angle 6> y around the Y axis is reduced by C y
  • the rotation angle 0 x around the X axis is 0 C
  • the rotation angle 0 X around the X axis is increased by CX.
  • Cx and Cy are constants given in advance and the amount of increase or decrease of the rotation angle of the doll face, and the unit is radian indicating the angle.
  • the playback image has a function of displaying an endoscope image and an insertion shape, and a function of updating the position of the knob 314 a of the slide controller 314.
  • the position update function of this knob 314a allows the operator to easily recognize which frame is currently displayed in all the frames of the endoscope image.
  • the multiplexing processing in the software realized by the software may be performed by a multi-thread method.
  • step S224 the PC 215 decodes the endoscope image data of the frame designated for display from the endoscope image file and It is displayed in the endoscope image display area 336 of the endoscope image display screen 335.
  • step S224 the PC 215 determines the insertion shape corresponding to the frame of the endoscope image displayed in the endoscope image display area 336 in step S224. Evening and display attributes are read from the insertion shape file, and reconstructed as an insertion shape image by rotating the display attributes and the rotation angle 0x around the X axis and the rotation angle 0y around the Y axis, and the insertion shape display window It is displayed in the insert shape image display area 331 of the dough 330.
  • the rotation of the X-axis and the Y-axis of the insertion shape is performed by a known coordinate transformation with respect to the three-dimensional coordinate of the insertion shape.
  • step S245 If it is determined in step S245 that the playback display has been completed up to the last frame, in step S246, the PC 215 ends the driving of the evening image.
  • step S245 If it is determined in step S245 that the last frame has not been reproduced and displayed, in step S247, the PC 2 15 slides the slider 3 1 4 knob 3 1 4 Move the slide control knob 3 1 4 a to the position of the frame obtained by adding 1 to the display frame number F rm in step S 2 4 4 in the above step S 2 4 4, and Is completed.
  • the function of the image processing device 204 may be built in the video processor 210 or the endoscope insertion shape observation device 203.
  • the storage format of the internal mirror image is not limited to a moving image, and the same effect can be obtained by continuously storing still images as long as the recording time is clear.
  • the endoscope image and the shape of the endoscope insertion portion at that time can be freely compared. It can be used effectively for education of endoscope insertion operation.
  • the endoscope inspection information, the endoscope image, and the insertion of the desired endoscope image or the endoscope inserted from the endoscope, etc. It has a function of retrieving shape images and adding information to the retrieved endoscope images and endoscope insertion shape images.
  • the viewer that starts the viewer having the search and information addition function on the PC 215 is shown in FIG. 27 (a) in the display 2 18.
  • This search and information addition function will be described using, for example, a search example of a loop shape of an endoscope insertion unit.
  • the loops that can be recognized are previously defined as a loop, an N-loop, and an alpe, and the shape of the inserted part can be considered as a curve.
  • the shape of the insertion section as a two-dimensional curve, and use, for example, a P-type Fourier descriptor. This P-type Fourier descriptor is based on IEICE Transactions V o 1.j67-AN o. Shown in 3.
  • This method first divides a curve by n (n is the number of divisions and a positive number) line segments, displays the end points of the line segments in complex form, defines the total curvature function at each point, and calculates the total curvature function.
  • the power spectrum obtained by Fourier transform of is the characteristic of the curve.
  • step S251 the PC 215 executes the playback control window 4 displayed on the display 218.
  • step S10 it is determined whether the reproduction display target or the inspection information to be searched is selected.
  • the inspection information to be displayed or searched for is displayed in the inspection information display area 419 of the reproduction control window 410, and the mouse 2 16 or the key is displayed from the list of the inspection information. Select with one board 2 17.
  • step S252 If it is determined in step S251, that the playback information or the search information to be searched has been selected and selected from the endoscopy information list, in step S252, the PC 215 performs the playback control.
  • the selected test information in the test information list displayed in the test information display area 4 19 of the window 4 10 is displayed in reverse video.
  • step S251 If no selection is made from the endoscopic examination information list in step S251, it is considered that the examination information listed first in the examination information list is selected.
  • N f be the number of frames contained in the image file associated with the selected examination information.
  • the PC 2 15 executes the playback control window 4 10 in step S 25 3 Search button (denoted as Retrival in the figure) It is determined whether 4 16 has been operated, and it is determined that search button 4 16 has not been operated.
  • the rice cake 215 displays a search information window (not shown) on the display 218, and uses this search information window to search for a loop shape or the like to be searched. Enter information.
  • a search information window (not shown) on the display 218, and uses this search information window to search for a loop shape or the like to be searched. Enter information.
  • information for searching for a loop has been input.
  • step S256 When loop information, which is a loop shape to be searched in step S255, is input, in step S256, the feature data is calculated for each frame from the insertion shape data. I do.
  • step S257 the PC 215 determines the power spectrum C ri (k) of the typical loop stored in advance and the power spectrum C j calculated in step S256. Find the distance to (k). For example, if the distance between the loop and the power spectrum is smaller than the threshold, C j (k) is determined to be a loop. The distance between these two particles is, for example, the Euclidean distance, and the similarity determination is performed for all frames.
  • the PC 215 initializes the range of the slide controller 4 14 to the minimum value 0 and the maximum value to N f — 1 in step S 258, and the step S 259 performs the above-mentioned step S 259.
  • a figure 218 indicating a frame position determined to be similar is displayed near the slide control port 414.
  • the frame position figure 4 18 is displayed on the upper side of the slide controller 4 14 of the reproduction control window 4 10 in FIG. 27 (a). This frame position figure 4 18 may be color-coded according to the type of loop.
  • step S260 the PC 2 15 determines whether the knob 4 14 a of the slide controller 4 14 4 has been moved, and if it is determined that it has not been moved, the step S 2 6
  • step 3 and subsequent steps are executed and it is determined that knob 4 14 a has moved
  • the position of knob 4 1 4 a moved in step S 26 1 is detected, and the playback frame number F rm is moved to the knob position.
  • step S262 the endoscope still image and the endoscope insertion shape image of the set frame are displayed.
  • the display method is the same as in step S22-9.
  • the display of the endoscope / still image and the endoscope / input image in step S262 is the same as in the sixth embodiment. That is, the endoscope image ⁇ window 435 and the insertion shape ⁇ window 430 are appropriately superimposed on the display 218 or the endoscope image according to the preset setting. The size of the inserted shape is reduced to an appropriate scale and displayed so that both windows do not overlap.
  • step S263 the PC 215 determines whether or not the information input button (indicated as "Information” in the figure) 4 17 of the playback control window 410 has been operated. If it is determined that the operation has not been performed, steps S265 and subsequent steps are executed. If it is determined that the information input button 417 has been operated, the display 218 is displayed on the display 218 in step S264. Information to be added to the endoscope still image and the endoscope insertion shape image is input using an information input window (not shown). The input additional information is recorded and stored in association with the endoscope inspection information and the reproduction frame number (Frm).
  • the additional information can be stored as separate information from the endoscope image and the endoscope insertion shape image.
  • step S265 the PC 215 determines whether the play button (P1ay) 11 has been operated, and if it is determined that the play button (P1ay) 11 has been operated, the above-described step S222 (see FIG. 21) ) For subsequent synchronous playback processing operations Transition.
  • the playback end button, the playback button, the pause button, the rotation button, and the slide controller are changed from those in FIG. The processing is executed in place of the above. After executing step S236, the process returns to step S251.
  • step S266 If it is determined that the play button 411 has not been operated, it is determined in step S266 that the end button (Clos) 4200 has been operated. Returning to step S251, when it is determined that the end button 4.20 has been operated, in step S267, the user performing this search and information addition is ended. As described above, after the endoscopic examination, additional information can be additionally input to the endoscope image and the endoscope insertion section shape image searched based on the search conditions.
  • Step 1 Step 2 is basically the same as steps S2 2 to S2 36, but the processing of the playback timer in step S2 24 is different. The operation will be described with reference to FIG.
  • the playback timer processing of the search and information addition function realizes a function of displaying an endoscope image frame and an endoscope insertion shape, a function of displaying additional information, and a function of updating a knob position of a slide controller.
  • step S 273 the PC 215 acquires the endoscope insertion shape data corresponding to the frame of the endoscope image decoded in step S 272 and the display attribute.
  • the display attribute, and the shape image reconstructed by the rotation with the rotation angle S x about the X axis and the rotation angle 0 y about the Y axis are displayed on the display 2 18 as the insertion shape display window shown in FIG. 27 (b). This is displayed in the insertion section shape display area 431 of window 4330.
  • step S274 the PC 215 obtains, from the endoscope insertion shape data corresponding to the frame of the endoscopic image decoded in the same manner as in step S2753, the step S2
  • the insertion shape is recognized in the same manner as in 5.6 and S257 (see Fig. 25), and the result is displayed in the recognition result display area 432 on the insertion shape display screen 4300.
  • Recognizable shapes are, for example, loops, N loops, and alps.
  • step S275 the PC 215 searches for additional information corresponding to the frame of the decoded endoscopic image, and displays the inserted shape display window information display area 4 3 0 Display in 3.
  • the PC 2 15 is a step S 276, 1 is added to the playback frame number F rm indicating the frame displayed on the display 2 18 (F rm + 1), and in the step S 277, It is determined whether or not the last frame has been reproduced and displayed. If it is determined that the last frame has been reproduced and displayed, the image drive is terminated in step S278.
  • step S279 If it is determined in step S277 that the last frame has not been played back and displayed, in step S279, the position of the slider 4 14 4 a of the slide controller 4 14 4 is set to the frame. Move to the corresponding position and end the process of this playback.
  • the seventh embodiment is an embodiment of an endoscopic examination.
  • a desired image can be searched and reproduced and displayed with the search items input from the endoscope image and the endoscope insertion shape 'image captured by the above process, and additional information can be additionally input to the searched and reproduced image.
  • the seventh embodiment a description has been given of an example in which a search is performed based on the endoscope insertion shape and additional information is input to the searched endoscope insertion shape.
  • additional information can be input to the endoscopic examination information, or an endoscopic image can be retrieved by endoscopic image search, and additional information can be input to the retrieved endoscopic image.
  • the functions of the image processing device 204 of the seventh embodiment may be held in the video processor 210 or the endoscope insertion shape observation device 203.
  • the storage format of the endoscope image is not limited to a moving image, and the same effect can be obtained by continuously storing still images as long as the recording time is clear.
  • the additional information relating to the endoscope image and the inserted shape image is input, recorded and saved, and the synchronous reproduction is performed, thereby obtaining the endoscope image and the shape of the endoscope insertion portion at that time.
  • the information can be freely compared, and it can be effectively used for education of endoscope insertion operation. In particular, it can be used as a self-taught application for endoscopic insertion by inputting related information.
  • the image processing apparatus includes, for example, a process of inserting an endoscope insertion section into the large intestine when performing an endoscopy with a colonoscope.
  • the insertion portion may form a loop.
  • This loop is called a loop, an N loop, an alp, or the like, depending on its shape.
  • the patient who is the subject may be uncomfortable, so the loop of the endoscope insertion section is released and straightened to eliminate the discomfort to the patient. I have.
  • the operation for straightening the endoscope insertion part depends on the state of the loop. Therefore, by recognizing and displaying the state of the loop of the insertion section and displaying the operation method of the endoscope insertion section, the time required for endoscopy is reduced and the discomfort of the patient is reduced. It is.
  • the eighth embodiment has a function of recognizing an inserted shape and a function of displaying a recognition result and related information in addition to the above-described sixth embodiment. These functions are realized as an inspection application that operates on the image processing device 204.
  • the video processor 210 In starting the endoscopic examination, the video processor 210 inputs the examination information, and the image processing device 204 starts the examination application.
  • an inspection window 500 shown in FIG. 209 (a) and an endoscope image window 505 shown in FIG. 209 (b) are displayed on the display 218.
  • This inspection application recognizes the type of loop in the endoscope insertion section, displays the result of the recognition, and searches the operation result of the endoscope insertion section, which is related information, from the recognition result. Explanation is given using an example of display.
  • N and r are considered as the loops to be recognized, and the features of the P-type Fourier descriptor are stored in advance in the same manner as in the above-described seventh embodiment.
  • the operation method of the endoscope insertion unit corresponding to each loop state is registered in advance on the data base in advance, and the recognition result is used as a search key to specify the operation method of the endoscope insertion unit.
  • the PC 215, in step S291 displays the inspection window shown in FIG. 29 (a) on the display 218.
  • the window 550 and the endoscopic image 505 shown in FIG. 29 (b) are displayed, and the endoscopic image from the video processor 210 and the shape processing device 213 are displayed. Endoscope Receives the inserted shape image. Set to save mode.
  • the inspection start button for inspection window 500 is displayed ⁇ (denoted as Start Exam. In the figure) 50 Wait for 1 to be operated by mouse 2 16 or keyboard 2 17.
  • the PC 215 opens the communication port 215a in step S293, and the endoscope insertion shape observation device 203 Communication with the shape processing device 2 1 3 is started.
  • step S294 the PC 215 opens the communication port 215b and starts communication with the video processor 210, and in step S295, communicates the inspection information acquisition command.
  • the video processor 2 1 transmits from the port 2 15 b to the communication port 2 10 a of the video processor 2 10 and receives this inspection information acquisition command via the communication port 2 10 a.
  • a value of 0 indicates that the endoscope inspection information is transmitted to the PC 215 via a path reverse to the transmission path of the above-described inspection information acquisition command.
  • the PC 15 receives the endoscope inspection information transmitted from the video processor 210 in step S295, in step S296, and records and stores it in a recording memory (not shown).
  • step S297 the PC 215 sends a command to acquire the endoscope insertion shape data from the communication port 215a to the communication port 213a of the shape processing device 213 from the communication port 215a.
  • the shape processor 2 1 3 which transmitted and received the command to acquire the inserted shape data via the communication port 2 13 a Starts transmission of the endoscope insertion shape data to the PC 215 via a route reverse to the transmission route of the endoscope insertion shape image data acquisition command described above.
  • the PC 215 receives the endoscope insertion shape data transmitted from the shape processing device 213 in the step S297 and receives the endoscope insertion shape data in the step S298, and stores the data in the hard disk (not shown) in the hard disk (not shown).
  • the file is stored in association with the endoscope inspection information recorded and stored in step S296.
  • the PC 215 extracts the feature of the inserted shape from the inserted shape data received in step S299.
  • ⁇ C215 calculates the distance between C (k) and Cri (k) in step S300. This distance uses, for example, the Euclidean distance. The distance calculated in step S300 is compared with a threshold value preset in step S301.
  • step S301 if it is determined that the distance value calculated in step S300 is larger than the threshold value, steps S306 and subsequent steps are executed, and it is determined that the distance value is smaller than the threshold value. Then, step S302 and subsequent steps are executed.
  • step S301 If it is determined in step S301 that the calculated distance value is smaller than the threshold value, the PC 215 displays the loop recognition result of the endoscope insertion section on the display 21 in step S302. Displayed on 8. This recognition result display of the loop is displayed on the recognition result display section 503 of the inspection window 500 (loop name, etc.).
  • step S303 the PC 2 15 determines whether or not the loop shape of the entrance has changed, and if it is determined that the shape has changed, In step S304, a warning sound is generated.
  • the generation of the warning sound prompts the operator to view the endoscope insertion shape image displayed on the monitor 2 13 b of the endoscope insertion shape observation device 203.
  • step S303 When it is determined in step S303 that there is no change in the loop shape of the insertion portion, or when the warning sound in step S304 is generated, the PC 215 performs an endoscope in step S305. Related information is searched based on the recognition result of the loop shape of the mirror insertion section, and the searched related information is displayed in the related information display section 50 of the inspection window 500 displayed on the display 218. Display on 4.
  • the related information display section 504 displays information about the operation method of the endoscope input section according to the loop state created in advance and recorded and stored in the evening. The operator can operate the endoscope with reference to this display.
  • step S306 the PC 215 converts the video signal input from the video processor 210 to the moving image input port 215c into compressed image data in MJ PEG format,
  • the file is stored in a hard disk (not shown) in association with the endoscope inspection information.
  • the input image from the video processor 210 is displayed in the image display area 506 of the endoscope image 505 on the display 218.
  • step S307 the PC 215 determines whether or not the inspection end button 504 (indicated as End Exam. In the drawing) of the inspection window 504 has been operated, and performs the operation. If it is determined that the inspection has not been performed, the process returns to step S298, and if it is determined that the inspection end button 502 has been operated, the PC 215 proceeds to step S308 to execute the video processor 21. Close the communication ports 215a and 215b that are communicating between 0 and the shape processing device 213, and terminate this inspection application.
  • the inspection end button 504 indicated as End Exam. In the drawing
  • the eighth embodiment mainly describes the endoscope insertion shape, It can also be applied to endoscopy information and endoscopic video.
  • the eighth embodiment has been described as a function of the image processing device 204, the video processor 210 and the endoscope insertion shape observation device 203 may have the same function. It is.
  • the storage format of the endoscope image is not limited to a moving image, and the same effect can be obtained by continuously storing still images if the recording time is clear.
  • the present invention when analyzing the insertion shape of the endoscope insertion portion, it is possible to provide information that leads to an improvement in the endoscope insertion property, and it is possible to provide an endoscope inspection time. Shortening and discomfort to the patient can be reduced.
  • the endoscope image and the endoscope insertion shape image are synchronously reproduced based on the stored endoscope image and the endoscope insertion shape data, and the endoscope image and its The endoscope image can be freely compared with the endoscope insertion shape image.

Abstract

本発明の内視鏡情報の処理装置は、体腔内に挿入する挿入部を有する内視鏡の挿入部の形状を検出して得られた挿入形状を解析する形状解析部と、前記形状解析部による解析の結果に応じて、内視鏡操作状況の情報を提供する情報提供部を備える。

Description

明 細 書 内視鏡情報の処理装置および処理方法
技術分野
本発明は、 内視鏡揷入部の体腔内での挿入形状を解析して、 そ の挿入形状情報を画像表示することで内視鏡の挿入操作性を向上 させる内視鏡挿入形状解析装置に関する。 背景技術
一般に電子内視鏡は、 先端に電子撮像素子を設けた細長で可撓 性を有する挿入部を有し、 この揷入部を体腔内の管腔である被検 体部に外部から挿入し、 挿入部先端の電子撮像素子で撮像生成し た画像信号を基にモニタ画面に再生される画像から被検体部を観 察したり、 及び挿入部に設けられた鉗子チャンネルから挿入され た処置用鉗子で生体組織の採取や治療処置を行うようになってい る。
ところで、 体腔内の管腔は、 例えば、 大腸や小腸等のように曲 がっており、 このような曲がった管腔内に内視鏡を挿入観察する 際に、 内視鏡挿入部が管腔のどの位置まで挿入されているか、 あ るいは内視鏡挿入部がどのような形状になっているか判明すると 内視鏡による観察処置の操作性が向上する。
このため内視鏡の挿入部が管腔内に挿入された位置や、 挿入形 状等を被検体である人体に無害で、 いかなる管腔でも使用できる 内視鏡の形状検出装置が提案されている。
例えば、 内視鏡の揷入部のチャンネルにプローブソースコイル を内蔵したプロ一ブが揷通され、 そのプロ一プソースコイルに磁 界発生駆動信号を供給し、 そのプローブソースコイルから発生し た磁界を被検体が載置されるべッ ドの所定位置に設けた複数の 3 軸センスコイルで検出し、 そのセンスコイルの検出信号を基にプ ローブソースコイルの位置を算出する。 その算出した位置から挿 入部の形状画像情報を生成し、 その形状画像情報を基にモニタに 揷入部の形状画像として表示すると共に、 その形状画像を互いに 直交する 2つの視点方向の形状画像も生成して、 モニタに 2つの 画面を同時表示することを可能とする内視鏡形状検出装置がある (例えば、 特開平 8— 1 0 7 8 7 5号公報 （カラム 0 0 1 7乃至 カラム 0 1 7 8、 図 1乃至図 1 3 ) ) 。、
また、 複数の第 1のコイルからなるソースコイルと、 このソ一 スコイルの複数の第 1のコイルからの磁界を検出する複数の第 2 のコイルからなるセンスコィノレと、 前記ソースコイルまたはセン スコイルのいずれか一方を体腔内に挿入される内視鏡の揷入部に 配置し、 前記センスコイルで検出したソースコイルの磁界に基づ いて、 内視鏡挿入部の形状を推定する形状推定手段とを有する内 視鏡形状検出装置において、 前記形状推定手段で推定した挿入部 形状から特定の形状を検出し、 その特定形状が検出されると警告 を発生する内視鏡形状検出装置がある （例えば、 特開 2 0 0 0 - 1 7 5 8 6 1号公報 （カラム 0 0 1 1乃至カラム 0 0 4 9、 図 1 乃至図 1 0 ) ) 。
従来、 内視鏡による被検体の検査における術者の意識は、 主に 管腔の観察部位を撮像生成した内視鏡画像に集中し、 必要に応じ て内視鏡挿入部の形状検出装置で生成表示される揷入部形状画像 を見るというスタイルが一般的である。
この内視鏡検査において、 揷入部の形状がループを形成した際 に、 そのループが形成されたことを検出して警告を発して術者に 注意を促す内視鏡挿入支援機能を有する内視鏡形状検出装置が上 記特開平 8— 1 0 7 8 7 5号公報に提案されている。 更に、 挿入性を向上すべく、 実際に挿入される内視鏡揷入部の 動きに応じた情報提供を行ったり、 内視鏡の挿入方法や操作指示 等を示す情報提供を行うことが望まれている。
本発明は、 このような要望に鑑みてなされだもので、 内視鏡揷 入部の形状を解析し、 内視鏡の挿入性向上につながる情報の提供 を行うことができる内視鏡挿入形状解析装置を提供することを目 的と している。
また、 従来、 内視鏡による被検体の観察中の術者の意識は、 主 に管腔の観察部位を撮像生成した内視鏡画像に集中し、 内視鏡揷 入部の形状検出装置で生成表示される挿入部形状画像に集中され ないことが多く、 内視鏡挿入部の挿入進行に障害が生じて初めて 挿入部形状画像に注目することになり、 内視鏡観察の進行の妨げ や被検体に対して不快感を生じさせる要因となる。
このような内視鏡観察の進行の迅速化と被検体に与える不快感 を解消するためには、 前記特閧平 8— 1 0 7 8 7 5号公報に開示 されている内視鏡形状装置は、 モニタ画面に観察部位の内視鏡画 像と、 挿入部形状画像が同時に表示されることから術者の意識が 両画像に払われるために、 内視鏡観察の進行促進と被検体への不 快感の解消が可能である。
また、 特開 2 0 0 0 — 1 7 5 8 6 1号公報に開示されている内 視鏡形状検出装置は、 内視鏡挿入部の管腔への挿入過程で、 ルー プを描いた場合に、 被検体に不快感を与えることから、 揷入部が 管腔でル一プを描く ような形状となった際に、 そのロープ形状を 検出して警告を発生することで、 術者に注意を促す、 被検体に対 する不快感を未然に防止するものである。
これら内視鏡形状検出装置は、 被検体の内視鏡画像と挿入部形 状画像との記録については何ら示唆していない。 一般に内視鏡観 察では、 内視鏡画像を録画記録して、 後日の観察部位の確認や内 視鏡操作の収得訓練に用いられる。 この内視鏡画像と挿入部形状画像の録画記録は、 一般的にはビ デォ機器が用いられることが多く、 内視鏡画像と挿入部形状画像 は、 それそれ異なるビデオ機器に記録されるために、 再生表示す る際に内視鏡画像と揷入部形状画像とが再生表示不一致となった り、 または内視鏡画像と挿入部形状画像を単一のビデオ機器に同 時録画記録するには、 特殊なビデオ機器が必要となる。
このような内視鏡形状検出装置で検出した揷入部の形状画像と 内視鏡画像とを共に記録すると共に、 その記録時に、 挿入部形状 画像に関連付けて内視鏡画像を記録する内視鏡画像フアイ リ ング システムが特願 2 0 0 1 - 3 4 7 9 0 9.号に提案されている。
しかし、 この特願 2 0 0 1 - 3 4 7 9 0 9号に提案されている 内視鏡画像のフアイ リ ングシステムは、 内視鏡に設けられたレ リ —ズボ夕ンを操作したときの内視鏡画像と挿入形状を静止画の状 態で記録している。 このため、 内視鏡観察の開始から終了までの 観察行為全般にわたる確認や操作訓練には不向きである。
また、 必要に応じて内視鏡画像や挿入形状画像の任意のフ レー ムに対して、 情報を付加したり、 両画像の同期再生時に付加した 情報を表示する機能については何ら示唆されていなく、 内視鏡検 査の開始から終了までの内視鏡画像や挿入形状画像の記録保存と その記録保存された画像に付加情報の入力を可能にした内視鏡画 像処理装置が要望されている。
本発明は、 このような要望にも鑑み、 内視鏡挿入形状デ一夕と 内視鏡画像データを共に保存し、 両画像を同期再生可能な内視鏡 画像処理装置を提供することを目的としている。
また、 内視鏡画像データや挿入形状データに対して関連情報を 付加することができ、 保存された挿入形状データと内視鏡画像と の同期再生時に関連情報も共に表示可能である内視鏡画像処理装 置を提供することを他の目的としている。 発明の開示
本発明の内視鏡情報の処理装置は、 体腔内に挿入する挿入部を 有する内視鏡の挿入部の形状を検出して得られた挿入形状を解析 する形状解析部と、 前記形状解析部による解析の結果に応じて、 内視鏡操作状況の情報を提供する情報提供部を備える。
図面の簡単な説明
図 1 ： 本発明の第 1実施形態の電子内視鏡システムの全体構成 を示すブロック図。 、
図 2 ： 上記第 1実施形態の電子内視鏡システムにおける挿入位 置座標系を説明する説明図。
図 3 ： 上記第 1実施形態の電子内視鏡システムの内視鏡挿入形 状観測装置で生成される挿入位置検出データのデ一夕構造を説明 する説明図。
図 4 ： 上記第 1実施形態の電子内視鏡システムの処理作用を説 明するフローチヤ一ト。
図 5 ： 上記第 1実施形態の電子内視鏡システムにおける被検体 の伸展検出作用を説明するフローチヤ一 ト。
図 6 ： 上記第 1実施形態の電子内視鏡システムにおいて、 内視 鏡検査時にディ スプレイ に表示される表示画面を説明する説明図 図 7 : 本発明の第 2実施形態の電子内視鏡システムにおける内 視鏡先端部のアングル検出作用を説明するフローチャー ト。
図 8 ： 上記第 2実施形態の電子内視鏡システムにおける内視鏡 揷入部の向きと挿入部移動向きのなす角を説明する説明図。
図 9 ： 本発明の第 3実施形態の電子内視鏡システムにおける内 視鏡先端部のアングル検出及び警告作用を説明するフローチヤ一 図 1 0 ： 上記第 3実施形態の電子内視鏡システムにおける内視 鏡先端部のアングル検出を説明する説明図。
図 1 1 ： 本発明の第 4実施形態の電子内視鏡システムにおける 内視鏡先端部のアングル検出及び警告作用を説明するフローチヤ ―ト。
図 1 2 ： 本発明の第 5実施形態の電子内視鏡システムにおける 内視鏡揷入部のループ検出及びループ解除方法表示作用を説明す るフ口一チヤ一 ト。
図 1 3 ： 上記第 5実施形態の電子内視鏡システムにおける内視 鏡挿入部のループの.状態を説明する説明図。
図 1 4 ： 上記第 5実施形態の電子内視鏡システムにおける内視 鏡揷入部のループの状態を説明する説明図。
図 1 5 ： 上記第 5実施形態の電子内視鏡システムにおける内視 鏡挿入部のループ解除方法を説明する説明図。
図 1 6 ： 上記第 5実施形態の電子内視鏡システムにおける内視 鏡揷入部のループ解除方法を説明する説明図。
図 1 7 ： 上記第 5実施形態の電子内視鏡システムにおける内視 鏡挿入部のループ解除方法を説明する説明図。
図 1 8 ： 上記第 5実施形態の電子内視鏡システムにおける内視 鏡挿入部のループ解除方法を説明する説明図。
図 1 9 : 本発明の第 6実施形態の電子内視鏡システムの構成を 示すブロック図。
図 2 0 ： 上記第 6の実施形態の電子内視鏡システムにおいて、 内視鏡画像と内視鏡挿入形状データを記録保存する処理動作を説 明するフ口一チヤ一 ト。
図 2 1 ： 上記第 6の実施形態の電子内視鏡システムにおいて、 内視鏡画像と内視鏡挿入形状画像との同期再生処理動作を説明す るフローチヤ一 ト。
図 2 2 ： 上記第 6の実施形態の電子内視鏡システムにおいて、 内視鏡画像と内視鏡挿入形状画像との同期再生の再生夕イマ一処 理動作を説明するフローチャー ト。
図 2 3 ： 上記第 6の実施形態の電子内視鏡システムにおいて、 内視鏡画像と内視鏡挿入形状データの記録保存時の表示画面を示 した図。
図 2 4 ·· 上記第 6の実施形態の電子内視鏡システムにおいて、 内視鏡挿入形状画像との同期再生処理動作の表示画面を示した図 図 2 5 : 本発明の第 7の実施形態の電子内視鏡システムにおい て、 内視鏡画像と内視鏡挿入形状画像に付加情報の入力処理動作 を説明するフローチャー ト。
図 2 6 ： 上記第 7の実施形態の電子内視鏡システムにおいて、 内視鏡画像、 内視鏡挿入形状画像、 及び付加情報を同期再生の再 生夕イマ一処理動作を説明するフ口一チヤ一 ト。
図 2 7 ： 上記第 7の実施形態の電子内視鏡システムにおいて、 内視鏡画像、 内視鏡挿入形状画像、 付加情報同期再生処理動作の 表示画面を示した図。
図 2 8 ： 本発明の第 8の実施形態の電子内視鏡システムにおい て、 内視鏡画像や内視鏡挿入形状画像の特徴項目検索と、 その特 徴項目に対する関連情報の表示処理動作を説明するフローチヤ一 h o
図 2 9 ： 上記第 8の実施形態の電子内視鏡システムにおいて、 内視鏡画像や内視鏡挿入形状画像の特徴項目検索処理動作の表示 画面を示した図。
発明を実施するための最良の形態
以下、 図面を参照して本発明の実施の形態を説明する。
まず、 本発明の第 1の実施形態について図 1〜図 6を用いて説 明する。
図 1は、 本発明の第 1実施形態の電子内視鏡システムの全体構 成を示すブロック図、 図 2は、 上記第 1実施形態の電子内視鏡シ ステムにおける挿入位置座標系を説明する説明図、 図 3は、 上記 第 1実施形態の電子内視鏡システムの内視鏡挿入形状観測装置で 生成される挿入位置検出デ一夕のデ一夕構造を説明する説明図、 図 4は、 上記第 1実施形態の電子内視鏡システムの処理作用を説 明するフローチャー ト、 図 5は、 上記第 1実施形態の電子内視鏡 システムにおける被検体の伸展検出作用を説明するフローチヤ一 ト、 図 6は、 上記第 1実施形態の電子内視鏡システムにおいて、 内視鏡検査時にディ-スプレイ に表示される表示画面を説明する説 明図である。
最初に本発明の第 1の実施形態に係る内視鏡挿入形状を解析す る画像処理装置を用いた電子内視鏡システム 1 を図 1 を用いて説 明する。
電子内視鏡システム 1は、 内視鏡装置 2 と、 内視鏡挿入形状観 測装置 3、 及び画像処理装置 4 とを備えている。
内視鏡装置 2は、 電子内視鏡 1 2、 ビデオプロセッサ 1 0、 光 源装置 1 1、 及び観察モニタ 1 4を有している。
電子内視鏡 1 2は、 図示していないが、 被検体である体腔の管 腔内に挿入される細長の揷入部先端に電子撮像素子が設けられ、 その電子撮像素子を駆動制御して管腔内の観察部位の撮像映像信 号を生成出力させると共に、 挿入部内に設けたライ トガイ ドによ り管腔内の観察部位を照明する観察光が照射されるようになって いる。
更に、 電子内視鏡 1 2の揷入部の先端部分には、 湾曲部が設け られ、 揷入部基端に設けられた操作部から湾曲操作可能になって いる
更にまた、 電子内視鏡 1 2の操作部には、 レ リーズスイッチ 1 2 aが設けられ、 かつ、 ビデオプロセッサ 1 0 との間で電子撮像 素子を駆動制御したり、 撮像生成された撮像映像信号を送受信す るケ一ブルと、 光源装置 1 1からの観察光をライ トガイ ドに導く ライ トガイ ドケ一ブル等が設けられている。
また、 電子内視鏡 1 2は、 図示していないが、 管腔での挿入部 の挿入位置や形状を検出するための検出機能が設けられている。 この挿入の位置や形状検出機能は、 図示していない、 内視鏡の揷 入部に所定の間隔で設けられた複数のソースコイルと、 内視鏡揷 入形状観測装置 3 に設けられた複数のセンスコイルを有するセン スコイルュニッ ト 1 9 を有している。
ビデオプロセッサ 1 0は、 前記電子内視鏡 1 2の電子撮像素子 を駆動制御すると共に、 電子撮像素子で光電変換して撮像生成さ れた動画の映像信号を所定の信号処理を行い、 輝度信号や色信号 からなる Y Z C信号、 または R G B信号等を生成する。
このビデオプロセッサ 1 Qで生成された輝度信号と色信号から なる Y / C信号または R G B信号は、 観察モニタ 1 4 と、 画像処 理装置 1 5へと直接出力されるようになっている。
また、 前記レ リーズスィ ツチ 1 2 aが操作されると、 撮像画像 の静止画像の出力指示が可能となっている。
なお、 ビデオプロセッサ 1 0には、 図示していないが、 内視鏡 検査に関する検査情報を入力する機能を有している。
光源装置 1 1は、 照明光源であるランプと、 そのランプの点灯 回路等からなり、 ランプ点灯時に投射された照明光を前記電子内 視鏡 1 2のライ トガイ ドへと供給し、 挿入部先端から管腔の観察 部位へと投射される。
観察モニタ 1 4は、 前記ビデオプロセッサ 1 0で生成された Y / C信号または R G B信号等を基に内視鏡画像を表示するもので ある。
内視鏡挿入形状観測装置 3は、 内視鏡装置 2の周辺装置であり 電子内視鏡 1 2 に設けられたソ一スコイルからの磁界を検出する センスコイルュニヅ ト 1 9 と、 このセンスコイルュニヅ ト 1 9 に よつて検出された磁界に基づいて内視鏡揷入部の形状を推定する 形状処理装置 1 3 と、 この形状処理装置 1 3 によって推定された 内視鏡挿入部の形状を表示するモニタ （ディスプレイ） 1 3 bを 有している。
形状処理装置 1 3は、 ソースコイルを駆動する駆動信号を電子 内視鏡 1 2に出力してソースコイルに磁界を発生させ、 この磁界 を検出するセンスコイルュニヅ ト 1 9からの検出信号に基づいて 各ソースコイルの位置座標デ一夕の算出や、 その算出された位置 座標デ一夕から内視鏡挿入部の形状を推定している。 また、 推定 した内視鏡挿入部の形状をモニタ 1 3 ¾に表示するための挿入部 形状画像信号を生成すると共に、 画像処理装置 4に出力する内視 鏡挿入部の形状を示す 3次元座標情報、 及び形状表示属性等の挿 入形状デ一夕を生成するように構成されている。
なお、 この内視鏡挿入形状観測装置 3は、 形状処理装置 1 3で 処理生成されてモニタ 1 3 bに表示される挿入部形状画像の回転 角、 拡大縮小率等の形状表示属性を、 図示していない操作パネル からの指示入力により、 変更可能となっている。
前記形状処理装置 1 3で生成された挿入形状データは、 画像処 理装置 4へ出力可能となっている。
なお、 この内視鏡挿入形状観測装置 3は、 内視鏡検査中、 挿入 形状デ一夕を連続的に画像処理装置 4へ出力すると共に、 前記電 子内視鏡 1 2 に設けられている レ リ一ズスィ ヅチ 1 2 aの操作時 の挿入形状デ一夕のみを出力させることもできる。
画像処理装置 4は、 パーソナルコンピュータ （以下、 P C ) 1 5 と、 この P C 1 5に各種指示入力するためのマウス 1 6 とキ一 ボー ド 1 7 と、 及び P C 1 5で処理された各種情報デ一夕や画像 情報を再生表示するディスプレイ 1 8を有している。
更に、 P C 1 5 には、 前記内視鏡挿入形状観測装置 3の形状処 理装置 1 3の通信ポ一 ト 1 3 aから出力される挿入形状デ一夕を 取り込む通信ポート 1 5 a、 前記内視鏡装置 2のビデオプロセヅ サ 1 0の通信ポート 1 0 aから出力される内視鏡検査情報を取り 込む通信ポート 1 5 bと、 及ぴ前記内視鏡 2のビデオプロセッサ 1 0で生成された動画映像信号を所定の圧縮画像データに変換す る動画像入力ポー ト 1 5 cを有している。
つま り、 画像処理装置 4の動画像入力ポー ト 1 5 cには、 前記 ビデオプロセッサ 1 0で生成された動画像の映像信号が入力され て、 その動画像の映像信号を所定の圧縮動画映像信号デ一夕、 例 えば、 M J P E G形式の圧縮画像デ一夕に変換して、 P C 1 5の 図示していない記録装置に保存される。、
なお、 一般的には、 内視鏡検査開始前には、 ビデオプロセッサ 1 0から、 内視鏡検査に関連する検査情報が入力され、 その入力 された検査情報デ一夕を基に観察モニタ 1 4に文字や数字の形式 で表示されると共に、 その検査情報データは、 通信ポー ト 1 0 a から通信ポート 1 5 bを介して、 画像処理装置 4に送信記録する ことも可能である。
なお、 検査情報とは、 例えば、 患者の氏名、 生年月日、 性別、 年齢、 患者コー ド、 及び検査日時などである。
つま り、 画像処理装置 4は、 必要に応じてビデオプロセッサ 1 0 と接続して、 ビデオプロセヅサ 1 0からの各種情報デ一夕を受 信保存するようになっている。
このような構成の電子内視鏡システム 1 における内視鏡挿入形 状観測装置 3における挿入形状デ一夕の生成について図 2 と図 3 を用いて説明する。
内視鏡挿入形状観測装置 3は、 前記電子内視鏡 1 2の電子撮像 素子で撮像生成される撮像映像信号の 1 フレーム毎に電子内視鏡 1 2の挿入部に内蔵された M個のソースコイルの 3次元座標を含 む挿入形状デ一夕を生成する。 この挿入形状デ一夕を基に揷入部 形状画像を生成して、 ディ スプレイ 1 3 bに表示すると共に、 挿 入形状デ一夕は画像処理装置 4に出力供給する。
この内視鏡挿入形状観測装置 3で検出するソースコィルの座標 系は、 図 2 に示すように、 電子内視鏡 1 2の挿入部に挿入形状推 定のための M個のソースコイルが内蔵されており、 第：)' フ レーム の挿入部先端から数えて i番目 （ただし、 i = 0、 1、 ···、 M - 1 ) のソ一スコイルの 3次元座標 （ X j i , Y j i 3 Z j i ) を表す ようになっている。
この内視鏡挿入形状観測装置 3で検出したソースコイルの座標 系を示す挿入形状デ一夕の構造は、 図 3 に示すように、 1つのフ レームに関係するデータが 1つのパケ ト として送信される。 1 つのパケッ ト内には、 挿入形状データの取得作成時刻、 表示属性 情報、 付属情報、 ソースコイル座標等のデータを有している。 こ のソースコイル座標デ一夕は、 電子内視鏡 1 2の挿入部に内蔵さ れているソースコイルの 3次元座標が挿入部先端から揷入部の基 端に設けられている操作部側に向かって順に並んで配置されるよ うになつている。 尚、 内視鏡挿入形状観測装置 3の検出範囲外の ソースコイルの座標は、 所定の定数が設定されるようになってい るものとする。
次に、 前記画像処理装置 4における前記内視鏡装置 2のビデオ プロセッサ 1 0からの検査情報と内視鏡画像、 及び前記内視鏡挿 入形状観測装置 3の形状処理装置 1 3からの挿入形状データの取 得記録処理作用、 並びに被検体である大腸の伸展検出について、 図 4乃至図 6を用いて説明する。
この処理動作は、 画像処理装置 4に設けられた検査用アブリケ ーシヨ ンを P C 1 5 に展開駆動させることで実現する。
内視鏡検査を始めるにあたり、 ビデオプロセッサ 1 0では検査 情報を入力し、 画像処理装置 4の P C 1 5では検査用アプリケ一 ションが起動される。 この検査用アプリケ一ションを起動される とディスプレイ 1 8には、 図 6に示す検査ウィ ン ドウ 1 0 0 と内 視鏡画像ゥイ ン ドウ 1 0 5 が表示されるよう になつている。
この画像処理装置 4の P C 1 5 に検査用アプリケーショ ンが展 開駆動し、 前記ディ スプレイ 1 8 に検査ゥイ ン ドウ 1 0 0が表示 される と、 P C 1 5 はステップ S 1で、 ビデオプロセ ッサ 1 0か らの検査情報及び内視鏡画像データ、 内視鏡挿入形状観測装置 3 の形状処理装置 1 3 からの挿入形状データを受信保存するモ一 ド に設定される。
次に、 P C 1 5 はステップ S 2で、 術者がマウス 1 6 またはキ —ボ一 ド 1 7を操作して、 前記検査ゥイ ン ドウ 1 0 0 に表示され た検査開始ボタン （図中 S t a r t E x a m . と表記） 1 0 1 がオン操作されたかどうか判断する。 検査開始ボタ ン 1 0 1 がォ ン操作されるまで待機し、 オン操作される とステップ S 3以降が 実行される。
P C 1 5はステップ S 3で、 通信ポー ト 1 5 aを開き、 内視鏡 挿入形状観測装置 3 の形状処理装置 1 3 との通信を開始し、 ステ ヅプ S 4で、 通信ポー ト 1 5 bを閧き、 ビデオプロセ ッサ 1 0 と の通信を開始する。
P C 1 5 はステヅプ S 5で、 ビデオプロセ ッサ 1 0 に対して、 検査情報の取得コマン ドを通信ポー ト 1 5 bから ビデオプロセ ッ サ 1 0の通信ポー ト 1 0 aに送信し、 この検査情報取得コマン ド を受信したビデオプロセッサ 1 0は、 検査情報を P C 1 5へと送 信する。
このステヅプ S 5でビデオプロセッサ 1 0から送信され検査情 報を P C 1 5は、 ステップ S 6で図示していない記録装置に記録 保存する。
次に、 P C 1 5 はステップ S 7で、 通信ポー ト 1 5 aから形状 処理装置 1 3の通信ポー ト 1 3 aに対して挿入形状デ一夕の取得 コマン ドを送信し、 その挿入形状データ取得コマン ドを受信した 形状処理装置 1 3 は、 挿入形状データの送信出力を開始する。 こ の送信は、 P C 1 5 と形状処理装置 1 3の間の通信が終了し、 通 信ポート 1 5 aが閉じられるまで続けられる。
P C 1 5 はステ ヅ プ S 8 で、 前記ステ ッ プ S 7 で形状処理装置 1 3から送信出力された挿入形状デ一夕を受信し、 前記ステップ S 6で記録保存した検査情報と関連づけて、 P C 1 5に設けられ ている図示していないハ一 ドディスクにフアイル記録保存する (以下、 挿入形状ファイルと称する） 。
次に、 P C 1 5はステップ S 9で、 動画像入力ポート 1 5 cに 前記ビデオプロセッ-サ 1 0から入力された動画映像信号を M J P E G形式の圧縮画像デ一夕に変換して、 前記ステ ッ プ S 6で記録 保存した検査情報と関連付けて、 P C 1 5の図示していないハー ドディスクにフ ァイ ル記録保存する （以下、 画像ファイルと称す る） と共に、 前記動画像入力ポー ト 1 5 cに入力されている動画 像を図 6 に示す内視鏡画像ゥィ ン ドウ 1 0 5の内視鏡画像領域 1 0 6 に表示させる。
次に、 P C 1 5はステップ S 1 0で、 図 5 に示すステップ S 2 1以降の警告処理が実行されて、 この警告処理が終了すると、 P C 1 5はステップ S 1 1で、 検査ウィ ン ドウ 1 0 0の検査終了ボ タン （図中 E n d E x a m . と表記） 1 0 2が操作されたか判 断し、 検査終了ボタン 1 0 2が操作されていないと判定されると 前記ステ ッ プ S 8に戻り、 検査終了ボタン 1 0 2が操作されたと 判定されると、 ステップ S 1 2で、 通信ポー ト 1 5 a、 1 5 bを 閉じて形状処理装置 1 3 とビデオプロセッサ 1 0 との情報デ一夕 の通信を終了させる。
前記ステップ S 1 0の警告処理について、 図 5を用いて説明す る。 このステップ S 1 0の警告処理は、 被検体である大腸の伸展 検出処理である。 前記電子内視鏡 1 2の揷入部先端がほぼ停止し た状態で、 内視鏡揷入部の大腸内での揷人長が伸びていれば大腸 が伸展していると考えられるために、 内視鏡挿入部の挿人長検出 によ り大腸伸展を検出するものである。
前記 P C 1 5はステップ S 2 1で、 前記ステップ S 8で取得記 録した現時点のフ レームの挿入形状デ一夕の前のフ レームにおけ る挿入形状データが取得されているか判定し、 前フ レームの挿入 形状デ一夕が取得されてないと判定されると、 ステップ S 1 1以 降の処理に移行する。
前記ステップ S 2 1で、 前フレームの挿入形状デ一夕が取得さ れていると判定されると、 P C 1 5はステップ S 2 2で、 前フレ —ムと現時点フ レームの挿入形状データから、 電子内視鏡 1 2の 揷入部先端の移動量 d i ： f を数式 1から算出する。
【数 1】
+ '··+ I xJ: 一 x j一1:
+ | Yj 0— Yj-'0 | + | Yi 1— Y』 + ···+ I YJ, — Yト', 十 ー ト ！ + ），"^』 + ···+ I z )' 一 Zト1,
この数式 1によ り算出される移動量 d i f は、 揷入部の先端か ら m個のデ一夕のみを使用している。 この移動量 d i f の算出は 数式 1に限定されるものではなく、 たとえばユーク リ ッ ド距離を 用いてもよい。
前記ステップ S 2 2において数式 1で算出した移動量 d i で ある挿入部先端の移動距離は、 ステップ S 2 3で所定の閾値と比 較され、 移動量 d i f である移動距離が所定の閾値よ り大きいと 揷入部先端は挿入移動中と判定してステップ S 1 1以降の処理に 移行し、 閾値よ り も小さいと挿入部先端は停止状態と判定されて ステップ S 2 4以降が実行される。
P C 1 5はステップ S 2 4で、 挿入形状観測装置 3の形状処理 装置 1 3で検知している現時点のフ レームの電子内視鏡 1 2の挿 入部の長さを求める。 この電子内視鏡 1 2の挿入部の長さは、 例 えば、 形状処理装置 1 3で生成する挿入形状データの有効なソ一 スコィル座標デ一夕数を基に内視鏡挿入部の長さを算出する。 次に、 P C 1 5はステヅプ S 2 5で、 前記ステップ S 2 4で算 出した現時点のフ レームの揷入部の長さと、 この現時点のフ レー ムの前のフ レームの内視鏡挿入部の長さとを比較する。 このステ ップ S 2 5の比較の結果、 現フレームの内視鏡挿入部の長さが前 フレームの.内視鏡挿入部の長さよ り も長いと挿入部は挿入移動中 と判定してステップ- S 1 1以降の処理に移行し、 現フレームの内 視鏡揷入部の長さが前フレームの内視鏡挿入部の長さより も短い と揷入部は停止も しくは引き抜き状態と判定されて、 ステップ S 2 6以降が実行される。
P C 1 5は前記ステップ 2 5で前フ レーム時の挿入部の長さ より も現フレームの揷入部の長さが短いことは、 大腸の伸展が生 じていないと判定し、 ステップ S 2 6 において、 内視鏡の挿入部 先端が停止し、 かつ、 現フ レームの内視鏡挿入部の長さが前フレ —ム時の長さの方が長いことが所定のフ レーム数続いたかどうか 判定する。
このステップ S 2 6で、 前記電子内視鏡の揷入部先端が停止状 態で、 前フ レームの揷入部の長さの増加状態が所定のフ レーム数 続いていないと大腸伸展は生じていないと判定されて、 前記ステ ップ S 1 1以降の処理が実行され、 前記電子内視鏡の挿入部先端 が停止状態で、 挿入部の長さの増加状態が所定のフレーム数継続 すると大腸伸展が生じたと判定されて、 ステップ S 2 7が実行さ れる。
P C 1 5はステヅプ S 2 7で、 大腸の伸展が生じたことを警告 するための警告信号を生成して、 内視鏡揷入部の形状に関する情 報の提供と して、 警告音を発生した り、 図 6の検査ウィ ン ドウ 1 0 0の警告表示部 1 1 0に警告メ ッセージを表示させる。 尚、 警 告表示は文字だけでなく、 警告図形表示部 1 1 1へのアイ コン等 の図形表示や、 あるいは警告表示を点滅表示させる。
以上説明したように、 本発明の画像処理装置は、 現フ レームと 前フレームの複数の挿入形状データにより、 実際に揷入されてい る内視鏡挿入部の動きに応じて内視鏡挿入部の形状に関する情報 を提供することができ、 観察部位である大腸等の伸展も素早く容 易に検出判定して術者に対して速やかに警告認知させることがで きる。
なお、 この画像処理装置 4では、 挿入形状観測装置 3からの揷 入形状デ一夕を基に、 大腸の伸展を検出警告についてのみ説明し たが、 内視鏡画像と挿入形状データの閲覧を可能とするビューァ を用意し、 指定した挿入形状データに対して大腸の伸展を検出す ることも可能である。
次に、 本発明の第 2の実施形態を図 7及び図 8を用いて説明す る o
この第 2の実施形態の電子内視鏡システム 1の構成は、 前述し た第 1 の実施形態と同様で、 かつ、 画像処理装置 4における内視 鏡装置 2 と内視鏡挿入形状観測装置 3からの内視鏡画像や挿入形 状デ一夕の処理方法は、 基本的に同じである。
この第 2の実施形態で前述した第 1の実施形態との相違は、 画 像処理装置 4によるステップ S 1 0の警告処理の処理方法が異な り、 このステップ S 1 0における第 2の実施形態の警告処理は、 図 7に示すステップ S 1以降の処理が実行される。
前記 P C 1 5はステップ S 4 1 で、 前記ステヅプ S 8で取得記 録した現時点のフ レームの挿入形状データの前のフ レームにおけ る挿入形状データが取得されているか判定し、 前フ レームの挿入 形状デ一夕が取得されてないと判定されると、 ステップ S 1 1以 降の処理に移行する。
前記ステップ S 4 1で、 前フレームの挿入形状データが取得さ れている と判定される と、 P C 1 5 はステップ S 4 2で、 前フ レ ームと現時点フ レームの挿入形状データから、 電子内視鏡 1 2 の 揷入部先端の移動量 d i f 1 を数式 2から算出する。
【数 2 】
d i f 1 - J X j o- X i _ 1o I + I Χ — X〗 -1, I十… + I X X
+ I Y Y I + I Υ^-Υ'- I十… + I YLl-l- Yj + z
- z ''- \ + I zヽー z j— ' ' I +…十 I z 'iト 一 z】―】 ml- , I
この数式 2 によ り算出される移動量 d i f 1 は、 挿入部の先端 から m l 個のデータのみを使用 している。 こ の移動量 d i f 1 の 算出は、 数式 2に限定されるものではなく 、 たと えばユーク リ ツ ド距離を用いてもよい。
前記ステップ S 4 2で数式 2で算出した移動量 d i f 1 である 挿入部先端の移動距離は、 ステップ S 4 3で所定の閾値と比較さ れ、 移動量 d i f 1 である移動距離が所定の閾値よ り 大きいと挿 入部先端は挿入移動中 と判定してステップ S 1 1 以降の処理に移 行し、 閾値よ り も小さいと挿入部先端は停止状態と判定されて、 ステップ S 4 4以降が実行される。
P C 1 5 はステップ S 4 4で、 前記ステップ S 4 2 と同様に、 前フ レーム と現時点フ レームの揷入形状データから、 電子内視鏡 1 2 の揷入部の操作部側からの移動量 d i f 2 を数式 3 から算出 する。
【数 3 】
d i f 2 = I X 一'— X + I X 一 X + I X 一 X
I +〜+ I X - 一 xJ. このステ ップ S 4 4で数式 3で算出した移動量 d i f 2である 揷入部の操作部側の移動距離は、 ステップ S 4 5で所定の閾値と 比較され、 移動量 d i f 2である移動距離が所定の閾値よ り小さ いと揷入部の操作部側は停止中と判定してステップ S 1 1以降の 処理に移行し、 閾値よ り も大きいと挿入部の操作部側は移動中と 判定されて、 ステ ップ S 4 6以降が実行される。
次に、 P C 1 5 はステツプ S 4 6で、 数式 4によ り図 8に示す よ う に、 現フ レームである第 〗 フ レーム と前フ レームである第 j 一 1 フ レームの第 i番目 のコイル座標を使って揷入部先端の移動 の向き と、 前フ レームである第〗 一 1 フ レームの第 i 番目 と第 i 一 1番目のコィル座標によ り揷入部の向きの成す角度 A n g J 1 を求める。
【数 4】
V e c 1 = ( X j , - X J' - 1 i , Yj i- YJ' Z Zト ）
(V X 1 , VY 1 , V Z 1 )
V e c 2 = (X i _1 i-!- X i _ I Y 1 -1 Y i― i z Z
(V X 2 , V Y 2 , V Z 2 )
d n 1 V X ;+ V Y 12 + V z
d n 2 V X 22+VY 2 + V Z 22
A n g i i = c o s — 1 ( V X 1 V X 2 + V Y 1 V Y 2 + V Z 1 V Z 2 ) / ( d n 1 d n 2 )
すなわち、 図 8 において （X j—ェ； Yj - 1 い z j - 1 s ) と
( x j ~ 1 ； - 1. Yト 1 i _い z j - 1 ； ! ) が成すべク トル V e c
2の向きが揷入部の向き、 （X j — J i Υ】 — 1 い z 1 j ) と
( X Y Z j J が成すベク トル V e c l の向きが揷入部 先端の移動の向きを表す。 こ こで、 i はあらかじめ与えているコ ィル番号を用いる。
次に、 P C 1 5はステップ S 4 7で、 前記ステップ S 4 6で求 めた角度 A n を所定の閾値と比較して電子内視鏡 1 2の揷 入部が挿入部の向きに揷入されているかを判断する。 この揷入部 の先端の移動方向と、 揷入部先端の方向 との成す角 A n が 所定の閾値よ り小さい場合は、 術者が電子内視鏡 1 2の挿入操作 を行っていると判断して、 ステップ S 4 8以降が実行され、 所定 の閾値よ り も大きい場合は、 電子内視鏡 1 2の揷入操作が行われ ていないと判断して前記ステップ S 1 1以降の処理に移行する。 前記ステップ S 4 7で電子内視鏡 1 2の揷入操作が行われてい る と判断される と、 P C 1 5はステップ S 4 8 で、 電子内視鏡 1 2の挿入操作を行っている状態が所定のフレーム数続いているか どうかを判断し、 所定フ レーム数続いていないと判断される と、 前記ステップ S 1 1以降の処理の移行し、 所定フ レーム数続いて いる と判断される と大腸の伸展が起きている と判定されて、 ステ ップ S 4 9で、 内視鏡揷入部の形状に関する情報の提供と して警 告を発生させる。 警告方法は、 たとえば、 P C 1 5 によ り警告音 を発生させたり 、 図 6 に示す検査ウィ ン ドウの警告表示部 1 1 0 に警告メ ッセージを表示させるなどが考えられる。 また、 警告表 示は、 文字だけでなく 、 アイ コンなどの図形でもよく 、 かつ、 そ れら文字図形を点滅表示させてもよい。
これによ り 、 被検体である患者の違和感の原因となる可能性が ある大腸の伸展の検出が容易となる。
なお、 画像処理装置 4で、 挿入形状観測装置 3 からの揷入形状 データを受信する際に、 大腸の伸展を検出警告についてのみ説明 したが、 内視鏡画像と挿入形状データの閲覧を可能とするビュー ァを用意し、 指定した挿入形状データに対して大腸の伸展を検出 すること も可能である。 次に、 本発明の第 3の実施形態を図 9及び図 1 0を用いて説明 す
この第 3の実施形態の電子内視鏡システム 1の構成は、 前述し た第 1の実施形態と同様で、 かつ、 画像処理装置 4における内視 鏡装置 2 と内視鏡挿入形状観測装置 3からの内視鏡画像や挿入形 状デ一夕の処理方法は、 基本的に同じである。
この第 3の実施形態の前述した第 1の実施形態との相違は、 電 子内視鏡 1 2の揷入部先端にある角度 （アングル） を与えた状態 で挿入操作を行つた場合の検出処理である。 内視鏡揷入部先端に アングルを与えた状態で内視鏡挿入部の挿入方向を観察せずに内 視鏡の挿入操作されると、 被検体の患者に不快感を与えることに なる。 この内視鏡挿入先端にアングルを与えた状態での挿入操作 を警告するものである。
この内視鏡揷入部先端にアングルを与えた状態での挿入操作の 検出は、 前述の第 1の実施形態と同様に画像処理装置 4で設けら れる検査アプリケ一シヨンとして実現される。 この検査アプリケ —シヨンが P C 1 5 に起動されると、 ディスプレイ 1 8には図 6 に示す検査ウイ ン ドウ 1 0 0が表示されるが、 この検査アプリケ —シヨンの動作は、 前記ステヅプ S 1 〜 S 1 2の動作と同じであ る。 ただし、 ステップ S 1 0で実行する警告処理が図 9 に示すス テヅプ S 6 1以降の処理となる。
前記 P C 1 5はステップ S 6 1 で、 前記ステヅプ S 8で取得記. 録した現時点のフ レームの揷入形状デ一夕の前のフ レームにおけ る揷入形状デ一夕が取得されているか判定し、 前フ レームの挿入 形状データが取得されてないと判定されると、 ステップ S 1 1以 降の処理に移行する。
前記ステップ S 6 1で、 前フ レームの挿入形状デ一夕が取得さ れていると判定されると、 P C 1 5はステップ S 6 2で、 前フレ ームと現時点フレームの挿入形状デ一夕から、 電子内視鏡 1 2の 挿入部先端の角度 An g j' iを求める。 この角度 An g j は、 数 式 5によ り図 1 0に示すように、 内視鏡挿入部先端から m個のソ ースコイルの座標のうち連続した 3点を順に選択して角度 An g J' iを求める。 なお、 V e c 3と V e c 4の始点をそろえて考え た角度が大きい方が揷入部先端の屈曲が大きい。
【数 5】
V e c 3 = (Χ】，一 x)i + i, Y i , _ Y i , + _
Z J i - z
= (VX 3 , V Y 3 , V Z 3 )
V e c 4 = (X】 i + 2— χ ) i + Yi i + 2_ Y
z ；- Z
= ( V X 4 , V Y 4 , V Z 4 )
d n 3 = If VX 32 + VY 32+V Z 32一
Figure imgf000023_0001
A n g < i = c o s - ( V X 3 V X 4 + V Y 3 VY 4 + V Z 3 V Z 4 ) ( d n 3 d n 4 )
次に、 P C 1 5はステップ S 6 3で、 前記ステップ S 6 2で複 数求めた角度 An g j を所定の閾値と比較して、 その角度 A n g J iのうち所定の閾値より も大きい値のものがあれば、 内視鏡 挿入部先端にアングルが与えられていると判断されて、 ステップ S 6 4以降が実行され、 所定閾値よ り も大きい角度 A n g j iの 値を示すものがないと判断されると前記ステップ S 1 1以降の処 理に移行する。
前記ステップ S 6 3で所定の閾値よ り も大きい値を示す角度 A n g j が存在し、 内視鏡挿入部先端にアングルが与えられてい ると判断されると、 P C 1 5はステヅプ S 6 4で、 挿入形状観測 装置 3の形状処理装置 1 3で検知している現時点のフ レームの電 子内視鏡 1 2の挿入部の長さを求める。 この電子内視鏡 1 2の挿 入部の長さは、 例えば、 形状処理装置 1 3で生成する挿入形状デ —夕の有効なソースコィル座標データ数を基に内視鏡挿入部の長 さを算出する。
次に、 P C 1 5はステヅプ S 6 5で、 前記ステップ S 6 4で算 出した現時点のフ レームの挿入部の長さと、 この現時点のフ レ一 ムの前のフレームの内視鏡揷入部の長さとを比較する。 このステ ップ S 6 5の比較の結果、 現フレームの内視鏡挿入部の長さが前 フレームの内視鏡捧入部の長さよ り も長いと揷入部は器官の奥へ 挿入移動中と判定してステップ S 6 6 J4降の処理に移行し、 現フ レームの内視鏡挿入部の長さが前フレームの内視鏡揷入部の長さ より も短いと揷入部は停止も しくは揷入部引き抜き状態と判定さ れて、 ステップ S 1 1以降が実行される。
P C 1 5は前記ステップ S 6 6で、 内視鏡揷入部の長さ増加が 所定のフ レーム数続いたかどうか判定する。
このステップ S 6 6で、 揷入部の長さの増加状態が所定のフ レ —ム数続いていないと判定されると、 前記ステップ S 1 1以降の 処理に移行し、 所定フ レーム続いていると判定されると、 ステツ プ S 6 7で、 内視鏡挿入部先端にアングルを与えた状態で挿入し ていることを警告するための警告信号を生成して、 内視鏡挿入部 の形状に関する情報の提供をして警告音を発生したり、 図 6の検 査ウィ ン ドウ 1 0 0の警告表示部 1 1 0に警告メ ッセージを表示 させる。 尚、 警告表示は文字だけでなく、 アイコン等の図形表示 や、 あるいは点滅表示させる。
これによ り、 現フ レームと前フ レームの複数の揷入形状デ一夕 によ り、 実際に挿入されている内視鏡揷入部の動きに応じて内視 鏡揷入部の形状に関する情報を提供することができ、 患者の不快 感の要因となる内視鏡揷入部先端にアングルを与えた状態での挿 入操作を検出警告することが可能となる。 また、 アングルを与え た状態の挿入操作警告は、 画像と形状データの閲覧を可能とする ビューァを用意し、 指定した挿入形状データに対して同様の警告 することも可能である。
次に、 本発明の第 4の実施形態を図 1 1及び図 1 2 を用いて説 明する。
この第 4の実施形態の電子内視鏡システム 1の構成は、 前述し た第 1 の実施形態と同様で、 かつ、 画像処理装置 4における内視 鏡装置 2 と内視鏡挿入形状観測装置 3からの内視鏡画像や挿入形 状データの処理方法も基本的に同じである。
この第 4の実施形態は、 前述した第 3の実施形態とは、 異なる 電子内視鏡 1 2の揷入部先端に異なるアングルを与えた状態で揷 入操作を行った場合の検出処理である。
この内視鏡揷入部先端にアングルを与えた状態での挿入操作の 検出は、 前述の第 3の実施形態と同様に画像処理装置 4で設けら れる検査アプリケーションとして実現される。 この検査アプリケ —シヨンが P C 1 5 に起動されると、 ディスプレイ 1 8には図 6 に示す検査ウイ ン ドウ 1 0 0が表示されるが、 この検査アプリケ ーシヨンの動作は、 前記ステップ S 1 〜 S 1 2の動作は同じであ る。 ただし、 ステップ S 1 0で実行する処理が図 1 1 に示すステ ップ S 8 1以降の処理となる。
前記 P C 1 5はステップ S 8 1 で、 前記ステップ S 8で取得記 録した現時点のフレームの挿入形状デ一夕の前のフ レームにおけ る挿入形状データが取得されているか判定し、 前フ レームの挿入 形状データが取得されてないと判定されると、 ステップ S 1 1以 降の処理に移行する。
前記ステップ S 8 1で、 前フ レームの揷入形状デ一夕が取得さ れていると判定されると、 P C 1 5はステップ S 8 2で、 前フレ —ムと現時点フ レームの挿入形状デ一夕から、 電子内視鏡 1 2の 揷入部先端の角度 A n g j iを数式 5 によ り図 1 0に示すように 内視鏡挿入部先端から m個のソースコイルの座標のうち連続した 3点を順に選択して角度 An g j を求める。
次に、 P C 1 5はステップ S 8 3で、 前記ステップ S 8 2で複 数求めた角度 An g j を所定の閾値と比較して、 その角度 An g j iのうち所定の閾値より も大きい値のものがあれば、 内視鏡 挿入部先端にァングルが与えられていると判断されて、 ステップ S 8 4以降が実行され、 所定閾値よ り も大きい角度 A n g j の 値を示すものがないと判断されると前記ステップ S 1 1以降の処 理に移行する。 - 前記ステップ S 8 3で所定の閾値よ も大きい値を示す角度 A n g j iが存在し、 内視鏡揷入部先端にアングルが与えられてい ると判断されると、 P C 1 5はステップ S 8 4で、 前フレームと 現時点フ レームの挿入形状データから、 電子内視鏡 1 2の挿入部 の操作部の移動の向きと、 揷入部操作部側の向きの成す角度を数 式 4によ り図 8に示すように、 現フ レームである第 j フレームと 前フ レームである第 j 一 1フ レームの第 i番目のコイル座標を使 つて挿入部操作部の移動の向きと、 前フ レームである第 j — 1フ レームの第 i番目と第 i + l番目のコィル座標によ り揷入部操作 部の向きの成す角度 An g j ^を求める。
すなわち、 図 8において （ X j— 1 i， Y j— 1 i , Z J' - 1 i ) と ( X j - 1 i - i , Y j ~ 1 i - i 5 Z j - 1 i - i ) が成すベク トル V e c 2の向きが揷入部の向き、 （Xj — 丄 丄 ， Y J - 1 i 3 Z j - 1 i ) と ( X j i 3 Y j i , Z j 丄） が成すべク トル V e c 1の向きが挿入部 先端の移動の向きを表す。 ここで、 iはあらかじめ与えているコ ィル番号を用いる。
次に、 P C 1 5はステップ S 8 5で、 前記ステップ S 8 4で求 めた角度 An g j iから電子内視鏡 1 2の挿入部の操作部が挿入 されているか所定の閾値と比較して判断する。 この揷入部操作部 の移動方向と、 揷入部操作部の移動方向との成す角 A n g j iが 所定の閾値よ り小さい場合は、 術者が電子内視鏡 1 2の挿入部の 操作部を挿入操作を行っている判断して、 ステップ S 8 6以降が 実行され、 所定の閾値よ り も大きい場合は、 電子内視鏡 1 2の挿 入部操作部の挿入操作が行われていないと判断して前記ステップ S 1 1以降の処理に移行する。
前記ステップ S 8 5で、 電子内視鏡 1 2の挿入部操作部が挿入 操作されていると判断されると、 P C 1 5はステップ S 8 6で、 数式 4により図 8に示すように現フレームである第 j フレームと 前フレームである第 j - 1フ レームの第 i番目のコイル座標を使 つて挿入部先端の移動の向きを、 前フ ームである第 j - 1フ レ —ムの第 1番目と第 i十 1番目のコィル座標によ り挿入部の向き の成す角度 An gj を求める。
すなわち、 図 8において （Xj— Y J - 1 i , Z j - 1 i ) と ( X j - 1 i - i 3 Y J " 1 i _ i , Z j - 1 ± _！ ) が成すベク トル V e c 2の向きが挿入部の向き、 （XJ' - i i , Y j - 1 i , Z J - 1 i ) と ( X j i , Y j i , Ζ ） が成すベク トル V e c 1の向きが揷入部 先端の移動の向きを表す。 ここで、 iはあらかじめ与えているコ ィル番号を用いる。
次に、 P C 1 5はステップ S 8 7で、 前記ステップ S 8 6で求 めた角度 A n g j から電子内視鏡 1 2の揷入部先端が観察方向 と異なる別の方向へ挿入されているかを判断する。 この挿入部先 端の移動方向の判断は、 揷入部先端の方向との成す角 A n g j i が、 所定の閾値より大きい場合は、 内視鏡の揷入部先端が観察方 向と異なる方向に揷入されていると判断する。 このステップ S 8 7で、 内視鏡の揷入部先端が観察方向と異なる方向に挿入されて いると判断されるとステップ S 8 8以降が実行され、 内視鏡の挿 入先端が観察方向に挿入されていると判断されると前記ステップ S 1 1以降の処理に移行する。
前記ステップ S 8 7で内視鏡の挿入部先端が観察方向と異なる 方向に揷入されていると判断されると、 P C 1 5はステップ S 8 8で、 観察方向と異なる別の方向への挿入操作が所定のフ レーム 数続いているどうかを判断し、 所定フ レ一ム数続いていないと判 断されると、 前記ステップ S 1 1以降の処理に移行し、 所定フレ —ム数続いていると判断されると内視鏡の操作部が挿入操作され 挿入部先端にアングルを与えた状態で挿入操作していると判定さ れて、 ステップ S 8 9で、 警告を発生させる。 警告方法は、 たと えば、 P C 1 5により警告音を発生させたり、 図 6 に示す検査ゥ イ ン ドウ 1 0 0の警告表示部 1 1 0に警告メ ッセージを表示させ るなどが考えられる。 また、 警告表示 ίま、 文字だけでなく、 アイ コンなどの図形でもよ く、 かつ、 それら文字図形を点滅表示させ てもよい。
これにより、 被検体である患者の違和感の原因となるアングル を与えた状態での揷入の検出が容易となる。
なお、 画像処理装置 4で、 挿入形状観測装置 3からの挿入形状 デ一夕を受信する際に、 揷入部先端にアングルを与えた状態の挿 入を検出警告についてのみ説明したが、 内視鏡画像と挿入形状デ —夕の閲覧を可能とするビューァを用意し、 指定した挿入形状デ 一夕に対して同様な警告をすることも可能である。
次に、 本発明の第 5の実施形態を図 1 2〜図 1 8を用いて説明 する。
この第 5の実施形態の電子内視鏡システム 1 の構成は、 前述し た第 1 の実施形態と同様で、 かつ、 画像処理装置 4における内視 鏡装置 2 と内視鏡挿入形状観測装置 3からの内視鏡画像や挿入形 状デ一夕の処理方法は、 基本的と同じである。
この第 5の実施形態は、 例えば、 大腸内視鏡において、 内視鏡 の揷入部を大腸に挿入していく過程でループを形成することがあ る。 このループは、 その形状によ り ひループ、 Νル一プ、 アル一 プ等と称せられている。 このようなループによ り被検体である患者に与える違和感を軽 減した り、 挿入部の挿人性を向上する目的のため、 内視鏡揷入部 のループを解除して直線化させる操作が行われる。
このような内視鏡挿入部の挿入操作時にループが形成された際 に、 そのループ状態を認識表示すると共に、 内視鏡挿入部の直線 化操作方法を表示することによ り、 内視鏡挿入部の挿入性の向上 と内視鏡検査の時間の短縮化、 及び患者の不快感軽減を図るもの である。
この内視鏡挿入部-先端に形成されたループの検出は、 前述の第 1の実施形態と同様に画像処理装置 4で設けられる検査アブリケ —シヨンとして実現される。 この検査アプリケーションが P C 1 5に起動されると、 ディ スプレイ 1 8には図 6 に示す検査ゥィ ン ドウ 1 0 0が表示されるが、 この検査アプリケーショ ンの動作は 前記ステップ S 1〜 S 1 2の動作は同じである。 ただし、 ステヅ プ S 1 0で実行する処理が図 1 2 に示すステップ S 1 0 1以降の 処理となる。
ここで、 この第 5の実施形態で内視鏡揷入部のループ状態を認 識し、 直線化させるための内視鏡操作を行う例として、 （ 1 ) ル ープが時計、 または反時計まわりであるか。 ループの回転の向き は、 内視鏡挿入部の先端から操作部側に沿った向きと考える。
( 2 ) 内視鏡揷入部のループ形成部分の先端側と操作部側のどち らが視点側にあるか。 の 2つを用いる。
尚、 内視鏡挿入形状は、 曲線と考えることができるため、 ルー プの認識、 回転の向きの判定には、 曲線の特徴抽出技術が使用で ぎる。
そのために、 この実施形態の説明においては、 簡単のため挿入 形状を X , Y軸に投影した 2次元曲線で考え、 例えば、 P形フ一 リエ記述子を使用する。 P形フーリエ記述子は、 電子情報通信学 会論文誌 V o l . j 6 7 - A N o . 3 に詳述されている。 この手法は、 まず曲線を V n個 （Vnは分割数で正数） の線分 で分割し、 その線分の端点を複素表示して、 各点での全曲率関数 を定義し、 全曲率関数をフーリエ変換して得られたパワースぺク トルを曲線の特徴と している。
また、 時計回り ¾び反時計回 り の円状のループ形状の P形フ一 リエ記述子による特徴をあらかじめ記憶しておき、 それぞれの形 状のパヮ一スペク トルを C q (k) 、 （k = 0、 ···、 V n— 1 ) とする。 q = 0は時計回 り、 q = 1は反時計回 り とする。
P C 1 5はステツ-プ S 1 0 1で、 ループ形成候補を決定する。 円状のループを形成している場合は、 ソースコイルとソ一スコィ ルが接近しているため、 2つのソースコイルの距離が所定の閾値 よ り小さい部分をループ形成候補とする。
次に、 P C 1 5はステヅプ S 1 0 2で、 ル一プ形成候補の曲線 を Vn個の線分に分割し、 P形フーリエ記述子によ りパワースぺ ク トノレ C (k) 、 （k = 0、 "'、 V n— 1 ) を求める。 V n個の 線分の端点を揷入部先端側から （P x O - P y O - P z C -'- iPx V n, P yV n, P z V n ) とする。 P形フーリエ記述子 では、 x y成分のみを用いる。
次に、 P C 1 5はステップ S 1 0 3で、 パヮ一スぺク トル C q ( k ) とノ ワ一スペク トル C ( k ) のユーク リ ッ ド距離を求める このステップ S 1 0 3で求められたュ一ク リ ツ ド距離は、 ステヅ プ S 1 0 4で、 所定の閾値と比較され、 求められたュ一ク リ ヅ ド 距離が閾値よ り も小さい場合は、 ループを形成している と判断さ れる。 このループ判断において、 C O ( k ) と C I ( k ) の両方 が閾値よ り小さければ、 小さい方への回転方向と判断する。 ル一 プがない場合は、 前記ステップ S 1 1以降の処理に移行する。 前記ステップ S 1 0 4でループがある と判断されると、 P C 1
5はステップ S 1 0 5において、 （P xVn, P y V n , P z V n) 、 ( P x V n - 1 , P y V n - 1 , P z V n— 1 ) 、 ( P x V n— 2 , P yV n— 2 , P z V n - 2 ) を用いてループが形成 されている平面 Sを決定する。 次に、 ステップ S 1 0 6で、 前記 平面 Sの法線べク トルを求め、 内視鏡揷入部を観察する向きを示 す視線べク トルと成す角 0を求める。 次に、 ステップ S 1 0 7で 揷入部先端側の （P x 0、 P y 0、 P z 0 ) の座標を平面 Sの式 に代入して、 平面 Sに対して視点側にあるのか、 または視点と反 対側にあるのか決定する。
この平面 Sの視点側にあるのか、 または視点と反対側にあるの かの判断方法は、 （· 1 ) 角 6>が 9 0度よ り大きく、 代入結果が正 であれば視点側 （図 1 3参照） 、 （ 2 )、角 6>が 9 0度よ り大きく 代入結果が負であれば視点と反対側 （図 1 3参照） 、 （ 3 ) 角 0 が 9 0度以下であ り、 代入結果が正であれば視点と反対側 （図 1 4参照） 、 （ 4 ) 角 0が 9 0度以下であり、 代入結果が負であれ ば視点側 （図 1 4参照） となる。
前記ステップ S 1 0 7のループの方向と揷入部先端と平面 Sと の関係からステップ S 1 0 8で、 内視鏡の操作方法、 つま りル一 プ解除方法を決定する。 このループ解除方法の判断基準の例は、 次の通りである。
( 1 ) 反時計回りで先端部が視点と反対側の場合、 時計回り に 内視鏡を回転操作する （図 1 5参照） 、 （ 2 ) 時計回りで先端部 が視点側の場合、 時計回り に内視鏡を回転操作する （図 1 6参 照） 、 （ 3 ) 時計回りで先端部が視点と反対側の場合、 反時計回 り に内視鏡を回転操作する （図 1 7参照） 、 （ 4 ) 反時計回りで 先端部が視点側の場合、 反時計回り に内視鏡を回転操作する （図 1 8参照） 。
次に、 P C 1 5はステップ S 1 0 9で、 前記ステップ S 1 0 8 で設定されたループ解除方法を内視鏡操作の情報 （操作を促す情 報） の提供として前記検査ウイ ン ドウ 1 0 0の操作方法表示部 1 1 1に表示させる。 なお、 この操作方法表示部 1 1 1 の表示は、 図 6 に示すように 矢印などで時計回りや反時計回りに内視鏡回転操作を示す図形や アイコン、 または操作説明言葉で表示したり、 あるいは、 音声に よる指示を用いることもできる。
また、 画像処理装置 4で、 挿入形状観測装置 3からの挿入形状 デ一夕を受信する際の解除操作表示を示したが、 内視鏡画像と挿 入形状デ一夕の閲覧を可能とするビューァを用意し、 指定した挿 入形状デ一夕に対して同様な表示を行うことも可能である。
このよう に、 挿入-形状を認識し、 ループの状態を認識表示し、 その挿入操作の提示によ り、 内視鏡の揷人性向上と内視鏡検査の 時間の短縮化、 及び患者に与える苦痛軽減となる。
なお、 前記した第 1乃至第 5の実施形態を実現させる画像処理 装置 4は、 電子内視鏡システム 1 を構成する 1つの機能としたり もしくは内視鏡挿入形状観測装置 3 に搭載しても良い。 または、 前記挿入形状観測装置 3、 および電子内視鏡システム 1を構成す る統合した機能とすることもできる。
さらに、 前述の第 1〜第 5の実施形態では、 内視鏡挿入部の形 状を推定する機構としては、 磁気を発生するソースコイル群と磁 気を検出するセンスコイル群のうち、 いずれか一方を内視鏡挿入 部に搭載し、 センスコイル群によ り検出した磁気により形状を推 定する例を用いて説明したが、 例えば、 曲げることによ り伝送損 失が生じる光ファイバを利用し、 この光ファイバを内視鏡挿入部 に設けて、 光ファイバを透過する光量の変化に応じて揷入部の曲 げを検出する方法や、 フレキシブル基板に特殊ィ ンクを塗布し、 基板の曲げに比例して抵抗値が変化する特性を利用する等のその 他の検出方法を用いても良い。
次に、 本発明の第 6の実施形態を図 1 9〜図 2 4を用いて詳細 に説明する。
図 1 9は、 本発明の第 6実施形態の電子内視鏡システムの構成 を示すブロ ック図、 図 2 0は、 上記第 6の実施形態の電子内視鏡 システムにおいて、 内視鏡画像と内視鏡挿入形状デ一夕を記録保 存する処理動作を説明するフローチャー ト、 図 2 1は、 上記第 6 の実施形態の電子内視鏡システムにおいて、 内視鏡画像と内視鏡 挿入形状画像との同期再生処理動作を説明するフローチャー ト、 図 2 2は、 上記第 6の実施形態の電子内視鏡システムにおいて、 内視鏡画像と内視鏡挿入形状画像との同期再生の再生タイマ一処 理動作を説明するフローチャー ト、 図 2 3は、 上記第 6 の実施形 態の電子内視鏡システムにおいて、 内視鏡画像と内視鏡挿入形状 デ一夕の記録保存時の表示画面を示した図、 図 2 4は、 上記第 6 の実施形態の電子内視鏡システムにおいて、 内視鏡挿入形状画像 との同期再生処理動作の表示画面を示した図である。
最初に本発明に係る内視筹画像処理装置を用いた電子内視鏡シ ステム 2 0 1 を図 1 9を用いて説明する。
電子内視鏡システム 2 0 1は、 内視鏡装置 2 0 2 と、 内視鏡挿 入形状観測装置 2 0 3、 及び画像処理装置 2 0 4 とを備えている 内視鏡装置 2 0 2は、 電子内視鏡 2 1 2、 ビデオプロセッサ 2 1 0、 光源装置 2 1 1、 及び観察モニタ 2 1 4を備えている。 電子内視鏡 2 1 2は、 図示していないが、 体腔内の管腔に挿入 される細長の挿入部先端に電子撮像素子が設けられ、 その電子撮 像素子を駆動制御して管腔の観察部位の撮像映像信号を生成出力 させると共に、 挿入部内に設けたライ トガイ ドにより管腔の観察 部位を照明するようになっている。
更に、 電子内視鏡 2 1 2の揷入部の先端部分には、 湾曲部が設 けられ、 挿入部基端に設けられた操作部から湾曲操作可能になつ ている。
更にまた、 電子内視鏡 2 1 2の操作部には、 レ リーズスィ ッチ 2 1 2 aと、 ビデオプロセッサ 2 1 0 との間で電子撮像素子を駆 動制御したり、 撮像生成された撮像映像信号を送受信するケープ ― 一 ルと、 光源装置 2 1 1からの照明光をライ トガイ ドに導く ライ ト ガイ ドケーブル等が設けられている。 このレ リーズスイ ッチ 2 1 2 aが操作されると、 後述する静止画の記録が実行される。
また、 電子内視鏡 2 1 2は、 図示していないが、 管腔での挿入 部の挿入位置や形状を検出するための検出機能が設けられている この挿入部形状検出機能は、 前述した従来と同様に、 内視鏡の揷 入部に設けられた複数のソースコイルと、 内視鏡挿入形状観測装 置 2 0 3 に設けられた図示していない複数のセンスコイルを有し ている。 - ビデオプロセッサ 2 1 0は、 前記電子内視鏡 2 1 2の電子撮像 素子を駆動制御すると共に、 電子撮像素子で光電変換し生成され た撮像映像信号を所定の信号処理を行い、 色信号や輝度信号を有 している Y / C信号、 または R G B信号等を生成する。
このビデオプロセッサ 2 1 0で生成された輝度信号と色信号を 有している Y / C信号または R G B信号は、 観察モニタ 2 1 4 と 画像処理装置 2 1 5へと直接出力されるようになっている。
また、 レ リーズスイ ッチ 2 1 2 aが操作されると、 撮像画像の 静止画像の出力指示が可能となっている。
なお、 ビデオプロセッサ 2 1 0には、 図示していないが、 内視 鏡検査に関する検査情報を入力する機能を有している。
光源装置 2 1 1は、 照明光源であるランプと、 そのランプの点 灯回路等からなり、 ランプ点灯時に投射された照明光を前記電子 内視鏡 2 1 2のライ トガイ ドへと供給し、 挿入部先端から管腔の 観察部位へと投射される。
観察モニタ 2 1 4は、 前記ビデオプロセッサ 2 1 0で生成され た Y / C信号または R G B信号等を基に内視鏡画像を表示するも のである。
内視鏡挿入形状観測装置 2 0 3は、 内視鏡装置 2 0 2 の周辺装 置であり、 内視鏡挿入形状観測装置 2 0 3 に設けられた図示して いないセンスコイルによ り検出した前記電子内視鏡 2 1 2 に設け られたソースコイルの磁界を基に、 各ソースコイルの位置座標デ 一夕算出や、 その算出された位置座標デ一夕から挿入部の形状を 推定形成して、 揷入部形状画像信号を生成する形状処理装置 2 1 3 と、 その形状処理装置 2 1 3で生成された挿入部形状画像信号 を基に挿入形状画像を表示するモニタ 2 1 3 bを有している。
なお、 この内視鏡挿入形状観測装置 2 0 3は、 形状処理装置 2 1 3で処理生成されてモニタ 2 1 3 bに表示される挿入部形状画 像の回転角、 拡大縮小率等の形状表示属性を、 図示していない操 作パネルからの指示入力によ り、 変更可能となっている。
前記形状処理装置 2 1 3 には、 通信ポー ト 2 1 3 aが設けられ. 内視鏡挿入形状を示す 3次元座標情報、 及び形状表示属性等の挿 入形状デ一夕を画像処理装霉 2 0 4へ出力可能となっている。
なお、 電子内視鏡 2 1 2 に設けられているレ リ一ズスィ ヅチ 2 1 2 aの操作時の挿入形状デ一夕のみを出力させることもできる, 画像処理装置 2 0 4は、 パーソナルコンピュータ 2 1 5 ('以下. P C 2 1 5 ) と、 この P C 2 1 5 に各種指示入力するためのマウ ス 2 1 6 とキ一ボー ド 2 1 7 と、 及び P C 2 1 5で処理された各 種情報データや画像情報を再生表示するデイ スプレイ 2 1 8を有 してレ、る。
更に、 P C 2 1 5には、 前記内視鏡挿入形状観測装置 2 0 3 の 形状処理装置 2 1 3の通信ポー ト 2 1 3 aから出力される挿入形 状データを取り込む通信ポー ト 2 1 5 a、 前記内視鏡 2 のビデオ プロセッサ 2 1 0の通信ポー ト 2 1 0 aから出力される内視鏡検 査情報を取り込む通信ポ一 ト 2 1 5 bと、 及び前記内視鏡 2 のビ デォプロセッサ 2 1 0で生成された動画映像信号を所定の圧縮画 像デ一夕に変換する動画像入力ポー ト 2 1 5 cを有している。
つま り、 画像処理装置 2 0 4 の動画像入力ポート 2 1 5 cには、 前記ビデオプロセッサ 2 1 0で生成された動画像の映像信号が入 力されて、 その動画像の映像信号を所定の圧縮動画映像信号デー 夕、 例えば、 M J P E G形式の圧縮画像デ一夕に変換して、 P C 2 1 5の図示していない記録装置に保存される。
なお、 一般的には、 内視鏡検査開始前には、 ビデオプロセッサ 2 1 0から、 内視鏡検査に関連する検査情報が入力され、 その入 力された検査情報デ一夕を基に観察モニタ 2 1 4に文字や数字の 形式で表示されると共に、 その検査情報デ一夕は、 通信ポート 2 1 0 aから通信ポー ト 2 1 5 bを介して、 画像処理装置 2 0 4に 送信記録することも.可能である。
なお、 検査情報とは、 例えば、 患者の氏名、 生年月日、 性別、 年齢、 患者コー ド、 及び検査日時などである。
つま り、 画像処理装置 2 0 4は、 必要に応じてビデオプロセ ヅ サ 2 1 0 と接続して、 ビデオプロセッサ 2 1 0からの各種情報デ 一夕を受信保存するようになっている。
このような構成の電子内視鏡システム 2 0 1 における画像処理 装置 2 0 4の動作を説明する。 最初に、 内視鏡挿入形状観測装置 2 0 3の形状処理装置 2 1 3からの内視鏡挿入形状デ一夕、 前記 ビデオプロセッサ 2 1 0からの検査情報と内視鏡画像を取得保存 する処理動作について図 2 0 と図 2 3 を用いて説明する。
この処理動作は、 画像処理装置 2 0 4に設けられている内視鏡 検査用アプリケーショ ンを駆動させることで実現される。 内視鏡 検査を始めるにあたり、 ビデオプロセッサ 2 1 0では検査情報を 入力し、 画像処理装置 2 ひ 4では内視鏡検査用アブリケ一シヨン を起動させる。 この内視鏡検査用アプリケーションを起動させる とディスプレイ 2 1 8には、 図 2 3 ( a ) に示す検査ウィ ン ドウ 3 0 0、 及び図 2 3 ( b ) に示す内視鏡画像ゥイ ン ドウ 3 0 5が 表示されるようになっている。
この画像処理装置 2 0 4の P C 2 1 5が内視鏡検査用アブリケ —シヨンを駆動し、 且つ、 ディスプレイ 2 1 8に検査ゥイ ン ドウ 3 0 0が表示されると、 P C 2 1 5はステップ S 2 0 1で、 ビデ ォプロセッサ 2 1 0からの検査情報おょぴ内視鏡画像デ一夕を受 信保存するモー ドに設定される。
次に、 P C 2 1 5はステップ S 2 0 2で、 術者がマウス 2 1 6 またはキーボー ド 2 1 7を操作して、 前記検査ゥイ ン ドウ 3 0 0 に表示された検査開始ボタン （図中 S t a r t E x a m. と表 記） 3 0 1がオン操作されたかどうか判断する。 検査開始ボタン 3 0 1がオン操作されるまで待機し、 オン操作されるとステップ S 2 0 3以降が実行.される。
P C 2 1 5はステップ S 2 0 3で、 信ポー ト 2 1 5 aを開き 内視鏡挿入形状観測装置 2 0 3の形状処理装置 2 1 3 との通信を 開始し、 ステップ S 2 0 4で、 通信ポ一 ト 2 1 5 bを開き、 ビデ ォプロセッサ 2 1 0 との通信を開始する。
P C 2 1 5はステップ S 2 0 5で、 ビデオプロセッサ 2 1 0に 対して、 検査情報の取得コマン ドを通信ポ一 ト 2 1 5 bからビデ ォプロセッサ 2 1 0の通信ポート 2 1 0 aに送信し、 この検査情 報取得コマン ドを受信したビデオプロセッサ 2 1 0は、 検査情報 を P C 2 1 5へと送信する。
このステップ S 2 0 5でビデオプロセッサ 2 1 0から送信され 検査情報を P C 2 1 5は、 ステップ S 2 0 6で図示していない記 録装置に記録保存する。
次に、 P C 2 1 5はステップ S 2 0 7で、 通信ポー ト 2 1 5 a から形状処理装置 2 1 3の通信ポート 2 1 3 aに対して挿入形状 データの取得コマン ドを送信し、 その挿入形状デ一夕取得コマン ドを受信した形状処理装置 2 1 3は、 挿入形状データの送信出力 を開始する。 この送信は、 P C 2 1 5 と形状処理装置 2 1 3の間 の通信が終了し、 通信ポ一 ト 2 1 5 aが閉じられるまで続けられ る
P C 2 1 5はステップ S 2 0 8で、 前記ステップ S 2 0 7で形 状処理装置 2 1 3から送信出力された挿入形状データを受信し、 前記ステップ S 2 0 6で記録保存した検査情報と関連づけて、 P C 2 1 5 に設けられている図示しないハー ドディスクにフ ァイル 記録保存する （以下、 挿入形状ファイルと称する） 。
次に、 P C 2 1 5はステヅプ S 2 0 9で、 動画像入力ポー ト 2 1 5 cに前記ビデオプロセッサ 2 1 0から入力された動画映像信 号を M J P E G形式の圧縮画像デ一夕に変換して、 前記ステップ S 2 0 6で記録保存した検査情報と関連付けて、 P C 2 1 5の図 示していないハー ド.ディスクにファイル記録保存する （以下、 画 像ファイルと称する） と共に、 前記動画像入力ポー ト 2 1 5 cに 入力されている動画像を図 2 3 ( b ) に示す内視鏡画像ウィ ン ド ゥ 3 0 5の内視鏡画像領域 3 0 6に表示させる。
次に、 P C 2 1 5はステップ S 2 1 0で、 検査.ゥイ ン ドウ 3 0 0の検査終了ボタン （図中 E n d E x a m . と表記） 3 0 2が 操作されたか判断し、 検査終了ボ夕ン 3 0 2が操作されていない と判定されると前記ステップ S 2 0 8に戻り、 検査終了ボ夕ン 3 0 2が操作されたと判定されると、 ステップ S 2 1 1で、 通信ポ ート 2 1 5 a、 1 5 bを閉じて形状処理装置 2 1 3 とビデオプロ セヅサ 2 1 0 との情報デ一夕の通信を終了させる。
このようにして、 画像処理装置 2 0 4は、 内視鏡装置 2 0 2 の ビデオプロセッサ 2 1 0で入力して検査情報デ一夕 と、 電子内視 鏡 2 1 2で撮像した映像信号を所定の圧縮画像データに変換した 内視鏡画像データと、 及び内視鏡挿入形状観測装置 2 0 3で観測 生成した挿入形状デ一夕を取得し、 且つ、 所定の記録装置に前記 検査情報に関連付けて記録保存する。
次に、 前記画像処理装置 2 0 4に記録保存された検査情報デ一 夕、 内視鏡画像データ、 及び挿入形状デ一夕を基に、 内視鏡画像 と挿入形状画像の同期再生処理動作について図 2 1 と図 2 4を用 いて説明する。 なお、 この処理動作において、 内視鏡画像と挿入形状の同期再 生と共に、 再生の一時停止、 再生終了、 表示フ レームを直接指定 する機能、 及び表示属性の変更に関しても説明する。
なお、 表示属性としては、 内視鏡挿入形状の X軸回りの回転と Y軸回りの回転で、 挿入形状表示の座標系は、 図 2 4 ( b ) に示 す挿入形状表示画面 3 3 0内に示す。 これらの機能は、 画像処理 装置 2 0 4で動作させるビュ一アプリケーショ ン （以下、 ビュー ァと省略する） で実行され、 このビューァを起動すると、 デイス プレイ 2 1 8には図- 2 4 ( a ) に示す再生制御ゥイ ン ドウ 3 1 0 図 2 4 ( b ) に示す挿入形状表示ウイ ドウ 3 3 0、 図 2 4 ( c ) に示す内視鏡画像ウィ ン ドウ 3 3 5が表示される。
内視鏡画像、 及び挿入形状画像のフレームレー トは決まってお り、 更に、 挿入形状画像は、. 1 フ レーム毎に記録時間が記録され るため、 内視鏡画像と挿入形状画像の同期再生は、 画像ファイル および挿入形状フアイルの作成時間によ り再生開始時間を調整対 応するフレーム表を作成すれば両者の同期再生は可能である。
例えば、 画像ファイルの作成時間が 1 0時 0 0分 0 0秒、 挿入 形状ファイルの作成時間が 1 0時 0 0分 0 1秒、 内視鏡画像のフ レームレ一 トが毎秒 3 0枚、 挿入形状のフ レームレー トが毎秒 1 5枚であるとすると、 表 1 に示すように画像ファイルの内視鏡画 像フレーム番号と挿入形状ファイルのフレーム番号の関係表が形 成でき、 この関係表から対応するフ レームを表示することで同期 再生が可能となる。
なお、 内視鏡画像、 あるいは内視鏡挿入形状のみを単独に再生 する場合は、 表 1の関係を使用せず、 後述する再生夕イマ一の処 理間隔をフ レームレートから決定して再生表示すればよい。 内鰌画像 内 鏡形状
フレーム番号 フレーム番号
n J ^なし
I 対応なし
29 対応なし
30 1
3i 一 1
32 2
33 2
最初に、 内視鏡画像と揷入形状画像との同期再生処理動作を行 うために、 術者は、 前記 P C 2 1 5のビューァを起動させて、 デ イスプレイ 2 1 8に図 2 4 ( a) に示す再生制御ウィ ン ドウ 3 1 0、 図 2 4 ( b ) に示す挿入形状表示ウィ ン ドウ 3 3 0、 図 2 4 ( c ) に示す内視鏡画像ゥイ ン ドウ 3 3 5を表示される。
この再生制御ウィ ン ドウ 3 1 0が表示されると、 P C 2 1 5は ステップ S 2 2 1で、 術者が内視鏡画像と挿入形状画像の同期再 生を行う画像ファイルを指定する。 この同期再生を行う画像ファ ィルの指定は、 例えば、 再生制御ゥイ ン ドウ 3 1 0の再生ボ夕ン (図中 P l a yと表記） 3 1 1をマウス 2 1 6またキ一ボー ド 2 1 7を用いて操作すると、 ディスプレイ 2 1 8にファイル選択用 のウィ ン ドウが表示されて、 そのファイル選択用ウィ ン ドウから 画像ファイルを指定すると、 その画像フアイルの検査情報で関連 付けられた挿入形状ファイルが同期再生の相手となる。 画像ファ ィルが含むフレーム数を とする。
このように、 術者によって、 ディスプレイ 2 1 8に表示された フアイル選択用ウィ ン ドウから画像ファイルと、 その画像フアイ ルに関連する挿入形状フアイルが選択されると、 P C 2 1 5はス テヅプ S 2 2 2で、 再生制御ウィ ン ドウ 3 1 0のスライ ドコ ン ト ローラ 3 1 4の範囲を最小値 0、 最大値を N f — 1に初期化する 次に、 P C 2 1 5はステップ S 2 2 3で、 各種変数の初期化を 行う。 この各種変数の初期は、 現在の動作状態を示すステータス を再生 S t = P l a-y b a c k、 表示フ レーム番号 F r m= 0、 X軸回りの回転角 0 x = O、 Y軸回り φ回転角 0 y = Oとする。 なお、 再生フ レーム番号; F r mは、 内視鏡画像のフ レーム番号 を指しており、 挿入形状を表示する際は、 前記内視鏡画像のフ レ —ム番号 F r mに対応する挿入形状フ レームを表 1に示す関係表 から探索する。
前記ステップ S 2 2 3の各種変数の初期化が終了すると、 P C 2 1 5はステップ S 2 2 4で、 再生タイマーを設定する。 この夕 イマ一は、 ソフ トウェアの多重化処理などに用いられるソフ トゥ エア夕イマ一である。
この再生夕イマ一は、 後述する内視鏡画像と挿入形状の表示処 理を一定時間間隔で実行するもので、 夕イマ一が処理する間隔は 内視鏡画像のフ レームレ一 ト f ( f p s ) とすると、 l Zf ( s
Θ c ) とする。
前記ステップ S 2 2 4の夕イマ一設定処理が終了すると、 P C 2 1 5はステップ3 2 2 5で、 再生制御ゥイ ン ドウ 3 1 0の再生 終了ボタン （図中 S t o pと表記） 3 1 3が操作されたか判定し 再生終了ボ夕ン 3 1 3が操作されたと判定されるとステップ S 2 3 6で再生夕イマ一の駆動を終了させて、 この内視鏡画像と挿入 形状画像の同期再生表示の処理動作を終了させ、 再生終了ボタン 3 1 3は操作されていないと判定されると、 ステップ S 2 2 6で 再生制御ウィ ン ドウ 3 1 0のスライ ドコン トローラ 3 1 4のつま み 3 1 4 aが操作移動されたかどうか判定する。
このステップ S 2 2 6のスライ ドコン トローラ 3 1 4は、 術者 により再生する内視鏡画像のフレームを直接指定するもので、 そ の指定した内視鏡画像と関連する挿入形状画像を表示することが できる。
なお、 スライ ドコン ト口一ラ 3 1 4のつまみ 3 1 4 aを移動さ せて、 再生する内視鏡画像のフ レームを指定した際には、 同期再 生は一時停止状態 なり、 つまみ 3 1 4 aが移動された場合はス テツプ S 2 2 7以降が実行され、 つま 3 1 4 aが移動していな い場合は、 ステップ S 2 3 0以降が実行される。
前記ステップ S 2 2 6でスライ ドコン ト ローラ 3 1 4のつまみ 3 1 4 aが移動して再生表示される内視鏡画像のフレームが指定 されたと判定されると、 卩。 2 1 5はステヅプ3 2 2 7で、 再生 タイマ一による内視鏡画像と挿入形状画像の更新を一時停止させ るためにステ一夕スを一時停止 （ S t = P a u s e ) にセッ トす る。
次に、 P C 2 1 5はステップ S 2 2 8で、 スライ ドコン ト 口一 ラ 3 1 4のつまみ 3 1 4 aで移動設定したフ レーム位置を求め、 その位置デ一夕を内視鏡画像フ ァイルの表示フ レーム番号 F r m にセッ ト し、 ステップ S 2 2 9で、 前記ステップ S 2 2 8で内視 鏡画像ファイルの表示フ レーム番号 F r mに対応する内視鏡画像 フレームを図 2 4 ( c ) の画像表示画面 3 3 5に表示すると共に F r mに対応する挿入形状デ一夕、 及び表示属性を挿入形状ファ ィルから取得し、 前記表示属性、 及び X軸周りの回転角 6> X、 Y 軸周りの回転軸 0 yによる挿入形状の回転によ り再構成した挿入 形状画像を図 2 4 (b) の挿入形状表示画面 3 3 0に表示して、 前記ステップ S 2 2 5へ戻る。 .
なお、 この内視鏡画像ゥイ ン ドウ 3 3 5及び挿入形状ウイ ン ド ゥ 3 3 0は、 ディスプレイ 2 1 8に適当に重畳表示するか、 予め 与えた設定に従い、 内視鏡画像、 挿入形状を適当な縮尺で縮小し て両ウイ ン ドウが重ならないように表示しても良い。 両ウイ ン ド ゥの大きさは、 ユーザが変更できるようにすることもできる。 前記ステ ッ プ S 2 2 6で、 スライ ドコ ン ト ローラ 3 1 4のつま み 3 1 4 aが移動されていないと判定されると、 P C 2 1 5はス テ ヅ プ S 2 3 0で、 再生制御ウ ィ ン ドウ 3 1 0の再生ボタン （図 中 P l a yと表記） 3 1 1が操作されたか判定され、 この再生ボ タン 3 1 1が操作されてないと判定されると、 ステップ S 2 3 2 以降が実行され、 再生ボタン 3 1 1が摔作されたと判定されると ステップ S 2 3 1で P C 2 1 5は、 ステータスを再生 （ S t二 P l a y b a c k) にセッ ト して、 再生夕イマ一による内視鏡画像 と挿入形状画像の更新を再開させて、 前記ステップ S 2 2 5へと 戻る。
前記ステップ S 2 3 0で再生ボタン 3 1 1が操作されていない と判定されると、 P C 2 1 5はステップ S 2 3 2で、 再生制御ゥ イ ン ドウ 3 1 0の一時停止ボタン （図中 P a u s eと表記） 3 1 2が操作されたか判定し、 一時停止ボタン 3 1 2が操作されてい ないと判定されると、 ステップ S 2 3 4以降が実行され、 一時停 止ボタン 3 1 2が操作されたと判定されると、 ステヅプ S 2 3 3 で P C 2 1 5は、 ステータスを一時停止 （ S t =P au s e ) に セッ ト して、 再生夕ィマ一による内視鏡画像と挿入形状画像の更 新を一時停止させ、 前記ステップ S 2 2 5へと戻る。
前記ステヅ プ S 2 3 2で一時停止ボ夕ン 3 1 2が操作されてい ないと判定されると、 P C 2 1 5はステ ッ プ S 2 3 4で、 挿入形 状回転ボタン 3 1 5 (図中上下と左右方向の矢印キ一で表記） が 操作されたか判定し、 操作されていないと判定されると前記ステ ヅ プ S 2 2 5に戻り、 挿入形状回転ボタン 3 1 5が操作されたと 判定されると、 ステップ S 2 3 5で挿入形状回転ボタン 3 1 5で 操作された挿入形状画像の回転角の増減処理を行い、 前記ステツ プ S 2 2 5へと戻る。
このステップ S 2 3 5で処置される回転角の増減処置は、 例え ば、 挿入形状回転ボタン 3 1 5の右向き矢印 （ ） が操作される と、 Y軸回りの回転角 Θ yを C y増加させ、 左向き矢印 （―） が 操作されると、 Y軸周りの回転角 6> yを C y減少させ、 上向き矢 印 （个） が操作されると、 X軸周りの回転角 0 xを C x減少させ. 下向き矢印 （ ） が操作されると、 X軸周りの回転角 0 Xを C X 増加させる。 - なお、 Cxと C yは、 予め与えておく揷人形伏の回転角の増減 量の定数で、 単位は角度を表すラジアンである。 この C xと C y の大きさを変えることにより、 挿入形状回転ボタン 3 1 5が操作 されるたびに挿入形状の回転する度合いを変えることができる。 次に、 前記ステップ S 2 2 4の再生夕イマ一について、 図 2 2 を用いて説明する。 この再生夕イマ一は、 内視鏡画像、 挿入形状 の表示機能、 及びスライ ドコン トローラ 3 1 4のつまみ 3 1 4 a の位置更新機能を持つ。 このつまみ 3 1 4 aの位置更新機能によ り、 内視鏡画像の全フレームの中で、 現在どのフ レームを表示し ているかを術者が簡単に認識できるようになつている。
なお、 ソフ トウエア夕イマ一によ り実現しているソフ トウエア における多重化処理は、 マルチスレツ ドによる手法によ り行って も良い。
1 / f ( s e c ) 毎に再生タイマ一処理が呼ばれると、 P C 2 1 5はステップ S 2 4 1において、 ステータスが再生 （ S t = P l a y b a c k ) であるか判定し、 再生でないと判定されると、 再生夕イマ一の処理を終了する。 再生であると判定されると、 ス テヅプ S 2 4 2に移行する。
ステップ S 2 4 2で P C 2 1 5は、 内視鏡画像フアイルから、 表示指定されているフレームの内視鏡画像デ一夕を復号化して内 視鏡画像表示画面 3 3 5の内視鏡画像表示領域 3 3 6に表示させ る。
次に、 P C 2 1 5はステップ S 2 4 3で、 前記ステップ S 2 4 2で内視鏡画像表示領域 3 3 6に表示されている内視鏡画像のフ レームに対応する挿入形状デ一夕及び表示属性を挿入形状フアイ ルから読み取り、 前記表示属性、 及び X軸周りの回転角 0 x、 Y 軸周りの回転角 0 yによる回転により挿入形状画像として再構成 して挿入形状表示ウィ ン ドウ 3 3 0の挿入形状画像表示領域 3 3 1に表示する。 なお、 挿入形状の X軸と Y軸の回転は、 揷入形状 の 3次元座檫に対して、 公知の座標変搀によ り行う。
次に、 ？ 〇 2 1 5はステヅプ3 2 4 4で、 表示フレーム番号 F r mに 1を加算 （F r m+ 1 ) し、 ステップ S 2 4 5で F r m = N f — 1かどうか判断する。 つま り、 最終フ レームまで再生表示 したかどうか判定する。
このステップ S 2 4 5で、 最終フレームまで再生表示が完了し たと判定されるとステップ S 2 4 6で P C 2 1 5は夕イマ一の駆 動を終了させる。
前記ステップ S 2 4 5で、 最終フ レームまで再生表示していな いと判定されると、 ステップ S 2 4 7で P C 2 1 5は、 スライ ド コン ト 口一ラ 3 1 4のつまみ 3 1 4 aの位置を、 前記ステヅプ S 2 4 4で表示フレーム番号 F r mに 1を加算したフレームの位置 にスライ ドコン ト口一ラ 3 1 4のつまみ 3 1 4 aを移動させて、 再生夕イマ一の処理を終了する。
これによ り、 前記画像処理装置 2 0 4に記録保存された内視鏡 画像及び挿入形状デ一夕を用いて、 ディスプレイ 2 1 8に同期再 生表示させることが可能となる。
なお、 画像処理装置 2 0 4の機能は、 ビデオプロセヅサ 2 1 0. または内視鏡挿入形状観測装置 2 0 3に内蔵保有しても良いこと は明らかである。 また、 内規鏡画像の保存形式は、 動画像に限定されるものでな く、 記録時間が明確であれば静止画の連続保存でも同様の効果が 得られる。
このようにして、 内視鏡画像と挿入形状デ一夕とを記録保存し 同期再生を行うことによ り、 内視鏡画像とその時の内視鏡挿入部 の形状を自由に対比することができ、 内視鏡挿入操作の教育に有 効に活用できる。
また、 内視鏡検査後に内視鏡揷入部の形状の表示属性を変えな がら同期再生を行 ことで、 内視鏡挿入の困難性の原因、 患者の 不快感の原因等を探索する際の有効な櫞能となる。
次に、 本発明に係る画像処理装置の第 7の実施形態について図 2 5乃至図 2 7を用いて説明する。 この第 7の実施形態は、 内視 鏡検査時に記録保存した内視鏡検査情報、 内視鏡画像、 及び挿入 形状デ一夕等のデ一夕から所望の内視鏡画像や内視鏡挿入形状画 像の検索と、 それら検索した内視鏡画像や内視鏡挿入形状画像に 情報を付加する機能を有するものである。
この第 7の実施形態の検索と情報付加機能を実行のために、 P C 2 1 5 において検索と倩報付加機能を持つビューァを起動する ビューァは、 ディ スプレイ 2 1 8に図 2 7 ( a ) に示す検索と情 報付加用の再生制御ゥイ ン ドウ 4 1 0 と、 図 2 7 ( b ) に示す揷 入形状ウィ ン ドウ 4 3 0 と、 図 2 7 ( c ) に示す内視鏡画像ウイ ン ドウ 4 3 5を表示する。
この検索と情報付加機能において、 例えば、 内視鏡揷入部のル —プ形状の検索例を用いて説明する。 なお、 認識可能なループと して、 予め、 ひループ、 Nループ、 アル一プとし、 揷入部形状は 曲線と考えることができるため、 曲線の特徴抽出技術を使用する, ここでは、 説明を簡単にするために挿入部形状を 2次元曲線で考 え、 例えば、 P形フーリエ記述子を使用する。 この P形フ一リエ 記述子は、 電子情報通信学会論文誌 V o 1 . j 6 7 - A N o . 3に示されている。
この手法は、 まず曲線を n個 （nは分割数で正数） の線分で分 割し、 その線分の端点を複素表示し、 各点での全曲率関数を定義 し、 全曲率関数をフ一リエ変換して得られたパワースぺク トルを 曲線の特徴とする。 各ループの P形フーリエ記述子による特徴を あらかじめ記憶しておき、 それぞれのループのパワースぺク トル を C r i— (k) 、 （k = 0、 …ヽ n— 1 ) とし、 i = 0はひル一 プ、 i = 2 'は Nループ、 i = 3はアル一プとする。
この検索と情報付-加機能の処理動作を図 2 5を用いて説明する 前記 P C 2 1 5はステップ S 2 5 1で、ディ スプレイ 2 1 8に表 示されている再生制御ウィ ン ドウ 4 1 0において、 再生表示対象 も しくは検索対象の検査情報が選択されたか判定する。
この再生表示対象も しくは検索対象の検査情報は、 前記再生制 御ウィ ン ドウ 4 1 0の検査情報表示領域 4 1 9に表示されており その検査情報のリス トからマウス 2 1 6またはキ一ボ一 ド 2 1 7 で選択する。
このステップ S 2 5 1で内視鏡検査情報リス トから再生表示若 しくは検索対象の検査情報が選択指示されたと判定されると、 ス テツプ S 2 5 2で P C 2 1 5は、 再生制御ウィ ン ドウ 4 1 0の検 査情報表示領域 4 1 9に表示されている検査情報リス トの選択し た検査情報を反転表示に表示変更する。
前記ステップ S 2 5 1で内視鏡検査情報リス トからの選択が行 われない場合は、 その検査情報リス トの最初にリス トされている 検査情報が選択されものと見なす。 選択された検査情報に関連付 けられている画像ファイルに含まれているフ レーム数を N f とす 次に P C 2 1 5はステップ S 2 5 3で、 再生制御ゥイ ン ドウ 4 1 0の検索ボタン （図中 R e t r i e v a l と表記） 4 1 6が 操作されたか判定し、 検索ボタン 4 1 6が操作されていないと判 定されると、 ステップ' S 2 6 0以降が実行され、 検索ボ夕ン 4 1 6が操作されたと判定されると、 ステップ S 2 5 4でステータス を検索に設定 （ S t = R e t r i e v a l ) し、 表示フ レーム番 号 F r m= 0、 X軸回りの回転角 0 x = O、 Y軸回りの回転角 0 y = 0に設定する。 なお、 軸回りの回転の処理は前述の第 6の実 施形態と同じである。
次に、 卩 〇 2 1 5はステヅプ 3 2 5 5で、 図示しない検索情報 ウィ ン ドウをディスプレイ 2 1 8に表示させ、 この検索情報ゥィ ン ドウを用いて、 検索するループ形状等の検索情報を入力する。 ここでは、 ひループを検索するための情報が入力されたとする。
このステヅプ S 2 5 5で検索するル一プ形状であるひループ情 報が入力されると、 ステップ S 2 5 6で、 挿入形状デ一夕から特 徴デ一夕を 1 フ レーム毎に算出する。 この算出されたパワースぺ ク トルを C j ( k ) ヽ ( k = 0、 …、 n— 1 ) 、 （ j = 0、 …ヽ N f - 1 ) とする。
次に P C 2 1 5はステップ S 2 5 7で、 予め記憶しておいた代 表的なループのパワースペク トル C r i ( k ) と、 前記ステップ S 2 5 6で算出したパワースペク トル C j ( k ) との距離を求め る。 例えば、 ループとパワースペク トルの距離が閾値よ り小さ い場合は、 C j ( k ) は ループであると判断する。 この 2つの パヮ一スぺク トルの距離は、 例えばユーク リ ッ ド距離を使用し、 類似判定を全フ レームに対して行う。
P C 2 1 5はステップ S 2 5 8において、 スライ ドコン ト口一 ラ 4 1 4の範囲を最小値 0、 最大値を N f — 1 に初期化し、 ステ ヅプ S 2 5 9で前記ステヅプ S 2 5 6 と S 2 5 7において、 類似 と判断されたフ レーム位置を示す図形 2 1 8をスライ ドコン ト口 —ラ 4 1 4の近傍に表示する。 なお、 図 2 7 ( a ) の再生制御ゥ イ ン ドウ 4 1 0のスライ ドコン トローラ 4 1 4の図中の上側にフ レーム位置図形 4 1 8を表示している。 このフ レーム位置図形 4 1 8は、 ループの種類によ り色分けしても良い。
次に、 P C 2 1 5はステヅプ S 2 6 0で、 スライ ドコン ト口一 ラ 4 1 4のつまみ 4 1 4 aが移動されたか判定し、 移動されてい ないと判定されるとステップ S 2 6 3以降が実行され、 つまみ 4 1 4 aが移動したと判定されると、 ステップ S 2 6 1で移動した つまみ 4 1 4 aの位置を検出して再生フ レーム番号 F r mをつま み位置にセッ ト し、 ステップ S 2 6 2で、 そのセッ トされたフ レ —ムの内視鏡静止画像と内視鏡挿入形状画像を表示する。 表示方 法はステヅプ S 2 2-9 と同様である。
このステップ S 2 6 2における内視篛静止画像と内視鏡揷入画 像の表示は、 第 6の実施形態と同様である。 つま り、 この内視鏡 画像ゥイ ン ドウ 4 3 5、 及び挿入形状ゥイ ン ドウ 4 3 0は、 ディ スプレイ 2 1 8に適当に重畳表示するか、 予め与えた設定に従い 内視鏡画像、 挿入形状を適当な縮尺で縮小して両ウイ ン ドウが重 ならないように表示する。
次に、 P C 2 1 5はステップ S 2 6 3で、 前記再生制御ゥィ ン ドウ 4 1 0の情報入力ボタン （図中 I n f o r ma t i o nと表 記） 4 1 7が操作されたか判定し、 操作されていないと判定され ると、 ステップ S 2 6 5以降が実行され、 情報入力ボタン 4 1 7 が操作されたと判定されると、 ステップ S 2 6 4で、 ディスプレ ィ 2 1 8に表示されている内視鏡静止画像と内視鏡挿入形状画像 に付加したい情報を図示していない情報入力ウイ ン ドウを用いて 入力する。 この入力された付加情報は、 前記内視鏡検査情報およ び再生フ レーム番号 （F r m) と関連付けて記録保存される。
なお、 この付加情報は、 内視鏡画像と内視鏡挿入形状画像とは 別の情報として記憶できるようになつている。
次に、 P C 2 1 5はステップ S 2 6 5で、 再生ボタン （ P 1 a y ) 1 1が操作されたか判定し、 操作されたと判定されると前 記ステップ S 2 2 2 (図 2 1参照） 以降の同期再生の処理動作に 移行する。 第 Ίの実施形態におけるステップ S 2 2 2〜 S 2 3 6 の同期再生処理は、 再生終了ボタン、 再生ボタン、 一時停止ボタ ン、 回転ボタン、 スライ ドコン トローラは図 2 4のものから図 2 7のものに置き換えて処理は実行される。 ステップ S 2 3 6を実 行後はステップ S 2 5 1 に戻るものとする。
再生ボタン 4 1 1が操作されていないと判定されると、 ステヅ プ S 2 6 6で終了ボタン （ C l o s e ) 4 2 0が操作されたか判 定し、 操作されていないと判定されると前記ステップ S 2 5 1 に 戻り、 終了ボタン 4.2 0が操作されたと判定されるとステップ S 2 6 7で、 この検索と情報付加を行う ュ―ァを終了させる。 以上説明したように、 内視鏡検査後に、 検索条件の基で検索し た内視鏡画像と内視鏡挿入部形状画像に付加情報を追加入力する ことが可能となる。
このように検索と情報付加機能により付加情報を追加入力した 内視鏡画像と内視鏡挿入形状画像の同期再生動作は、 前述の図 2
1のステップ S 2 2 2から S 2 3 6の処理と基本的に同じである が、 ステップ S 2 2 4の再生タイマーの処理動作が異なるために この検索と情報付加機能の再生夕イマ一処理動作について、 図 2 6を用いて説明する。
この検索と情報付加機能の再生タイマー処理は、 内視鏡画像フ レームと内視鏡挿入形状の表示機能、 付加情報表示機能、 及びス ライ ドコン トローラのつまみ位置の更新機能を実現する。
P C 2 1 5はステップ S 2 7 1で、 ステ一タスが再生 （ S t = P l a y b a c k ) か判定し、 再生 （ P l a y b a c k ) ではな いと判定されると、 この再生夕イマ一処理を終了する。 再生であ ると判定されると、 ステップ S 2 7 2で内視鏡画像フアイルから 指定されたフ レームの内視鏡画像を復号化し、 その復号化された フ レームの内視鏡画像をディ スプレイ 2 1 8に図 2 7 ( c ) に示 す内視鏡画像ゥイ ン ドウ 4 3 5の内視鏡画像領域 4 3 6に表示す る。
次に、 P C 2 1 5はステップ S 2 7 3で、 前記ステップ S 2 7 2で復号化した内視鏡画像のフ レームに対応する内視鏡挿入形状 デ一夕、 及び表示属性を取得し、 前記表示属性、 及び X軸周りの 回転角 S x、 Y軸周りの回転角 0 yによる回転により再構成した 形状画像をディスプレイ 2 1 8に図 2 7 ( b ) に示す挿入形状表 示ウイ ン ドウ 4 3 0の挿入部形状表示領域 4 3 1に表示する。 更に、 P C 2 1 5はステップ S 2 7 4で、 前記ステップ S 2 7 3と同様に復号化した内視鏡画像のフレームに対応する内視鏡揷 入形状デ一夕から、 前記ステヅプ S 2 5. 6と S 2 5 7 (図 2 5参 照） と同様の方法によ り挿入形状を認識し、 その結果を挿入形状 表示画面 4 3 0の認識結果表示領域 4 3 2に表示する。 認識でき る形状は、 例えば、 ひループ、 Nループ、 アル一プなどである。 次に、 P C 2 1 5はステップ S 2 7 5で、 前記復号化した内視 鏡画像のフレームに対応する付加情報を検索して挿入形状表示ゥ イ ン ドウ 4 3 0の情報表示領域 4 3 3に表示する。
このようにして、 ディ スプレイ 2 1 8に指定したフレームの内 視鏡画像と、 そのフ レームに対応する内視鏡挿入形状画像、 挿入 形状認識結果、 及び付加情報が表示されると、 P C 2 1 5はステ ヅプ S 2 7 6で、 ディスプレイ 2 1 8に表示しているフレームを 示す再生フレーム番号 F r mに 1を加算 （F r m+ 1 ) し、 ステ ヅプ S 2 7 7で、 最終フ レームまで再生表示したか判定し、 最終 フレームまで再生表示されたと判定されるとステップ S 2 7 8で 夕イマ一駆動を終了させる。
前記ステップ S 2 7 7で、 最終フレームまで再生表示されてい ないと判定されると、 ステップ S 2 7 9で、 スライ ドコン ト口一 ラ 4 1 4のつまみ 4 1 4 aの位置をフ レームに対応する位置に移 動させて、 この再生夕イマ一の処理を終了させる。
以上説明したように、 この第 7の実施形態は、 内視鏡検査の過 程で撮像生成した内視鏡画像、 及び内視鏡挿入形状'画像から入力 した検索事項で所望の画像を検索再生表示でき、 且つ、 その検索 再生表示された画像に付加情報を追加入力できる。
この第 7の実施形態では、 内視鏡挿入形状によ り検索し、 その 検索した内視鏡挿入形状に付加情報を入力する例に説明したが、 内視鏡検査情報で検索して、 その内視鏡検査情報に付加情報を入 力したり、 内視鏡画像検索によ り内視鏡画像を検索し、 その検索 した内視鏡画像に付加情報を入力したりできることは明らかであ ο - なお、 第 7の実施形態の画像処理装 ¾ 2 0 4の機能は、 ビデオ プロセッサ 2 1 0、 または内視鏡挿入形状観測装置 2 0 3に内蔵 保有しても良いことは明らかである。
また、 内視鏡画像の保存形式は、 動画像に限定されるものでな く、 記録時間が明確であれば静止画の連続保存でも同様の効果が 得られる。
このようにして、 内視鏡画像と挿入形状画像に関連する付加情 報を入力記録保存し、 同期再生を行うことによ り、 内視鏡画像と その時の内視鏡揷入部の形状、 関連情報を自由に対比することが でき、 内視鏡挿入操作の教育に有効に活用できる。 特に、 関連情 報の入力により内視鏡挿入の独学用アプリケーショ ンとして使用 できる。
また、 内視鏡検査後に内視鏡挿入部の形状の表示属性を変えな がら同期再生を行うことで、 内視鏡挿入の困難性の原因、 患者の 不快感の原因等を検討する際に有効で、 その検討時に関連情報の 付加が可能で、 検討結果の記録保存ともなる。
次に、 本発明に係る画像処理装置の第 8の実施形態を図 2 8 と 図 2 9を用いて説明する。
この第 8の実施形態の画像処理装置は、 例えば、 大腸内視鏡で 内視鏡検査を行う場合、 内視鏡挿入部を大腸に挿入していく過程 で、 挿入部がループを形成することがある。 このループは、 その 形状によ り ひループ、 Nループ、 アル一プ等と称せられている。
このようなループが形成されると被検体者である患者に不快感 を与えることもあることから、 内視鏡挿入部のループを解除して 直線化させて患者への不快感を解消させている。
この内視鏡挿入部の直線化のための操作は、 ループの状態に依 存する。 このため、 揷入部のループの状態を認識表示し、 且つ、 内視鏡挿入部の操作方法を表示することによ り、 内視鏡検査の時 間短縮化と患者の不快感軽減を図るものである。
この第 8の実施形態は、 前述の第 6 実施形態に加えて挿入形 状の認識機能と、 その認識結果および関連情報の表示機能を有す るものである。 これらの機能は、 画像処理装置 2 0 4で動作する 検査用アプリケーションとして実現される。
内視鏡検査を始めるにあたり、 ビデオプロセッサ 2 1 0では検 査情報を入力し、 画像処理装置 2 0 4では検査用アプリケ一ショ ンを起動する。
この検査用アプリケーションを起動するとディスプレイ 2 1 8 に図 2 9 ( a ) に示す検査ウィ ン ドウ 5 0 0、 及び図 2 9 ( b ) に示す内視鏡画像ウイ ン ドウ 5 0 5が表示されるようになってい る o
この検査用アプリケーションでは、 内視鏡挿入部のループの種 類を認識し、 その認識結果を表示し、 且つ、 その認識結果から関 連情報である内視鏡揷入部の操作方法を検索して表示する例を用 いて説明する。
なお、 以下の説明において、 認識するループとして 、 N、 r を考慮し、 前述の第 7の実施形態と同様に P形フ一リエ記述子に よる特徴をあらかじめ記憶しておき、 それぞれのループのパヮ一 スペク トル C r i ( k ) 、 ( k = 0 ···、 n - 1 ) とし、 i = 0 はひ、 i = 2は N、 i = 3はァ とする。 また、 各ループ状態に対応する内視鏡挿入部の操作方法は、 あ らかじめデ一夕ベースに登録しておき、 認識結果を検索キーとし て、 その内視鏡揷入部の操作方法を検索できるようになつている 前述したように、 検査用アプリケーションが起動すると、 P C 2 1 5はステップ S 2 9 1で、 ディスプレイ 2 1 8に表示されて いる図 2 9 ( a) に示す検査ウィ ン ドウ 5 0 0、 及び図 2 9 ( b ) に示す内視鏡画像ゥイ ン ドウ 5 0 5が表示され、 ビデオプ 口セッサ 2 1 0と形状処理装置 2 1 3からの内視鏡画像と内視鏡 挿入形状画像の受信.保存モ一ドに設定され、 ステップ S 2 9 2で 検査ゥイ ン ドウ 5 0 0の検査開始ボタ ^ (図中 S t a r t E x am. と表記） 5 0 1がマウス 2 1 6またはキーボー ド 2 1 7で 操作されるまで待機する。
前記検査開始ボ夕ン 5 0 1が操作されると、 P C 2 1 5はステ ップ S 2 9 3で、 通信ポー ト 2 1 5 aを開き、 内視鏡挿入形状観 測装置 2 0 3の形状処理装置 2 1 3 との通信を開始する。
次に、 P C 2 1 5はステップ S 2 9 4で、 通信ポー ト 2 1 5 b を開き、 ビデオプロセヅサ 2 1 0との通信を開始し、 ステップ S 2 9 5で、 検査情報取得コマン ドを通信ポート 2 1 5 bからビデ ォプロセ ヅサ 2 1 0の通信ポー ト 2 1 0 aに送信し、 この検査情 報取得コマン ドを通信ポー ト 2 1 0 aを介して受信したビデオプ 口セッサ 2 1 0は、 内視鏡検査情報を前述の検査情報取得コマン ドの送信経路と逆の経路で前記 P C 2 1 5に送信する。
P C 1 5は、 前記ステップ S 2 9 5でビデオプロセッサ 2 1 0から送信された内視鏡検査情報をステップ S 2 9 6で受信し、 図示していない記録メモリに記録保存する。
次に、 P C 2 1 5はステップ S 2 9 7で、 通信ポー ト 2 1 5 a から形状処理装置 2 1 3の通信ポート 2 1 3 aに内視鏡挿入形状 デ一夕の取得コマン ドを送信し、 この挿入形状デ一夕の取得コマ ン ドを通信ポー ト 2 1 3 aを介して受信した形状処理装置 2 1 3 は、 内視鏡挿入形状デ一夕を前述の内視鏡挿入形状画像データ取 得コマン ドの送信経路と逆の経路で前記 P C 2 1 5に送信を開始 する。
P C 2 1 5は、 前記ステヅプ S 2 9 7で形状処理装置 2 1 3か ら送信された内視鏡挿入形状デ一夕をステッ プ S 2 9 8で受信し 図示していないハードディスクに、 前記ステップ S 2 9 6で記録 保存した内視鏡検査情報と関連づけてフアイル記録保存する。
次に、 P C 2 1 5はステップ S 2 9 9で受信した挿入形状デ一 夕から挿入形状の特徴を抽出する。 この挿入形状の特徴抽出は、 前記 P形フ一リエ記述子を使用する （剪述の第 7の実施形態の図 2 5のステップ S 2 5 6の処理を参照） 。 フ一リエ記述子による パワースペク トルを C ( k ) 、 （k = 0、 ·'·、 ri - 1 ； ηは正数 であり、 曲線の分割数） とする。
このステップ S 2 9 9で、 挿入形状の特徴が抽出されると、 Ρ C 2 1 5はステップ S 3 0 0で、 C ( k ) と C r i (k) との距 離を算出する。 この距離は、 例えばユーク リ ッ ド距離を使用する 前記ステヅプ S 3 0 0で算出された距離は、 ステップ S 3 0 1 で予め設定されている閾値と比較される。
このステヅプ S 3 0 1の比較の結果、 前記ステップ S 3 0 0で 算出した距離値が閾値より大きいと判定されるとステップ S 3 0 6以降が実行され、 閾値よ り も小さいと判定されると、 ステップ S 3 0 2以降が実行される。
前記ステップ S 3 0 1で算出距離値が閾値よ り も小さいと判定 されると、 P C 2 1 5はステップ S 3 0 2で、 内視鏡挿入部のル —プの認識結果をディスプレイ 2 1 8に表示させる。 このル一プ の認識結果表示は、 検査ウイ ン ドウ 5 0 0の認識結果表示部 5 0 3に表示する （ループ名等） 。
次に、 P C 2 1 5はステップ S 3 0 3で、 入部のループ形状 が今までと変化したかどうかを判定し、 変化したと判定されると- ステップ S 3 0 4で警告音発生させる。 この警告音発生によ り術 者は、 内視鏡挿入形状観測装置 2 0 3のモニタ 2 1 3 bに表示さ れている内視鏡挿入形状画像を見ることを促す。
前記ステップ S 3 0 3で挿入部のループ形状に変化がないと判 定された り、 または前記ステップ S 3 0 4の警告音が発生すると P C 2 1 5はステップ S 3 0 5で、 内視鏡挿入部のループ形状の 認識結果を基に、 関連情報を検索し、 その検索した関連情報をデ イ スプレイ 2 1 8に表示されている検査ウィ ン ドウ 5 0 0の関連 情報表示部 5 0 4に.表示する。
つま り、 関連情報表示部 5 0 4には、 事前に作成してデ一夕べ ースに記録保存されているループ状態に応じた内視鏡揷入部の操 作方法に関する情報が表示される。 この表示を参考に術者は内視 鏡操作を行うことが可能である。
次に、 P C 2 1 5はステップ S 3 0 6で、 ビデオプロセッサ 2 1 0から動画像入力ポー ト 2 1 5 cに入力された動画映像信号を MJ P E G形式で圧縮画像データに変換して、 前記内視鏡検査情 報と関連付けて図示していないハードディスクにファイル記録保 存する。 なお、 このビデオプロセッサ 2 1 0からの入力画像は、 ディ スプレイ 2 1 8の内視鏡画像 5 0 5の画像表示領域 5 0 6に 表示する。
次に、 P C 2 1 5はステップ S 3 0 7で、 検査ゥィ ン ドウ 5 0 0の検査終了ボタン （図中 E n d E x am. と表記） 5 0 2が 操作されたか判定し、 操作されていないと判定されると前記ステ ヅプ S 2 9 8に戻り、 検査終了ボタン 5 0 2が操作されたと判定 されると、 P C 2 1 5はステップ S 3 0 8で前記ビデオプロセヅ サ 2 1 0と形状処理装置 2 1 3との通信を行っている通信ポート 2 1 5 a , 2 1 5 bを閉じて、 この検査アプリケーションを終了 する。
この第 8の実施形態は、 内視鏡挿入形状を主体に説明したが、 内視鏡検査情報、 および、 内視鏡動画像にも適用できる。
また、 この第 8の実施形態は、 画像処理装置 2 0 4の機能とし て説明したが、 ビデオプロセッサ 2 1 0や内視鏡挿入形状観測装 置 2 0 3 に同じ機能を保有することも可能である。
さらに、 内視鏡画像の保存形式は、 動画像に限定されるもので なく、 記録時間が明確であれば静止画の連続保存でも同様の効果 が得られる。
このように、 内視鏡揷入部のループ形状を認識し、 その認識し たループの状態を認識表示し、 且つ、 内視鏡操作方法等の関連情 報を表示するこ とによ り、 術者が内視韓の挿入形状を正確に把握 し、 その閧連情報の理解を促すことで、 内視鏡検査の時間の短縮 化と患者の不快感軽減が可能性となった。
なお、 本発明は上述した実施形態に限定されるものではなく、 本発明の主旨を逸脱しない範囲内において種々の変形や応用が可 能であることは勿論である。 産業上の利用可能性
以上説明したように本発明によれば、 内視鏡揷入部の挿入形状 を解析した際に、 内視鏡の挿入性向上につながる情報の提供を行 うことができ、 内視鏡検査時間の短縮と患者への不快感を軽減さ せることができる。
また、 本発明によると、 記録保存されている内視鏡画像と内視 鏡挿入形状データを基に内視鏡画像と内視鏡挿入形状画像を同期 再生させて、 内視鏡画像と、 その内視鏡画像に内視鏡挿入形状画 像を自由に対比させることができる。
また、 内視鏡検査後に内視鏡挿入形状の表示属性を変えながら 同期再生させることで、 実際の内視鏡検査を再現しながら内視鏡 挿入操作の教育が可能で、 且つ、 内視鏡検査時の内視鏡挿入の困 難性の原因や患者の不快感原因等を検討できると共に、 内視鏡装 置の訓練として用いることもできる。 関連出願へのクロスリ フ ァ レ ンス
本出願は、 2 0 0 2年 1 0月 2 9 日に日本国に出願された特願 2 0 0 2 — 3 1 4 6 9 9号および 2 0 0 3年 6月 6 日に日本国に 出願された特願 2 0 0 3 — 1 6 2 8 4 4号を優先権主張の基礎と して出願するものであ り、 上記の開示内容は、 本願明細書、 請求 の範囲、 図面に引用されたものとする。

Claims

請求の範囲
1 . 内視鏡情報の処理装置は、 以下を含む ；
体腔内に挿入する揷入部を有する内視鏡の揷入部の形状を検出 して得られた挿入形状を解析する形状解析部、
前記形状解析部による解析の結果に応じて、 内視鏡操作状況の 情報を提供する情報提供部。
2 . クレーム 1の内視鏡情報の処理装辱において、
さらに、 体腔内に挿入する挿入部を有する内視鏡の揷入部の形 状を検出して得られた挿入形状を複数記憶する形状記憶部を有し 前記形状解析部は、 前記形状記億部に記憶された複数の内視鏡 揷入部の形状をもとに内視鏡挿入部の形状を解析する。
3 . クレーム 1の内視鏡情報の処理装置において、
前記情報提供部は、 前記形状解析部による解析の結果に応じて 内視鏡挿入部の形状に関する情報を提供する。
4 . クレーム 1の内視鏡情報の処理装置において、
前記情報提供部は、 前記形状解析部による解析の結果に応じて. 内視鏡操作の情報を提供する。
5 . クレーム 4の内視鏡情報の処理装置において、
前記情報提供部は、 前記形状解析部の結果に応じてループ解除 の方法の情報を提供する。
6 . クレーム 4の内視鏡情報の処理装置において、 前記情報提供部は、 前記形状解析部の結果に応じて内視鏡操作 の情報を表示装置に表示する。
7 . クレーム 4の内視鏡情報の処理装置において、
前記情報提供部は、 前記形状解析部の結果に応じて内視鏡操作 の情報を音または音声によって提示する。
8 . クレーム 1の内視鏡情報の処理装置は、 さらに以下を含む ； 磁界を発生する複数の磁界発生部と、 前記磁界発生部の磁界を 検出する複数の磁界検出部とを有し、 前記磁界発生部または前記 磁界検出部のいずれかを挿入部に配置して構成された形状検出部 前記磁界検出部の検出結果に基づいて、 前記挿入部の形状を推 定する形状推定部。
9 . クレーム 1の内視鏡情報の処理装置は、 さらに以下を含む ； 挿入部の特定部分の物理量を検出する検出部をこの揷入部に複 数配置し、 前記検出された物理量の結果と配置位置に基づいて前 記揷入部の形状を推定する形状推定部。
1 0 . クレーム 9の内視鏡情報の処理装置において、
前記挿入部の特定部分の物理量を検出する検出部は、 歪みを検 出する複数のセンサである。
1 1. クレーム 9の内視鏡情報の処理装置において、
前記揷入部の特定部分の物理量を検出する検出部は、 圧力を検 出する複数のセンサである。
1 2. クレーム 9の内視鏡情報の処理装置において、
前記揷入部の特定部分の物理量を検出する検出部は、 変位を検 出する複数のセンサ.である。
1 3. クレーム 1の内視鏡倩報の処理装置において、
前記形状解析部は、 前記挿入部の特定部分の移動量を算出する 算出部と、 前記挿入部の特定部分の移動量から挿入部の状態を推 定する推定部と、 を有する。
4. クレーム 1の内視鏡情報の処理装置において、
前記形状解析部は、 揷入部のループ形状を検出する
1 5. クレーム 1の内視鏡情報の処理装置において、
前記情報提供部は、 前記形状解析部の結果の情報を表示装置に 表示する。
1 6. クレーム 1 5の内視鏡情報の処理装置において、
前記表示装置に表示する情報は文字および/または図形である
1 7 . クレーム 1の内視鏡情報の処理装置において、
前記情報提供部は、 前記形状解析部の結果の情報を音または音 声によって提示する。
1 8 . クレーム 1の内視鏡情報の処理装置は、 更に以下を含む ； 前記情報提供部から出力される内視鏡操作状況の情報である第
1のデ一夕を保存する第 1のデ一夕保存部、
内視鏡装置から内視鏡画像を含む検査情報のデ一夕を受け取り 前記第 1のデ一夕と関連付けて保存する第 2のデ一夕保存部、 前記第 1及び第 2のデータ保存部で保存したデ一夕を同期した 状態、 あるいは単独でモニタに表示させる再生部。
1 9 . クレーム 1 8の内視鏡情報の処理装置において、
さらに、
前記第 1のデ一夕と第 2のデ一夕との特徴によ り検索を実行す る検索実行部と、
前記検索実行部によ り検索されたデ一夕に関連情報を付加する 機能を有する検索結果情報付加部と、
を有し、
前記再生部は、 前記検索結果情報付加部により付加された情報 を前記第 1のデ一夕及び第 2のデ一夕の再生時にモニタに表示さ せる。
2 0 . クレーム 1 8の内視鏡情報の処理装置は、 さらに以下を含 む ； 前記第 1のデータ保存部および/または前記第 2のデ一夕保存 部で保存する前記第 1のデ一夕および/または第 2のデータを解 析するデ一夕解析部、
前記データ解析部による解析結果を基に、 処理を決定し実行す る処理部。
2 1 . クレーム 1 8の内視鏡情報の処理装置において、
前記再生部は、 ―
前記第 1のデ一夕保存部から内視鏡蟬作状況の情報を読み出し 前記第 2のデータ保存部から内視鏡画像デ一夕を読み出し、 前記 内視鏡操作状況情報の取得時の取得時間情報と、 前記内視鏡画像 データ取得時の取得時間情報とに基づき、 前記読み出された内視 鏡画像デ一夕による内視鏡画像と、 該内視鏡画像データに対応す る内視鏡操作状況の情報とを対応させて前記モニタに表示させる
2 2 . ク レーム 2 1の内視鏡情報の処理装置において、
前記内視鏡操作状況の情報は、 内視鏡挿入部の挿入形状データ である。
2 3 . クレーム 2 2の内視鏡情報の処理装置は、 さ らに以下を含 む ；
前記再生部によ り前記モニタに表示されている前記内視鏡画像 または前記挿入形状に関連する付加情報を入力する関連情報入力 部、
前記関連情報入力部により入力された付加情報を該内視鏡画像 または該挿入形状に関連付けて記憶する付加情報記憶部。
2 4 . 内視鏡情報の処理方法は、 以下を含む ；
体腔内に挿入する揷入部を有する内視鏡の揷入部の形状を検出 して得られた挿入形状を解析する形状解析工程、
前記形状解析工程による解析の結果に応じて、 内視鏡操作状況 の情報を提供する情報提供工程。
2 5 . クレーム 2 4の内視鏡情報の処理方法において、
さらに、 体腔内に挿入する挿入部を有する内視鏡の挿入部の形 状を検出して得られた挿入形状を複数記憶する形状記憶工程を有 し、
前記形状解析工程は、 前記形状記憶工程で記憶した複数の内視 鏡揷入部の形状をもとに内視鏡挿入部の形状を解析する。
2 6 . クレーム 2 4の内視鏡情報の処理方法において、
前記情報提供工程は、 前記形状解析工程による解析の結果に応 じて、 内視鏡揷入部の形状に関する情報を提供する。
2 7 . クレーム 2 4の内視鏡情報の処理方法において、
前記情報提供工程は、 前記形状解析工程による解析の結果に応 じて、 内視鏡操作の情報を提供する。
2 8 . クレーム 2 4の内視鏡情報の処理方法は、 更に以下の工程 を含む ； 前記情報提供工程で提供される内視鏡操作状況の情報である第 1のデータを保存する第 1のデ一夕保存工程、
内視鏡装置から受け取った、 内視鏡画像を含む検査情報のデ一 夕を前記第 1 のデ一夕と関連付けて保存する第 2のデ一夕保存ェ 程、
前記第 1及び第 2のデ一夕保存工程で保存したデータを同期し た状態、 あるいは単独でモニタに表示する再生工程。
PCT/JP2003/013829 2002-10-29 2003-10-29 内視鏡情報の処理装置および処理方法 WO2004039249A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE60330335T DE60330335D1 (de) 2002-10-29 2003-10-29 Endoskopinformationsprozessor und verarbeitungsmethode
US10/515,668 US8211010B2 (en) 2002-10-29 2003-10-29 Endoscope information processor and processing method
EP03809860A EP1504712B1 (en) 2002-10-29 2003-10-29 Endoscope information processor and processing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002/314699 2002-10-29
JP2002314699A JP4025621B2 (ja) 2002-10-29 2002-10-29 画像処理装置及び内視鏡画像処理装置
JP2003/162844 2003-06-06
JP2003162844A JP4274854B2 (ja) 2003-06-06 2003-06-06 内視鏡挿入形状解析装置

Publications (1)

Publication Number Publication Date
WO2004039249A1 true WO2004039249A1 (ja) 2004-05-13

Family

ID=32232644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/013829 WO2004039249A1 (ja) 2002-10-29 2003-10-29 内視鏡情報の処理装置および処理方法

Country Status (4)

Country Link
US (1) US8211010B2 (ja)
EP (1) EP1504712B1 (ja)
DE (1) DE60330335D1 (ja)
WO (1) WO2004039249A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8251890B2 (en) 2006-11-13 2012-08-28 Olympus Medical Systems Corp. Endoscope insertion shape analysis system and biological observation system
WO2021205818A1 (ja) * 2020-04-09 2021-10-14 日本電気株式会社 内視鏡挿入支援装置、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
RU209329U1 (ru) * 2018-10-03 2022-03-15 Смр Серджикал Лимитед Автоматическое дополнение эндоскопического видеоизображения
WO2022085106A1 (ja) * 2020-10-21 2022-04-28 日本電気株式会社 内視鏡操作支援装置、制御方法、コンピュータ可読媒体、及びプログラム
RU214412U1 (ru) * 2018-10-03 2022-10-26 Смр Серджикал Лимитед Автоматическое дополнение эндоскопического видеоизображения
US11602263B2 (en) 2016-10-12 2023-03-14 Olympus Corporation Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254899A (ja) * 2003-02-26 2004-09-16 Hitachi Ltd 手術支援システム及び手術支援方法
US20040199052A1 (en) 2003-04-01 2004-10-07 Scimed Life Systems, Inc. Endoscopic imaging system
US20050245789A1 (en) 2003-04-01 2005-11-03 Boston Scientific Scimed, Inc. Fluid manifold for endoscope system
US8118732B2 (en) 2003-04-01 2012-02-21 Boston Scientific Scimed, Inc. Force feedback control system for video endoscope
US7578786B2 (en) 2003-04-01 2009-08-25 Boston Scientific Scimed, Inc. Video endoscope
US7591783B2 (en) 2003-04-01 2009-09-22 Boston Scientific Scimed, Inc. Articulation joint for video endoscope
SE0400817D0 (sv) * 2004-03-30 2004-03-30 Benf Ab Arrangement and method for determining muscular contractions in an anatomical organ
AU2005291952A1 (en) 2004-09-30 2006-04-13 Boston Scientific Limited Adapter for use with digital imaging medical device
US7479106B2 (en) 2004-09-30 2009-01-20 Boston Scientific Scimed, Inc. Automated control of irrigation and aspiration in a single-use endoscope
US8083671B2 (en) 2004-09-30 2011-12-27 Boston Scientific Scimed, Inc. Fluid delivery system for use with an endoscope
JP4914574B2 (ja) * 2005-04-18 2012-04-11 オリンパスメディカルシステムズ株式会社 内視鏡形状検出装置
EP1917901B1 (en) * 2005-08-25 2019-04-17 Olympus Corporation Endoscope insertion shape analysis apparatus and endoscope insertion shape analysis system
US8202265B2 (en) 2006-04-20 2012-06-19 Boston Scientific Scimed, Inc. Multiple lumen assembly for use in endoscopes or other medical devices
US7955255B2 (en) 2006-04-20 2011-06-07 Boston Scientific Scimed, Inc. Imaging assembly with transparent distal cap
JP4153963B2 (ja) * 2006-06-12 2008-09-24 オリンパスメディカルシステムズ株式会社 内視鏡挿入形状検出装置
JP2008067780A (ja) * 2006-09-12 2008-03-27 Olympus Medical Systems Corp 内視鏡装置
JP5030639B2 (ja) * 2007-03-29 2012-09-19 オリンパスメディカルシステムズ株式会社 内視鏡装置の処置具位置制御装置
EP2196127B1 (en) * 2007-10-02 2015-02-25 Olympus Medical Systems Corp. Endoscope shape analyzer
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
WO2010111090A1 (en) * 2009-03-26 2010-09-30 Intuitive Surgical Operations, Inc. System for providing visual guidance for steering a tip of an endoscopic device towards one or more landmarks and assisting an operator in endoscopic navigation
EP2484268B1 (en) * 2009-09-30 2018-04-25 Olympus Corporation Endoscope apparatus
US8403829B2 (en) * 2010-08-27 2013-03-26 Olympus Medical Systems Corp. Endoscopic form detection device and form detecting method of insertion section of endoscope
US8965482B2 (en) * 2010-09-30 2015-02-24 Nevro Corporation Systems and methods for positioning implanted devices in a patient
US8805519B2 (en) 2010-09-30 2014-08-12 Nevro Corporation Systems and methods for detecting intrathecal penetration
WO2012046202A1 (en) 2010-10-08 2012-04-12 Koninklijke Philips Electronics N.V. Flexible tether with integrated sensors for dynamic instrument tracking
DE112012000752A5 (de) * 2011-02-11 2013-11-21 Olaf Christiansen Endoskopisches Bildverarbeitungssystem mit Mitteln, welche im Erfassungsbereich einer optischen Digitalkamera eine geometrische Vermessungsinformation erzeugen
US20120330102A1 (en) * 2011-05-24 2012-12-27 Oprobe, Llc Scanning Endoscopic Imaging Probes and Related Methods
EP2763743A4 (en) 2011-10-04 2015-08-05 Nevro Corp MODELING POSITIONS OF DEVICES IMPLEMENTED IN A PATIENT
GB2497518A (en) * 2011-12-08 2013-06-19 Haemoband Surgical Ltd Elongate probe with at least one bend sensor
ES2829585T3 (es) 2012-01-25 2021-06-01 Nevro Corp Anclajes de cables y sistemas y métodos asociados
US8676331B2 (en) 2012-04-02 2014-03-18 Nevro Corporation Devices for controlling spinal cord modulation for inhibiting pain, and associated systems and methods, including controllers for automated parameter selection
US20150351608A1 (en) * 2013-01-10 2015-12-10 Ohio University Method and device for evaluating a colonoscopy procedure
US9265935B2 (en) 2013-06-28 2016-02-23 Nevro Corporation Neurological stimulation lead anchors and associated systems and methods
DK177984B9 (en) * 2013-11-12 2015-03-02 Simonsen & Weel As Device for endoscopy
CN107105968B (zh) * 2014-12-19 2019-07-16 奥林巴斯株式会社 插拔辅助装置及插拔辅助方法
WO2016098253A1 (ja) * 2014-12-19 2016-06-23 オリンパス株式会社 挿抜支援装置及び挿抜支援方法
CN107105967B (zh) * 2014-12-19 2019-06-25 奥林巴斯株式会社 插拔辅助装置及插拔辅助方法
US9789321B2 (en) 2015-04-03 2017-10-17 Nevro Corp. Couplings for implanted leads and external stimulators, and associated systems and methods
WO2017038321A1 (ja) * 2015-09-03 2017-03-09 オリンパス株式会社 内視鏡装置及び内視鏡装置の表示変更制御方法
EP3473158B1 (en) * 2016-06-16 2020-08-12 FUJIFILM Corporation Navigation device, navigation method, and endoscope system
WO2018116446A1 (ja) 2016-12-22 2018-06-28 オリンパス株式会社 可撓管挿入装置
WO2018122976A1 (ja) * 2016-12-27 2018-07-05 オリンパス株式会社 可撓管挿入装置
US10485629B2 (en) * 2017-02-24 2019-11-26 Sony Olympus Medical Solutions Inc. Endoscope device
WO2018165391A1 (en) 2017-03-09 2018-09-13 Nevro Corp. Paddle leads and delivery tools, and associated systems and methods
WO2018220797A1 (ja) 2017-06-01 2018-12-06 オリンパス株式会社 可撓管挿入支援装置と可撓管挿入装置
DE102017008148A1 (de) * 2017-08-29 2019-02-28 Joimax Gmbh Sensoreinheit, intraoperatives Navigationssystem und Verfahren zur Detektion eines chirurgischen Instruments
WO2019130390A1 (ja) * 2017-12-25 2019-07-04 オリンパス株式会社 推奨操作呈示システム、推奨操作呈示制御装置及び推奨操作呈示制御方法
WO2019155617A1 (ja) * 2018-02-09 2019-08-15 オリンパス株式会社 内視鏡システム、内視鏡制御装置、内視鏡システムの作動方法、及び内視鏡制御プログラムを記録した記録媒体
EP3758793A4 (en) 2018-03-29 2021-12-08 Nevro Corp. PIPES WITH SIDE PANEL OPENINGS AND ASSOCIATED SYSTEMS AND PROCEDURES
WO2020039800A1 (ja) * 2018-08-24 2020-02-27 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261858A (ja) * 1993-03-15 1994-09-20 Olympus Optical Co Ltd 形状測定用プローブ装置
JPH1119027A (ja) * 1997-07-01 1999-01-26 Olympus Optical Co Ltd 内視鏡形状検出装置
JP2000175861A (ja) * 1998-12-17 2000-06-27 Olympus Optical Co Ltd 内視鏡形状検出装置
JP2000189379A (ja) * 1998-12-28 2000-07-11 Olympus Optical Co Ltd 内視鏡形状検出システム
JP2001046332A (ja) * 1999-08-05 2001-02-20 Olympus Optical Co Ltd 内視鏡装置
JP2002000546A (ja) * 2000-06-19 2002-01-08 Olympus Optical Co Ltd 内視鏡装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5060632A (en) * 1989-09-05 1991-10-29 Olympus Optical Co., Ltd. Endoscope apparatus
US5253647A (en) * 1990-04-13 1993-10-19 Olympus Optical Co., Ltd. Insertion position and orientation state pickup for endoscope
US5482029A (en) * 1992-06-26 1996-01-09 Kabushiki Kaisha Toshiba Variable flexibility endoscope system
ES2115776T3 (es) * 1992-08-14 1998-07-01 British Telecomm Sistema de localizacion de posicion.
JPH08107875A (ja) 1994-08-18 1996-04-30 Olympus Optical Co Ltd 内視鏡形状検出装置
US6059718A (en) * 1993-10-18 2000-05-09 Olympus Optical Co., Ltd. Endoscope form detecting apparatus in which coil is fixedly mounted by insulating member so that form is not deformed within endoscope
JP3281182B2 (ja) 1994-06-30 2002-05-13 株式会社東芝 超音波・内視鏡複合システム
US5803089A (en) * 1994-09-15 1998-09-08 Visualization Technology, Inc. Position tracking and imaging system for use in medical applications
DE69528998T2 (de) * 1994-10-07 2003-07-03 St Louis University St Louis Chirurgische navigationsanordnung einschliesslich referenz- und ortungssystemen
US6690963B2 (en) * 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
US5997473A (en) * 1996-09-06 1999-12-07 Olympus Optical Co., Ltd. Method of locating a coil which consists of determining the space occupied by a source coil generating a magnetic field
US6511417B1 (en) * 1998-09-03 2003-01-28 Olympus Optical Co., Ltd. System for detecting the shape of an endoscope using source coils and sense coils
US6432041B1 (en) * 1998-09-09 2002-08-13 Olympus Optical Co., Ltd. Endoscope shape detecting apparatus wherein form detecting processing is controlled according to connection state of magnetic field generating means
US6689049B1 (en) * 1999-06-07 2004-02-10 Olympus Optical Co., Ltd. Endoscope
DE19961971B4 (de) * 1999-12-22 2009-10-22 Forschungszentrum Karlsruhe Gmbh Vorrichtung zum sicheren automatischen Nachführen eines Endoskops und Verfolgen eines Instruments
US6846286B2 (en) * 2001-05-22 2005-01-25 Pentax Corporation Endoscope system
JP4583658B2 (ja) 2001-05-22 2010-11-17 オリンパス株式会社 内視鏡システム
JP4632577B2 (ja) * 2001-05-30 2011-02-16 オリンパス株式会社 計測内視鏡装置
US6745065B2 (en) * 2001-08-02 2004-06-01 Olympus Corporation Endoscope apparatus
JP3780201B2 (ja) 2001-11-13 2006-05-31 オリンパス株式会社 内視鏡画像ファイリングシステム
US8337397B2 (en) * 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261858A (ja) * 1993-03-15 1994-09-20 Olympus Optical Co Ltd 形状測定用プローブ装置
JPH1119027A (ja) * 1997-07-01 1999-01-26 Olympus Optical Co Ltd 内視鏡形状検出装置
JP2000175861A (ja) * 1998-12-17 2000-06-27 Olympus Optical Co Ltd 内視鏡形状検出装置
JP2000189379A (ja) * 1998-12-28 2000-07-11 Olympus Optical Co Ltd 内視鏡形状検出システム
JP2001046332A (ja) * 1999-08-05 2001-02-20 Olympus Optical Co Ltd 内視鏡装置
JP2002000546A (ja) * 2000-06-19 2002-01-08 Olympus Optical Co Ltd 内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1504712A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8251890B2 (en) 2006-11-13 2012-08-28 Olympus Medical Systems Corp. Endoscope insertion shape analysis system and biological observation system
US11602263B2 (en) 2016-10-12 2023-03-14 Olympus Corporation Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times
RU209329U1 (ru) * 2018-10-03 2022-03-15 Смр Серджикал Лимитед Автоматическое дополнение эндоскопического видеоизображения
RU214412U1 (ru) * 2018-10-03 2022-10-26 Смр Серджикал Лимитед Автоматическое дополнение эндоскопического видеоизображения
WO2021205818A1 (ja) * 2020-04-09 2021-10-14 日本電気株式会社 内視鏡挿入支援装置、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP7456663B2 (ja) 2020-04-09 2024-03-27 日本電気株式会社 情報処理装置、方法及びプログラム
WO2022085106A1 (ja) * 2020-10-21 2022-04-28 日本電気株式会社 内視鏡操作支援装置、制御方法、コンピュータ可読媒体、及びプログラム

Also Published As

Publication number Publication date
US20050228221A1 (en) 2005-10-13
EP1504712B1 (en) 2009-12-02
EP1504712A4 (en) 2006-12-06
US8211010B2 (en) 2012-07-03
DE60330335D1 (de) 2010-01-14
EP1504712A1 (en) 2005-02-09

Similar Documents

Publication Publication Date Title
WO2004039249A1 (ja) 内視鏡情報の処理装置および処理方法
JP4274854B2 (ja) 内視鏡挿入形状解析装置
JP4025621B2 (ja) 画像処理装置及び内視鏡画像処理装置
US7929014B2 (en) Insertion support system
EP2014219A2 (en) Endoscopic image processing apparatus
JP4789545B2 (ja) 内視鏡挿入形状解析装置
US10631712B2 (en) Surgeon&#39;s aid for medical display
US20130229503A1 (en) Image management apparatus, image management method and computer-readable recording medium
US8216129B2 (en) Image display apparatus, endoscope system using the same, and image display method
US20100097392A1 (en) Image display device, image display method, and recording medium storing image display program
JPWO2009008125A1 (ja) 画像処理装置、該動作方法及び該プログラム
WO2007023631A1 (ja) 内視鏡挿入形状解析装置及び内視鏡挿入形状解析システム
EP1924193A2 (en) System and method for presentation of data streams
JP4855901B2 (ja) 内視鏡挿入形状解析システム
WO2021139672A1 (zh) 医疗辅助操作方法、装置、设备和计算机存储介质
JP7457415B2 (ja) コンピュータプログラム、学習モデルの生成方法、及び支援装置
JP2007105458A (ja) 画像データベースにおける画像の認識のためのシステム及び方法
JP2018047067A (ja) 画像処理プログラム、画像処理方法および画像処理装置
JP4855912B2 (ja) 内視鏡挿入形状解析システム
JP7368922B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2005111081A (ja) 内視鏡画像表示処理装置
JP7311936B1 (ja) コンピュータプログラム、学習モデルの生成方法、及び情報処理装置
JP2002099894A (ja) 医療用画像ファイルシステム
JP2003175043A (ja) 医療用制御装置
JP2006020875A (ja) 内視鏡観察装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003809860

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10515668

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2003809860

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 20038A07597

Country of ref document: CN