JP6442601B2 - 挿抜装置及び挿入部の直接操作推定プログラム - Google Patents

挿抜装置及び挿入部の直接操作推定プログラム Download PDF

Info

Publication number
JP6442601B2
JP6442601B2 JP2017510832A JP2017510832A JP6442601B2 JP 6442601 B2 JP6442601 B2 JP 6442601B2 JP 2017510832 A JP2017510832 A JP 2017510832A JP 2017510832 A JP2017510832 A JP 2017510832A JP 6442601 B2 JP6442601 B2 JP 6442601B2
Authority
JP
Japan
Prior art keywords
shape
insertion portion
unit
information
direct operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017510832A
Other languages
English (en)
Other versions
JPWO2016162947A1 (ja
Inventor
良 東條
良 東條
伊藤 毅
毅 伊藤
藤田 浩正
浩正 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016162947A1 publication Critical patent/JPWO2016162947A1/ja
Application granted granted Critical
Publication of JP6442601B2 publication Critical patent/JP6442601B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/01Guiding arrangements therefore
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D5/00Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
    • G01D5/26Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
    • G01D5/32Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light with attenuation or whole or partial obturation of beams of light
    • G01D5/34Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light with attenuation or whole or partial obturation of beams of light the beams of light being detected by photocells
    • G01D5/353Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light with attenuation or whole or partial obturation of beams of light the beams of light being detected by photocells influencing the transmission properties of an optical fibre
    • G01D5/35338Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light with attenuation or whole or partial obturation of beams of light the beams of light being detected by photocells influencing the transmission properties of an optical fibre using other arrangements than interferometer arrangements
    • G01D5/35341Sensor working in transmission
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D5/00Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
    • G01D5/26Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
    • G01D5/32Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light with attenuation or whole or partial obturation of beams of light
    • G01D5/34Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light with attenuation or whole or partial obturation of beams of light the beams of light being detected by photocells
    • G01D5/353Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light with attenuation or whole or partial obturation of beams of light the beams of light being detected by photocells influencing the transmission properties of an optical fibre
    • G01D5/35338Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light with attenuation or whole or partial obturation of beams of light the beams of light being detected by photocells influencing the transmission properties of an optical fibre using other arrangements than interferometer arrangements
    • G01D5/35341Sensor working in transmission
    • G01D5/35345Sensor working in transmission using Amplitude variations to detect the measured quantity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954Inspecting the inner surface of hollow bodies, e.g. bores
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2446Optical details of the image relay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • A61B1/0057Constructional details of force transmission elements, e.g. control wires
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954Inspecting the inner surface of hollow bodies, e.g. bores
    • G01N2021/9542Inspecting the inner surface of hollow bodies, e.g. bores using a probe

Description

本発明は、観察対象物の内部に挿入部を挿入したときの挿入部の挿抜量や回転量などの操作量を推定する挿抜装置及び挿入部の直接操作推定プログラムに関する。
挿入部を細い管孔内に挿入して観察対象物の内部に挿入し、当該観察対象物内部で作業を行うための装置がある。例えば内視鏡では、観察対象物の内部に挿入部を挿入することにより当該観察対象物の内表面の観察作業を行う。このような内視鏡等の装置では、管孔内における挿入部の形状等を外部から直接見ることができないので、内視鏡等の装置の作業者は、管孔内部での挿入部の状態を想像しながら観察対象物の内表面の観察作業を行う必要がある。
ところが、内視鏡では、観察対象物の内部における挿入部の位置及び形状等の状態が観察対象物の外部から分からない。このため、作業者は、管孔内部に挿入された挿入部の状態について、現時点において挿入部が管孔内部中の何処に在って、何処を観察しているのかなどを想像しながら観察作業を行う必要がある。よって、作業者は、観察対象物内部における挿入部の状態を想像しながら、感を頼りに挿入部に対する操作を行う必要があった。
このような事から管孔の形状が複雑な場合、又は観察対象物が生体のように柔らかく変形するような場合には、観察対象物内部への挿入そのものが困難であったりする。管孔の形状が想像と異なる位置又は状態である場合には、最悪のケースとして観察対象物に影響を与えるおそれがある。このため作業者は、作業を行うための長時間の訓練や、実作業を行いながら感や経験を身に付けるなど、作業の技能を向上させる必要があった。言い換えると、高度に訓練された技能者又はエキスパートでなければ、観察対象物内部への挿入部の挿入、観察対象物内部での作業を行えない場合があった。
このような実情から管孔内での挿入部の状態を作業者に知らせるための技術が考案されている。例えば特許文献1は、内視鏡の挿入部の形状を検出し、表示するための内視鏡挿入形状プローブについて開示している。この内視鏡挿入形状検出プローブは、内視鏡装置に設けられている鉗子チャンネルに挿入して内視鏡挿入部の形状検出を行う。この内視鏡挿入形状検出プローブでは、光供給用ファイバにより供給された光をミラーに照射し、このミラーで反射した光を複数の曲率検出用光ファイバにより伝送する。これら曲率検出用光ファイバには、それぞれ曲率に応じて光損失が変化する光損失部が一つずつ設けられている。これにより、各曲率検出用光ファイバにより導光される光は、光損失部を経由してモジュールに到達するので、モジュールに導光される光の光量変化を検出することにより光損失部が設けられた位置における曲率検出用光ファイバの曲率を検出することができる。
又、特許文献1では、光損失部が設けられる位置を異ならせた複数の曲率検出用ファイバを用い、これら曲率検出用ファイバ毎にそれぞれ異なる光損失部の各位置での各曲率を検出することが開示されている。これにより、各光損失部が設けられるポイントにおける曲げ角度と隣り合うポイントの距離とによって内視鏡挿入部の形状を検知することができる。
特開2007−044412号公報
特許文献1によれば、複数の曲率検出用光ファイバを用いて内視鏡の挿入部の形状を検出することができるが、挿入部が対象物、特に対象物の入口に対してどの程度挿入されているか、又はどの程度回転されているか分からない。例えば、内視鏡で病変部を発見した場合、例えば患者等の対象物に対してどの程度挿入部を挿入及び回転した位置に病変部が在るのかが分からない。このため、再び、病変部に対する観察や処置をしようとした場合に、病変部を簡単に見つけることができないという問題がある。
本発明の目的は、挿入部の挿抜量又は回転量を検出するための挿抜装置及び挿入部の直接操作推定プログラムを提供することにある。
本発明の第1の態様に係る挿抜装置は、対象物の内部に挿入して所望の作業を行うための可撓性を有する挿入部と、前記挿入部の湾曲を検出し検出信号を出力する形状センサと、前記形状センサから出力される前記検出信号に基づいて、前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状算出部と、前記挿入部形状情報に基づいて、前記対象物の内部に対する前記挿入部の挿抜量と回転量とのうち少なくとも一方を含む直接操作情報を推定する直接操作情報推定部と、を具備し、前記形状センサは、それぞれ異なる検出タイミングで前記挿入部の湾曲を検出し、前記直接操作情報推定部は、前記検出タイミングの異なる前記挿入部の形状を示す複数の前記挿入部形状情報を記憶する形状情報記憶部を含み、前記複数の挿入部形状情報を比較して前記直接操作情報を推定し、前記直接操作情報推定部は、前記複数の挿入部形状情報の比較結果から前記挿入部上における形状が類似している領域を挿入部類似形状領域として抽出し、前記挿入部上における前記挿入部類似形状領域の位置の変化に基づいて前記直接操作情報を推定する。
本発明の第2の態様に係る挿抜装置は、対象物の内部に挿入して所望の作業を行うための可撓性を有する挿入部と、前記挿入部の湾曲を検出し検出信号を出力する形状センサと、前記形状センサから出力される前記検出信号に基づいて、前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状算出部と、前記挿入部形状情報に基づいて、前記対象物の内部に対する前記挿入部の挿抜量と回転量とのうち少なくとも一方を含む直接操作情報を推定する直接操作情報推定部と、を具備し、前記形状センサは、それぞれ異なる検出タイミングで前記挿入部の湾曲を検出し、前記直接操作情報推定部は、前記検出タイミングの異なる前記挿入部の形状を示す複数の前記挿入部形状情報を記憶する形状情報記憶部を含み、前記複数の挿入部形状情報を比較して前記直接操作情報を推定し、前記直接操作情報推定部は、前記異なる検出タイミングに取得される前記複数の挿入部形状情報を比較して前記挿入部が湾曲している複数の湾曲部位の頂点部の間隔が互いに略等しい領域である第1の頂点部間距離同一領域を抽出し、前記挿入部上における前記第1の頂点部間距離同一領域の位置の変化に基づいて前記直接操作情報を推定することを特徴とする。
本発明の第3の態様に係る挿抜装置は、対象物の内部に挿入して所望の作業を行うための可撓性を有する挿入部と、前記挿入部の湾曲を検出し検出信号を出力する形状センサと、前記形状センサから出力される前記検出信号に基づいて、前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状算出部と、前記挿入部形状情報に基づいて、前記対象物の内部に対する前記挿入部の挿抜量と回転量とのうち少なくとも一方を含む直接操作情報を推定する直接操作情報推定部と、を具備し、前記直接操作情報推定部は、前記対象物の内部の形状である対象物内部形状情報を記憶する記憶部を含み、前記挿入部形状情報と前記対象物内部形状情報とに基づいて前記直接操作情報を推定する。
本発明の第の態様に係る挿入部の直接操作推定プログラムは、コンピュータに、対象物の内部に挿入される可撓性を有する挿入部の湾曲を検出する形状センサから出力される検出信号を入力する入力機能と、前記入力機能により入力された前記検出信号に基づいて、前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状取得機能と、前記挿入部形状情報に基づいて前記対象物の内部に対する前記挿入部の挿抜量と回転量とのうち少なくとも一方を含む直接操作情報を推定する直接操作情報推定機能と、を実現する挿入部の直接操作推定プログラムであって、前記形状センサは、それぞれ異なる検出タイミングで前記挿入部の湾曲を検出し、前記直接操作情報推定機能は、形状情報記憶部に記憶された前記検出タイミングの異なる前記挿入部の形状を示す複数の前記挿入部形状情報を比較する機能と、前記複数の挿入部形状情報の比較結果から前記挿入部上における形状が類似している領域を挿入部類似形状領域として抽出する機能と、前記挿入部上における前記挿入部類似形状領域の位置の変化に基づいて前記直接操作情報を推定する機能と、を含む。
本発明は、挿入部の挿抜量又は回転量を検出できる挿抜装置及び挿入部の直接操作推定プログラムを提供できる。
図1は、本発明の挿抜装置を適用した内視鏡システムの第1の実施の形態を示す構成図である。 図2は、挿入部の先端部を示す構成図である。 図3Aは、光ファイバセンサを形状検出部が設けられた側に湾曲したときの光伝達量を示す図である。 図3Bは、光ファイバセンサを湾曲しないときの光伝達量を示す図である。 図3Cは、光ファイバセンサを形状検出部が設けられた側とは反対側に湾曲したときの光伝達量を示す図である。 図4は、本発明の挿抜装置を適用した内視鏡システムの支援情報ユニットを示すブロック構成図である。 図5は、同装置における時間経過に従ったタイミング信号Tの出力イメージを示す図である。 図6は、同装置における第jと第kとの各タイミング信号に対応した第jと第kとの各検出時挿入部形状情報を示す図である。 図7は、同装置の挿入部における挿入部形状非類似領域NLRと、挿入部進行領域7srと、挿入部後退領域との3つの領域を説明するための図である。 図8は、同装置における直接操作情報推定部により挿入部形状情報に基づいて直接操作情報を推定するときの第1の頂点部間距離同一領域を示す図である。 図9は、本発明の挿抜装置を適用した内視鏡システムの第2の実施の形態である支援情報ユニットを示す構成図である。 図10Aは、同装置における直接操作情報推定部により直接操作情報を推定するときの対象物内部形状情報及び第1の頂点部間距離同一領域を示す図である。 図10Bは、同装置における直接操作情報推定部により直接操作情報を推定するときの挿入部形状情報における第1の頂点部間距離同一領域を示す図である。 図11Aは、同装置における直接操作情報推定部により推定される対象物内部形状情報IM上における挿入部・対象物類似形状領域SFaとの間の特定部位の間隔ΔPを示す図である。 図11Bは、同装置における直接操作情報推定部により推定される挿入部形状情報F上における挿入部・対象物類似形状領域SFbとの間の特定部位の間隔ΔPを示す図である。 図12Aは、同装置における直接操作情報推定部により抽出される対象物内部形状における第2の頂点部間距離同一領域を示す図である。 図12Bは、同装置における直接操作情報推定部により抽出される挿入部形状における第2の頂点部間距離同一領域を示す図である。 図13は、一定形状生成アタッチメントを示す図である。 図14Aは、湾曲部が形成されたアタッチメントを示す図である。 図14Bは、予め設定された小さな湾曲率で湾曲するアタッチメントを示す図である。 図14Cは、観察対象物の内部形状が取り得ない長さの直線の筒形状に形成されたアタッチメントを示す図である。 図15は、第jと第kの検出時挿入部形状Fj、Fkにおける第1乃至第3の特徴部の例を示す図である。 図16は、挿入部の挿抜量と回転量とのうち少なくとも一方の直接操作情報を直接検出する挿抜回転量センサを示す図である。 図17は、本発明の変形例の一例を示す図である。
[第1の実施の形態]
以下、本発明の第1の実施の形態について図面を参照して説明する。
図1は挿抜装置を適用した内視鏡システム1の構成図を示す。本システム1は、作業者による作業によって、主に、観察対象物2の内部空間(空洞)3の内部に内視鏡挿入部(以下、挿入部と称する)7を挿入し、観察対象物2の内部空間3の内面を観察するために用いられる。
本システム1は、各構成要素として内視鏡本体部4と、内視鏡スコープ部5と、表示部6とを含む。内視鏡スコープ部5は、挿入部7を含む。挿入部7には、形状センサ8が搭載されている。
本システム1の各構成要素について説明する。
[内視鏡スコープ部]
内視鏡スコープ部5は、挿入部7と、操作部9と、本体側ケーブル10とを含む。内視鏡スコープ部5は、作業者により把持されて操作される。この操作により内視鏡スコープ部5の挿入部7は、観察対象物2の入口部としての挿入開口2aから挿入可能な位置に移動され、さらに観察対象物2の内部空間3に挿入される。
本体側ケーブル10は、内視鏡スコープ部5と内視鏡本体部4との間を接続するもので、内視鏡本体部4に対して着脱可能である。本体側ケーブル10は、1本又は複数本有し、内視鏡スコープ部5と内視鏡本体部4との間に接続される。
挿入部7について具体的に説明する。挿入部7は、先端部7aと、先端部7a以外の部分とで形成されている。先端部7aは、硬質に形成された領域(硬質部)を含む。先端部7a以外の領域は、可撓性を有するように形成されている。先端部7aの硬質部は、予め設定された領域(小領域)に形成されている。挿入部7の可撓性を有する領域のうち先端部7a側の一部を含む領域は、能動的に湾曲可能な能動湾曲部7bに形成されている。この能動湾曲部7bは、操作部9に設けられた操作ハンドル11を作業者が操作することで上下方向又は左右方向に能動的に湾曲する。その他の挿入部7の領域には、受動的に湾曲可能な受動湾曲部7cが形成されている。受動湾曲部7cは、観察対象物2の形状に倣うことで受動的に湾曲する。この受動湾曲部7cは、作業者の把持の仕方、又は観察対象物2の挿入開口2aと操作部9との位置関係等により受動的に湾曲する。
操作部9は、操作ハンドル11を含む。操作ハンドル11は、作業者によって操作され、挿入部7の能動湾曲部7bを上下方向又は左右方向に湾曲させる。操作部9は、例えば作業者の一方の手によって把持され、この状態で操作ハンドル11が操作されることにより挿入部7の能動湾曲部7bを上下方向又は左右方向に湾曲させる。操作部9は、作業者による操作ハンドル11に対する操作を受けて挿入部7における能動湾曲部7bの湾曲量を変えることが可能である。
挿入部7と操作ハンドル11との間には、一対の操作ワイヤが複数設けられている。これら操作ワイヤは、上下方向への湾曲と、左右方向への湾曲とに用いられる。これら操作ワイヤは、例えばループ状に形成されている。操作ハンドル11が回転すると、操作ワイヤが挿入部7と操作ハンドル11との間で移動し、操作ハンドル11の回転が挿入部7に伝達される。これにより、挿入部7の能動湾曲部7bは、操作ハンドル11の操作量に応じて上下方向又は左右方向に湾曲する。
図2は本システム1における挿入部7の先端部7aの構成図を示す。挿入部7の先端部7aには、撮像素子7dと、対物レンズ10と、鉗子チャンネル12と、照明部13とを含む内視鏡スコープ部5の用途に応じた様々な部材が設けられている。対物レンズ10は、撮像素子7dと光学的に接続されている。鉗子チャンネル12は、観察対象物2の内部空間3内において様々な作業や処置を行うための鉗子等を挿入するための開口である。照明部13は、内視鏡本体部4の光源部20から射出された光を例えば観察対象物2の内部空間3に向けて射出する。
本システム1では、挿入部7の照明部13から射出された光が観察対象物2の内部空間3に照射されると、当該観察対象物2の内部空間3から反射等した光が対物レンズ10に入射する。挿入部7の先端部7aには、撮像素子7dが設けられているので、当該撮像素子7dは、対物レンズ10に入射した光を光電変換して撮像信号を出力する。この撮像信号は、本体側ケーブル10を通ってビデオプロセッサ21に送られる。このビデオプロセッサ21は、撮像素子7dから出力される撮像信号を画像処理して観察対象物2の内面の観察画像を取得する。この観察画像は、表示部6に表示される。
表示部6は、本システム1によって観察する観察対象物2の内部空間3と、内視鏡本体部4の本体メモリ40に予め記憶されている観察対象物2に関する情報と、観察対象物2を観察するときの観察作業の情報と、支援情報ユニット22から出力される直接操作情報DMとを表示可能である。この表示部6は、例えば液晶、LED、又はプラズマから成るモニタ用のディスプレイを含む。この表示部6は、図1において便宜上1つであるが、これに限らず、2つ以上を並べて配置する、或いは複数台をそれぞれ異なる場所に配置してもよい。
この表示部6は、モニタ用のディスプレイに画像及び文字情報を表示することのみに限るものでない。ここでの表示部6は、音声やアラーム音等による聴覚で認識させるための出力、バイブレーション等による触覚で認識させるための出力なども含む。この表示部6は、作業者に対して情報を報知させるための様々の情報伝達手法による出力デバイスを総称して表示部とする。
挿入部7は、操作ハンドル11の操作により湾曲する能動湾曲部7bと、受動的に湾曲する受動湾曲部7cとを含む。受動湾曲部7cは、観察対象物2の内部空間3の壁面に押し当てられることにより、当該内部空間3の壁面の形状に倣うように湾曲する。これにより、挿入部7は、観察対象物2の内部空間3に挿入されると、当該観察対象物2の内部空間3の壁面に押し当てられながら当該内部空間3内を進行する。観察対象物2の内部空間3は、観察対象物2の種類等により様々な形状等の導入経路を含むものとなっている。このように挿入部7は、当該観察対象物2の内部空間3の内部を進行できる構造を有する。
挿入部7の内部には、当該挿入部7の全体の形状を検出する長尺の形状センサ8が設けられている。この形状センサ8は、例えば光ファイバセンサ(以下、光ファイバセンサ8として説明する)である。この光ファイバセンサ8には、複数の検出ポイントが挿入部7の全体の形状検出が可能なように設けられている。これら検出ポイントは、光ファイバセンサ8のほぼ全長に渡り、光ファイバセンサ8の長手方向に分散して配置されている。これら検出ポイントは、例えば図3A乃至図3Cに示すように光ファイバセンサ8を形成する光ファイバ8aの側面に設けられた光吸収体(以下、形状検出部と称する)8bから成る。この形状検出部8bは、光ファイバ8aの湾曲角に応じた光量を吸収する。
従って、光ファイバセンサ8は、各形状検出部8bに吸収される光量が光ファイバ8aの湾曲角に応じて増減する現象を利用している。これにより、光ファイバセンサ8は、例えば光ファイバ8aの湾曲角が大きくなるに従って形状検出部8bに吸収される光量が大きくなると、光ファイバ8a内に透過する光量が減少する。従って、光ファイバセンサ8は、光ファイバ8aの湾曲角に応じた光量の光信号を射出するものとなる。
光ファイバセンサ8は、上記の通り、例えば光ファイバ8aにより成るので、挿入部7が湾曲すると、この湾曲に応じて光ファイバ8aが湾曲し、これに伴って光ファイバ8a内を伝達する光の一部が形状検出部8bの光吸収体で吸収される。形状検出部8bの構成は、光ファイバ8aのクラッドの一部を取り除き、当該クラッドを取り除いた部分に光吸収部材又は色素などを塗布したものとなっている。すなわち、形状検出部8bは、光ファイバ8aの一側面に設けられ、光ファイバ8aの湾曲に応じて伝達する光の一部を吸収する。つまり、形状検出部8bは、光ファイバ8aの光学特性、例えば光伝達量を変化させるものである。
図3Aは光ファイバ8aを形状検出部8bが設けられた側に湾曲したときの光伝達量を示し、図3Bは光ファイバ8aを湾曲しないときの光伝達量を示し、図3Cは光ファイバ8aを形状検出部8bが設けられた側とは反対側に湾曲したときの光伝達量を示す。これら図に示すように光ファイバ8aの光伝達量は、光ファイバ8aを形状検出部8bが設けられた側に湾曲したときの光伝達量が最も多く、次に光ファイバ8aを湾曲しないときの光伝達量、次に光ファイバ8aを形状検出部8bが設けられた側とは反対側に湾曲したときの光伝達量の順である。
光ファイバセンサ8は、1つの形状検出部8bを設けることにより曲げセンサとなる。光ファイバセンサ8は、複数の形状検出部8bを挿入部7の長手方向及び周方向に設けることにより、挿入部7の全体の3次元形状を検出できるものとなる。
光ファイバセンサ8は、形状検出部8bに色素を添付して光を波長別に分離するなどの光学的な手段を備えてもよい。これにより、光ファイバセンサ8は、一本の光ファイバに複数の形状検出部8bを設けることが可能である。
形状検出部8bが設けられた光ファイバを複数束ねれば、複数点で曲げ角を検出することが実現可能である。光ファイバの1本当たりに設ける形状検出部8bの数を増加すれば、光ファイバ8aの本数を減少することが可能である。
複数の光ファイバ8aを束ねれば、光ファイバ8a毎の形状検出部8bによる光ファイバ8aの湾曲角の検出に対する独立性を高めることができる。これにより、形状検出部8bごとの検出精度が向上し、対ノイズ性を向上することができる。
挿入部7には、所定の間隔、例えば10cm毎の間隔で複数の形状検出部8bが設けられている。このような間隔で複数の形状検出部8bを設ければ、挿入部7の全体の湾曲形状を精度高く検出することができる。各形状検出部8bの間隔を例えば10cmより長くすると、形状検出部8bの個数を減少してコストの軽減と、湾曲形状を検出するシステム構成を簡素化できる。
なお、挿入部7は、例えば作業員による任意の方向に湾曲させることが可能である。挿入部7の湾曲形状を3次元で検出するためには、挿入部7の長手方向における略同じ位置に、複数(通常は2個)の検出部8bを周方向上の異なる各位置に設ければよい。これにより、各検出部8bによって異なる2方向の湾曲量が検出できる。このように異なる2方向の組合せで、全ての方向の湾曲量を求める事ができるので、挿入部7の湾曲形状を3次元で検出することが可能となる。
また、光ファイバセンサ8の先端には、伝達した光を基端側へ反射させる反射部が含まれる。
形状センサユニット23は、光ファイバセンサ8に導光される光の光量の変化を検出するもので、ファイバセンサ用光源24と光検出器25とを含む。光ファイバセンサ8は、挿入部7に設けられている。ファイバセンサ用光源24と光検出器25とは、支援情報ユニット22内に設けられている。
ファイバセンサ用光源24は、検出光を射出する。ファイバセンサ用光源24から射出された検出光は、光ファイバセンサ8に入射し、この光ファイバセンサ8により導光されて光検出器25に入射する。このとき検出光は、光ファイバセンサ8に設けられた形状検出部8bを通る。形状検出部8bを通った光は、光ファイバセンサ8の先端に設けられた反射部で反射され、再び形状検出部8bを通った後に、光検出器25に入射する。光検出器25は、入射した光を検出し、当該検出した光の光量を図示しない信号処理回路により検出信号Dに変換して出力する。この検出信号Dは、形状算出部30に伝送される。
挿入部7と操作部9とは機械的に接続されている。操作部9と本体側ケーブル10も機械的に接続されている。
[内視鏡本体部]
内視鏡本体部4は、図1に示すように光源部20と、ビデオプロセッサ21と、支援情報ユニット22と、本体メモリ40とを含む。光源部20は、キセノン、ハロゲン等のランプ類、又はLED、レーザなどの半導体光源を含む。本体側ケーブル10と操作部9と挿入部7との間には、ライトガイドが挿通して設けられている。これにより、光源部20から光が射出されると、この光は、ライトガイド等を経由して挿入部7の先端部7aに設けられた照明部13から照明光として射出される。この照明光は、観察対象物2の内部に入射し、当該観察対象物2の内部空間3を照明する。
ビデオプロセッサ21は、挿入部7の先端部7aに搭載された撮像素子7dから出力される撮像信号を画像処理して観察対象物2の内部空間3における内面の観察画像を取得する。撮像素子7dから出力される撮像信号は、挿入部7と、操作部9と、本体側ケーブル10との間に設けられている信号線を通してビデオプロセッサ21に伝送される。ビデオプロセッサ21は、取得した観察画像を表示部6に表示可能な観察画像信号に変換して表示部6に送る。
図4は支援情報ユニット22の構成図を示す。支援情報ユニット22は、形状センサユニット23の一部を含む。形状センサユニット23は、光ファイバセンサ8と、ファイバセンサ用光源24と、光検出器25とを含む。なお、ファイバセンサ用光源24と光検出器25とは、支援情報ユニット22に含まれ、光ファイバセンサ8は、支援情報ユニット22に含まれないものとなっている。形状センサユニット23は、挿入部7の湾曲形状に対応する光量を示す検出信号Dを出力する。形状センサユニット23の構成及びその動作の詳細は、後述する。
支援情報ユニット22は、挿入部7の観察対象物2の内部への挿入と抜去とを支援する作業支援部として機能する。この支援情報ユニット22は、形状センサユニット23から出力される検出信号Dを入力し、当該検出信号Dを処理して作業者の作業及び操作を支援するための支援情報、すなわち挿入部7の挿抜量又は回転量のうち少なくとも一方である直接操作情報DMを出力する。この支援情報ユニット22は、検出時挿入部形状算出部(以下、形状算出部と称する)30と、形状センサ制御部31と、挿入部形状時間変化導出部(以下、変化導出部と称する)32と、情報記憶部35と、直接操作情報推定部70とを含む。
なお、形状センサユニット23の一部であるファイバセンサ用光源24と光検出器25とは、支援情報ユニット22内に含む。図示しないが、この形状センサユニット23は、光検出器25の出力信号を処理し、検出信号Dを出力するための信号処理回路を含む。
[電源投入時の動作]
作業者による本システム1への電源投入によって形状センサユニット23及び支援情報ユニット22にも電源が投入される。電源投入によって形状センサユニット23は、挿入部7の湾曲形状の検出が可能になる。これにより、形状センサユニット23は、挿入部7の形状が検出可能になったことを示す検出可能信号(Ready信号)を形状センサ制御部31に送る。
[形状センサ制御部31の動作]
形状センサ制御部31は、検出可能信号を入力することにより形状センサユニット23が検出可能な状態であることを認識すると、第1乃至第nのタイミング信号Tを出力する。この第1乃至第nのタイミング信号Tは、最初のハイレベル信号を第1のタイミング信号とし、次のハイレベル信号を第2のタイミング信号とし、以下同様に、第jのタイミング信号、第kのタイミング信号、・・・、第n(=自然数)のタイミング信号とする。この第nのタイミング信号Tの発生間隔は、目的とする支援情報の内容、作業者からの要請、支援情報ユニット22及び形状センサユニット23の動作速度などにより適宜設定可能である。第1乃至第nのタイミング信号Tは、一定間隔で周期的な場合、又は第1乃至第nのタイミング信号の間隔が状況に応じて変更される場合もある。
[形状センサユニット23の動作]
形状センサユニット23は、形状センサ制御部31から出力される第1乃至第nのタイミング信号Tを入力し、当該第1乃至第nのタイミング信号Tに応じて形状検出部8bから射出される光信号を入射し、当該光信号に応じた検出信号Dを出力する。光ファイバセンサ8そのものの動作については公知のものを利用可能であり、その説明は省略する。
具体的に形状センサユニット23は、電源投入によりファイバセンサ用光源24を点灯させる。ファイバセンサ用光源24は、基本的に同じ明るさで連続発光する検出光を射出する。この検出光は、光ファイバセンサ8の光ファイバ8aの入射端に入射する。この光ファイバセンサ8は、光ファイバ8aの入射端から入射した検出光を導光し、当該検出光を同光ファイバセンサ8に設けられた複数の形状検出部8bに経由させて光ファイバ8aの射出端から射出させる。この光ファイバ8aの射出端から射出した光は、光検出器25に入射する。
このとき光ファイバセンサ8は、挿入部7の湾曲と共に湾曲すると、当該挿入部7の湾曲角に応じて形状検出部8bに吸収される光量が変化する。例えば、光ファイバ8aの湾曲角が大きくなるに従って形状検出部8bに吸収される光量が大きくなる。これにより、光ファイバ8a内を透過する光量は、光ファイバ8aの湾曲角が大きくなるに従って減少する。このように光ファイバセンサ8は、挿入部7の湾曲角に応じた光量の光信号を射出する。この光ファイバセンサ8から射出された光信号は、光検出器25に入射する。この光検出器25は、入射した光信号を受光して電気信号に変換し、この電気信号を信号処理回路によって光信号の光量に応じた検出信号Dとして出力する。
形状センサユニット23は、光ファイバセンサ8に設けられた複数の形状検出部8bから射出される各光信号と第1乃至第nのタイミング信号Tとを対応させ、かつ複数の形状検出部8bから射出された各光信号の識別が付くように検出信号Dにフラグを付ける。この検出信号Dは、形状算出部30に送られる。
[形状算出部30の動作]
形状算出部30は、形状センサユニット23から出力される検出信号Dを演算処理して挿入部7の形状情報である検出時挿入部形状情報(以下、挿入部形状情報と称する)Fとして出力する。
この形状算出部30は、湾曲情報メモリ30aを含む。この湾曲情報メモリ30aには、挿入部7の湾曲量と、形状センサユニット23から出力される検出信号Dにより示される光量の変化との関係を示す情報が保存されている。又、湾曲情報メモリメモリ30aには、光ファイバセンサ8の複数の検出ポイントの数と、これら検出ポイントの配置位置と、これら検出ポイントで検出する湾曲方向(X方向,Y方向)との情報が保存されている。
従って、形状算出部30は、形状センサユニット23から出力される検出信号Dと、湾曲情報メモリ30aに保存されている当該各情報とに基づいて挿入部7が湾曲したときの湾曲方向と大きさとを算出し、当該算出の結果を挿入部形状情報Fとして出力する。
[形状センサ制御部31の動作]
形状センサ制御部31は、形状センサユニット23が挿入部7の湾曲形状を検出するタイミングを取るためのタイミング信号Tを出力する。このタイミング信号Tは、例えば一定周期でハイレベルとなる矩形波である。ここで、nを2以上の自然数、j、kをそれぞれ互いに異なるnより小さい自然数、j、kの大小関係をj<kとすると、形状センサ制御部31は、第1乃至第nのタイミングでハイレベルとなる矩形波のタイミング信号Tを出力する。この第1乃至第nのタイミング信号Tには、第jのタイミング信号T、第kのタイミング信号Tが含まれる。
図5は形状センサ制御部31から出力されるタイミング信号Tnを示す。このタイミング信号Tは、例えば、既に第jと第kのタイミング信号Tj、Tkを出力した状態にあるものとしている。
[変化導出部32の動作]
変化導出部32は、形状センサ制御部31から出力されるタイミング信号Tを入力し、例えば、第jのタイミング信号Tの発生時に形状算出部30から出力される挿入部形状情報F(以下、第jの挿入部形状情報Fjと称する)を入力し、かつ第kのタイミング信号Tの発生時に形状算出部30から出力される挿入部形状情報F(以下、第kの挿入部形状情報Fkと称する)を入力する。なお、第jの挿入部形状情報Fjは、便宜上、第jの検出時挿入部形状を示すものとする。同様に、第kの挿入部形状情報Fkも便宜上、第kの検出時挿入部形状を示すものとする。
この変化導出部32は、形状算出部30から入力した第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとを比較し、当該第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとにおける類似形状領域と被類似形状領域とを抽出し、当該抽出の結果を形状変化情報KAとして直接操作情報推定部70へ出力する。なお、この直接操作情報推定部70は、形状変化情報KAを形状情報記憶部70aに記憶する。
図6は第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとを示す。第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとでは、それぞれ互いに形状が類似した各類似形状領域LRを含む。第kの挿入部形状情報Fkによる挿入部7の先端部7aを含む部分には、挿入部進行領域7srが存在する。この挿入部進行領域7srは、第jのタイミング信号Tjの発生時点から第kのタイミング信号Tkの発生時点までの期間中に挿入部7が進行した部分である。
すなわち、第jのタイミング信号Tjの発生時点から第kのタイミング信号Tkの発生時点までの期間中に、挿入部7は、作業者による操作を受けて挿入部進行領域7srだけ観察対象物2の内部空間3内に進行している。当該期間中に、挿入部7における類似形状領域LRの形状は、図6に示すように変化がない。
類似形状領域LRの形状に変化がないのは、次の理由による。挿入部7は、作業者による挿入操作により観察対象物2の内部空間3の内面に倣いながら当該観察対象物2の内部空間3内に進行する。挿入部7の進行により当該挿入部7の形状は、第jのタイミング信号Tjの発生時点から第kのタイミング信号Tkの発生時点までの期間中においても観察対象物2の内部空間3内に倣うものとなる。従って、挿入部7の形状は、第jのタイミング信号Tの発生時点での類似形状領域LRと、第kのタイミング信号Tの発生時点での類似形状領域LRとにおいて変化することがない。
ここで着目する点として、第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとでは、類似形状領域LRの各位置に対応する挿入部7の位置が変化していることである。すなわち、第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとでは、挿入部7が挿入により移動しているので、形状センサ8の各検出ポイントの各形状検出部8bから出力される各検出信号がそれぞれ異なるが、形状算出部30により算出される第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとにおいては、形状が互いに略等しい各類似形状領域LRが存在しているものとなっている。
変化導出部32は、第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとを比較し、比較の結果から形状が互いに略等しい類似形状領域LRと、当該類似形状領域LR以外の領域を抽出する。
当該各類似形状領域LR以外の領域には、例えば図7に示すような挿入部形状非類似領域NLRと、挿入部進行領域7srと、挿入部後退領域(図示せず)との3つの領域が存在する。挿入部後退領域については、後述する。なお、図7は、作業者の操作により挿入部7の先端部が挿入部進行領域7srの分だけ進行し、さらに操作部9側に挿入部形状類似領域LRが発生している例を示す。
挿入部形状非類似領域NLRは、単純に形状が明らかに異なる領域である。挿入部進行領域7srは、例えば第jのタイミング信号Tjの発生時点では存在していなかった領域に、第kのタイミング信号Tkの発生時点で新たに現れた領域である。
挿入部後退領域は、例えば第jのタイミング信号Tjの発生時点では存在していた領域で、第kのタイミング信号Tkの発生時点で消滅した領域である。すなわち、挿入部後退領域は、挿入部進行領域7srとは逆に、挿入部7が後退することにより、例えば挿入部形状類似領域LRの一部が欠落したようになる状態である。
図7に示す挿入部7の形状の場合、変化導出部32は、形状が互いに略等しい各挿入部類似形状領域LRと、互いに異なる領域である挿入部形状非類似領域NLRと、第kのタイミング信号Tkの発生時点に現れる挿入部進行領域7srとを抽出し、当該抽出の結果を形状変化情報KAとして直接操作情報推定部70へ出力する。
[直接操作情報推定部70の動作]
直接操作情報推定部70は、作業者が行った作業者の操作である、挿抜操作と回転操作とのうち少なくとも一方を推定し、直接操作情報DMとして出力する。この直接操作情報推定部70は、挿入部7の形状変化が作業者による操作の結果であるものと仮定し、第jのタイミング信号Tjの発生時点から第kのタイミング信号Tkの発生時点までの期間中に行った操作を、変化導出部32により導出された形状変化情報KAに基づいて推定し、直接操作情報DMとして出力する。
第jの挿入部形状Fjは、図6に示すように挿入開口2aより観察対象物2の内部空間3側において、ほぼ全体が挿入部類似形状領域LRになっている。第kの挿入部形状Fkでは、作業者の操作により挿入部進行領域7srの分だけ観察対象物2の内部空間3の奥に進行している。
従って、直接操作情報推定部70は、作業者が挿入方向の押し込み操作を行い、挿入部進行領域7srの分だけ挿入部7が観察対象物2の内部空間3に進行したと推測する。
直接操作情報推定部70は、操作の種類が押し込みであり、操作方向が挿入開口2aから露出している挿入部7の中心軸方向であることを推測する。挿入部7の挿抜量は、挿入部進行領域7srの長さとなる。
なお、本実施の形態で用いている形状センサユニット23は、挿入部7の湾曲方向を検出することが可能である。これにより、第jと第kのタイミング信号Tj、Tkの各発生時点において各挿入部類似形状領域LRが同じ形状であっても、形状センサユニット23から出力される検出信号Dから挿入部7の操作の状態の一つとして、X方向、Y方向等の湾曲方向が判定できる。例えば、形状センサユニット23から出力される検出信号DからX方向とY方向とに対して挿入部7に変化が無ければ、直接操作情報推定部70は、挿入部7が単に挿入されているもの推定する。一方、同検出信号DからX方向とY方向とに対して挿入部7に変化が有れば、直接操作情報推定部70は、挿入部7に対して回転操作がされているものと推定する。
なお、挿入部7における挿入部類似形状領域RLの先端側には、図6に示すような挿入部進行領域7sr、挿入部後退領域、又は挿入部形状非類似領域NLRのいずれもが存在しない場合がある。この場合、挿入部7の先端が停止していることを示す。
挿入部類似形状領域LRよりも操作部9側には、挿入部非類似形状領域NLRが存在する場合がある。この場合、挿入部非類似形状領域NLRは、作業者の操作、すなわち挿入によって生じていることが分かる。直接操作情報推定部70は、第jの挿入部非類似形状領域NLRから第kの挿入部非類似形状領域NLRに変化するために必要な挿抜量を推定する。
図7に示すように作業者の操作により挿入部7の先端部が挿入部進行領域7srの分だけ進行し、さらに操作部9側に挿入部形状類似領域LRが発生している場合、作業者の操作の方向は、挿入部7の挿入方向となる。操作の量は、挿入部進行領域7srの長さに挿入部非類似形状領域NLRを生じるのに必要な挿抜量を合わせた長さと略等しい量となる。
挿入部進行領域7srの長さは、例えば図6に示すように挿入部7の形状の特徴部Crjと、特徴部Crkとをそれぞれ検出するセンサ、ここでは形状センサユニット23の光ファイバセンサ8に設けられた各形状検出部8bの挿入部7上の位置などから推定することが出来る。各特徴部Crj、Crkは、それぞれ挿入部7が湾曲した位置としたが、第j、第kの挿入部類似形状領域LR上で、互いに同じ位置であれば、例えば挿入部類似形状領域LRの先端など、その他の位置でもかまわない。なお、特徴部Crjは、第jのタイミング信号Tの発生時点に現れている形状部分であり、特徴部Crkは、第kのタイミング信号Tの発生時点に現れている形状部分である。
ここで、第jのタイミング信号Tjの発生時において、挿入部7の先端部7aから例えば20cmの位置に配置された形状検出部8bが丁度特徴部Crjの頂点と一致していると、当該特徴部Crjの位置は、挿入部7の先端から20cmの位置であると分かる。
第kの挿入部形状Fkの発生時において、挿入部7の先端部7aから例えば30cmの位置に配置された別の形状検出部8bと、同先端部7aから例えば40cmの位置に配置された別の形状検出部8bとの中間の位置に配置されたさらに別の形状検出部8bが丁度特徴部Crkの頂点と一致していると、当該特徴部Crkの位置は、挿入部7の先端から35cmの位置であると分かる。
これにより、観察対象物2の内部空間3への挿入部7の挿抜量、すなわち挿入部進行領域GRの長さは、第jのタイミング信号Tjの発生時の特徴部Crjの位置(35cm)と、第kのタイミング信号Tkの発生時の特徴部Crkの位置(20cm)との差で35cm−20cm=15cmとなる。
図7に示すように、挿入部7に非類似形状領域NLRが存在する場合、挿入部7の挿抜量は、さらに挿入部7における非類似形状領域NLRの長さの差も加える必要がある。この場合では、挿入部7における非類似形状領域NLRが挿入部類似形状領域LRの操作部9側にあるので、各特徴部Crj、Crkの位置を用いての挿入部進行領域GRの長さの算出が出来ない。
このような場合、直接操作情報推定部70は、第jの挿入部非類似形状領域NLRから第kの挿入部非類似形状領域NLRに変化するために必要な挿抜量を推定する。そして、第jの挿入部非類似形状領域NLRから第kの挿入部非類似形状領域NLRに変化するために必要な挿抜量が例えば5cmであったとすると、直接操作情報推定部70は、挿入部7の挿抜量を先に求めた15cmに5cmを加えた量である20cmとして算出する。
なお、第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとの比較は、変化導出部32において行っているが、直接操作情報推定部70が変化導出部32の機能を含んでいてもよい。すなわち、直接操作情報推定部70は、形状情報記憶部70aに記憶されている例えば第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとを読み出し、これら第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとを比較して挿入部7の挿抜量と回転量とのうち少なくとも一方を含む直接操作情報DMを推定するようにしてもよい。
第1の実施の形態では、第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとの比較を変化導出部32において行っているが、直接操作情報推定部70が変化導出部32の機能を含む場合、当該変化導出部32は必要無い。形状センサ制御部31と検出時挿入部形状算出部30の出力は、直接操作情報推定部70に入力する。
[情報記憶部35の記憶情報]
情報記憶部35には、形状センサユニット23から出力される検出信号Dと、支援情報ユニット22内で伝送される各種情報、例えば挿入部形状情報Fと、形状変化情報KAとがタイミング信号Tに紐付けされて記憶されている。
また、情報記憶部35には、光ファイバセンサ8に設けられている複数の光吸収体8aの各位置情報と、挿入部7の湾曲角と光ファイバセンサ8内に配設さている光ファイバの湾曲角に応じた光量を示す検出信号Dとの対応情報が記憶されている。
情報記憶部35は、支援情報ユニット22内の形状算出部30と、形状センサ制御部31と、変化導出部32と、直接操作情報推定部70との各間で図示しない経路を通して情報の授受が可能になっている。この情報記憶部35に保存されている情報は、作業者により適宜読み出し可能である。
情報記憶部35と、各本体メモリ40と、湾曲情報メモリ30aと、操作情報メモリ34aとは、同一のメモリデバイスの記憶領域をそれぞれに対応付けて用いることが可能である。共通する情報については、本体メモリ40、湾曲情報メモリ30a、操作情報メモリ34a又は情報記憶部35のうちいずれかのメモリに一箇所に記憶させておき、図示しない経路を通じて本体メモリ40、湾曲情報メモリ30a、操作情報メモリ34a、又は情報記憶部35から読み出し可能にすることが可能である。
次に、上記の通りに構成された装置の動作について説明する。
形状センサ制御部31は、検出可能信号を入力することにより形状センサユニット23が検出可能な状態であることを認識すると、第1乃至第nのタイミング信号Tを出力する。
形状センサユニット23は、形状センサ制御部31から出力される第1乃至第nのタイミング信号Tを入力し、当該第1乃至第nのタイミング信号Tに応じて形状検出部8bから射出される挿入部7の湾曲角に応じた光量の光信号を入射し、当該光信号に応じた検出信号Dを出力する。
検出時挿入部形状算出部30は、上記同様に、形状センサユニット23から出力される検出信号Dを入力し、この検出信号D(光量)に基づいて挿入部7が湾曲したときの湾曲の方向と大きさとを算出し、挿入部形状情報F、例えば第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとして出力する。
変化導出部32は、挿入部形状情報Fjと挿入部形状情報Fkを比較し、形状が互いに略等しい各挿入部類似形状領域LRと、互いに異なる領域である挿入部形状非類似領域NLRと、第kのタイミング信号Tkの発生時点に現れる挿入部進行領域7sr、又は挿入部後退領域を抽出し、抽出の結果を形状変化情報KAとして出力する。
直接操作情報推定部70は、変化導出部32から出力される形状変化情報KAに基づき、挿抜量または回転量の少なくとも一方である直接操作情報DMを算出する。
このように上記第1の実施の形態によれば、形状算出部30から出力される挿入部形状情報F、例えばそれぞれ異なる検出タイミングで取得される第jの挿入部形状情報Fjと、第kの挿入部形状情報Fkとを入力し、これら第jの挿入部形状情報Fjと第kの挿入部形状情報Fkとに基づいて、挿入部7の挿抜量と回転量とのうち少なくとも一方を含む直接操作情報DMを推定するので、挿入部7の挿抜量又は回転量を検出することができる。例えば、内視鏡で病変部を発見した場合、患者等の観察対象物3に対して、内視鏡の画像で操作者が確認できる既知の部位、例えばS字結腸や脾湾曲を抜けた場所を基準に、どの程度挿入部7を挿入及び回転した位置に病変部が在るのかが分かる。これにより、再度、病変部に対する観察や処置をしようとした場合でも、病変部を簡単に見つけることができる。
なお、支援情報ユニット22には、図示しないが、任意の時点で挿抜量や回転量の基準を決める、すなわち挿抜量や回転量を0にするキャリブレーション機能を有していても良い。操作者が内視鏡装置の表示部6に表示される画像を見て、挿入部7の位置が特定出来る例えばS字結腸や脾湾曲を抜けた場所等に到達すると、操作者は、キャリブレーション機能を有効にする。
キャリブレーション機能を有効にする方法としては、例えばキャリブレーション用のスイッチを有し、当該スイッチをオンにすることで挿抜量や回転量が“0”に戻るようにする。これにより、操作者が位置を特定出来る場所、すなわち観察対象物2の内部空間3の既知の場所に対する挿抜量や回転量を検出できるようになる。
[変形例]
ここで、直接操作情報推定部70が直接操作情報DMを算出するその他の方法について、変化導出部32の動作を含め、図8を参照して説明する。
図8は、第jと第kの挿入部形状情報Fj、Fkにそれぞれ3つの湾曲部が存在し、その頂点間の距離が互いに略等しくなっていることを示す。すなわち、挿入部形状情報F(Fj、Fk)における3つの頂点の座標から算出される間隔、および方向が互いに略等しい頂点の関係が存在している。
変化導出部32は、先ず、挿入部形状における湾曲部の頂点の座標を特徴部として算出する。抽出した3つの特徴部は、それぞれ第1の頂点部間距離同一領域RW1、RW2、RW3と称する。これは挿入部形状情報F(Fj、Fk)から容易に求めることができる。
次に、変化導出部32は、各頂点の座標間の距離、および相対的な方向を算出する。すなわち、第jの挿入部形状情報Fjにおいて、第1の頂点部間距離同一領域RW1、RW2、RW3の相対的な位置関係、間隔を求める。
変化導出部32は、同様に、第kの挿入部形状情報Fの第1の頂点部間距離同一領域RW1、RW2、RW3についても相対的な位置関係、間隔を求める。そして、これらの相対的な位置関係、間隔の情報を直接操作情報推定部70に出力する。
ここで、これらの相対的な位置関係、間隔の情報は、各座標の情報を共通の座標軸上に配置するようにしても良いし、間隔としてのスカラー量の情報と、ベクトルとしての方向情報として求めても良い。また、複数の特徴点の相対的な位置関係を比較できる技術・手法であればどのようなものを用いることも出来る。
次に、直接操作情報推定部70は、前述の相対的な位置関係、間隔を比較し、同じ位置関係、間隔の特徴部(RW1、RW2、RW3)を抽出する。湾曲部の頂点は、周囲に何もない状態であればなるべく直線状になるはずの内視鏡の挿入部7が観察対象物2の内部構造により湾曲させられている可能性が高い。さらにその頂点部は観察対象物2に接触している可能性が高い。また、観察対象物2も、その管孔形状の特徴から、湾曲していて内視鏡の挿入部7と接触し易い場所もある程度は決まっている。これらより、湾曲部の頂点部の相対的な位置関係、間隔が略等しい場合、観察対象物2の同じ内壁面と接触している可能性が高く、すなわち同じ場所に存在していると推定される。
第jと第kの挿入部形状情報Fにおける第1の頂点部間距離同一領域RW1、RW2、RW3の相対的な位置関係が略等しいので、直接操作情報推定部70は、第jと第kの挿入部形状情報Fにおける第1の頂点部間距離同一領域RW1、RW2、RW3はそれぞれ、観察対象物2に対し同じ場所にあると判断する。
さらにこの情報に基づいて直接操作情報推定部70は、挿入部7の移動の方向、移動の量を求める。すなわち、移動の方向については、第jの挿入部形状情報Fjと、第kの挿入部形状情報Fkとを比較すると、挿入部進行領域7srの分だけ観察対象物2の内部に伸びていることが分かる。そこで移動の方向は”挿入方向”であり、移動の量は”挿入部進行領域7srの長さと略等しい長さに、第1の頂点部間距離同一領域RW1からRW3までの長さの差を加えた長さ”となる。なお、移動の量の求め方については前述と同様に求めることが可能である。
上記の方法により、第jと第kの挿入部形状情報Fj、Fkが全体的に異なる形状で、挿入部類似形状領域LRが抽出できないような場合でも、第jと第kの挿入部形状情報Fj、Fkにおける第1の頂点部間距離同一領域RW1、RW2、RW3を抽出することにより、観察対象物2に対し同じ場所にあると判断出来るようになり、挿抜量や回転量を求める事が出来るようになる。
なお、本実施の形態は、内視鏡本体部4として光源部20と、ビデオプロセッサ21と、支援情報ユニット22との3つのユニットを含む例について示したが、これに限ることはない。内視鏡本体部4は、例えばプリンタを備えてもよい。内視鏡本体部4は、様々な処置や治療に必要な医療機器、さらには内視鏡システム1に接続可能なものの全てを備えてもよい。
光源部20と、ビデオプロセッサ21と、支援情報ユニット22とは、内視鏡本体部4の内部でそれぞれ別に機能しているが、これに限らない。光源部20と、ビデオプロセッサ21と、支援情報ユニット22とは、内視鏡本体部4の内部において1つの処理ユニットとして機能するようにしてもよい。光源部20とビデオプロセッサ21との一部の機能は、支援情報ユニット22内に組み込んでもよい。さらに、内視鏡本体部4は、光源部20、ビデオプロセッサ21、支援情報ユニット22の3つのユニット以外のユニットと一体化することもできる。
支援情報ユニット22は、形状算出部30と、形状センサ制御部31と、変化導出部32と、直接操作情報推定部70との各機能を1つの処理ユニットとして纏めて構成することが可能である。
これに対して支援情報ユニット22は、形状算出部30と、形状センサ制御部31と、変化導出部32と、直接操作情報推定部70との各機能をそれぞれ独立したユニットとして構成することも可能である。
支援情報ユニット22は、別のユニットと組み合わせるなど、ユーザの利便性や設計のし易さ、コストなど、様々な事情を考慮して自由に組み合わせることが可能である。
[第2の実施の形態]
次に、本発明の第2の実施の形態について図9を参照して説明する。なお、本実施の形態では、上記第5の実施の形態と共通の部分についてはその説明を省略し、相違する部分についてのみ詳細に説明する。
図9は、本発明の挿抜装置を適用した内視鏡システムの第2の実施の形態である支援情報ユニット22を示す構成図である。この支援情報ユニットは、直接操作情報推定部70を含む。
この直接操作情報推定部70は、観察対象物2の内部空間3の形状である対象物内部形状情報IMが予め記憶された形状情報記憶部70aを含む。図10Aは対象物内部形状情報IMの一例の模式図を示す。対象物内部形状情報IMは、例えば人体の大腸の形状を示す。対象物内部形状情報IMは、人体の大腸の形状に限るものでなく、例えば食道から胃部、血管などの形状でもよい。
直接操作情報推定部70は、形状算出部30から出力される挿入部形状情報F、例えば第kの挿入部形状情報Fkと、形状情報記憶部70aに記憶されている対象物内部形状情報IMとを比較して直接操作情報DMを推定する。
先ず、直接操作情報推定部70は、例えば第kの挿入部形状情報Fkを含む挿入部形状情報Fと対象物内部形状情報IMとの比較結果から挿入部7上において形状が類似している領域を挿入部・対象物類似形状領域SFとして抽出する。図10Bは例えば第kの挿入部形状情報Fkを含む挿入部形状情報Fにおける挿入部・対象物類似形状領域SFbを示す。
次に、挿入部7の挿抜量を推定する方法について説明する。
図11Aは、対象物内部形状情報IM上における挿入部・対象物類似形状領域SFaに対する、特定部位である入口80aの相対位置ΔPを示し、図11Bは、挿入部形状情報F上における挿入部・対象物類似形状領域SFbに対する、特定部位である入口80aの相対位置ΔPを示す。対象物内部形状情報IM上には、特定部位である入口80aが含まれる。この入口80aは、既知の情報として形状情報記憶部70aに記憶されている。
直接操作情報推定部70は、図11Aに示すように対象物内部形状情報IM上における挿入部・対象物類似形状領域SFaに対する、特定部位である入口80aの相対位置ΔPを算出する。
直接操作情報推定部70は、挿入部形状情報F上における挿入部・対象物類似形状領域SFbに対する相対位置ΔP、すなわち挿入部形状情報F上における特定部位である入口80bの位置を算出する。
そして直接操作情報推定部70は、挿入部形状情報F上における入口80bの位置から当該挿入部形状情報Fの先端までの長さ、すなわち入口80bからの挿入部7の挿抜量を求める。
このように直接操作情報推定部70は、形状情報記憶部70aに記憶されている対象物内部形状情報IMとに基づいて挿入部形状情報Fにおける特定部位の位置、例えば観察対象物2における内部空間3の入口80bの位置を推定することによって当該入口80bから挿入部7の先端部7aまでの長さを求め、当該長さから観察対象物2の内部空間3に挿入した挿入部7の挿抜量を算出することができる。
なお、本実施の形態は、時間的経過に従った挿入部7の形状変化を比較していないので、形状センサ制御部31及び変化導出部32は必須でないものとなっている。これにより、図9に示す支援情報ユニット22は、形状センサ制御部31及び変化導出部32を含まない構成となっている。
次に、上記の通りに構成された装置の動作について説明する。
検出時挿入部形状算出部30は、上記同様に、形状センサユニット23から出力される検出信号D(光量)に基づいて挿入部7が湾曲したときの湾曲の方向と大きさとを算出し、挿入部形状情報F、例えば第kの挿入部形状情報Fkとして出力する。
直接操作情報推定部70は、形状算出部30から出力される挿入部形状情報F、例えば第kの挿入部形状情報Fkと、形状情報記憶部70aに記憶されている対象物内部形状情報IMとを比較する。
比較の結果、直接操作情報推定部70は、図10A、10Bに示すように対象物内部形状情報IMと、挿入部7の形状が類似している形状である、挿入部・対象物類似形状領域SFa、SFbを抽出する。
直接操作情報推定部70は、図11Aに示すように対象物内部形状情報IM上における挿入部・対象物類似形状領域SFaに対する、特定部位である入口80aの相対位置ΔPを算出する。
次に、挿入部形状情報F上における挿入部・対象物類似形状領域SFbに対する相対位置ΔP、すなわち挿入部形状情報F上における特定部位である入口80bの位置を算出する。
そして、直接操作情報推定部70は、挿入部形状情報F上における入口80bの位置から当該挿入部形状情報Fの先端までの長さ、すなわち入口80bからの挿入部7の挿抜量である、直接操作情報DMを推定する。なお、回転量については、第1の実施の形態と同様に求める事が出来る。
このように上記第2の実施の形態によれば、形状算出部30から出力される挿入部形状情報F(例えば第kの挿入部形状情報Fk)と、形状情報記憶部70aに記憶されている対象物内部形状情報IMとを比較して直接操作情報DMを推定するので、上記第1の実施の形態と同様の効果を奏することができる。
上記第1の実施の形態では、ある時点の状態からの相対的な直接操作情報、すなわち挿入部7の挿抜量、回転量の相対的な変化が分かるが、観察対象物2の内部空間3に対する絶対的な直接操作情報は分からない。このため、上記第1の実施の形態では、観察対象物2の内部空間3に対する直接操作情報を検出したい場合、例えば、操作者が内視鏡装置の表示部6に表示される画像を見て、挿入部7の位置が特定出来る場所、例えばS字結腸や脾湾曲を抜けた場所でキャリブレーションボタンを押す等の作業が必要である。
これに対して上記第2の実施の形態では、観察対象物2の内部空間3に対する挿入部7の挿抜量と回転量とのうち少なくとも一方を含む直接操作情報DMを推定できる。
[変形例]
次に、挿入部7の挿抜量を推定するその他の方法について図12A、図12Bを参照して説明する。
図12Bは挿入部形状情報Fを示し、3つの湾曲部である第2の頂点部間距離同一領域RW1a、RW2a、RW3aが存在する。そして、図12Aは対象物内部形状情報IMを示し、第2の頂点部間距離同一領域RW1a、RW2a、RW3aの頂点間の間隔、および方向が互いに等しい湾曲部(第2の頂点部間距離同一領域RW1b、RW2b、RW3b)の頂点が存在する。
直接操作情報推定部70は、先ず、挿入部形状における、湾曲部の頂点の座標を特徴部として算出する。これは挿入部形状情報Fから容易に求めることができる。
次に、直接操作情報推定部70は、各頂点の座標間の距離、および相対的な方向を算出する。すなわち、第2の頂点部間距離同一領域RW1a、RW2a、RW3aの相対的な位置関係、間隔を求める。
次に、直接操作情報推定部70は、対象物内部形状情報IMから第2の頂点部間距離同一領域RW1a、RW2a、RW3aの相対的な位置関係と略等しい位置関係にある湾曲部の第2の頂点部間距離同一領域RW1b、RW2b、RW3bを抽出する。
ここで、これらの相対的な位置関係、間隔の情報は、各座標の情報を共通の座標軸上に配置するようにしても良いし、間隔としてのスカラー量の情報と、ベクトルとしての方向情報として求めても良い。また、複数の特徴点の相対的な位置関係を比較できる技術・手法であればどのようなものを用いることも出来る。
第2の頂点部間距離同一領域RW1a、RW2a、RW3aと、第2の頂点部間距離同一領域RW1b、RW2b、RW3bとは、それぞれ同じ位置関係にあると推測できるので、直接操作情報推定部70は、対象物内部形状情報IMに対する挿入部形状情報Fの位置関係も推測することが出来る。この情報に基づいて直接操作情報推定部70は、観察対象物2の内部空間3に対する挿入部の移動の方向、移動の量を求める。
上記の方法により、対象物内部形状情報IMと挿入部形状情報Fが全体的に異なる形状で、挿入部・対象物類似形状領域SFbが抽出できないような場合でも、対象物内部形状情報IMと挿入部形状情報Fにおける第2の頂点部間距離同一領域RW1a、RW2a、RW3a、及びRW1b、RW2b、RW3bを抽出することにより、観察対象物に対し同じ場所にあると判断出来るようになり、観察対象物2の内部空間3に対する挿抜量や回転量を求める事が出来るようになる。
なお、本発明は、上記各実施の形態に限定されるものでない。
上記各実施の形態では、図13に示すように一定形状生成アタッチメント(以下、アタッチメントし省略する)90を設けてもよい。アタッチメント90は、観察対象物2に対して位置が固定される。このアタッチメント90は、筒状に形成され、筒内部に挿入部7が挿抜される。このアタッチメント90には、特徴的な形状として湾曲した湾曲部91が形成されている。このアタッチメント90には、湾曲部91によって当該アタッチメント90内を通過する挿入部7の一部の領域に、一定の湾曲形状を成形するものである。
挿入部7は、観察対象物2に対して挿抜する際に、アタッチメント90内に通過するので、アタッチメント90に対応する領域に湾曲部が形成される。具体的に、アタッチメント90は、例えば、波形をした挿入部7が本アタッチメント90内を通過可能な筒状に形成されているが、その他の形状でもよい。このアタッチメント90は、挿入部7が通過可能な範囲で湾曲等の特徴的な形状を有するのが好ましく、さらには観察対象物2の内部形状が取り得ない形状が好ましい。
アタッチメント90は、湾曲形状に限らず、他の箇所と区別可能であれば、直線形状の筒に形成してもよい。例えばアタッチメント90は、観察対象物2の内部形状が取り得ない長さの直線の筒形状に形成してもよい。図14A乃至図14Cは、それぞれアタッチメント90の他の形状の例を示す。図14Aは湾曲部が形成されたアタッチメント90を示す。図14Bは予め設定された小さな湾曲率で湾曲するアタッチメント90を示す。図14Cは上記のように観察対象物2の内部形状が取り得ない長さの直線の筒形状に形成されたアタッチメント90を示す。
アタッチメント90の筒状の径は、挿入部7の径に対して大きすぎるより、少し大きい程度の方が好ましい。これにより、挿入部7がアタッチメント90の形状に沿うような形状に形成される。挿入部7をアタッチメント90の内部に通過させることで、挿入部7の一部の形状を湾曲等の一定の形状に保つことができる。
又、アタッチメント90は、観察対象物2に対して位置が変化しないように固定する。例えば、観察対象物2における内部空間3の入口80aに差し込むようにしても良いし、テープ等で観察対象物2に固定してもよい。
観察対象物2の内部形状が大きく変化し、例えば図15に示すように、類似形状領域LRや、第1の頂点部間距離同一領域RW1、RW2、RW3を抽出することが困難な場合も考えられる。このように、類似形状領域LRや、第1の頂点部間距離同一領域RW1、RW2、RW3を抽出することが困難な場合でも、アタッチメント90を使用することにより、挿入部7には、観察対象物2に対して一定の位置で、湾曲部91が一定の形状を形成するようになる。そして、アタッチメント90により挿入部7上に形成した湾曲部91等の形状を類似形状領域LRとして抽出し、直接操作情報DMを推定できる。
なお、アタッチメント90は、上記図13において観察対象物2の外部に設置しているが、これに限らず、観察対象物2の内部に設置するようにしてもよい。
上記第1乃至第2の実施の形態は、図16に示すように観察対象物3の内部空間3に対する挿入部7の挿抜量と回転量とのうち少なくとも一方の直接操作情報DMを直接検出する挿抜回転量センサ100を設けてもよい。
このような場合、直接操作情報推定部70は、挿抜回転量センサ100により検出される直接操作情報DMを補正する。
挿抜回転量センサ100は、例えばエンコーダ、又はスペックルセンサで挿入部7の挿抜量又は回転量のいずれか一方又は両方検出する。しかし、エンコーダ又はスペックルセンサは、読み飛ばしにより誤差が発生する可能性があるので、当該誤差を直接操作情報推定部70が推定した直接操作情報DMにより補正する。これにより、直接操作情報推定部70は、より精度の高い挿抜量又は回転量の直接操作情報DMを推定することができる。
また、挿抜回転量センサ100が観察対象物2の内部空間3に対する絶対的な挿抜量又は回転量を検出が出来ないセンサを使用した場合、上記第2の実施の形態における直接操作情報推定部70により推定した観察対象物3の内部空間3に対する挿入部7の挿抜量と回転量とのうち少なくとも一方の直接操作情報DMを用いて補正することにより、観察対象物2の内部空間3に挿入される挿入部7の絶対位置の挿抜量、回転量を推定可能となる。
又、形状センサ8は、光ファイバセンサを用いてきたが、これに限らない。
観察対象物2の内部での挿入部7の形状を検出可能なものであれば、どのようなものでもかまわない。例えば、複数の磁気コイルを挿入部7内に配置し、外部に磁気アンテナを配置したものでもかまわない。この場合、アンテナとの絶対的な位置が確認できるため、前述の挿抜量センサを用いる必要はない。
X線カメラを用いてもかまわない。医療用内視鏡の場合、X線カメラで生体内部での挿入部7の形状、生体との相対位置を確認する手技は古くから知られている。この場合、生体内の臓器の位置、形状などもおおよそ確認できるため、観察対象物2の内面プロファイルの精度や確度の向上にもつなげることが出来る。なお、X線カメラの場合、1台のみを用いると2次元データしか得られない。この場合、上述した構成、動作を2次元的に処理することで対応することが出来る。3次元情報の場合と比較して情報量は減るが、一定程度の効果を奏することが期待できる。
また、上述した全ての実施形態において、内視鏡に搭載するセンサは、形状センサとしての光ファイバセンサ8のみの例を示したが、これに限らない。例えば、図17に示すように、内視鏡の能動湾曲部7bの湾曲操作を検出するために操作ハンドル11の操作量を直接検出できる操作量センサ110を観察対象物2の挿入開口2aに設置し、操作量センサ110からの出力である操作量、すなわち能動湾曲部7bの湾曲量を用いることで、上述した全ての実施形態において形状センサが検出していた挿入部形状情報Fの一部を検出することが出来る。
上述の実施形態、およびその変形例では、内視鏡を題材に例示してきたが、これに限らない。可撓性を有する挿入部7を管孔内に挿入し、所望の作業を行うような挿入/抜去作業システム全てに対し、本発明は好適である。例えば、内視鏡の鉗子チャネルに挿入して処置を行う処置具や鉗子、血管やリンパ管内に挿入して様々な処置を行うカテーテル、さらには工業配管のメンテナンスを行う工業用の様々な観察/補修デバイスなどは特に好適である。これらの挿入/抜去作業システムの一部は能動操作を行う機能を有していない場合がある。その場合は作業者操作情報Lは“湾曲操作”を持たないが、それ以外は上述した説明とほぼ同じ手法、動作、機能により目的を達成することが出来る。
なお、これまで述べてきた実施形態およびその変形例は一例に過ぎず、その趣旨を逸脱しない範囲で様々な変形が可能である。
1:内視鏡システム、2:観察対象物、2a:挿入開口、3:内部空間(空洞)、4:内視鏡本体部、5:内視鏡スコープ部、6:表示部、7:内視鏡挿入部(挿入部)、7a:挿入部の先端部、7b:能動湾曲部、7c:受動湾曲部、7d:撮像素子、7e:対物レンズ、8:形状センサ(光ファイバセンサ)、8a:光吸収体(形状検出部)、9:操作部、10:本体側ケーブル、11:操作ハンドル、12:鉗子チャンネル、13:照明部、21:ビデオプロセッサ、20:光源部、22:支援情報ユニット、23:形状センサユニット、24:ファイバセンサ用光源、25:光検出器、30:検出時挿入部形状算出部(形状算出部)、31:形状センサ制御部、32:挿入部形状時間変化導出部(変化導出部)、33:未然挿入部形状推定部(未然形状推定部)、34:作業者操作情報推定部(操作推定部)、34a:操作情報メモリ、35:情報記憶部、30a:湾曲情報メモリ、40:本体メモリ、50:内面プロファイル情報推定部(プロファイル推定部)、50a:未然情報メモリ、60:観察対象物負荷推定部、70:直接操作情報推定部、70a:形状情報記憶部、80a:挿入部形状情報上における観察対象物の内部空間の入口、80b:挿入部形状情報上における観察対象物の内部空間の入口、90:アタッチメント、91:湾曲部、100:挿抜回転量センサ。110:操作量センサ、111:挿抜量センサ。

Claims (12)

  1. 対象物の内部に挿入して所望の作業を行うための可撓性を有する挿入部と、
    前記挿入部の湾曲を検出し検出信号を出力する形状センサと、
    前記形状センサから出力される前記検出信号に基づいて、前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状算出部と、
    前記挿入部形状情報に基づいて、前記対象物の内部に対する前記挿入部の挿抜量と回転量とのうち少なくとも一方を含む直接操作情報を推定する直接操作情報推定部と、
    を具備し、
    前記形状センサは、それぞれ異なる検出タイミングで前記挿入部の湾曲を検出し、
    前記直接操作情報推定部は、前記検出タイミングの異なる前記挿入部の形状を示す複数の前記挿入部形状情報を記憶する形状情報記憶部を含み、前記複数の挿入部形状情報を比較して前記直接操作情報を推定し、
    前記直接操作情報推定部は、前記複数の挿入部形状情報の比較結果から前記挿入部上における形状が類似している領域を挿入部類似形状領域として抽出し、前記挿入部上における前記挿入部類似形状領域の位置の変化に基づいて前記直接操作情報を推定することを特徴とする挿抜装置。
  2. 対象物の内部に挿入して所望の作業を行うための可撓性を有する挿入部と、
    前記挿入部の湾曲を検出し検出信号を出力する形状センサと、
    前記形状センサから出力される前記検出信号に基づいて、前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状算出部と、
    前記挿入部形状情報に基づいて、前記対象物の内部に対する前記挿入部の挿抜量と回転量とのうち少なくとも一方を含む直接操作情報を推定する直接操作情報推定部と、
    を具備し、
    前記形状センサは、それぞれ異なる検出タイミングで前記挿入部の湾曲を検出し、
    前記直接操作情報推定部は、前記検出タイミングの異なる前記挿入部の形状を示す複数の前記挿入部形状情報を記憶する形状情報記憶部を含み、前記複数の挿入部形状情報を比較して前記直接操作情報を推定し、
    前記直接操作情報推定部は、前記異なる検出タイミングに取得される前記複数の挿入部形状情報を比較して前記挿入部が湾曲している複数の湾曲部位の頂点部の間隔が互いに略等しい領域である第1の頂点部間距離同一領域を抽出し、前記挿入部上における前記第1の頂点部間距離同一領域の位置の変化に基づいて前記直接操作情報を推定することを特徴とする挿抜装置。
  3. 対象物の内部に挿入して所望の作業を行うための可撓性を有する挿入部と、
    前記挿入部の湾曲を検出し検出信号を出力する形状センサと、
    前記形状センサから出力される前記検出信号に基づいて、前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状算出部と、
    前記挿入部形状情報に基づいて、前記対象物の内部に対する前記挿入部の挿抜量と回転量とのうち少なくとも一方を含む直接操作情報を推定する直接操作情報推定部と、
    を具備し、
    前記直接操作情報推定部は、前記対象物の内部の形状である対象物内部形状情報を記憶する記憶部を含み、前記挿入部形状情報と前記対象物内部形状情報とに基づいて前記直接操作情報を推定することを特徴とする挿抜装置。
  4. 前記直接操作情報推定部は、前記挿入部形状情報と前記対象物内部形状情報とを比較し、前記挿入部形状が類似している領域である挿入部・対象物類似形状領域を抽出し、前記挿入部上における前記挿入部・対象物類似形状領域の位置と、前記挿入部・対象物類似形状領域に対応する前記対象物の位置関係とに基づいて前記直接操作情報を推定することを特徴とする請求項3に記載の挿抜装置。
  5. 前記直接操作情報推定部は、前記挿入部形状情報と前記対象物内部形状情報とを比較し、前記挿入部が湾曲している複数の湾曲部位の頂点部の間隔が互いに略等しい領域である前記挿入部上の第2の頂点部間距離同一領域を抽出し、当該第2の頂点部間距離同一領域の位置に基づいて前記直接操作情報を推定することを特徴とする請求項3に記載の挿抜装置。
  6. 前記直接操作情報推定部は、前記挿入部形状情報と前記対象物内部形状情報とに基づいて前記挿入部上における前記対象物の特定部位の位置を推定することを特徴とする請求項3に記載の挿抜装置。
  7. 前記直接操作情報推定部は、前記挿入部形状情報に対する前記対象物の特定部位の位置から前記直接操作情報を推定することを特徴とする請求項6に記載の挿抜装置。
  8. 前記対象物に対する位置が固定され、前記挿入部の一部の領域を湾曲させて一定の形状に成形する一定形状生成アタッチメントを含むことを特徴とする請求項1に記載の挿抜装置。
  9. 前記形状センサは、前記挿入部に搭載されたファイバセンサを含むことを特徴とする請求項1に記載の挿抜装置。
  10. 前記直接操作情報を直接検出する挿抜回転量センサを含み、
    前記直接操作情報推定部は、前記挿抜回転量センサにより検出された前記直接操作情報を補正する、
    ことを特徴とする請求項1に記載の挿抜装置。
  11. 前記挿入部は、前記対象物の内表面を観察するための内視鏡挿入部を含むことを特徴とする請求項1に記載の挿抜装置。
  12. コンピュータに、
    対象物の内部に挿入される可撓性を有する挿入部の湾曲を検出する形状センサから出力される検出信号を入力する入力機能と、
    前記入力機能により入力された前記検出信号に基づいて、前記挿入部の形状を示す挿入部形状情報を算出する挿入部形状取得機能と、
    前記挿入部形状情報に基づいて前記対象物の内部に対する前記挿入部の挿抜量と回転量とのうち少なくとも一方を含む直接操作情報を推定する直接操作情報推定機能と、
    を実現する挿入部の直接操作推定プログラムであって、
    前記形状センサは、それぞれ異なる検出タイミングで前記挿入部の湾曲を検出し、
    前記直接操作情報推定機能は、
    形状情報記憶部に記憶された前記検出タイミングの異なる前記挿入部の形状を示す複数の前記挿入部形状情報を比較する機能と、
    前記複数の挿入部形状情報の比較結果から前記挿入部上における形状が類似している領域を挿入部類似形状領域として抽出する機能と、
    前記挿入部上における前記挿入部類似形状領域の位置の変化に基づいて前記直接操作情報を推定する機能と、
    を含むことを特徴とする挿入部の直接操作推定プログラム。
JP2017510832A 2015-04-07 2015-04-07 挿抜装置及び挿入部の直接操作推定プログラム Active JP6442601B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/060842 WO2016162947A1 (ja) 2015-04-07 2015-04-07 挿抜装置、挿入部の直接操作推定方法及び挿入部の直接操作推定プログラム

Publications (2)

Publication Number Publication Date
JPWO2016162947A1 JPWO2016162947A1 (ja) 2018-02-01
JP6442601B2 true JP6442601B2 (ja) 2018-12-19

Family

ID=57072680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017510832A Active JP6442601B2 (ja) 2015-04-07 2015-04-07 挿抜装置及び挿入部の直接操作推定プログラム

Country Status (4)

Country Link
US (1) US10502693B2 (ja)
JP (1) JP6442601B2 (ja)
CN (1) CN107529939B (ja)
WO (1) WO2016162947A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210095581A (ko) * 2020-01-23 2021-08-02 (주)엘메카 의료용 석션기의 제어 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3037056B1 (en) * 2014-12-23 2021-04-21 Stryker European Holdings I, LLC System for reconstructing a trajectory of an optical fiber
JP6535689B2 (ja) * 2015-01-30 2019-06-26 オリンパス株式会社 未然形状推定装置、挿入/抜去作業システム、挿入/抜去作業支援システム及び未然形状推定プログラム
WO2021071724A1 (en) * 2019-10-07 2021-04-15 Boston Scientific Scimed, Inc. Devices, systems, and methods for positioning a medical device within a body lumen

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4914574B2 (ja) 2005-04-18 2012-04-11 オリンパスメディカルシステムズ株式会社 内視鏡形状検出装置
JP2007044412A (ja) 2005-08-12 2007-02-22 Pentax Corp 内視鏡挿入形状検出プローブ
JP5751515B2 (ja) * 2011-08-19 2015-07-22 国立大学法人 香川大学 内視鏡用挿入補助器具
JP6128796B2 (ja) * 2012-10-25 2017-05-17 オリンパス株式会社 挿入システム、挿入支援装置、挿入支援装置の作動方法及びプログラム
JP6108812B2 (ja) * 2012-12-17 2017-04-05 オリンパス株式会社 挿入装置
JP6027947B2 (ja) * 2013-07-26 2016-11-16 オリンパス株式会社 マニピュレータシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210095581A (ko) * 2020-01-23 2021-08-02 (주)엘메카 의료용 석션기의 제어 장치
KR102512385B1 (ko) 2020-01-23 2023-03-22 (주)엘메카 의료용 석션기의 제어 장치

Also Published As

Publication number Publication date
WO2016162947A1 (ja) 2016-10-13
US20180031493A1 (en) 2018-02-01
JPWO2016162947A1 (ja) 2018-02-01
US10502693B2 (en) 2019-12-10
CN107529939B (zh) 2019-08-27
CN107529939A (zh) 2018-01-02

Similar Documents

Publication Publication Date Title
US11911011B2 (en) Endolumenal object sizing
US11771309B2 (en) Detecting endolumenal buckling of flexible instruments
US20200268459A1 (en) Flexible instrument insertion using an adaptive insertion force threshold
AU2017388217B2 (en) Apparatus for flexible instrument insertion
CN108778113B (zh) 管状网络的导航
JP6442601B2 (ja) 挿抜装置及び挿入部の直接操作推定プログラム
US10765299B2 (en) Future shape estimation apparatus, insertion/removal system, insertion/removal support system, future shape estimation method, and recording medium non-transitory storing future shape estimation program
JP5159995B2 (ja) 内視鏡システム
CN106999153B (zh) 在末端不固定的情况下使用光学形状感测对超声探头的自动跟踪和配准
JP5788623B2 (ja) 内視鏡システム
US20180235716A1 (en) Insertion unit support system
US7871370B2 (en) Endoscope-shape monitoring system
JP2014151102A (ja) 管状装置の相対位置検出システム及び内視鏡装置
US10267624B2 (en) System and method for reconstructing a trajectory of an optical fiber
JP2015159955A (ja) 手術システムおよび医療器具の干渉回避方法
US20230015694A1 (en) Distal tip tracking and mapping
JP7110351B2 (ja) 内視鏡システム及び制御装置
US20190374089A1 (en) Flexible tube insertion apparatus and flexible tube insertion method
US20220322917A1 (en) Endoscope processor, endoscope, and endoscope system
US20200205902A1 (en) Method and apparatus for trocar-based structured light applications
JP2006102177A (ja) 内視鏡装置
JP2013252387A (ja) 医療用画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181126

R151 Written notification of patent or utility model registration

Ref document number: 6442601

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250