JP6265627B2 - 内視鏡装置及び内視鏡装置の作動方法 - Google Patents

内視鏡装置及び内視鏡装置の作動方法 Download PDF

Info

Publication number
JP6265627B2
JP6265627B2 JP2013108583A JP2013108583A JP6265627B2 JP 6265627 B2 JP6265627 B2 JP 6265627B2 JP 2013108583 A JP2013108583 A JP 2013108583A JP 2013108583 A JP2013108583 A JP 2013108583A JP 6265627 B2 JP6265627 B2 JP 6265627B2
Authority
JP
Japan
Prior art keywords
information
treatment tool
notification
blood vessel
specific part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013108583A
Other languages
English (en)
Other versions
JP2014226341A (ja
JP2014226341A5 (ja
Inventor
田中 哲
哲 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013108583A priority Critical patent/JP6265627B2/ja
Priority to CN201480029669.1A priority patent/CN105228501A/zh
Priority to EP14801451.7A priority patent/EP3001941A4/en
Priority to PCT/JP2014/052039 priority patent/WO2014188740A1/ja
Publication of JP2014226341A publication Critical patent/JP2014226341A/ja
Priority to US14/922,476 priority patent/US20160038004A1/en
Publication of JP2014226341A5 publication Critical patent/JP2014226341A5/ja
Application granted granted Critical
Publication of JP6265627B2 publication Critical patent/JP6265627B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00087Tools
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32Surgical cutting instruments
    • A61B17/3209Incision instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042Determining blood loss or bleeding, e.g. during a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32Surgical cutting instruments
    • A61B17/320016Endoscopic cutting instruments, e.g. arthroscopes, resectoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14Probes or electrodes therefor
    • A61B18/1402Probes for open surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00022Sensing or detecting at the treatment site
    • A61B2017/00057Light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2074Interface software
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/061Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/062Measuring instruments not otherwise provided for penetration depth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08Accessories or related features not otherwise provided for
    • A61B2090/0801Prevention of accidental cutting or pricking
    • A61B2090/08021Prevention of accidental cutting or pricking of the patient or his organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08Accessories or related features not otherwise provided for
    • A61B2090/0807Indication means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983Reference marker arrangements for use with image guided surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Robotics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Gynecology & Obstetrics (AREA)
  • Vascular Medicine (AREA)
  • Endoscopes (AREA)
  • Orthopedic Medicine & Surgery (AREA)

Description

本発明は、内視鏡装置及び内視鏡装置の作動方法等に関する。
手術において処置具が危険部位に近づいたことをユーザーに通知する手術支援システムが知られている。例えば特許文献1には、手術中に処置具が接触してはならない危険部位等の指定部位と処置具との相対的な位置関係を手術者に知らせることができる手術支援システムが公開されている。この手術支援システムでは、予め取得した生体組織の画像データから生体組織のモデルを作成するモデル作成部と、処置具の先端と指定部位の離間距離を求める離間距離演算部と、離間距離が所定の閾値以下である場合に接近状態であると判断する判定部とを備え、手術中における生体組織及び処置具の位置データに基づいて、当該処置具が生体組織内の指定部位に接近していることを知らせる。
特開2009−233240号公報
しかしながら、上記の手法では、例えば指定部位を血管等の特定部位とした場合に、処置具と特定部位との間の距離のみを用いて処置具が特定部位に接近したことを通知するので、処置具の特性或は特定部位の特性を考慮に入れると必要でない場合でも通知が行われるという課題がある。
本発明の幾つかの態様によれば、処置具の特性或は特定部位の特性を考慮に入れて、処置具が特定部位に接近したことを通知できる内視鏡装置及び内視鏡装置の作動方法等を提供できる。
本発明の一態様は、特定部位と処置具との間の距離に関する距離情報を取得する距離情報取得部と、前記特定部位の特性情報である特定部位情報及び前記処置具の特性情報である処置具情報の少なくとも一方と、前記距離情報とに基づいて、前記特定部位と前記処置具との間の関連度を取得する関連度取得部と、前記関連度に基づく通知処理を行う通知処理部と、を含む内視鏡装置に関係する。
本発明の一態様によれば、特定部位の特性情報である特定部位情報及び処置具の特性情報である処置具情報の少なくとも一方と、特定部位と処置具との間の距離情報とに基づいて、特定部位と処置具との間の関連度が取得される。これにより、処置具の特性或は特定部位の特性を考慮に入れて、処置具が特定部位に接近したことを通知可能になる。
また本発明の更に他の態様は、特定部位と処置具との間の距離に関する距離情報を取得し、前記特定部位の特性情報である特定部位情報及び前記処置具の特性情報である処置具情報の少なくとも一方と、前記距離情報とに基づいて、前記特定部位と前記処置具との間の関連度を取得し、前記関連度に基づく通知処理を行う内視鏡装置の作動方法に関係する。
本実施形態の内視鏡装置の基本構成例。 第1実施形態における内視鏡装置の構成例。 距離情報と関連度を対応付けたルックアップテーブルの例。 関連度通知の例。 第2実施形態における内視鏡装置の構成例。 第3実施形態における内視鏡装置の構成例。 特殊光画像の例。 第4実施形態における内視鏡装置の構成例。 切開能力と距離情報と関連度を対応付けたルックアップテーブルの例。 第5実施形態における内視鏡装置の構成例。 第6実施形態における関連度通知の例。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の概要
まず本実施形態の概要について説明する。上述したように、特許文献1の手法では、処置具と指定部位との間の距離のみを用いて処置具が指定部位に接近したことを通知するので、処置具の特性或は指定部位の特性を考慮に入れると必要でない場合でも通知が行われるという課題がある。
また、特許文献1の手法では、例えばMRI等を用いて予め生体組織の画像データを取得しておく必要があり、また、手術を行う際には処置具の位置データを検出するために位置検出装置が必要な構成となっている。そのため、装置が大がかりであるという課題がある。
また、位置検出装置をコンパクトにするという点では、例えば立体内視鏡を用いて画像から処置具を検出することが考えられる。しかしながら、例えばナイフ等を用いて処置を行っている場合、処置具の先端が生体内に隠れて撮像されない可能性がある。そのため、単に立体内視鏡の画像を用いただけでは、そもそも処置具が指定部位に接近していることを検出できない可能性がある。
そこで図1に示すように、本実施形態の内視鏡装置は、距離情報取得部120と関連度取得部130と通知処理部140とを含む。距離情報取得部120は、特定部位と処置具(例えばナイフ)との間の距離に関する距離情報を取得する。関連度取得部130は、特定部位の特性情報である特定部位情報及び処置具の特性情報である処置具情報の少なくとも一方と、距離情報とに基づいて、特定部位と処置具との間の関連度を取得する。そして通知処理部140は、関連度に基づく通知処理を行う。
このようにすれば、処置具から特定部位までの距離だけでなく、特定部位の特性や処置具の特性に基づいて特定部位と処置具との間の関連度をユーザーに通知することができる。これにより、単に処置具が特定部位に接近したことだけでなく、処置具が特定部位に及ぼす影響や通知の必要性を考慮して関連度を取得し、その関連度をユーザーに通知することが可能となる。
また、特定部位と処置具を撮像画像から検出する構成とした場合には、撮像画像から特定部位と処置具の間の距離を求めることができるので、予めMRI等を用いて指定部位の画像を取得しておく必要がなくなり、装置をコンパクトに構成できる。なお、特定部位や処置具の位置は撮像画像から検出する場合に限定されず、本実施形態では種々の位置検出手法を適用することが可能である。
また、処置具の特性情報を用いることにより、処置具の全体が撮像画像に写っていない場合であっても、処置具から特定部位までの関連度を取得することが可能となる。例えば、処置具の物理的なサイズ情報を処置具の特性情報として取得した場合、処置具の一部が写っていれば、そこから処置具の先端の位置をサイズ情報に基づいて推定し、その処置具の先端から特定部位までの距離を推定できる。
ここで、特定部位とは、内視鏡装置の処置具により処置を行う領域において、危険な部位或は注意すべき部位のことである。即ち、処置具(例えば電気メスや超音波メス等)によって処置(例えば切開や止血等)を行っている際に、ユーザーが意図せず傷付けてしまうと生体組織に危害が及ぶ可能性のある部位である。例えば、特定部位としては、血管や神経、尿管等の線状又は管状の部位が想定される。
ここで、距離情報とは、特定部位と処置具との間の距離に関するものであればよく、処置具から特定部位までの距離そのものでなくともよい。即ち、距離の基準点は処置具の先端である必要はなく、任意に設定した所定位置であればよい。例えば、距離の基準点は、処置具の根元や撮像部(スコープ)の先端等であってもよい。処置具は撮像部の先端から挿入され、形状やサイズが決まっているため、処置具からの距離に代えて上記のような基準点からの距離を用いることが可能である。また、距離の終点についても、処置具に最も近い特定部位の位置に限定されない。例えば、処置具としてナイフを用いる場合、ナイフの切開方向(刃先の延長線上)における特定部位の位置を距離の終点としてもよい。本実施形態では、処置具が特定部位に及ぼす影響(例えば特定部位が血管である場合に、出血させる可能性)を関連度として取得するので、その処置具の影響を受ける特定部位の位置を距離の終点とすればよい。
また、距離情報は、2次元距離の情報であってもよいし3次元距離の情報であってもよい。2次元距離としては、例えば画像上における2点間の距離が考えられる。3次元距離としては、例えばステレオ撮影により2点の3次元位置を求め、その3次元位置から2点の3次元距離を求める手法が考えられる。或は、オートフォーカスを用いて奥行き方向の距離を推定し、その奥行き方向の距離と画像上における2点間の距離とに基づいて2点の3次元距離を求める手法が考えられる。或は、特定部位が血管である場合に、後述するNBI等の手法により生体表面から血管までの深さを求め、その深さと画像上における2点間の距離により3次元距離を推定してもよい。或は、リアルタイムの撮像画像のみから距離を求める手法でなく、予めMRI等で取得した特定部位の位置と、超音波エコーやGPS等の位置検出手法により取得した処置具の位置とを用いて距離を求めてもよい。
また、関連度とは、処置具が特定部位に及ぼす影響のクリティカル度をユーザーに判断させるための指標である。例えば、処置具が特定部位に及ぼす影響としては、血管を傷つけて出血させることが考えられる。この場合、その出血の可能性が高いほど、或は出血量が多いと予想されるほどクリティカル度が高いことになり、関連度を大きくする。具体的には、出血の可能性や出血量は、処置具の切開能力や血管の太さ等の特性によって変わるので、処置具の切開能力が高いほど、或は血管が太いほど関連度を大きくする。
なお、処置具が特定部位に及ぼす影響が実際に危険であるか否かは、あくまでもユーザー(医師)が判断することであり、関連度はその判断をアシストするための指標である。即ち、処置を行うなかで意図的に特定部位を切断する場合には、仮に関連度が高くともユーザーは危険と判断するとは限らない。一方、特定部位を傷つけないように処置を行いたい場合には、関連度が高ければ、ユーザーに注意を促すことが可能である。
また、処置具の特性情報とは、処置具が有する特性に対応した情報である。例えば、処置具がナイフである場合、その切開能力に対応する情報として、ナイフに流す電流値やナイフに印加する電圧値、ナイフの材質、刃の形状、刃のサイズ、設定した処置モード(例えば止血モードや切開モード)等が想定される。或は、処置具を用いる部位(例えば下部消化管、上部消化管等)の情報や、処置具の種類や用途を表す情報、処置具に対応付けられたID情報等であってもよい。
また、特定部位の特性情報とは、処置の対象部に存在する特定部位が有する特性に対応した情報である。例えば、特定部位が血管である場合には、血管の種類(例えば動脈や静脈、末梢血管)や、血管の太さ、血管が存在する部位(例えば下部消化管、上部消化管等)、血管が存在する組織(例えば粘膜や脂肪、筋肉)等を表す情報が想定される。例えば血管は撮像画像から画像処理によって認識することが可能であり、その認識した血管の幅(例えば画素数)を検出することによって血管の太さを知ることが可能である。
2.第1実施形態
次に、本実施形態の詳細な構成について説明する。本実施形態の内視鏡装置としては、消化器(例えば食道や胃等の上部消化管や、或は大腸等の下部消化管)に挿入して診察・処置を行う消化器内視鏡装置や、外科手術において手術部位(例えば脳や腹部、関節等)に挿入することにより手術部位を撮影する外科内視鏡装置を想定できる。
なお、以下では特定部位が血管である場合を例に説明するが、本実施形態はこれに限定されない。即ち上述のように、特定部位は、内視鏡装置の処置具により処置を行う領域において、危険な部位或は注意すべき部位であればよい。
図2に、第1実施形態における内視鏡装置の構成例を示す。この内視鏡装置は、撮像部200(スコープ部)、プロセッサー部300、表示部400を含む。第1実施形態では、撮像画像から処置具及び血管(特定部位)を検出し、それらの間の画像平面上での2次元距離を求め、その2次元距離に基づいて関連度を取得し、その関連度をユーザーに通知する。
具体的には、撮像部200は、例えばCCDやCMOSセンサー等に代表される撮像素子を有する。撮像部200は、その撮像素子により被写体を撮像し、その撮像した画像データをプロセッサー部300へ出力する。また、撮像部200は、鉗子やナイフ等の処置具210や、不図示の照明光学系(例えばライトガイドファイバーやレンズ等)、操作部(例えばスコープ先端を操作する操作系や、処置具を操作する操作系、モード設定ボタン等)を有する。また、撮像部200は、プロセッサー部300に対して着脱可能に構成されており、例えば使用部位等に応じて交換できるようになっている。
プロセッサー部300は、撮像画像に対する画像処理や、内視鏡装置の各部の制御を行う。プロセッサー部300は、画像取得部110、距離情報取得部120、関連度取得部130、通知処理部140、画像処理部150、表示制御部160を含む。
画像取得部110は、撮像部200から送信される撮像画像(画像データ)を受信し、その撮像画像を画像処理部150と距離情報取得部120へ出力する。
画像処理部150は、撮像画像に対して種々の画像処理を行う。例えば、ホワイトバランス処理やガンマ補正処理、強調処理、拡大・縮小処理、歪み補正処理、ノイズリダクション処理等を行う。
距離情報取得部120は、撮像画像から処置具及び血管を検出し、その検出した処置具と血管との間の2次元距離を求める。処置具は多くの場合、金属で構成されているため、それを利用して処置具を検出する手法が考えられる。例えば、撮像画像を輝度画像に変換し、所定閾値以上の輝度値を有する画素を検出し、その画素のまとまりを輪郭検出することによってグルーピングし、所定の画素数以上のグループを処置具として検出する。血管についても同様に、血管の無い部分との輝度の差等から検出する手法が考えられる。そして、検出した画素グループの先端を処置具の先端とみなし、その先端から血管までの距離を算出する。なお、処置具や血管の検出手法は上記に限定されず、例えば色差画像(CrやCb)等を用いて色の特徴から処置具や血管を検出してもよい。なお、特定部位が神経である場合、例えば神経を蛍光発光させる薬剤を投与することにより神経を撮像可能にでき、画像から神経を検出することが可能である。また、特定部位が尿管である場合、例えば近赤外蛍光プローブであるICG(インド・シアニン・グリーン)を投与すると生体を循環し、その蛍光を観察することで画像として構造を認識可能である。
関連度取得部130は、距離情報取得部120によって取得された2次元距離に基づいて関連度を取得する。具体的には、処置具から血管までの2次元距離が近いほど関連度を大きくする。例えば、図3に示すように、関連度取得部130はルックアップテーブルを記憶しており、そのルックアップテーブルを参照することにより2次元距離を関連度に変換する。ここでD1>D2>D3>D4である。或は、関連度取得部130は、2次元距離を関連度に対応付ける関数により関連度を算出してもよい。2次元距離をDとする場合、例えば関連度はf(D)=α/D等と表される。ここでαは所定係数である。
通知処理部140は、関連度取得部130により取得された関連度を、表示制御部160を介してユーザーに通知する形式に変換して通知する処理を行う。図4に、関連度通知の例を示す。表示部400に表示する画像には、血管11や処置具12等が写った撮像画像を表示する画像表示エリア10と、関連度を表示する関連度表示エリア20とが設けられている。例えば、通知処理部140は、関連度が第1閾値以上である場合に関連度が高いことを表す赤色を関連度表示エリア20に表示させ、関連度が第1閾値未満であり第2閾値以上である場合に関連度が中程度であることを表す黄色を関連度表示エリア20に表示させ、関連度が第2閾値未満である場合に関連度が低いことを表す黒色を関連度表示エリア20に表示させる。なお、関連度の通知手法は画像表示に限定されず、例えば音や振動、LEDの点灯等によって通知を行ってもよい。
以上の第1実施形態によれば、内視鏡スコープから出力される画像データから、処置具と特定部位(例えば血管)の位置情報を算出し、それぞれの距離情報を取得することにより、処置具と特定部位の相互間の距離を近接度として導き出すことができる。その近接度を関連度として、ユーザーに通知することができる。ユーザーは関連度をモニター上で確認しながら、処置具を操作することにより、誤って特定部位に接近または接触し、特定部位を傷付ける(例えば血管から出血させる)リスクを削減することができる。
3.第2実施形態
図5に、第2実施形態における内視鏡装置の構成例を示す。この内視鏡装置は、撮像部200、プロセッサー部300、表示部400を含む。プロセッサー部300は、画像取得部110、距離情報取得部120、関連度取得部130、通知処理部140、画像処理部150、表示制御部160を含む。なお第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
第2実施形態では、処置具と血管との間の3次元距離(相対距離)を求め、その3次元距離に基づいて関連度を取得する。
具体的には、撮像部200は、処置具210と、ステレオ画像を撮影可能なステレオ光学系220と、を有する。ステレオ光学系220は、例えば視差を有する2つの撮像光学系を配置して構成される。距離情報取得部120は、その視差を有するステレオ画像をマッチング処理して画像上の各位置での奥行き方向の距離を算出する。そして、距離情報取得部120は、ステレオ画像から処置具と血管を検出し、マッチング処理で検出した奥行き方向の距離から処置具と血管の3次元位置を検出し、その間の3次元距離を求める。関連度取得部130は、第1実施形態と同様にして3次元距離を関連度に変換し、通知処理部140へ出力する。
なお、処置具と血管の3次元位置を検出する手法は、上記のようなステレオ撮影に限定されない。例えば、撮像部200がオートフォーカスを行う光学系を有し、そのオートフォーカスにより処置具や血管にフォーカスが合ったときのレンズ位置から処置具や血管までの奥行き方向の距離を推定してもよい。或は、撮像部200の先端から照射する照明光が、被写体が遠いほど暗くなることを利用して、画像の明るさから処置具や血管までの奥行き方向の距離を推定してもよい。
以上の第2実施形態によれば、距離情報取得部120は、特定部位と処置具210との間の相対距離(3次元距離)を距離情報として取得する。そして関連度取得部130は、相対距離が小さいほど関連度を大きくする。
このようにすれば、処置具210が特定部位に接近している場合ほど高い関連度をユーザーに通知することができる。これにより、現状の処置具210と特定部位の配置関係で処置を進めた場合に特定部位を傷付ける(例えば血管から出血させる)危険性があるか否かを、ユーザーが判断させることが可能となり、より安全な処置をサポートすることができる。
さて、従来技術(例えば特許文献1等)では、例えばMRI等により予め取得した生体組織(危険部位)の画像データと、処置具の位置を検出する位置検出装置が必要な構成である。そのため、装置が大がかりであるという課題がある。
この点、本実施形態では、画像取得部110は、撮像部200により撮像された、特定部位(例えば血管)及び処置具の像を含む撮像画像を取得する。距離情報取得部120は、撮像画像から処置具210及び特定部位の位置を検出し、その検出した処置具210及び特定部位の位置に基づいて処置具210から特定部位までの距離情報を取得する。
このようにすれば、事前に特定部位の画像データを取得しておく必要がないため、処置具210が特定部位に接近していることを撮像画像からリアルタイムに検出し、ユーザーに関連度として通知することができる。また、事前に特定部位の画像データを取得するための装置や、撮像画像以外から処置具210の位置を検出する装置(例えば超音波画像装置やMRIやGPS送受信装置)が不要となるため、装置をコンパクトに構成できる。
また、上述の従来技術において、立体内視鏡を用いて処置具や危険部位の位置を検出することも考えられるが、処置具や危険部位が必ずしも撮像されるとは限らない。そのため、立体内視鏡の画像データのみでは、処置具が危険部位に接近していることを検出できない可能性がある。なお特許文献1では、この課題に対する対応策については無言である。
この点、本実施形態では、後述のように必ず見えている部分(例えば処置具の柄)に検出用のマークを付し、画像から検出したマークの位置と処置具のサイズ情報とに基づいて、生体内部に隠れた処置具の先端位置を検出することが可能である。或は、後述するNBIを用いることで生体深部の血管を撮像し、その位置を検出することが可能である。このように、本実施形態によれば、画像のみから処置具や特定部位の位置を検出することが可能であり、従来技術のような大がかりな装置は不要である。
4.第3実施形態
図6に、第3実施形態における内視鏡装置の構成例を示す。この内視鏡装置は、撮像部200、プロセッサー部300、表示部400、光源部500を含む。プロセッサー部300は、画像取得部110、距離情報取得部120、関連度取得部130、通知処理部140、画像処理部150、表示制御部160、光源制御部190を含む。なお第1、第2実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
第3実施形態では、深部血管を撮像することが可能な特殊光による撮像画像を取得し、その撮像画像から深部血管を検出し、その深部血管の被写体からの深さ(深度)を用いて処置具から深部血管までの距離情報を取得し、その距離情報に基づいて関連度を取得する。
具体的には、光源部500は、白色の波長帯域を有する通常光(白色光)と、特定の波長帯域を有する特殊光とを照明光として発生する。例えば、光源部500は、通常光を発生する光源と特殊光を透過するフィルターとを有し、そのフィルターを光路に挿入していない場合には通常光を出射し、フィルターを光路に挿入している場合には特殊光を出射する。或は、光源部500は、通常光を発生する光源と特殊光を発生する光源とを有し、それらの光源を切り替えて通常光と特殊光を出射してもよい。
光源制御部190は、光源部500を制御するものであり、通常光と特殊光を切り替えて照明光として出射させる制御を行う。通常光と特殊光の切り替えは、例えばユーザーからの指示に基づいて行われてもよいし、或は自動的に交互に切り替えて照射されてもよい。
特定の波長帯域は、白色の波長帯域(例えば380nm〜650nm)よりも狭い帯域であり(NBI: Narrow Band Imaging)、血液中のヘモグロビンに吸収される波長の波長帯域である。より具体的には、ヘモグロビンに吸収される波長は、390nm〜445nm(B2成分、第1の狭帯域光)、または530nm〜550nm(G2成分、第2の狭帯域光)である。なお、390nm〜445nmや530nm〜550nmの波長帯域は、ヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。即ち、これらの波長帯域に限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が0〜10%程度減少し、上限値が0〜10%程度上昇することも考えられる。
撮像部200は、例えば通常のRGB撮像素子により特殊光を撮像する。そして、画像取得部110は、撮像部200から入力される画像のB成分(即ちB2成分)と、撮像部200から入力される画像のG成分(即ちG2成分)とを、それぞれ特殊光画像として取得する。図7に、特殊光画像の例を示す。特殊光のB2成分とG2成分は、生体表面より深い部分に存在する深部血管を撮影することができるため、特殊光画像にはB2成分による深部血管13とG2成分による深部血管14が写っている。B2成分とG2成分で到達できる生体表面からの深さが異なっているため、深部血管13、14の深さは異なっている。
距離情報取得部120は、B2成分の画像とG2成分の画像から血管を検出する。各成分で写る血管の深さは予め分かっているため、その深さを血管の奥行き方向の距離情報として取得する。そして、画像平面上での処置具及び血管の位置と、B2、G2成分での血管の深さとに基づいて、処置具から血管までの3次元距離を算出する。関連度取得部130は、その3次元距離を第1実施形態と同様の手法で関連度に変換する。
なお本実施形態では、次のような特殊光画像を取得してもよい。即ち、画像取得部110は、撮像部200から入力される画像のG成分(即ちG2成分)をRチャンネルに入力し、撮像部200から入力される画像のB成分(即ちB2成分)をG、Bチャンネルに入力することにより、特殊光画像を取得してもよい。このような特殊光画像により、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することが可能となり、病変部の見落としを抑止することができる。
なお上記では、通常光と特殊光を切り替えて特殊光画像を取得する場合を例に説明したが、本実施形態ではこれに限定されない。例えば、いわゆる面順次方式により通常光画像と特殊光画像を取得してもよい。この場合、光源部500は、通常光としてR成分、G成分、B成分の光と、特殊光としてB2成分、G2成分の光とを順次出射する。撮像部200は、例えばモノクロ撮像素子により各成分の光を撮像する。そして、画像取得部110は、R成分、G成分、B成分の画像から通常光画像を取得し、B2成分、G2成分の画像から特殊光画像を取得する。或は、本実施形態では、光源部500は通常光(白色光)のみを出射し、撮像部200が、特殊光を透過するフィルターを備える撮像素子を有し、その撮像素子により特殊光画像を撮影してもよい。
以上の第3実施形態によれば、画像取得部110は、特定の波長帯域(B2成分、G2成分)における情報を有した被写体の像を含む特殊光画像を撮像画像として取得する。そして、距離情報取得部120は、被写体の表面から、特殊光画像に撮影された特定部位(例えば図7の深部血管13、14)までの深さ(B2成分、G2成分の各成分で撮影できる深部血管の深さ)の情報を取得する。距離情報取得部120は、その取得した深さの情報に基づいて、特定部位と処置具210との間の距離情報を取得する。
このようにすれば、特定の波長帯域の照明光を照射することにより、被写体の特定部位を深部の特定部位も含め、より正確に撮像することができる。また、その特殊光により撮影された深部の特定部位の深さの情報を取得することで、特定部位の位置を3次元情報として取得できる。これにより、処置具210と特定部位の距離(つまり深さ方向も含めた情報)を正確に近接度として取得でき、より正確な関連度の情報としてユーザーに通知できる。
5.第4実施形態
図8に、第4実施形態における内視鏡装置の構成例を示す。この内視鏡装置は、撮像部200、プロセッサー部300、表示部400を含む。プロセッサー部300は、画像取得部110、距離情報取得部120、関連度取得部130、通知処理部140、画像処理部150、表示制御部160、処置具情報取得部170、切開能力取得部175、メモリー230を含む。なお第1〜第3実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
ここで、以下では処置具210がナイフである場合を例に説明するが、本実施形態では処置具210はナイフに限定されず、血管を傷つける可能性がある種々の処置具を想定できる。
第4実施形態では、処置具210であるナイフの特性情報に基づいてナイフの切開能力(切開度)を取得し、その切開能力とナイフから血管までの距離情報とに基づいて関連度を取得する。
具体的には、処置具情報取得部170は、ナイフ(処置具210)の特性情報を処置具情報として取得する。ナイフの特性情報は、例えばプロセッサー部300のメモリー230に記憶されている。プロセッサー部300では、使用している処置具を認識して、メモリー230より処置具情報を取得する。メモリー230には、例えばナイフの用途や使用部位、サイズ、形状等の情報が特性情報として記憶されている。また、ナイフの特性情報は、ユーザーの操作情報として入力されてもよい。例えば、ナイフが電気メスである場合、ナイフに流す電流値や印加する電圧値等がユーザーにより設定される。或は、ナイフの処置モード(例えば、切開のみを行う切開モードや、切開と同時に止血を行う止血モード等)がユーザーにより設定される。
切開能力取得部175は、処置具情報取得部170が取得した処置具情報(ナイフの特性情報)に基づいて、ナイフの切開能力を取得する。例えば、処置具情報と切開能力を対応付けたルックアップテーブルを記憶しておき、そのルックアップテーブルを参照して切開能力を取得する。或は、処置具性能を引数として切開能力を算出する関数により切開性能を取得してもよい。ここで切開能力とは、ナイフが生体を切開する能力を表す情報であり、例えばユーザーの指示によりナイフに電流を流した(又は電圧を印加した)ときに、生体が切開される範囲(例えば長さ、深さ等)である。
関連度取得部130は、ナイフの切開能力とナイフから血管までの距離情報とに基づいて、関連度を取得する。例えば図9に示すように、切開能力SA〜SCに対して距離Dと関連度の対応関係が決められたルックアップテーブルを参照し、関連度を取得する。図9の例では、切開能力がSA<SB<SCであるとすると、例えば、同一の距離Dが距離範囲D1a≧D>D2a、D2b≧D>D3b、D3c≧D>D4cに属する。この場合、切開能力SAでは関連度1、切開能力SBでは関連度2、切開能力SCでは関連度3となる。即ち、切開能力が高いほど、同一の距離Dに対して大きな関連度が参照される。或は、関連度取得部130は、切開能力と距離情報を関連度に対応付ける関数により関連度を算出してもよい。切開能力をSとし、距離をDとする場合、例えば関連度はf(S,D)=βS/D等と表される。ここでβは所定係数である。
なお本実施形態では、処置具情報からナイフの先端位置を推定する処理を行ってもよい。この場合、距離情報取得部120は、処置具情報取得部170が取得した処置具情報のうち、処置具の先端の長さや幅等の物理情報を取得する。例えばナイフで生体を切開したとき等にはナイフの先端が生体内に隠れ、画像でナイフの先端を認識できない場合がある。本実施形態では、そのようなケースを想定して、処置具210の先端以外の部分(例えばナイフの柄の部分等)にマークを付しておく。そして、撮像画像からマークの位置を認識し、ナイフの物理情報を用いてマークからナイフの先端までの距離を取得する。このようにしてナイフの先端の位置を特定し、それに基づいてナイフの先端から血管までの距離情報を取得する。さらに、切開モードに関する内容で説明したが、止血モードの場合には、前記切開能力にかえて、止血能力を取得するような構成も考えられる。
上記のようにナイフの先端位置を推定した場合、通知処理部140は、そのナイフの先端位置を表示部400に表示させてもよい。このような表示からも、処置具210と血管の関連度を知ることができるので、ナイフの先端位置の表示も関連度通知の一種である。このようにすれば、ナイフの先端が生体内に隠れている場合であっても、ユーザーに対してナイフの先端位置を知らせることができ、血管を意図せず傷つける可能性を低減できる。
以上の第4実施形態によれば、内視鏡装置は処置具情報取得部170と切開能力取得部175を含む。処置具情報取得部170は、処置具210(例えばナイフ、電気メス等)の切開能力に関する性能情報(例えば電流値や電圧値の設定値、サイズ情報等の物理情報等)を処置具情報として取得する。切開能力取得部175は、処置具210の性能情報に基づいて処置具210の切開能力の情報(例えば切開範囲)を取得する。そして関連度取得部130は、処置具210の切開能力が高いほど関連度を大きくする(例えば図9)。
このようにすれば、処置具210の性能情報を取得する構成としたことにより、その性能情報に応じて関連度を取得できる。即ち、性能情報から切開能力を取得することが可能となり、距離情報に加えて切開能力を加味して関連度をより正確に算出し、ユーザーに通知することができる。例えば同じ処置具210であっても電流値等の設定によって切開能力が異なるが、本実施形態では、そのような切開能力の変化に応じた関連度を通知できる。
また本実施形態では、距離情報取得部120は、処置具210に付されたマークの位置を撮像画像から検出し、その検出したマークの位置に基づいて距離情報を取得する。ここで、マークとしては、撮像画像において認識可能なものであればよい。例えば、処置具210とは反射率の異なる物質を付したものや、画像処理で認識可能な形状等に加工・刻印等したもの、生体内に存在せず生体と区別しやすい色を付したもの、等が考えられる。
より具体的には、内視鏡装置は、処置具210のサイズ情報(物理情報)を処置具情報として取得する処置具情報取得部170を含む。距離情報取得部120は、撮像画像から検出したマークの位置及び処置具210のサイズ情報に基づいて、処置具210の先端の位置を特定し、その特定した先端の位置から特定部位までの距離情報を取得する。
このようにすれば、処置具210の先端を画像で確認出来ない場合であっても、処置具210の先端を3次元の位置情報として検出することができる。これにより、処置具210の先端から特定部位までの距離情報を正確に算出できるので、より精度の高い関連度をユーザーに通知することが可能となる。また、画像認識以外の手法を用いなくても画像から処置具210から特定部位までの距離を高精度に検出できるので、装置を簡素化できる。
6.第5実施形態
図10に、第5実施形態における内視鏡装置の構成例を示す。この内視鏡装置は、撮像部200、プロセッサー部300、表示部400を含む。プロセッサー部300は、画像取得部110、距離情報取得部120、関連度取得部130、通知処理部140、画像処理部150、表示制御部160、処置具情報取得部170、切開能力取得部175、特定部位情報取得部180、メモリー230を含む。なお第1〜第4実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
第5実施形態では、特定部位の特性情報を取得し、その特定部位の特性情報と処置具210から特定部位までの距離情報とに基づいて関連度を取得する。なお以下では、特定部位が血管であり、血管の特性情報が血管径である場合を例に説明するが、本実施形態はこれに限定されず、例えば特殊光により撮影した場合の血管の深さ等を特性情報としてもよい。
特定部位情報取得部180は、血管径取得部181を有する。特定部位情報取得部180は、画像取得部110が取得した撮像画像から血管を検出し、血管径取得部181は、その検出結果に基づいて血管径(血管の幅)を血管の特性情報として取得する。血管の断面は一般的に円形と考えられることから、画像上での血管の幅を血管径とする。この血管径の情報は、血管の位置情報に紐付けられて関連度取得部130へ出力される。なお、距離情報取得部120は、特定部位情報取得部180から血管の位置情報を受けて距離情報を取得してもよいし、別個に撮像画像から血管を検出して距離情報を取得してもよい。
関連度取得部130は、血管径と処置具210から血管までの距離情報とに基づいて関連度を取得する。具体的には、血管径が大きいほど、同一の距離Dに対して大きな関連度を取得する。例えば、血管径に対して距離と関連度を対応付けたルックアップテーブル(例えば図9の切開能力を血管径にしたテーブル)を記憶しておき、そのルックアップテーブルを参照して関連度を取得する。或は、血管径と距離情報を関連度に対応付ける関数により関連度を算出してもよい。血管径をRとし、距離をDとする場合、例えば関連度はf(R,D)=γR/D等と表される。ここでγは所定係数である。
また関連度取得部130は、パラメーター通知レベルに基づいて、関連度の通知を行うか否かを決定する。具体的には、関連度取得部130は、通知範囲設定部131と比較部132(パラメーター比較部)とを含む。
通知範囲設定部131には、例えばユーザー設定等によりパラメーター通知レベルが入力される。通知範囲設定部131は、そのパラメーター通知レベルに基づいて、関連度の通知を行うパラメーター範囲(以下、通知範囲と呼ぶ)を設定する。パラメーターが血管径である場合、パラメーター通知レベルは例えば血管径の閾値であり、通知範囲は血管径が閾値より大きい場合である。或はパラメーター通知レベルとして複数の閾値が入力されてもよい。例えば第1閾値と第2閾値が入力された場合、血管径が第1閾値より大きく第2閾値より小さい場合は第1通知範囲であり、第2閾値より大きい場合は第2通知範囲である。
比較部132は、血管径と通知範囲を比較し、血管径が通知範囲内である場合には通知処理部140へ通知フラグを出力する。そして通知処理部140は、通知フラグを受けた場合に、関連度を通知する処理を行う。複数の通知範囲(例えば上記の第1、第2通知範囲)が設定されている場合には、通知範囲に応じて通知手法(例えば表示の色、表示の大きさ、表示の点滅の速さ等)を変更してもよい。
なお、パラメーター通知レベルとして、血管径以外の特性情報の通知レベルが入力されてもよい。例えば、特殊光により撮影した場合の血管の深さの通知レベルが入力されてもよいし、或は距離情報の通知レベルが入力されてもよいし、或は処置具210の特性情報(例えばナイフの切開能力)の通知レベルが入力されてもよい。比較部132は、いずれか1つのパラメーターが通知範囲内である場合に通知フラグを出力してもよいし、或は複数のパラメーターが通知範囲内である場合に通知フラグを出力してもよい。
通知処理部140には、例えばユーザー設定等によりユーザー通知レベルが入力され、そのユーザー通知レベルに基づいて関連度の通知を行うか否かを決定する。具体的には、ユーザー通知レベルは関連度の閾値であり、通知処理部140は、関連度が閾値より大きい場合に関連度を通知する。或はユーザー通知レベルは関連度の第1閾値及び第2閾値であり、通知処理部140は、関連度が第1閾値より大きく第2閾値より小さい場合に関連度を通知する。このユーザー通知レベルは、ユーザー毎に異なる通知レベルが設定されてもよい。
以上の第5実施形態によれば、内視鏡装置は、特定部位である血管の血管径の情報を血管情報として取得する特定部位情報取得部180を含む。そして関連度取得部130は、その血管径が大きいほど関連度を大きくする。
このようにすれば、特定部位情報として、画像から血管径を取得する構成としたため、血管の太さに応じて関連度を可変に制御することができる。処置具210が血管を傷付けた場合、一般的には血管が太いほど危険性が増す(例えば出血量が多くなる、止血が難しくなる等)が、本実施形態では、そのような危険性に応じた関連度をユーザーに通知することができる。
また本実施形態では、関連度取得部130は、ユーザーに通知する血管径の範囲である血管径通知範囲を設定する通知範囲設定部131と、血管径と血管径通知範囲との比較処理を行う比較部132と、を有する。そして通知処理部140は、比較部132により血管径が血管径通知範囲内であると判定された場合に、関連度に基づく通知処理を行う。
このようにすれば、血管径が通知範囲内であるか否かに応じて関連度をユーザーに通知するか否かを制御できる。例えば、血管径の閾値をユーザー通知レベルとして入力し、その閾値よりも血管径が太い場合を血管径通知範囲に設定できる。この場合、血管径が閾値よりも太い場合にのみユーザーに関連度を通知し、血管径が閾値よりも細い場合にはユーザーに関連度を通知しないようにできる。このように所望の条件を満たす場合に関連度を通知することで、ユーザーが関連度の通知を必要とする場合(例えば出血しやすい太い血管)にのみ関連度を通知することが可能となり、煩雑な関連度の通知が行われることを抑制できる。
また本実施形態では、通知範囲設定部131は、ユーザーに関連度の通知を行う切開能力の範囲である切開能力通知範囲を設定する。比較部132は、切開能力と切開能力通知範囲との比較処理を行う。そして、通知処理部140は、比較部132により切開能力が切開能力通知範囲内であると判定された場合に、関連度に基づく通知処理を行う。
このようにすれば、切開能力が通知範囲内であるか否かに応じて関連度をユーザーに通知するか否かを制御できる。例えば、切開能力が閾値よりも大きい場合にのみユーザーに関連度を通知できる。これにより、ユーザーが関連度の通知を必要とする場合(例えば切開能力が高く出血を招きやすい場合)にのみ関連度を通知することが可能となり、煩雑な関連度の通知が行われることを抑制できる。
また本実施形態では、特定部位情報取得部180は、特定部位である血管の血管径の情報を特定部位情報として取得する。そして、通知処理部140は、切開能力が切開能力通知範囲内であると判定され、且つ血管径が閾値(パラメーター通知レベル又はユーザー通知レベル。或は所定閾値であってもよい)より大きい場合に、関連度に基づく通知処理を行う。
このようにすれば、切開能力のみでなく血管径に応じて関連度をユーザーに通知するか否かを制御できる。例えば、血管径が太い場合には出血の可能性が高いが、どの程度の血管径が危険であるかはユーザーの技量に左右される。この点、本実施形態では、ユーザーに応じて閾値(血管径のユーザー通知レベル)を変更することにより、処置具が血管に近づいたことを通知する血管径の太さを変更することが可能である。
また本実施形態では、通知範囲設定部131は、ユーザーに通知する特定部位(例えば血管)の深さの範囲である深さ通知範囲を設定する。比較部132は、特定部位の深さと深さ通知範囲との比較処理を行う。そして、通知処理部140は、比較部132により特定部位の深さが深さ通知範囲内であると判定された場合に、関連度に基づく通知処理を行う。
このようにすれば、特定部位の深さが通知範囲内であるか否かに応じて関連度をユーザーに通知するか否かを制御できる。例えば、特定部位の深さが閾値よりも浅い場合にのみユーザーに関連度を通知できる。これにより、ユーザーが関連度の通知を必要とする場合(例えば特定部位の深さが処置具の切開能力で到達が可能である場合)にのみ関連度を通知することが可能となり、煩雑な関連度の通知が行われることを抑制できる。
また本実施形態では、通知範囲設定部131は、ユーザーに通知する相対距離の範囲である相対距離通知範囲を設定する。比較部132は、相対距離と相対距離通知範囲との比較処理を行う。そして、通知処理部140は、比較部132により相対距離が相対距離通知範囲内であると判定された場合に、関連度に基づく通知処理を行う。
このようにすれば、処置具210から特定部位までの距離が通知範囲内であるか否かに応じて関連度をユーザーに通知するか否かを制御できる。例えば、距離が閾値よりも近い場合にのみユーザーに関連度を通知できる。これにより、ユーザーが関連度の通知を必要とする場合(例えば処置具210が特定部位に近く、処置具210の切開能力で特定部位を切る可能性がある場合)にのみ関連度を通知することが可能となり、煩雑な関連度の通知が行われることを抑制できる。
なお本実施形態では、上記の複数のパラメーター(血管径、切開能力、特定部位の深さ、相対距離)の通知範囲のうちいずれか1つのみに基づいて通知処理の有無を判断してもよいし、或は、いくつかのパラメーターの通知範囲を組み合わせて通知処理の有無を判断してもよい。
また本実施形態では、通知処理部140は、ユーザーに通知する関連度の範囲である関連度通知範囲を設定し、関連度が関連度通知範囲内であると判定した場合に、関連度に基づく通知処理を行う。
このようにすれば、関連度が通知範囲内であるか否かに応じて関連度をユーザーに通知するか否かを制御できる。例えば、ユーザー通知レベルとして関連度の閾値をユーザー毎に設定し、関連度が閾値より大きい場合に通知する構成にすることが可能である。これにより、関連度が高い場合(例えば処置具と特定部位が近接している、血管が太い等)にのみ通知して欲しいユーザーや、関連度が低い場合(例えば処置具と特定部位がそれほど近接していない、血管が細い等)にも通知して欲しいユーザーに応じて、通知レベルをカスタマイズできる。
7.第6実施形態
図11に、第6実施形態における関連度通知の例を示す。第6実施形態では、関連度としてナイフ(処置具)の切開範囲を表示部400に表示する。
具体的には、撮像画像からナイフの先端位置を検出し(又はマークとナイフの物理情報から先端位置を推定し)、ナイフの特性情報からナイフの切開能力を取得する。そして、その切開能力に基づいて、切開される範囲を特定し、その切開範囲を表示部400に表示する。
例えば、図11に示すように、撮像画像の表示エリア10において、ナイフ12の先端(検出又は推定した先端位置)に切開範囲15を表示する。
或は、垂直方向(画面の縦方向)における切開範囲の表示エリア30と、水平方向(画面の横方向)における切開範囲の表示エリア40とを設けてもよい。表示エリア30には、処置具12を示す表示31と切開範囲を示すバー32と血管11を示すバー33が表示される。バー32は、垂直方向での切開範囲をグラデーション(例えば青色)で表したものであり、処置具12の先端に近いほど(即ち切開能力が高い部分ほど)濃く表示される。バー33は、垂直方向での血管11をグラデーション(例えば赤色)で表したものであり、処置具12の先端に近いほど(即ち切開される可能性が高いほど)濃く表示される。同様に、表示エリア40には、水平方向における処置具12を示す表示41と切開範囲を示すバー42と血管11を示すバー43が表示される。
なお、上記のような切開範囲の表示に加えて、第1〜第5実施形態で説明した関連度を更に表示してもよい。また、処置具12の先端が画像上で見えない(例えば生体内に隠れている)場合には、第4実施形態で説明したように先端位置を推定し、その先端位置を表示エリア10に表示してもよい。また、図11のように血管位置を表示するだけでなく、特殊光により取得した血管の深度を表示してもよい。血管深度を表示することにより、処置具の先端が画像で認識できない場合においても、より正確に処置具を操作することができ、出血のリスクを回避することができる。
以上の第6実施形態によれば、通知処理部140は、処置具210が切開能力により影響を及ぼす範囲である切開範囲(例えば図11の15や、32及び42)を表示部400に表示させる処理を、通知処理として行う。
また本実施形態では、通知処理部140は、特定部位(例えば血管)の深さ及び距離情報(例えば図11の33、43)の少なくとも一方を表示部400に表示させる処理を通知処理として行う。
このようにすれば、図4のように単に数値範囲(色分け)で関連度を表示する場合に比べて、より詳細な関連度の情報をユーザーに提示することが可能となる。特に、処置具210から見て複数の方向に特定部位が存在する場合や、深さ方向に重なった特定部位が存在する場合において、より正確に関連度を通知でき、ユーザーがより適切に危険性を把握することが可能となる。また、関連度をモニター画面上で目視することが可能であるため、処置具210の設定(例えば電流値等の切開能力に関する設定)が想定通りであるか画面上で確認することができる。また、第5実施形態のようにユーザー通知レベルを設定する構成とした場合には、ユーザー通知レベルを設定する際に関連度をモニター画面上で確認することができるため、最適なユーザー通知レベルを設定することができる。
8.変形例
なお、上述した第1〜第6実施形態は一例に過ぎず、以下のような構成としてもよい。
例えば、通知処理部140は、関連度取得部130から送信された関連度に基づいてユーザー通知を行った後に、所定の条件と一致した場合にユーザーへの通知を停止する通知停止部を有してもよい。例えば、関連度をユーザーへ通知した後に、処置具から血管までの距離(相対距離、2次元距離)がゼロ(等距離)となった場合や、ユーザーが停止ボタンを押した場合や、ユーザーへの通知を開始した後に一定時間が経過した場合等に、自動的に通知を停止する。
或は、プロセッサー部300は、出血する可能性があることを予測して通知処理部140へ通知する予測通知部を更に有してもよい。例えば、予測通知部は出血判定部であり、出血判定部は、電気メスのようなナイフ等が止血モードではなく切開モードに設定されており、所定閾値以上の血管径を持つ血管にナイフが接近した場合に、出血の可能性があると判定する。通知処理部140は、出血の可能性がある旨の通知が予測通知部から通知された場合に、出血の可能性をユーザーに通知する(例えば表示部400に表示する)。或は、通知処理部140は、出血の可能性がある旨の通知が予測通知部から通知された場合に、処置具の種類を変更する要求をユーザーに通知したり、或は、処置具のモードを変更(例えば止血モードに変更)する要求をユーザーに通知してもよい。
以上の変形例によれば、通知処理部140は、関連度に基づいて通知を開始した後に所定時間経過した場合、又は関連度に基づいて通知を開始した後に関連度が所定閾値を超えた場合に、通知を停止する。
このようにすれば、通知を停止する構成としたことより、煩雑に通知がおこなわれることなく、ユーザーが感じる通知の煩わしさを低減できる。例えば、ユーザーが意図的に特定部位を切開する場合には、処置具210が特定部位に到達すれば(或は所定距離以下となれば)関連度を通知する必要がない。本変形例では、このような場合に通知を自動的に停止できる。
また本変形例では、特定部位が血管であってもよい。この場合に、通知処理部140は、特定部位情報と処置具情報の少なくとも一方に基づいて、処置具により血管から出血する可能性を判定する出血判定部(不図示)を有する。そして通知処理部140は、出血判定部により出血する可能性があると判定された場合に、出血する可能性がある旨を通知する処理を行う。
このようにすれば、出血の可能性をユーザーに通知できるので、その通知に応じてユーザーが適切な処置具210やその設定を選択できる。例えば、処置具210の設定を変更して、切開しながら止血可能な設定(止血モード)にできる。また、ユーザーが通知を受け取り、モニター画面を確認しながら処置具210を血管に近づけすぎないように操作するなどして、出血を防止することができる。また、出血した場合にも予め通知しているため、早急に止血などの対応をおこなうことができる。
また本変形例では、特定部位情報取得部180は、血管の血管径の情報を特定部位情報として取得する。そして、出血判定部は、関連度が関連度の閾値(例えば所定閾値)よりも高く、且つ血管径が血管径の閾値(例えば所定閾値)より大きい場合に、出血する可能性があると判定する。
より具体的には、通知処理部140は、関連度が第2の関連度の閾値(第5実施形態のパラメーター通知レベル又はユーザー通知レベル。或は所定閾値であってもよい)よりも大きい場合、又は血管径が第2の血管径の閾値(第5実施形態のパラメーター通知レベル又はユーザー通知レベル。或は所定閾値であってもよい)よりも大きい場合に、関連度に基づく通知処理を行う。このとき、出血する可能性を判定する場合の関連度の閾値は、第2の関連度の閾値よりも大きく、出血する可能性を判定する場合の血管径の閾値は、第2の血管径の閾値よりも大きい。
このようにすれば、出血した際の危険性が大きい太い血管の場合にのみ出血の可能性をユーザーに通知することが可能となり、無用な通知を排除できる。また、出血判定の閾値が関連度通知の閾値よりも大きいため、処置具が血管に近づいて関連度が大きくなったときに通知が開始され、さらに処置具が血管に近づいたときに出血の可能性を通知することができる。
また本変形例では、処置具情報取得部170は、処置具に設定されたモード情報を処置具情報として取得する。そして、出血判定部は、関連度が関連度の閾値よりも高く、且つ処置具が切開モードに設定されている場合に、出血する可能性があると判定する。
このようにすれば、切開能力が異なる複数のモードを設定可能な処置具を使用する際に、切開能力が高いモードに設定されている場合にのみ出血の可能性をユーザーに通知することが可能となり、無用な通知を排除できる。例えば電気メスの場合、比較的小さい電力の高周波を印加することにより切開よりも止血を重視した止血モードと、比較的大きな電力の高周波を印加することにより止血よりも切開を重視した切開モードを想定できる。これらのモードは、例えばユーザー指示により切り替えられる。
また本変形例では、通知処理部140は、特定部位情報と処置具情報に基づいて、現在使用している処置具210が特定部位に対して適切であるか否かを判定する処置具判定部(不図示)を有する。通知処理部140は、処置具判定部により処置具が不適切であると判定された場合に、特定部位に対して適切な処置具210への変更を通知する処理を行う。
このようにすれば、不適切な処置具210を使用している可能性をユーザーに通知できるので、ユーザーに対して処置具210の交換を促すことが可能となる。例えば、血管の近くで切開能力が高い(又は切開モードに設定した)処置具210を使用している場合に、より切開能力が低い処置具210或はモード設定(止血モード)への変更を通知できる。
また本変形例では、特定部位情報取得部180は、特定部位である血管の血管径の情報を特定部位情報として取得する。そして、処置具判定部は、関連度が関連度の閾値(例えば所定閾値)よりも高く、且つ血管径が血管径の閾値(例えば所定閾値)より大きい場合に、処置具が不適切であると判定する。
より具体的には、通知処理部140は、関連度が第2の関連度の閾値(第5実施形態のパラメーター通知レベル又はユーザー通知レベル。或は所定閾値であってもよい)よりも大きい場合、又は血管径が第2の血管径の閾値(第5実施形態のパラメーター通知レベル又はユーザー通知レベル。或は所定閾値であってもよい)よりも大きい場合に、関連度に基づく通知処理を行う。このとき、処置具が適切であるか否かを判定する場合の関連度の閾値は、第2の関連度の閾値よりも大きく、処置具が適切であるか否かを判定する場合の血管径の閾値は、第2の血管径の閾値よりも大きい。
このようにすれば、傷付けた際の危険性が大きい場合(例えば出血した際の危険性が大きい太い血管の場合)にのみ、ユーザーに対して処置具の交換を促すことが可能となり、無用な通知を排除できる。また、処置具判定の閾値が関連度通知の閾値よりも大きいため、処置具が特定部位に近づいて関連度が大きくなったときに通知が開始され、さらに処置具が特定部位に近づいたときに処置具が不適切であることを通知できる。
また本変形例では、処置具情報取得部170は、処置具に設定されたモード情報を処置具情報として取得する。そして、処置具判定部は、関連度が関連度の閾値よりも高く、且つ処置具が切開モードに設定されている場合に、処置具が適切であると判定する。
このようにすれば、切開能力が異なる複数のモードを設定可能な処置具(例えば、止血モードと切開モードを切り替え可能な電気メス)を使用する際に、切開能力が高いモードに設定されている場合にのみ処置具が不適切であることをユーザーに通知することが可能となり、無用な通知を排除できる。
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
10 画像表示エリア、11 血管、12 処置具、13,14 深部血管、
15 切開範囲、20 関連度表示エリア、30,40 切開範囲の表示エリア、
31,41 処置具を示す表示、32,42 切開範囲を示すバー、
33,43 血管を示すバー、110 画像取得部、120 距離情報取得部、
130 関連度取得部、131 通知範囲設定部、132 比較部、
140 通知処理部、150 画像処理部、160 表示制御部、
170 処置具情報取得部、175 切開能力取得部、180 特定部位情報取得部、
181 血管径取得部、190 光源制御部、200 撮像部、210 処置具、
220 ステレオ光学系、230 メモリー、300 プロセッサー部、
400 表示部、500 光源部、
D 距離、SA〜SC 切開能力

Claims (25)

  1. 特定部位と処置具との間の距離に関する距離情報を取得する距離情報取得部と、
    前記特定部位の特性情報である特定部位情報及び前記処置具の特性情報である処置具情報の少なくとも一方と、前記距離情報とに基づいて、前記特定部位と前記処置具との間の関連度を取得する関連度取得部と、
    前記関連度に基づく通知処理を行う通知処理部と、
    前記処置具情報を記憶するメモリーと、
    使用している前記処置具の置具情報を前記メモリーより取得する処置具情報取得部と、
    前記処置具情報に基づいて前記処置具の開能力の情報を取得する切開能力取得部と、
    を含み、
    前記関連度取得部は、
    前記処置具の前記切開能力が高いほど前記関連度を大きくすることを特徴とする内視鏡装置。
  2. 請求項1において、
    前記通知処理部は、
    前記処置具が前記切開能力により影響を及ぼす範囲である切開範囲を表示部に表示させる処理を、前記通知処理として行うことを特徴とする内視鏡装置。
  3. 請求項1において、
    前記関連度取得部は、
    ユーザーに前記関連度の通知を行う前記切開能力の範囲である切開能力通知範囲を設定する通知範囲設定部と、
    前記切開能力と前記切開能力通知範囲との比較処理を行う比較部と、
    を有し、
    前記通知処理部は、
    前記比較部により前記切開能力が前記切開能力通知範囲内であると判定された場合に、前記関連度に基づく前記通知処理を行うことを特徴とする内視鏡装置。
  4. 請求項3において、
    前記特定部位である血管の血管径の情報を前記特定部位情報として取得する特定部位情報取得部を含み、
    前記通知処理部は、
    前記切開能力が前記切開能力通知範囲内であると判定され、且つ前記血管径が閾値より大きい場合に、前記関連度に基づく前記通知処理を行うことを特徴とする内視鏡装置。
  5. 請求項1において、
    前記距離情報取得部は、
    前記処置具に付されたマークの位置を撮像画像から検出し、検出した前記マークの位置に基づいて前記距離情報を取得することを特徴とする内視鏡装置。
  6. 請求項5において、
    前記処置具のサイズ情報を前記処置具情報として取得する処置具情報取得部を含み、
    前記距離情報取得部は、
    前記撮像画像から検出した前記マークの位置及び前記処置具の前記サイズ情報に基づいて、前記処置具の先端の位置を特定し、特定した前記先端の位置から前記特定部位までの前記距離情報を取得することを特徴とする内視鏡装置。
  7. 請求項1において、
    特定の波長帯域における情報を有した被写体の像を含む特殊光画像を撮像画像として取得する画像取得部を含み、
    前記距離情報取得部は、
    前記被写体の表面から、前記特殊光画像に撮影された前記特定部位までの深さの情報を取得し、取得した前記深さの情報に基づいて、前記特定部位と前記処置具との間の前記距離情報を取得することを特徴とする内視鏡装置。
  8. 請求項7において、
    前記関連度取得部は、
    ユーザーに通知する前記特定部位の前記深さの範囲である深さ通知範囲を設定する通知範囲設定部と、
    前記特定部位の前記深さと前記深さ通知範囲との比較処理を行う比較部と、
    を有し、
    前記通知処理部は、
    前記比較部により前記特定部位の前記深さが前記深さ通知範囲内であると判定された場合に、前記関連度に基づく前記通知処理を行うことを特徴とする内視鏡装置。
  9. 請求項7において、
    前記通知処理部は、
    前記特定部位の深さ及び前記距離情報の少なくとも一方を表示部に表示させる処理を、前記通知処理として行うことを特徴とする内視鏡装置。
  10. 請求項1において、
    距離情報取得部は、
    前記特定部位と前記処置具との間の相対距離を前記距離情報として取得し、
    前記関連度取得部は、
    前記相対距離が小さいほど前記関連度を大きくすることを特徴とする内視鏡装置。
  11. 請求項10において、
    前記関連度取得部は、
    ユーザーに通知する前記相対距離の範囲である相対距離通知範囲を設定する通知範囲設定部と、
    前記相対距離と前記相対距離通知範囲との比較処理を行う比較部と、
    を有し、
    前記通知処理部は、
    前記比較部により前記相対距離が前記相対距離通知範囲内であると判定された場合に、前記関連度に基づく前記通知処理を行うことを特徴とする内視鏡装置。
  12. 請求項1において、
    前記特定部位である血管の血管径の情報を前記特定部位情報として取得する血管情報取得部を含み、
    前記関連度取得部は、
    前記血管径が大きいほど前記関連度を大きくすることを特徴とする内視鏡装置。
  13. 請求項12において、
    前記関連度取得部は、
    ユーザーに通知する前記血管径の範囲である血管径通知範囲を設定する通知範囲設定部と、
    前記血管径と前記血管径通知範囲との比較処理を行う比較部と、
    を有し、
    前記通知処理部は、
    前記比較部により前記血管径が前記血管径通知範囲内であると判定された場合に、前記関連度に基づく前記通知処理を行うことを特徴とする内視鏡装置。
  14. 請求項1において、
    前記通知処理部は、
    ユーザーに通知する前記関連度の範囲である関連度通知範囲を設定し、前記関連度が前記関連度通知範囲内であると判定した場合に、前記関連度に基づく前記通知処理を行うことを特徴とする内視鏡装置。
  15. 請求項1において、
    前記通知処理部は、
    前記関連度に基づいて通知を開始した後に所定時間経過した場合、又は前記関連度に基づいて通知を開始した後に前記関連度が所定閾値を超えた場合に、前記通知を停止することを特徴とする内視鏡装置。
  16. 請求項1において、
    前記特定部位は、血管であり、
    前記通知処理部は、
    前記特定部位情報と前記処置具情報の少なくとも一方に基づいて、前記処置具により前記血管から出血する可能性を判定する出血判定部を有し、
    前記通知処理部は、
    前記出血判定部により前記出血する可能性があると判定された場合に、前記出血する可能性がある旨を通知する処理を行うことを特徴とする内視鏡装置。
  17. 請求項16において、
    前記血管の血管径の情報を前記特定部位情報として取得する特定部位情報取得部を含み、
    前記出血判定部は、
    前記関連度が関連度の閾値よりも高く、且つ前記血管径が血管径の閾値より大きい場合に、前記出血する可能性があると判定することを特徴とする内視鏡装置。
  18. 請求項17において、
    前記通知処理部は、
    前記関連度が第2の関連度の閾値よりも大きい場合、又は前記血管径が第2の血管径の閾値よりも大きい場合に、前記関連度に基づく前記通知処理を行い、
    前記出血する可能性を判定する場合の前記関連度の閾値は、前記第2の関連度の閾値よりも大きく、
    前記出血する可能性を判定する場合の前記血管径の閾値は、前記第2の血管径の閾値よりも大きいことを特徴とする内視鏡装置。
  19. 請求項16において、
    前記処置具に設定されたモード情報を前記処置具情報として取得する処置具情報取得部を含み、
    前記出血判定部は、
    前記関連度が関連度の閾値よりも高く、且つ前記処置具が切開モードに設定されている場合に、前記出血する可能性があると判定することを特徴とする内視鏡装置。
  20. 請求項1において、
    前記通知処理部は、
    前記特定部位情報と前記処置具情報に基づいて、現在使用している前記処置具が前記特定部位に対して適切であるか否かを判定する処置具判定部を有し、
    前記通知処理部は、
    前記処置具判定部により前記処置具が不適切であると判定された場合に、前記特定部位に対して適切な前記処置具への変更を通知する処理を行うことを特徴とする内視鏡装置。
  21. 請求項20において、
    前記特定部位である血管の血管径の情報を前記特定部位情報として取得する特定部位情報取得部を含み、
    前記処置具判定部は、
    前記関連度が関連度の閾値よりも高く、且つ前記血管径が血管径の閾値より大きい場合に、前記処置具が不適切であると判定することを特徴とする内視鏡装置。
  22. 請求項21において、
    前記通知処理部は、
    前記関連度が第2の関連度の閾値よりも大きい場合、又は前記血管径が第2の血管径の閾値よりも大きい場合に、前記関連度に基づく前記通知処理を行い、
    前記処置具が適切であるか否かを判定する場合の前記関連度の閾値は、前記第2の関連度の閾値よりも大きく、
    前記処置具が適切であるか否かを判定する場合の前記血管径の閾値は、前記第2の血管径の閾値よりも大きいことを特徴とする内視鏡装置。
  23. 請求項20において、
    前記処置具に設定されたモード情報を前記処置具情報として取得する処置具情報取得部を含み、
    前記処置具判定部は、
    前記関連度が関連度の閾値よりも高く、且つ前記処置具が切開モードに設定されている場合に、前記処置具が適切であると判定することを特徴とする内視鏡装置。
  24. 請求項1において、
    撮像部により撮像された、特定部位及び処置具の像を含む撮像画像を取得する画像取得部を含み、
    前記距離情報取得部は、
    前記撮像画像から前記処置具及び前記特定部位の位置を検出し、検出した前記処置具及び前記特定部位の位置に基づいて前記処置具から前記特定部位までの前記距離情報を取得することを特徴とする内視鏡装置。
  25. 特定部位と処置具との間の距離に関する距離情報を取得し、
    前記特定部位の特性情報である特定部位情報及び前記処置具の特性情報である処置具情報の少なくとも一方と、前記距離情報とに基づいて、前記特定部位と前記処置具との間の関連度を取得し、
    使用している前記処置具の置具情報をメモリーより取得し、
    前記処置具情報に基づいて前記処置具の開能力の情報を取得し、
    前記処置具の前記切開能力が高いほど前記関連度を大きくし、
    前記関連度に基づく通知処理を行うことを特徴とする内視鏡装置の作動方法。
JP2013108583A 2013-05-23 2013-05-23 内視鏡装置及び内視鏡装置の作動方法 Active JP6265627B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013108583A JP6265627B2 (ja) 2013-05-23 2013-05-23 内視鏡装置及び内視鏡装置の作動方法
CN201480029669.1A CN105228501A (zh) 2013-05-23 2014-01-30 内窥镜装置和内窥镜装置的工作方法
EP14801451.7A EP3001941A4 (en) 2013-05-23 2014-01-30 Endoscopic device and endoscopic device operation method
PCT/JP2014/052039 WO2014188740A1 (ja) 2013-05-23 2014-01-30 内視鏡装置及び内視鏡装置の作動方法
US14/922,476 US20160038004A1 (en) 2013-05-23 2015-10-26 Endoscope apparatus and method for operating endoscope apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013108583A JP6265627B2 (ja) 2013-05-23 2013-05-23 内視鏡装置及び内視鏡装置の作動方法

Publications (3)

Publication Number Publication Date
JP2014226341A JP2014226341A (ja) 2014-12-08
JP2014226341A5 JP2014226341A5 (ja) 2016-07-14
JP6265627B2 true JP6265627B2 (ja) 2018-01-24

Family

ID=51933307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013108583A Active JP6265627B2 (ja) 2013-05-23 2013-05-23 内視鏡装置及び内視鏡装置の作動方法

Country Status (5)

Country Link
US (1) US20160038004A1 (ja)
EP (1) EP3001941A4 (ja)
JP (1) JP6265627B2 (ja)
CN (1) CN105228501A (ja)
WO (1) WO2014188740A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3102141B1 (en) * 2014-02-04 2019-08-14 Koninklijke Philips N.V. A system for visualising an anatomical target
JP6323184B2 (ja) * 2014-06-04 2018-05-16 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
US10052015B2 (en) * 2014-09-30 2018-08-21 Fujifilm Corporation Endoscope system, processor device, and method for operating endoscope system
JP6616071B2 (ja) * 2014-12-22 2019-12-04 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP6243364B2 (ja) * 2015-01-26 2017-12-06 富士フイルム株式会社 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
US10729307B2 (en) * 2015-06-05 2020-08-04 Sony Corporation Image processing device, image processing method, and surgical system
WO2017081976A1 (ja) 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
JP6488249B2 (ja) * 2016-03-08 2019-03-20 富士フイルム株式会社 血管情報取得装置、内視鏡システム及び血管情報取得方法
WO2018225316A1 (ja) * 2017-06-05 2018-12-13 オリンパス株式会社 医療用制御装置
JP7276150B2 (ja) * 2017-06-21 2023-05-18 ソニーグループ株式会社 医用イメージングシステム、方法およびコンピュータプログラム製品
WO2018235179A1 (ja) * 2017-06-21 2018-12-27 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
CN110769738B (zh) * 2017-06-21 2022-03-08 奥林巴斯株式会社 图像处理装置、内窥镜装置、图像处理装置的工作方法及计算机可读存储介质
WO2019087269A1 (ja) * 2017-10-31 2019-05-09 オリンパス株式会社 内視鏡システム
EP3707582A1 (en) 2017-11-07 2020-09-16 Koninklijke Philips N.V. Augmented reality triggering of devices
WO2019146077A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム
US11471151B2 (en) 2018-07-16 2022-10-18 Cilag Gmbh International Safety logic for surgical suturing systems
JP2021003453A (ja) * 2019-06-27 2021-01-14 学校法人昭和大学 内視鏡治療システム
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
WO2021152785A1 (ja) * 2020-01-30 2021-08-05 株式会社インキュビット 動画再生システム
WO2021181502A1 (ja) * 2020-03-10 2021-09-16 オリンパス株式会社 手術支援システム、手術支援システムの作動方法および手術支援システムの制御装置
CN111948798B (zh) * 2020-08-21 2022-04-01 上海微创医疗机器人(集团)股份有限公司 内窥镜系统及用于检测内窥镜的末端与组织接触的方法
CN116034307A (zh) * 2020-08-24 2023-04-28 富士胶片株式会社 图像处理装置、方法及程序
WO2022145424A1 (ja) * 2020-12-29 2022-07-07 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、及び手術支援装置
CN114391792B (zh) * 2021-09-13 2023-02-24 南京诺源医疗器械有限公司 基于窄带成像的肿瘤预测方法、装置及成像内镜

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6485639A (en) * 1987-09-29 1989-03-30 Olympus Optical Co Ultrasonic probe
JP4063933B2 (ja) * 1997-12-01 2008-03-19 オリンパス株式会社 手術シミュレーション装置
EP1799094A2 (en) * 2004-09-30 2007-06-27 Boston Scientific Scimed, Inc. Multi-functional endoscopic system for use in electrosurgical applications
US20090234223A1 (en) * 2005-03-31 2009-09-17 Fumiyuki Onoda Surgery Assisting Apparatus and Treatment Assisting Apparatus
JP4766902B2 (ja) * 2005-03-31 2011-09-07 オリンパスメディカルシステムズ株式会社 手術支援装置
JP4152402B2 (ja) * 2005-06-29 2008-09-17 株式会社日立メディコ 手術支援装置
JP4785127B2 (ja) * 2005-12-08 2011-10-05 学校法人早稲田大学 内視鏡視野拡張システム、内視鏡視野拡張装置及び内視鏡視野拡張用プログラム
US8560047B2 (en) * 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
JP5410021B2 (ja) * 2008-01-22 2014-02-05 株式会社日立メディコ 医用画像診断装置
JP2009195623A (ja) * 2008-02-25 2009-09-03 Fujifilm Corp 内視鏡検査システム及び検査支援装置並びに内視鏡検査方法
JP5160276B2 (ja) * 2008-03-24 2013-03-13 富士フイルム株式会社 画像表示方法及び装置
JP5288447B2 (ja) * 2008-03-28 2013-09-11 学校法人早稲田大学 手術支援システム、接近状態検出装置及びそのプログラム
CN101721251B (zh) * 2009-11-10 2011-09-21 上海交通大学医学院附属第九人民医院 将手术导航系统和内窥镜系统结合的装置及其应用
US20110125054A1 (en) * 2009-11-25 2011-05-26 Robert Clements Device, system and method for multiple core biopsy
JP2011136005A (ja) * 2009-12-28 2011-07-14 Fujifilm Corp 内視鏡装置
US8623004B2 (en) * 2010-03-10 2014-01-07 Covidien Lp Method for determining proximity relative to a critical structure
JP5421828B2 (ja) * 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5380348B2 (ja) * 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
US20120158011A1 (en) * 2010-12-16 2012-06-21 Sandhu Kulbir S Proximity sensor interface in a robotic catheter system
JP2013027481A (ja) * 2011-07-27 2013-02-07 Fujifilm Corp 光音響撮像システムおよび装置並びにそれらに使用されるプローブユニット
US9681884B2 (en) * 2012-05-31 2017-06-20 Ethicon Endo-Surgery, Llc Surgical instrument with stress sensor

Also Published As

Publication number Publication date
EP3001941A1 (en) 2016-04-06
JP2014226341A (ja) 2014-12-08
EP3001941A4 (en) 2017-01-25
US20160038004A1 (en) 2016-02-11
WO2014188740A1 (ja) 2014-11-27
CN105228501A (zh) 2016-01-06

Similar Documents

Publication Publication Date Title
JP6265627B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP6265630B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
US11107571B2 (en) Information processing apparatus, information processing method, program, and medical observation system
JP6355875B2 (ja) 内視鏡システム
JP7350834B2 (ja) 画像処理装置,内視鏡システム,画像処理装置の制御方法
JP2007244746A (ja) 観察システム
JPWO2017057573A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2019155931A1 (ja) 手術システム、画像処理装置及び画像処理方法
JPWO2019092950A1 (ja) 画像処理装置、画像処理方法および画像処理システム
US20230100989A1 (en) Surgical devices, systems, and methods using fiducial identification and tracking
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
US10537225B2 (en) Marking method and resecting method
JP7147890B2 (ja) 情報処理システム、情報処理方法及びプログラム
US20230116781A1 (en) Surgical devices, systems, and methods using multi-source imaging
US20230096406A1 (en) Surgical devices, systems, and methods using multi-source imaging
US20230101376A1 (en) Surgical systems for independently insufflating two separate anatomic spaces
WO2023149527A1 (ja) 医療用システム、報知方法及び医療用システムの作動方法
WO2018225316A1 (ja) 医療用制御装置
WO2023052960A1 (en) Surgical devices, systems, and methods using fiducial identification and tracking
WO2023052940A1 (en) Surgical devices, systems, and methods using multi-source imaging
WO2023052951A1 (en) Surgical systems with intraluminal and extraluminal cooperative instruments
EP4210623A1 (en) Surgical devices, systems, and methods using multi-source imaging
WO2023052952A1 (en) Surgical systems for independently insufflating two separate anatomic spaces

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160520

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171212

R151 Written notification of patent or utility model registration

Ref document number: 6265627

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250