JP7354608B2 - 医療用観察システム、医療用観察方法、および情報処理装置 - Google Patents

医療用観察システム、医療用観察方法、および情報処理装置 Download PDF

Info

Publication number
JP7354608B2
JP7354608B2 JP2019115405A JP2019115405A JP7354608B2 JP 7354608 B2 JP7354608 B2 JP 7354608B2 JP 2019115405 A JP2019115405 A JP 2019115405A JP 2019115405 A JP2019115405 A JP 2019115405A JP 7354608 B2 JP7354608 B2 JP 7354608B2
Authority
JP
Japan
Prior art keywords
light
special light
image
observation
surgical field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019115405A
Other languages
English (en)
Other versions
JP2021000258A (ja
Inventor
康昭 高橋
慧佑 宇山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2019115405A priority Critical patent/JP7354608B2/ja
Priority to CN202080043388.7A priority patent/CN114126531A/zh
Priority to EP20736468.8A priority patent/EP3962345A1/en
Priority to US17/608,525 priority patent/US20220225860A1/en
Priority to PCT/JP2020/024060 priority patent/WO2020256089A1/en
Publication of JP2021000258A publication Critical patent/JP2021000258A/ja
Application granted granted Critical
Publication of JP7354608B2 publication Critical patent/JP7354608B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Description

本技術は、医療用観察システム、医療用観察方法、および情報処理装置に関し、特に、信頼性の高い３次元情報を得ることができるようにした医療用観察システム、医療用観察方法、および情報処理装置に関する。
内視鏡や顕微鏡といった医療用観察装置を用いた手術において、画像情報やセンサ情報に基づいて術野の３次元情報を生成し、さらに、生成した３次元情報を用いて、手術に有用な情報を術者に提供する技術が提案されている。
例えば特許文献１には、内視鏡の光軸の角度情報をSLAM(Simultaneous Localization and Mapping)により取得し、表示用画像の画質を制御する技術が開示されている。
国際公開第２０１７／１６８９８６号
ところで、内視鏡や顕微鏡を用いた手術において、可視光（白色光）とは波長帯域が異なるIR光などの特殊光を用いて得られた特殊光画像に基づいて、可視光画像では見えづらい深部の血管や病変部を判別する技術がある。
本技術はこのような状況に鑑みてなされたものであり、信頼性の高い３次元情報を得ることができるようにするものである。
本技術の一側面の医療用観察システムは、術野を撮像する撮像部と、可視光が有する波長帯域とは異なる波長帯域を有する特殊光を前記術野に照射する光源部と、前記特殊光の照射中に前記撮像部により撮像した特殊光画像に基づいてSLAMを行うことによって得られた特徴点に基づいて、前記術野を含む空間の形状を表す３次元情報を生成し、生成した前記３次元情報に基づいて、前記特殊光画像の撮影時の前記撮像部の位置と姿勢を推定する制御部とを備える。
本技術の他の側面の情報処理装置は、可視光が有する波長帯域とは異なる波長帯域を有する特殊光を術野に照射する光源部による前記特殊光の照射中に撮像部によって前記術野を撮像した特殊光画像に基づいてSLAMを行うことによって得られた特徴点に基づいて、前記術野を含む空間の形状を表す３次元情報を生成し、生成した前記３次元情報に基づいて、前記特殊光画像の撮影時の前記撮像部の位置と姿勢を推定する制御部を備える。
本技術の一側面においては、可視光が有する波長帯域とは異なる波長帯域を有する特殊光が術野に照射され、特殊光の照射中に撮像した特殊光画像に基づいてSLAMを行うことによって得られた特徴点に基づいて、前記術野を含む空間の形状を表す３次元情報が生成される。また、生成された前記３次元情報に基づいて、前記特殊光画像の撮影時の前記撮像部の位置と姿勢が推定される。
本技術の他の側面においては、可視光が有する波長帯域とは異なる波長帯域を有する特殊光を術野に照射する光源部による特殊光の照射中に撮像部によって術野を撮像した特殊光画像に基づいてSLAMを行うことによって得られた特徴点に基づいて、前記術野を含む空間の形状を表す３次元情報が生成される。また、生成された前記３次元情報に基づいて、前記特殊光画像の撮影時の前記撮像部の位置と姿勢が推定される。
本技術の一実施の形態に係る医療用観察システムの構成例を示す図である。 特殊光の照射の例を示す図である。 CCUの機能構成例を示すブロック図である。 術野画像表示処理について説明するフローチャートである。 特殊光と可視光の照射の例を示す図である。 CCUの他の機能構成例を示すブロック図である。 プリズムとダイクロックミラーの構成例を示す図である。 術野画像表示処理について説明するフローチャートである。 複合SLAMの例を示す図である。 CCUのさらに他の機能構成例を示すブロック図である。 術野画像表示処理について説明するフローチャートである。 ３次元マップ生成／位置・姿勢推定処理に用いられる特徴点の例を示す図である。 可視光画像から検出された特徴点と特殊光画像から検出された特徴点の例を示す図である。 特徴点を特殊光画像上に重ねて示す図である。 図１１のステップＳ５６において行われる３次元マップ生成／位置・姿勢推定処理について説明するフローチャートである。 他の３次元マップ生成／位置・姿勢推定処理について説明するフローチャートである。 本技術の実施の形態に係る手術支援システムの他の構成例を示す図である。 情報処理装置のハードウェア構成例を示すブロック図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．医療用観察システムについて
２．特殊光SLAM
３．複合SLAM
４．変形例
５．適用例
＜＜医療用観察システムについて＞＞
＜システム構成＞
図１は、本技術の一実施の形態に係る医療用観察システムの構成例を示す図である。
図１は、例えば、医療現場において従来の開腹手術に代わって行われる、腹部の内視鏡外科手術において用いられる内視鏡手術システムの一例を示している。
図１の医療用観察システム１においては、従来のように腹壁を切って開腹する代わりに、トロッカ２５ａおよび２５ｂと呼ばれる開孔器具が腹壁に数か所取り付けられる。そして、トロッカ２５ａおよび２５ｂに設けられている孔から、患者の体内を観察する観察用医療機器としての腹腔鏡（以下、内視鏡ともいう）１１、エネルギ処置具２２や鉗子２３などが体内に挿入される。
術者は、内視鏡１１によって撮像された患者の体内にある患部（腫瘍など）Ｕの画像をリアルタイムに見ながら、エネルギ処置具２２などによって患部Ｕを切除するなどの処置を行う。内視鏡１１、エネルギ処置具２２や鉗子２３は、術者またはロボットなどにより保持される。
なお、術者とは、手術室で行われる手術に関わっている医療従事者をいう。術者には、例えば手術の執刀医、助手、スコピスト、看護師の他、手術室とは別の場所からその手術をモニタしている医者など、手術に関わるメンバーが含まれる。図１の例において、内視鏡１１は、例えば、スコピストにより保持されている。内視鏡１１は、患者に挿入されるスコープと、スコープにより導光された光を受光して撮像する撮像素子を含むカメラヘッドを含む。なお、スコープは硬性タイプでもよいし、軟性タイプでもよい。また、スコープと撮像素子が一体化していてもよい。
このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート３１、患者が横たわる患者ベッド３３、フットスイッチ３５などが設置される。カート３１には、医療機器として、例えば、カメラコントロールユニット（CCU）１３、光源装置１７、処置具用装置２１、気腹装置２４、表示装置１５、レコーダ２６、およびプリンタ２７などの装置類が載置される。
内視鏡１１の観察光学系を通じて撮像された患部Ｕの画像信号は、信号伝送ケーブルであるカメラケーブルを介してCCU１３に伝送される。CCU１３は、カメラケーブルを介して内視鏡１１に接続される他、無線の通信経路を介して内視鏡１１に接続されるようにしてもよい。CCU１３は、内視鏡１１から出力される画像信号に対して信号処理を施し、信号処理後の画像信号を表示装置１５に出力する。このような構成により、患部Ｕの術野画像が表示装置１５に表示される。
なお、CCU１３は、信号処理後の画像信号をレコーダ２６に出力することで、レコーダ２６に、患部Ｕの術野画像を画像データ（例えば、動画像のデータ）として記録させる。また、CCU１３は、信号処理後の画像信号をプリンタ２７に出力することで、プリンタ２７に、患部Ｕの術野画像を印刷させる。
光源装置１７は、ライトガイドケーブルを介して内視鏡１１に接続され、患部Ｕに対してさまざまな波長の光を切り替えて照射する。光源装置１７から照射される光は、例えば、補助光として用いられる場合もある。
処置具用装置２１は、例えば、電気熱を用いて患部Ｕを切断するエネルギ処置具２２に対して高周波電流を出力する高周波出力装置に相当する。
気腹装置２４は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気する。
フットスイッチ３５は、術者や助手などのフット操作をトリガ信号として、CCU１３や処置具用装置２１などを制御する。
＜医療用観察システムにおける画像処理について＞
このような構成を有する医療用観察システムのCCU１３においては、内視鏡１１により術野を撮像して得られた画像に基づいてSLAMが行われる。SLAMが行われることにより、患者体内の術野を含む空間の形状を表す３次元情報としての３次元マップが生成され、各タイミングにおける、内視鏡１１の位置・姿勢が推定される。
SLAMによって得られた位置・姿勢の推定結果は、例えば、CT(Computed Tomography)やMRI(Magnetic Resonance Imaging)などによって別途得られた臓器などの画像を表示するときの、画像の向きの制御に用いられる。表示装置１５には、CTなどによって得られた臓器の画像が、内視鏡１１の位置・姿勢に応じた向きで表示されることになる。
CCU１３におけるSLAMは、例えば、術野に特殊光を照射した状態で撮像された画像である特殊光画像に基づいて行われる。特殊光の照射中に撮像された特殊光画像に基づいて行われるSLAMであるから、そのようなSLAMは、特殊光SLAMということができる。なお、画像に基づくSLAMのアルゴリズムは、三次元マップや、三次元マップ上の自己位置や姿勢を画像中の特徴量に基づいて生成できるアルゴリズムであればよく、既存のアルゴリズムを採用してよい。例えば、PTAM、DTAM、ORB-SLAM、多層ニューラルネットワークを用いた機械学習により三次元マップおよび自己位置推定を行うMachine Learning SLAMといったアルゴリズムを採用してよい。また、画像だけでなく、IMU(Inertial Measurement Unit)センサーや深度センサーの情報を組み合わせてもよい。
図２は、特殊光の照射の例を示す図である。
光源装置１７を光源とする特殊光が図２の矢印で示すように内視鏡１１の先端から術野に向けて照射され、その状態で、撮像が行われる。
特殊光としてIR光が用いられている場合、図２の矢印で示すように、特殊光は術野の表面では反射せずに、深部にある血管などの所定の構造まで到達し、深部の構造において反射する。特殊光画像には、可視光を照射した状態で撮像された可視光画像には写らない（写りにくい）、深部にある構造が強調して写ることになる。
CCU１３においては、特殊光画像に基づいてSLAMが行われ、深部にある構造のエッジなどを特徴点とする３次元マップが生成される。また、そのようにして生成された３次元マップを用いて、位置・姿勢の推定が行われる。
手術中、病変部の切除などの処置により術野の表面の形状が変化するのに対して、深部にある血管などは基本的には保存され、変化しない。特殊光画像に基づいてSLAMを行うことにより、術野の変化に影響を受けることが少ない特徴点に基づいて３次元マップを生成することができ、信頼性の高いSLAM結果を得ることが可能となる。
なお、特殊光としては、可視光が有する波長帯域とは異なる波長帯域を有する各種の光が用いられる。特殊光の詳細については後述する。
＜＜特殊光SLAM＞＞
＜特殊光観察を行う例＞
・CCUの機能構成
図３は、CCU１３の機能構成例を示すブロック図である。
図３に示すように、CCU１３においては情報処理部７１が実現される。情報処理部７１は、例えば、CCU１３を構成するCPUにより所定のプログラムが実行されることによって実現される。
情報処理部７１は、特殊光現像処理部８１、特殊光観察用現像処理部８２、３次元マップ生成部８３、３次元マップ記憶部８４、画面上位置算出部８５、３次元情報記憶部８６、および表示制御部８７から構成される。
内視鏡１１の撮像部５１を構成する特殊光用イメージセンサ６２から出力された画像信号は、特殊光現像処理部８１と特殊光観察用現像処理部８２に入力される。撮像部５１には、術野に対して特殊光を照射する特殊光照射部６１と、特殊光の照射中に術野の撮像を行う特殊光用イメージセンサ６２とが設けられる。
特殊光現像処理部８１は、特殊光用イメージセンサ６２から供給されたRAW信号に基づいて、RGBの画像を特殊光画像として生成し、特殊光画像のデータを３次元マップ生成部８３に出力する。
特殊光観察用現像処理部８２は、特殊光用イメージセンサ６２から供給されたRAW信号に基づいて、術野の状態を可視化した観察用の画像を生成する。観察用の画像には、術野の状態が視認可能な形で写ることになる。図３の例においては、特殊光が観察光として用いられる。特殊光観察用現像処理部８２により生成された観察用の画像のデータは表示制御部８７に供給される。
３次元マップ生成部８３は、特殊光画像に基づくSLAMである特殊光SLAMを行う。例えば、特殊光を照射した状態での術野の撮像は繰り返し行われる。３次元マップ生成部８３による特殊光SLAMは、特殊光現像処理部８１から順次供給される特殊光画像を用いて行われる。
３次元マップ生成部８３は、特殊光画像を解析することによって、所定の特徴量を有する点を特徴点として設定し、そのような特徴点から構成される３次元マップを生成する。３次元マップ生成部８３は、生成した３次元マップを３次元マップ記憶部８４に出力し、記憶させる。３次元マップ記憶部８４に記憶された３次元マップは、３次元マップ生成部８３による処理に応じて順次更新される。
また、３次元マップ生成部８３は、３次元マップ記憶部８４に記憶されている３次元マップなどに基づいて、内視鏡１１の位置・姿勢を推定し、位置・姿勢の推定結果を表す位置・姿勢情報を画面上位置算出部８５に出力する。
画面上位置算出部８５は、CTやMRIなどを用いて手術前などにあらかじめ生成された臓器の３次元画像を３次元情報記憶部８６から読み出して取得する。また、画面上位置算出部８５は、３次元情報記憶部８６に入力されたナビゲーション情報に応じた３次元位置情報や、ユーザとしての術者により画面上を指定するなどして入力された３次元位置情報を取得する。
画面上位置算出部８５は、３次元マップ生成部８３から供給された位置・姿勢情報により表される内視鏡１１の位置・姿勢、および、３次元位置情報により表される位置等に応じた、３次元画像の向きを算出する。画面上位置算出部８５は、算出した向きに応じた見え方となるように３次元画像を変換し、変換後の３次元画像を表示制御部８７に出力する。
表示制御部８７は、特殊光観察用現像処理部８２からデータが供給された観察用の画像に対して、画面上位置算出部８５による変換後の３次元画像を合成し、合成後の観察用の画像を表示装置１５に表示させる。
・特殊光の例
ここで、特殊光画像の撮像に用いられる特殊光について説明する。
（１）IR光（赤外線）を用いた場合
深部の血管構造を観察することができるIR光などの光を特殊光として用いた場合、表面の状態変化の影響を受けない３次元マップを得ることが可能となる。すなわち、手術における処置の影響を受けづらいSLAMが実現される。IR光のように、可視光の波長より長波長の光を特殊光として用いることが可能である。この場合、特殊光の波長帯域は、可視光の波長帯域より長波長の帯域となる。
（２）青色系の光を用いた場合
表層血管を強調して観察することができる青色系の光を特殊光として用いた場合、特殊光画像に写る血管などにSLAMの特徴点が設定される。血管は手術においても基本的に保存されるため、手術における処置の影響を受けづらいSLAMが実現される。
（３）透過性の高い光を用いた場合
可視光より透過性の高い光を特殊光として用いた場合、ミストやくもりが臓器内で発生したときでも、術野が鮮明に写る特殊光画像を得ることが可能となる。特殊光画像に基づいて特徴点を得ることができるため、SLAMの中断を抑えることが可能となる。処置の内容によってはミストなどが臓器内で発生し、可視光画像を用いた場合にはSLAMを継続できなくなることがあるが、そのようなことを防ぐことが可能となる。
（４）偏光を特殊光として用いた場合
偏光を特殊光として用いた場合、鏡面反射領域にある特徴点を特殊光画像から得ることができるため、鏡面反射領域をも含めたSLAMが可能となる。手術中、臓器内に水が溜まるなどして、鏡面反射が生じる領域が術野内に形成されることがある。可視光画像を用いた場合、鏡面反射領域にある特徴点を検出することができなくなることがあるが、特殊光画像を用いることにより、そのようなことを防ぐことが可能となる。
特殊光となる偏光は、例えば、偏光フィルタを用いて生成される。光源から出射された可視光が偏光フィルタを通過することにより偏光が生成される。
（５）既知の空間パターンを形成する光を特殊光として用いた場合
チェッカーパターンやドットパターンなどの既知の空間パターンを投影する光（Structured Light）を特殊光として用いるようにすることも可能である。この場合、術野の３次元形状をより正確に検出することが可能となる。
（６）パルス変調を加えた光を特殊光として用いた場合
パルス変調を加えた光を特殊光として用いた場合、反射光と照射光の位相差に基づいて、術野までの距離を直接計測することが可能となる。各位置までの距離の計測結果に基づいて、３次元マップが生成される。
このように、可視光が有する波長帯域とは異なる波長帯域を有する各種の光を特殊光として用いることが可能である。
なお、可視光は、白色光であり、例えば、下限が略360-400nmの範囲内の所定の波長、上限が略760-830nmの範囲内の所定の波長の帯域を有する。このような可視光の波長帯域と異なる波長帯域を有する各種の光を、特殊光として用いることが可能である。
可視光と異なる波長帯域の光を特殊光として用いるのではなく、光源の種類（LED、レーザーなど）が可視光と異なる光が特殊光として用いられるようにしてもよいし、照射強度が可視光と異なる光が特殊光として用いられるようにしてもよい。可視光を用いて照射する空間パターンと異なる空間パターンを照射する光が特殊光として用いられるようにすることも可能である。
・CCUの動作
ここで、図４のフローチャートを参照して、CCU１３の術野画像表示処理について説明する。
ステップＳ１において、撮像部５１の特殊光照射部６１は、術野に対して特殊光を照射する。
ステップＳ２において、特殊光用イメージセンサ６２は、特殊光の照射中に術野を撮像する。
ステップＳ３において、情報処理部７１の特殊光現像処理部８１は、特殊光用イメージセンサ６２から供給されたRAW信号に基づいて特殊光画像を生成する。
ステップＳ４において、特殊光観察用現像処理部８２は、特殊光用イメージセンサ６２から供給されたRAW信号に基づいて観察用の画像を生成する。
ステップＳ５において、３次元マップ生成部８３は、特殊光現像処理部８１から供給された特殊光画像を解析することによって３次元マップを生成する。
ステップＳ６において、３次元マップ生成部８３は、３次元マップに基づいて、内視鏡１１の位置と姿勢を推定する。
ステップＳ７において、画面上位置算出部８５は、３次元マップ生成部８３による位置・姿勢の推定結果などに基づいて３次元画像の向きを変換する。
ステップＳ８において、表示制御部８７は、特殊光観察用現像処理部８２から供給された観察用の画像に、画面上位置算出部８５から供給された変換後の３次元画像を合成する。
ステップＳ９において、表示制御部８７は、合成後の観察用の画像を表示装置１５に表示させる。
以上のような特殊光画像に基づくSLAMである特殊光SLAMにより、信頼性の高いSLAM結果を得ることが可能となる。
＜可視光観察を行う例＞
観察用の画像が、可視光の反射光を受光して得られた画像信号に基づいて生成されるようにしてもよい。この例においては、可視光が観察光として用いられる。
図５は、特殊光と可視光の照射の例を示す図である。
可視光が観察光として用いられる場合、図５に示すように、内視鏡１１の先端からは、特殊光と可視光が術野に向けて照射され、その状態で撮像が行われる。特殊光の反射光を受光して得られた特殊光画像が上述したようにしてSLAMに用いられ、可視光の反射光を受光して得られた可視光画像が観察用の画像として用いられる。
・CCUの機能構成
図６は、CCU１３の他の機能構成例を示すブロック図である。
図６に示す構成のうち、図３を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図６に示す情報処理部７１の構成は、特殊光観察用現像処理部８２に代えて可視光現像処理部９１が設けられるとともに、位置合わせ処理部９２が追加して設けられる点で、図３に示す構成と異なる。
撮像部５１には、特殊光照射部６１と特殊光用イメージセンサ６２の他に、術野に対して可視光を照射する可視光照射部６３と、可視光の照射中に術野の撮像を行う可視光用イメージセンサ６４とが設けられる。特殊光照射部６１による特殊光の照射と可視光照射部６３による可視光の照射は例えば同時に行われる。特殊光照射部６１による特殊光の照射と可視光照射部６３による可視光の照射が時分割で行われるようにしてもよい。
特殊光用イメージセンサ６２と可視光用イメージセンサ６４の前方には、図７に示すようなプリズム１０２とダイクロックミラー１０３が設けられる。内視鏡１１のスコープに設けられたレンズ１０１を透過した光のうちの特殊光は、ダイクロックミラー１０３において反射し、特殊光用イメージセンサ６２に導かれる。また、レンズ１０１を透過した光のうちの可視光は、ダイクロックミラー１０３を透過し、可視光用イメージセンサ６４に導かれる。
図６に示すように、特殊光用イメージセンサ６２から出力された画像信号は特殊光現像処理部８１に入力され、可視光用イメージセンサ６４から出力された画像信号は可視光現像処理部９１に入力される。
可視光現像処理部９１は、可視光用イメージセンサ６４から供給されたRAW信号に基づいて可視光画像を生成し、術野の状態を表す観察用の画像として出力する。可視光現像処理部９１から出力された可視光画像のデータは、表示制御部８７と位置合わせ処理部９２に供給される。
位置合わせ処理部９２は、特殊光現像処理部８１から供給された特殊光画像の各画素の位置を、可視光現像処理部９１から供給された可視光画像の各画素の位置に応じて電子的に合わせる位置合わせを行う。位置合わせ処理部９２は、位置合わせ後の特殊光画像を３次元マップ生成部８３に出力する。
表示制御部８７は、可視光現像処理部９１からデータが供給された可視光画像に対して、画面上位置算出部８５による変換後の３次元画像を合成し、合成後の可視光画像を表示装置１５に表示させる。
・CCUの動作
ここで、図８のフローチャートを参照して、図６の構成を有するCCU１３の術野画像表示処理について説明する。
ステップＳ２１において、撮像部５１の特殊光照射部６１は、術野に対して特殊光を照射する。また、可視光照射部６３は、術野に対して可視光を照射する。
ステップＳ２２において、特殊光用イメージセンサ６２は、特殊光の照射中に術野を撮像する。また、可視光用イメージセンサ６４は、可視光の照射中に術野を撮像する。
ステップＳ２３において、情報処理部７１の特殊光現像処理部８１は、特殊光用イメージセンサ６２から供給されたRAW信号に基づいて特殊光画像を生成する。
ステップＳ２４において、可視光現像処理部９１は、可視光用イメージセンサ６４から供給されたRAW信号に基づいて観察用の画像（可視光画像）を生成する。
ステップＳ２５において、位置合わせ処理部９２は、特殊光現像処理部８１から供給された特殊光画像と、可視光現像処理部９１から観察用の画像として供給された可視光画像に基づいて位置合わせを行う。
ステップＳ２６において、３次元マップ生成部８３は、位置合わせ処理部９２から供給された特殊光画像を解析することによって３次元マップを生成する。
ステップＳ２７において、３次元マップ生成部８３は、３次元マップに基づいて、内視鏡１１の位置と姿勢を推定する。
ステップＳ２８において、画面上位置算出部８５は、３次元マップ生成部８３による位置・姿勢の推定結果などに基づいて３次元画像の向きを変換する。
ステップＳ２９において、表示制御部８７は、可視光現像処理部９１から供給された観察用の画像に、画面上位置算出部８５から供給された変換後の３次元画像を合成する。
ステップＳ３０において、表示制御部８７は、合成後の観察用の画像を表示装置１５に表示させる。
以上のように、可視光照射部６３と可視光用イメージセンサ６４を撮像部５１に設けることにより、観察用の画像として可視光画像を用いることが可能となる。
＜＜複合SLAM＞＞
３次元マップの生成と位置・姿勢の推定が、特殊光画像を用いたSLAMである特殊光SLAMと、可視光画像を用いたSLAMである可視光SLAMとを複合的に用いて行われるようにしてもよい。特殊光SLAMと可視光SLAMとを複合的に用いたSLAMは、複合SLAMとなる。
図９は、複合SLAMの例を示す図である。
図９の上段において、左側に示す画像は可視光画像であり、右側に示す画像は特殊光画像である。図９に示す可視光画像と特殊光画像は、それぞれ同じ範囲を撮像して得られた画像である。また、それぞれの画像上に示す菱形は、画像解析を行うことによって検出された特徴点である。それぞれの撮像に用いられた光の波長によって、画像に写る内容が異なり、これにより、異なる位置に特徴点が設定される。
図９の可視光画像において、破線で囲んで示す領域Ａ１，Ａ２は、照射する可視光によって鏡面反射が生じている領域である。可視光画像においては輝点として写り、この例においては、それぞれの輝点の位置に多くの特徴点が設定されている。
一方、図９の特殊光画像において、破線で囲んで示す領域Ａ１１は、深部の血管構造が写っている領域である。この例においては、血管構造のエッジの近傍に多くの特徴点が設定されている。
複合SLAMは、図９の矢印の先に示すように、可視光画像から検出された特徴点と特殊光画像から検出された特徴点とを用いたSLAMである。可視光画像の撮像時の内視鏡１１の位置・姿勢と特殊光画像の撮像時の内視鏡１１の位置・姿勢とは同一であるため、２つ以上の画像から検出された特徴点を、同一座標系に容易に重ね合わせることが可能となる。
可視光画像から検出される特徴点と特殊光画像から検出される特徴点との位置がそれぞれ異なるため、複合SLAMによれば、よりロバストな３次元マップを生成することが可能となる。
複合SLAMにおいては、可視光画像から検出された特徴点と特殊光画像から検出された特徴点のうちの全ての特徴点を用いるのではなく、信頼度の高い特徴点が用いられる。
信頼度の高い特徴点に基づいて３次元マップが生成されるようにしてもよいし、３次元マップを構成する特徴点のうち、信頼度の高い特徴点に基づいて位置・姿勢の推定が行われるようにしてもよい。
後者の場合、例えば、可視光画像上の特徴点から構成される３次元マップと、特殊光画像上の特徴点から構成される３次元マップとがそれぞれ生成され、２つの３次元マップを合成して、複合SLAMの３次元マップが生成される。複合SLAMの３次元マップを構成する特徴点のうち、信頼度の高い特徴点が、位置・姿勢の推定に用いられる。
・CCUの機能構成
図１０は、CCU１３のさらに他の機能構成例を示すブロック図である。
図１０に示す構成のうち、図６を参照して説明した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
３次元マップ生成部８３は、位置合わせ処理部９２から供給された位置合わせ済みの特殊光画像と、可視光現像処理部９１から供給された可視光画像を取得する。３次元マップ生成部８３は、特殊光画像上の特徴点と可視光画像上の特徴点とを検出し、検出したそれらの特徴点に基づいて３次元マップを生成する。
例えば、３次元マップ生成部８３は、特殊光画像上の特徴点と可視光画像上の特徴点のそれぞれの信頼度を算出し、信頼度の高い特徴点から構成される３次元マップを生成する。
信頼度の算出は、例えば、あるフレームから検出された特徴点と、１フレーム前のフレームから検出された対応する特徴点とのそれぞれの特徴量の差分に基づいて、特徴量の差分が小さいほど高い値を信頼度として設定し、差分が大きいほど低い値を信頼度として設定するようにして行われる。
３次元マップ生成部８３は、例えば、特殊光画像から検出した特徴点と可視光画像から検出した特徴点の両方の特徴点が所定の範囲内に含まれる場合（近い位置にある場合）、信頼度の高い方の特徴点を、３次元マップを構成する特徴点として選択する。３次元マップを構成する特徴点の選択の仕方として、後述するような各種の方法を採用することが可能である。
３次元マップ生成部８３は、このようにして選択した特徴点から構成される３次元マップに基づいて内視鏡１１の位置・姿勢を推定し、位置・姿勢情報を画面上位置算出部８５に出力する。
画面上位置算出部８５は、３次元マップ生成部８３から供給された位置・姿勢情報により表される内視鏡１１の位置・姿勢などに基づいて、３次元画像の向きを算出する。画面上位置算出部８５は、算出した向きに応じた見え方となるように３次元画像を変換し、変換後の３次元画像を表示制御部８７に出力する。
表示制御部８７は、可視光現像処理部９１からデータが供給された可視光画像に対して、画面上位置算出部８５による変換後の３次元画像を合成し、合成後の可視光画像を表示装置１５に表示させる。
可視光画像の特徴点から構成される３次元マップと、特殊光画像の特徴点から構成される３次元マップとがそれぞれ生成されている場合、前者の３次元マップが表示制御部８７により表示されるようにしてもよい。例えば、可視光画像の特徴点から構成される３次元マップに対して、特殊光画像から検出された血管の情報を重畳するなどの表示が可能となる。
・CCUの動作
ここで、図１１のフローチャートを参照して、図１０の構成を有するCCU１３の術野画像表示処理について説明する。
ステップＳ５１乃至Ｓ５５の処理は、図８のステップＳ２１乃至Ｓ２５の処理と同様の処理である。位置合わせ済みの特殊光画像と、可視光の照射中に撮像された可視光画像とが３次元マップ生成部８３に供給される。
ステップＳ５６において、３次元マップ生成部８３は、３次元マップ生成／位置・姿勢推定処理を行う。ここで行われる３次元マップ生成／位置・姿勢推定処理が、複合SLAMの処理となる。３次元マップ生成／位置・姿勢推定処理の詳細については後述する。
ステップＳ５７乃至Ｓ５９の処理は、図８のステップＳ２８乃至Ｓ３０の処理と同様の処理である。３次元マップ生成／位置・姿勢推定処理による位置・姿勢の推定結果を用いて３次元画像の合成が行われ、３次元画像の合成後の可視光画像が表示される。
・３次元マップ生成／位置・姿勢推定処理
図１２は、３次元マップ生成／位置・姿勢推定処理に用いられる特徴点の例を示す図である。
図１２に示すように、３次元マップ生成／位置・姿勢推定処理においては、ある時刻ｔにおいて可視光画像から検出された特徴点Ｘn tと、特殊光画像から検出された特徴点Ｙm tのうち、信頼度の高い特徴点を残すようにして３次元マップが生成される。３次元マップは、信頼度の高い特徴点として残された特徴点Ｚ1 t，・・・，Ｚp tにより構成される。
図１３は、可視光画像から検出された特徴点と特殊光画像から検出された特徴点の例を示す図である。
図１３の上段が、可視光画像から検出された特徴点を示す。図１３の下段が、特殊光画像から検出された特徴点を示す。
右側の可視光画像上に示すように、時刻ｔのフレームの可視光画像（ｔフレーム目の可視光画像）から検出された特徴点Ｘn tの特徴量は、特徴量ｘn tとして表される。また、左側の可視光画像上に示すように、時刻t-1のフレームの可視光画像（t-1フレーム目の可視光画像）から検出された特徴点Ｘn t-1の特徴量は、特徴量ｘn t-1として表される。
可視光画像から検出されたそれぞれの特徴点Ｘn tの信頼度は、水平線で連結して示すように、特徴量ｘn tと、１フレーム前の対応する特徴点Ｘn t-1の特徴量である特徴量ｘn t-1とに基づいて算出される。
同様に、右側の特殊光画像上に示すように、ｔフレーム目の特殊光画像から検出された特徴点Ｙm tの特徴量は、特徴量ｙm tとして表される。また、左側の特殊光画像上に示すように、t-1フレーム目の特殊光画像から検出された特徴点Ｙm t-1の特徴量は、特徴量ｙm t-1として表される。
特殊光画像から検出された特徴点Ｙm tの信頼度は、水平線で連結して示すように、特徴量ｙm tと、１フレーム前の対応する特徴点Ｙm t-1の特徴量である特徴量ｙm t-1とに基づいて算出される。
図１４は、特徴点を特殊光画像上に重ねて示す図である。
t-1フレーム目の特殊光画像上に特徴点Ｘn t-1と特徴点Ｙm t-1とを重ねた場合、図１４の左側に示すものとなる。
一方、ｔフレーム目の特殊光画像上に特徴点Ｘn tと特徴点Ｙm tとを重ねた場合、図１４の右側に示すものとなる。図１４の右側に示すｔフレーム目の特殊光画像上には、特徴点Ｘn tと特徴点Ｙm tだけでなく、特徴点Ｘn t-1と特徴点Ｙm t-1のうち、信頼度の高い特徴点も示されている。
例えば、位置Ｐ１の特徴点は信頼度の高い特徴点Ｙm t-1であり、位置Ｐ２の特徴点は信頼度の高い特徴点Ｘn t-1である。図１４の右側の特殊光画像上に示すようなそれぞれの特徴点に基づいて、時刻ｔにおける３次元マップが生成される。
図１５のフローチャートを参照して、図１１のステップＳ５６において行われる３次元マップ生成／位置・姿勢推定処理について説明する。
図１５に示すように、可視光画像を対象としたステップＳ１０１乃至Ｓ１０４の処理と、特殊光画像を対象としたステップＳ１０５乃至Ｓ１０８の処理とは、例えば並行して行われる。
ステップＳ１０１において、図１０の３次元マップ生成部８３は、可視光現像処理部９１から供給された可視光画像を取得する。
ステップＳ１０２において、３次元マップ生成部８３は、ｔフレーム目とt-1フレーム目の画像内のＮ個の特徴点を抽出し、それぞれの特徴量の集合{ｘ1 t,・・・,ｘN t},{ｘ1 t-1,・・・,ｘN t-1}を求める。
ステップＳ１０３において、３次元マップ生成部８３は、ｔフレーム目の特徴点Ｘn tの特徴量ｘn tと、t-1フレーム目の抽出された特徴量集合{ｘ1 t-1,・・・,ｘN t-1}との距離を比較して、最も距離の小さくなる特徴点である対応特徴点を探索する。対応特徴点の特徴量がｘn t-1となる。
距離dｘn t(ｘn t,ｘn t-1)，dｙm t(ｙm t,ｙm t-1)には、ユークリッド距離(L2ノルム)、ハミング距離等を用いることができる。距離dｘn t(ｘn t,ｘn t-1)は、特徴量ｘn tと特徴量ｘn t-1との距離である。また、距離dｙm t(ｙm t,ｙm t-1)は、特徴量ｙm tと特徴量ｙm t-1との距離である。
ステップＳ１０４において、３次元マップ生成部８３は、ｔフレーム目の特徴量ｘn tとt-1フレーム目の対応特徴点の特徴量ｘn t-1間の距離dｘn t(ｘn t,ｘn t-1)の小ささに応じて、特徴点Ｘn tの信頼度を設定する。
信頼度には、距離の逆数の値が用いられるようにしてもよいし、距離とlog等の関数を組み合わせて求められた値が用いられるようにしてもよい。また、通常光と特殊光の影響度合いを調整するため、それぞれの信頼度に所定の係数が設定されるようにしてもよい。
以上の処理が、可視光画像の各フレームを対象として行われる。
一方、ステップＳ１０５において、３次元マップ生成部８３は、位置合わせ処理部９２から供給された位置合わせ済みの特殊光画像を取得する。
ステップＳ１０６において、３次元マップ生成部８３は、ｔフレーム目とt-1フレーム目の画像内のＭ個の特徴点を抽出し、それぞれの特徴量の集合{ｙ1 t,・・・,ｙM t},{ｙ1 t-1,・・・,ｙM t-1}を求める。
ステップＳ１０７において、３次元マップ生成部８３は、ｔフレーム目の特徴点Ｙm tの特徴量ｙm tと、t-1フレーム目の抽出された特徴量集合{ｙ1 t-1,・・・,ｙM t-1}との距離を比較して、最も距離の小さくなる特徴点である対応特徴点を探索する。対応特徴点の特徴量がｙm t-1となる。
ステップＳ１０８において、３次元マップ生成部８３は、ｔフレーム目の特徴点Ｙm tの特徴量ｙm tとt-1フレーム目の対応特徴点の特徴量ｙm t-1間の距離dｙm t(ｙm t,ｙm t-1)の小ささに応じて、特徴点Ｙm tの信頼度を設定する。
以上の処理が、特殊光画像の各フレームを対象として行われる。
ステップＳ１０９において、３次元マップ生成部８３は、通常光画像内の特徴点Ｘn tと特殊光画像内の特徴点Ｙm tを、それぞれｔフレーム目とt-1フレーム目の同一平面上に配置する。
ステップＳ１１０において、３次元マップ生成部８３は、全特徴点{Ｘ1 t,・・・,ＸN t,Ｙ1 t,・・・,ＹM t}のうち、信頼度が上位Ｐ個の特徴点の集合である特徴点集合{Ｚ1 t,・・・,ＺP t}を抽出する。
ステップＳ１１１において、３次元マップ生成部８３は、特徴点集合{Ｚ1 t,・・・,ＺP t}と３次元マップを構成する特徴点に含まれる、ｔフレーム目とt-1フレーム目の対応特徴点の位置に基づいて、ｔフレーム目とt-1フレーム目のそれぞれを撮影したときの内視鏡１１の自己位置と、特徴点集合{Ｚ1 t,・・・,ＺP t}の３次元位置との推定を行う。内視鏡１１の自己位置と{Ｚ1 t,・・・,ＺP t}の３次元位置の推定は、バンドル調整を行いながら進められる。
この際、外れ値と思われる値については、例えば、RANSAC等の手法を用いて、特徴点集合{Ｚ1 t,・・・,ＺP t}から取り除かれる。外れ値が取り除かれた特徴点集合は、特徴点集合{Ｚ1 t,・・・,ＺP’ t}となる。
ステップＳ１１２において、３次元マップ生成部８３は、あらかじめ定められた条件を満たす場合、特徴点集合{Ｚ1 t,・・・,ＺP’ t}を３次元マップに追加する。例えば、特徴点集合{Ｚ1 t,・・・,ＺP’ t}が過去の特徴点と比較して十分な信頼度を有しているなどの条件に基づいて、特徴点集合の追加が行われる。
以上の処理が繰り返されることにより、３次元マップ生成／位置・姿勢推定処理が行われる。
図１６のフローチャートを参照して、他の３次元マップ生成／位置・姿勢推定処理について説明する。
図１６に示す処理は、特徴点集合{Ｚ1 t,・・・,ＺP t}の抽出の仕方が異なる点で、図１５を参照して説明した処理と異なる。すなわち、ステップＳ１２１乃至Ｓ１２９の処理は、図１５のステップＳ１０１乃至Ｓ１０９の処理と同様の処理である。
ステップＳ１３０において、３次元マップ生成部８３は、全特徴点{Ｘ1 t,・・・,ＸN t,Ｙ1 t,・・・,ＹM t}のうち、信頼度が上位Ｑ個の特徴点を選択する。また、３次元マップ生成部８３は、Ｑ個の特徴点に含まれる可視光画像の特徴点と特殊光画像の特徴点の数をそれぞれカウントし、含まれる数が多い方の特徴点集合{Ｘ1 t,・・・,ＸN t}または{Ｙ1 t,・・・,ＹM t}を選択する。３次元マップ生成部８３は、選択した特徴点集合{Ｘ1 t,・・・,ＸN t}または{Ｙ1 t,・・・,ＹM t}から、信頼度が上位Ｐ個の特徴点を抽出し、特徴点集合{Ｚ1 t,・・・,ＺP t}とする。
このように、特徴点を各種の方法によって選択し、時刻ｔにおける３次元マップを構成する特徴点として用いることが可能である。
以上のように、可視光SLAMと特殊光SLAMを組み合わせた複合SLAMによって３次元マップの生成と位置・姿勢の推定を行うことにより、ロバスト性をより向上させることが可能となる。複数の光源によるSLAMの結果を用いることにより、単体の光源によるSLAMの結果を用いる場合と比べて、精度を向上させることが可能となる。
可視光SLAMの結果として得られた特徴点と、特殊光SLAMの結果として得られた特徴点を状況に応じて切り替え、複合SLAMの結果として用いるようにしてもよい。
複合SLAMによる内視鏡１１の位置・姿勢の推定結果に基づいて、可視光SLAMによって得られた３次元マップと特殊光SLAMによって得られた３次元マップの位置合わせが行われ、１つの３次元マップが生成されるようにしてもよい。なお、可視光SLAMと特殊光SLAMによって得られた三次元マップの位置合わせは、機械学習を用いて行ってもよい。例えば、可視光SLAMの特徴量と、そのペアとなる特殊光SLAMの特徴量とを、予めラベリングされた学習データとして多層ニューラルネットワークの機械学習モデルに入力してパラメータを生成する。そして、機械学習モデルおよびパラメータに基づいて設定された位置合わせ用アルゴリズムに、可視光SLAMによって得られた特徴量と特殊光SLAMによって得られた特徴量を入力して、位置合わせを行ってもよい。
以上の一連の処理により、深部にある血管構造のエッジなどを特徴点とする特殊光SLAMにおいては、術中の処置を行う場面においても変化の少ない３次元マップを生成することができ、信頼性の高いSLAM結果を常に得ることが可能となる。
透過性の高い特殊光を用いた特殊光SLAMにおいては、ミスト、くもりなどによる可視光の情報が得られなくなる状況であっても、最新の情報を用いたSLAM結果を常に得ることが可能となる。
偏光を用いた特殊光SLAMにおいては、鏡面反射領域にある特徴点を特殊光画像から検出することができ、SLAM結果を得ることが可能となる。
＜＜変形例＞＞
可視光と複数種類の特殊光とを用いて、複合SLAMが行われるようにしてもよい。この場合、波長帯域が異なる複数種類の特殊光が照射され、それぞれの特殊光の照射中に撮像が行われることによって、複数種類の特殊光画像が生成される。複合SLAMは、可視光画像から検出された特徴点と、それぞれの特殊光画像から検出された特徴点とに基づいて行われる。
このように、複合SLAMにおいて用いられる特殊光の数を複数とすることが可能である。
＜＜適用例＞＞
＜システム構成＞
次に、図１７を参照して、本技術の実施の形態に係る手術支援システムの適用例として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について説明する。
図１７は、患者の体内を観察する観察用医療機器としての手術用ビデオ顕微鏡装置を用いた顕微鏡手術システムの一例を示している。
図１７には、施術者（ユーザ）５２０である医師が、例えばメス、鑷子、鉗子などの手術用の器具５２１を使用して、施術台５３０上の施術対象（患者）５４０に対して手術を行っている様子が示されている。
なお、以下の説明において、施術とは、手術や検査など、ユーザ５２０である医師が施術対象５４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図１７の例では、施術の一例として手術の様子が示されているが、手術用ビデオ顕微鏡装置５１０が用いられる施術は手術に限定されず、他の各種の施術であってもよい。
施術台５３０の脇には、本技術の実施の形態に係る手術用ビデオ顕微鏡装置５１０が設けられる。
手術用ビデオ顕微鏡装置５１０は、基台であるベース部５１１、ベース部５１１から延伸するアーム部５１２、そして、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５を備える。
アーム部５１２は、複数の関節部５１３ａ、５１３ｂ、５１３ｃ、関節部５１３ａ、５１３ｂによって連結される複数のリンク５１４ａ、５１４ｂ、そして、アーム部５１２の先端に設けられる撮像ユニット５１５を有する。
図１７の例では、簡単のため、アーム部５１２は３つの関節部５１３ａ乃至５１３ｃと２つのリンク５１４ａ、５１４ｂを有している。実際には、アーム部５１２と撮像ユニット５１５の位置および姿勢の自由度を考慮して、所望の自由度を実現するように関節部５１３ａ乃至５１３ｃとリンク５１４ａ、５１４ｂの数や形状、関節部５１３ａ乃至５１３ｃの駆動軸の方向などが適宜設定されてもよい。
関節部５１３ａ乃至５１３ｃは、リンク５１４ａ、５１４ｂを互いに回動可能に連結する機能を有し、関節部５１３ａ乃至５１３ｃの回転が駆動されることにより、アーム部５１２の駆動が制御される。
アーム部５１２の先端には、先端ユニットとして撮像ユニット５１５が接続されている。
撮像ユニット５１５は、被写体の光学像を取得する光学系を含むことで、撮像対象の画像を取得するユニットであり、例えば動画像や静止画像を撮像できるカメラなどとして構成される。図１７に示されるように、アーム部５１２の先端に設けられた撮像ユニット５１５が、施術対象５４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置５１０によってアーム部５１２と撮像ユニット５１５の自己位置および姿勢が制御される。
なお、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５の構成は特に限定されず、例えば、撮像ユニット５１５は、内視鏡や顕微鏡として構成されてもよい。また、撮像ユニット５１５は、アーム部５１２に対して着脱可能に構成されてもよい。
このような構成により、例えば、利用用途に応じた撮像ユニット５１５が、アーム部５１２の先端に先端ユニットとして適宜接続されてもよい。なお、ここでは、先端ユニットとして撮像ユニット５１５が適用されている場合に着目して説明するが、アーム部５１２の先端に接続される先端ユニットは、必ずしも撮像ユニット５１５に限定されないことは言うまでもない。
また、ユーザ５２０と対向する位置には、モニタやディスプレイなどの表示装置５５０が設置される。撮像ユニット５１５により取得された施術部位の画像は、例えば、手術用ビデオ顕微鏡装置５１０に内蔵または外付けされた画像処理装置により、各種画像処理が施されたうえで、表示装置５５０の表示画面に電子画像として表示される。
このような構成により、ユーザ５２０は、表示装置５５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置（例えば手術など）を行うことが可能となる。
ここで、図１７の例では、撮像ユニット５１５が、例えば、図３等を参照して説明した撮像部５１を含む。また、撮像ユニット５１５により取得された施術部位の画像に対して、各種画像処理を施す画像処理装置が、図３等を参照して説明した情報処理部７１の一例に相当する。
＜ハードウェア構成＞
次に、図１８を参照して、本技術の実施の形態に係る手術支援システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。
図１８は、本技術の実施の形態に係る手術支援システムを構成する情報処理装置９００のハードウェア構成の一例を示すブロック図である。
図１８に示されるように、情報処理装置９００は、CPU９０１，ROM９０３，およびRAM９０５を備えている。さらに、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インタフェース９１３、入力装置９１５、出力装置９１７、およびストレージ装置９１９を備えている。なお、情報処理装置９００は、ドライブ９２１、接続ポート９２３、通信装置９２５を備えてもよい。
CPU９０１は、演算処理装置および制御装置として機能し、ROM９０３、RAM９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。
ROM９０３は、CPU９０１が使用するプログラムや演算パラメータなどを記憶する。RAM９０５は、CPU９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータなどを一次記憶する。これらは、CPUバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図３等を参照して説明した情報処理部７１の各構成は、例えばCPU９０１により実現される。
ホストバス９０７は、ブリッジ９０９を介して、PCI（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、および通信装置９２５が接続される。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、およびペダルなど、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよい。入力装置９１５は、例えば、情報処理装置９００の操作に対応した携帯電話機、スマートフォン、またはタブレット端末などの外部接続機器９２９であってもよい。
入力装置９１５は、例えば、上述した操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU９０１に出力する入力制御回路などから構成されている。
ユーザは、入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。具体的には、出力装置９１７は、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置、プリンタ装置などとして構成される。
出力装置９１７は、例えば、情報処理装置９００が行った各種の処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データなどからなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、HDD（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、CPU９０１が実行するプログラムや各種データなどを格納する。
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵されるか、または外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７に記録される情報を読み出して、RAM９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７に記録を書き込むことも可能である。
リムーバブル記録媒体９２７は、例えば、DVDメディア、HD-DVDメディア、またはBlu-ray（登録商標）メディアなどである。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（CF：CompactFlash）、フラッシュメモリ、またはSD（Secure Digital）メモリカードなどであってもよい。さらに、リムーバブル記録媒体９２７は、例えば、非接触型ICチップを搭載したIC（Integrated Circuit）カード、または電子機器などであってもよい。
接続ポート９２３は、外部接続機器９２９を情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例としては、USB（Universal Serial Bus）ポート、IEEE１３９４ポート、SCSI（Small Computer System Interface）ポートなどがある。接続ポート９２３の別の例としては、RS-232Cポート、光オーディオ端子、HDMI（登録商標）（High-Definition Multimedia Interface）ポートなどがある。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置９２５は、例えば、有線または無線LAN（Local Area Network）、Bluetooth（登録商標）、またはWUSB（Wireless USB）用の通信カードなどである。また、通信装置９２５は、光通信用のルータ、ADSL（Asymmetric Digital Subscriber Line）用のルータ、または各種通信用のモデムなどであってもよい。
通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばTCP/IPなどの所定のプロトコルに則して信号を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワークなどにより構成されるようにしてもよい。通信網９３１は、例えば、インターネットや家庭内LANであってもよいし、赤外線通信、ラジオ波通信、または衛星通信が行われる通信網であってもよい。
図１８の情報処理装置９００の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。したがって、本技術の実施の形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
さらに、本技術の実施の形態に係る手術支援システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータなどに実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することも可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、コンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
＜その他＞
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
術野を撮像する撮像部と、
所定の波長帯域を有する観察光、または前記所定の波長帯域とは異なる波長帯域を有する特殊光を前記術野に照射する光源部と、
前記特殊光の照射中に前記撮像部により撮像した特殊光画像に基づいて３次元情報を生成する制御部と
を備える医療用観察システム。
（２）
前記制御部は、前記術野を含む空間の形状を表す前記３次元情報を生成し、生成した前記３次元情報に基づいて、前記特殊光画像の撮影時の前記撮像部の位置と姿勢を推定する
前記（１）に記載の医療用観察システム。
（３）
前記特殊光の照射中に前記術野の撮像を行った前記撮像部から供給された信号に基づいて、観察用の画像を生成する現像処理部と、
前記撮像部の位置と姿勢の推定結果に応じた前記観察用の画像を表示させる表示制御部と
をさらに備える前記（１）または（２）に記載の医療用観察システム。
（４）
前記撮像部は、
前記観察光用の撮像素子である観察光用撮像素子と、
前記特殊光用の撮像素子である特殊光用撮像素子と
を有する
前記（１）または（２）に記載の医療用観察システム。
（５）
前記観察光の照射中に前記観察光用撮像素子により前記術野の撮像を行った前記撮像部から供給された信号に基づいて、観察用の画像を生成する現像処理部と、
前記撮像部の位置と姿勢の推定結果に応じた前記観察用の画像を表示させる表示制御部と
をさらに備える前記（４）に記載の医療用観察システム。
（６）
前記制御部は、前記特殊光の照射中に前記特殊光用撮像素子により撮像した前記特殊光画像と、前記観察光の照射中に前記観察光用撮像素子により撮像した観察光画像とに基づいて前記３次元情報を生成する
前記（５）に記載の医療用観察システム。
（７）
前記制御部は、前記特殊光画像内の特徴点と前記観察光画像内の特徴点とから構成される前記３次元情報を生成する
前記（６）に記載の医療用観察システム。
（８）
前記制御部は、前記特殊光画像内の特徴点と前記観察光画像内の特徴点とのそれぞれの信頼度を特徴量に基づいて算出し、前記信頼度が高い所定の数の特徴点を、前記３次元情報を構成する特徴点として用いることによって前記３次元情報を生成する
前記（７）に記載の医療用観察システム。
（９）
前記特殊光が有する波長帯域は、前記観察光が有する前記所定の波長帯域より長波長の帯域である
前記（１）乃至（８）のいずれかに記載の医療用観察システム。
（１０）
前記観察光は、前記術野の表層において反射する光であり、
前記特殊光は、前記術野の深部の構造において反射する光である
前記（１）乃至（８）のいずれかに記載の医療用観察システム。
（１１）
前記観察光は、前記術野の表層において反射する光であり、
前記特殊光は、前記術野の表層の血管において反射する光である
前記（１）乃至（８）のいずれかに記載の医療用観察システム。
（１２）
前記特殊光は、偏光フィルタを通して得られた光である
前記（１）乃至（８）のいずれかに記載の医療用観察システム。
（１３）
前記特殊光は、所定のパターン光を前記術野に照射する光である
前記（１）乃至（８）のいずれかに記載の医療用観察システム。
（１４）
前記特殊光は、所定の波長の光に対してパルス変調を加えることによって得られた光である
前記（１）乃至（８）のいずれかに記載の医療用観察システム。
（１５）
医療用観察システムが、
撮像部により術野を撮像し、
光源部により、所定の波長帯域を有する観察光、または前記所定の波長帯域とは異なる波長帯域を有する特殊光を前記術野に照射し、
前記特殊光の照射中に前記撮像部により撮像した特殊光画像に基づいて３次元情報を生成する
医療用観察方法。
（１６）
所定の波長帯域を有する観察光、または前記所定の波長帯域とは異なる波長帯域を有する特殊光を術野に照射する光源部による前記特殊光の照射中に前記術野を撮像した特殊光画像に基づいて、３次元情報を生成する制御部を備える
情報処理装置。
１ 医療用観察システム， １１ 内視鏡， １３ CCU， １５ 表示装置， １７ 光源装置， ５１ 撮像部，６１ 特殊光照射部， ６２ 特殊光用イメージセンサ， ６３ 可視光照射部， ６４ 可視光用イメージセンサ， ７１ 情報処理部， ８１ 特殊光現像処理部， ８２ 特殊光観察用現像処理部， ８３ ３次元マップ生成部， ８４ ３次元マップ記憶部， ８５ 画面上位置算出部， ８６ ３次元情報記憶部， ８７ 表示制御部， ９１ 可視光現像処理部， ９２ 位置合わせ処理部

Claims (13)

  1. 術野を撮像する撮像部と、
    可視光が有する波長帯域とは異なる波長帯域を有する特殊光を前記術野に照射する光源部と、
    前記特殊光の照射中に前記撮像部により撮像した特殊光画像に基づいてSLAMを行うことによって得られた特徴点に基づいて、前記術野を含む空間の形状を表す３次元情報を生成し、生成した前記３次元情報に基づいて、前記特殊光画像の撮影時の前記撮像部の位置と姿勢を推定する制御部と
    を備える医療用観察システム。
  2. 前記特殊光の照射中に前記術野の撮像を行った前記撮像部から供給された信号に基づいて、観察用の画像を生成する現像処理部と、
    前記撮像部の位置と姿勢の推定結果に応じた前記観察用の画像を表示させる表示制御部と
    をさらに備える請求項１に記載の医療用観察システム。
  3. 前記光源部は、観察光となる可視光をさらに照射する
    請求項１に記載の医療用観察システム。
  4. 前記撮像部は、
    前記観察光用の撮像素子である観察光用撮像素子と、
    前記特殊光用の撮像素子である特殊光用撮像素子と
    を有する
    請求項３に記載の医療用観察システム。
  5. 前記観察光の照射中に前記観察光用撮像素子により前記術野の撮像を行った前記撮像部から供給された信号に基づいて、観察用の画像を生成する現像処理部と、
    前記撮像部の位置と姿勢の推定結果に応じた前記観察用の画像を表示させる表示制御部と
    をさらに備える請求項４に記載の医療用観察システム。
  6. 前記制御部は、前記特殊光の照射中に前記特殊光用撮像素子により撮像した前記特殊光画像と、前記観察光の照射中に前記観察光用撮像素子により撮像した観察光画像とに基づいてSLAMを行うことによって得られた特徴点に基づいて前記３次元情報を生成する
    請求項５に記載の医療用観察システム。
  7. 前記制御部は、前記特殊光画像内の特徴点と前記観察光画像内の特徴点とから構成される前記３次元情報を生成する
    請求項６に記載の医療用観察システム。
  8. 前記制御部は、前記特殊光画像内の特徴点と前記観察光画像内の特徴点とのそれぞれの信頼度を特徴量に基づいて算出し、前記信頼度が高い所定の数の特徴点を、前記３次元情報を構成する特徴点として用いることによって前記３次元情報を生成する
    請求項７に記載の医療用観察システム。
  9. 前記特殊光が有する波長帯域は、前記観察光が有する波長帯域より長波長の帯域である
    請求項３に記載の医療用観察システム。
  10. 前記観察光は、前記術野の表層において反射する光であり、
    前記特殊光は、前記術野の深部の構造において反射する光である
    請求項３に記載の医療用観察システム。
  11. 前記観察光は、前記術野の表層において反射する光であり、
    前記特殊光は、前記術野の表層の血管において反射する光である
    請求項３に記載の医療用観察システム。
  12. 医療用観察システムが、
    撮像部により術野を撮像し、
    光源部により、可視光が有する波長帯域とは異なる波長帯域を有する特殊光を前記術野に向けて出射し、
    前記特殊光の出射中に前記撮像部により撮像した特殊光画像に基づいてSLAMを行うことによって得られた特徴点に基づいて、前記術野を含む空間の形状を表す３次元情報を生成し、
    生成した前記３次元情報に基づいて、前記特殊光画像の撮影時の前記撮像部の位置と姿勢を推定する
    医療用観察方法。
  13. 可視光が有する波長帯域とは異なる波長帯域を有する特殊光を術野に照射する光源部による前記特殊光の照射中に撮像部によって前記術野を撮像した特殊光画像に基づいてSLAMを行うことによって得られた特徴点に基づいて、前記術野を含む空間の形状を表す３次元情報を生成し、生成した前記３次元情報に基づいて、前記特殊光画像の撮影時の前記撮像部の位置と姿勢を推定する制御部を備える
    情報処理装置。
JP2019115405A 2019-06-21 2019-06-21 医療用観察システム、医療用観察方法、および情報処理装置 Active JP7354608B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019115405A JP7354608B2 (ja) 2019-06-21 2019-06-21 医療用観察システム、医療用観察方法、および情報処理装置
CN202080043388.7A CN114126531A (zh) 2019-06-21 2020-06-19 医疗成像系统、医疗成像处理方法及医疗信息处理设备
EP20736468.8A EP3962345A1 (en) 2019-06-21 2020-06-19 Medical imaging system, medical imaging processing method, and medical information processing apparatus
US17/608,525 US20220225860A1 (en) 2019-06-21 2020-06-19 Medical imaging system, medical imaging processing method, and medical information processing apparatus
PCT/JP2020/024060 WO2020256089A1 (en) 2019-06-21 2020-06-19 Medical imaging system, medical imaging processing method, and medical information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019115405A JP7354608B2 (ja) 2019-06-21 2019-06-21 医療用観察システム、医療用観察方法、および情報処理装置

Publications (2)

Publication Number Publication Date
JP2021000258A JP2021000258A (ja) 2021-01-07
JP7354608B2 true JP7354608B2 (ja) 2023-10-03

Family

ID=71452698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019115405A Active JP7354608B2 (ja) 2019-06-21 2019-06-21 医療用観察システム、医療用観察方法、および情報処理装置

Country Status (5)

Country Link
US (1) US20220225860A1 (ja)
EP (1) EP3962345A1 (ja)
JP (1) JP7354608B2 (ja)
CN (1) CN114126531A (ja)
WO (1) WO2020256089A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016093210A (ja) 2014-11-12 2016-05-26 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
WO2016181454A1 (ja) 2015-05-11 2016-11-17 オリンパス株式会社 内視鏡装置
WO2016194178A1 (ja) 2015-06-03 2016-12-08 オリンパス株式会社 撮像装置、内視鏡装置及び撮像方法
WO2018008136A1 (ja) 2016-07-07 2018-01-11 オリンパス株式会社 画像処理装置および画像処理装置の作動方法
JP2020010763A (ja) 2018-07-13 2020-01-23 パナソニック株式会社 内視鏡システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003077749A2 (en) * 2002-03-12 2003-09-25 Beth Israel Deaconess Medical Center Medical imaging systems
DE602005004332T2 (de) * 2004-06-17 2009-01-08 Cadent Ltd. Verfahren zum Bereitstellen von Daten im Zusammenhang mit der Mundhöhle
CA2730429C (en) * 2008-07-24 2018-02-20 Massachusetts Institute Of Technology Systems and methods for imaging using absorption
JP2012165838A (ja) * 2011-02-10 2012-09-06 Nagoya Univ 内視鏡挿入支援装置
US20140336461A1 (en) * 2012-04-25 2014-11-13 The Trustees Of Columbia University In The City Of New York Surgical structured light system
JP5930531B2 (ja) * 2012-05-24 2016-06-08 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
CN103356155B (zh) * 2013-06-24 2014-12-31 清华大学深圳研究生院 虚拟内窥镜辅助的腔体病灶检查系统
EP3031386B1 (en) * 2013-09-10 2021-12-29 Sony Group Corporation Image processing device and program
JP6854237B2 (ja) * 2014-03-28 2021-04-07 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視野内の器具の定量的三次元視覚化
US10237534B2 (en) * 2014-07-07 2019-03-19 Infineon Technologies Ag Imaging device and a method for producing a three-dimensional image of an object
JP7289653B2 (ja) 2016-03-31 2023-06-12 ソニーグループ株式会社 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016093210A (ja) 2014-11-12 2016-05-26 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
WO2016181454A1 (ja) 2015-05-11 2016-11-17 オリンパス株式会社 内視鏡装置
WO2016194178A1 (ja) 2015-06-03 2016-12-08 オリンパス株式会社 撮像装置、内視鏡装置及び撮像方法
WO2018008136A1 (ja) 2016-07-07 2018-01-11 オリンパス株式会社 画像処理装置および画像処理装置の作動方法
JP2020010763A (ja) 2018-07-13 2020-01-23 パナソニック株式会社 内視鏡システム

Also Published As

Publication number Publication date
US20220225860A1 (en) 2022-07-21
EP3962345A1 (en) 2022-03-09
JP2021000258A (ja) 2021-01-07
WO2020256089A1 (en) 2020-12-24
CN114126531A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
US20220331052A1 (en) Cooperation among multiple display systems to provide a healthcare user customized information
WO2019181632A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
CN109219384B (zh) 内窥镜图像与超声图像的基于图像的融合
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
US10904437B2 (en) Control apparatus and control method
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
US11354818B2 (en) Medical imaging system, method and computer program product
KR20140139840A (ko) 디스플레이 장치 및 그 제어방법
JP2020156800A (ja) 医療用アームシステム、制御装置、及び制御方法
WO2007115825A1 (en) Registration-free augmentation device and method
JP7427251B2 (ja) 内視鏡設計における血流および灌流撮像および定量化のためのレーザ撮像方法およびシステムを用いたマルチスペクトル生理機能視覚化（ｍｓｐｖ）
WO2019202827A1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP2018108173A (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2019155931A1 (ja) 手術システム、画像処理装置及び画像処理方法
WO2020262262A1 (ja) 医療用観察システム、制御装置及び制御方法
JP7354608B2 (ja) 医療用観察システム、医療用観察方法、および情報処理装置
WO2020008920A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
WO2021095697A1 (ja) 情報処理装置、生成方法及び生成プログラム
WO2020203405A1 (ja) 医療用観察システムおよび方法、並びに医療用観察装置
JP2020512108A (ja) 医用撮像装置及び内視鏡
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
US20220148209A1 (en) Medical system, signal processing device, and signal processing method
WO2021095773A1 (ja) 情報処理装置、生成方法及び生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R151 Written notification of patent or utility model registration

Ref document number: 7354608

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151