JP2024505269A - 外科用顕微鏡及びカメラを備える外科的補助システムと表示方法 - Google Patents

外科用顕微鏡及びカメラを備える外科的補助システムと表示方法 Download PDF

Info

Publication number
JP2024505269A
JP2024505269A JP2023546561A JP2023546561A JP2024505269A JP 2024505269 A JP2024505269 A JP 2024505269A JP 2023546561 A JP2023546561 A JP 2023546561A JP 2023546561 A JP2023546561 A JP 2023546561A JP 2024505269 A JP2024505269 A JP 2024505269A
Authority
JP
Japan
Prior art keywords
microscope
image
camera
surgical
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023546561A
Other languages
English (en)
Inventor
サルベスタニ アミール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
B Braun New Ventures GmbH
Original Assignee
B Braun New Ventures GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by B Braun New Ventures GmbH filed Critical B Braun New Ventures GmbH
Publication of JP2024505269A publication Critical patent/JP2024505269A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00115Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A61B2017/00123Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation and automatic shutdown
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/372Details of monitor hardware
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本開示は、患者(P)への外科的介入で使用される外科的な補助システム(1)に関し、補助システムは、外科用の顕微鏡(2)であって、ハウジング(6)と、光学顕微鏡軸(10)の方向で対象領域(B)の光学的倍率を提供し、下流の顕微鏡画像ユニット(12)によってデジタルの顕微鏡画像(14)を作成するように適合された光学系(8)とを含む可動式の顕微鏡ヘッド(4)と、ベース(18)に接続された可動式の顕微鏡アーム(16)であって、その上に可動式の顕微鏡ヘッド(4)が取り付けられており、顕微鏡ヘッド(4)の位置及び/又は向きを調整するように適合された可動式の顕微鏡アーム(16)と、を備える顕微鏡(2)と、視覚的コンテンツを表示するための少なくとも1つの表示装置(20)と、顕微鏡画像(14)を処理し、表示のために表示装置(20)を適宜制御するように適合された制御ユニット(22)と、を備え、外科用の顕微鏡(2)は、顕微鏡ヘッド(4)に配置されている少なくとも1つの周囲カメラ(26)を有するカメラシステム(24)をさらに備え、周囲カメラ(26)は、周囲カメラ(26)によって、光学系(8)によって対象とされた領域(B)と対象領域(B)の周りの周囲(U)との両方を撮影し、周囲画像(30)を提供するために、周囲カメラ(26)の視野(36)が、光学系(8)の視野(34)を含むように適合されており、制御装置(22)は、周囲画像(30)を処理し、顕微鏡画像(14)と周囲画像(30)とを含む合成ビュー(32)を生成し、それを表示装置(20)によって視覚的に出力するようにさらに適合されている。さらに、本開示は、画像表示方法、記憶媒体、及び無菌空間に関する。【選択図】図1

Description

本開示は、患者への外科的介入/外科的処置において使用される外科用顕微鏡/手術用顕微鏡を備える外科的補助システムに関する。外科用顕微鏡は、ハウジングと、特にハウジング内に設けられており、光学顕微鏡軸の方向に、特に5cmから80cmの間の距離、特に好ましくは20cmから60cmの間の距離で、対象領域(介入領域)の光学倍率を提供し、特にセンサを備える顕微鏡画像ユニットによって(デジタル)顕微鏡画像を作成し、デジタル的に/コンピュータで読み取り可能なように顕微鏡画像を提供するように適合された光学系と、を含む可動式の顕微鏡ヘッドを備える。さらに、外科用顕微鏡は、基部に設けられた関節可動式/可動式の顕微鏡アームを備え、この顕微鏡アーム上に可動式の顕微鏡ヘッドが配置されており、特に支持されており、顕微鏡アームは、空間内で顕微鏡ヘッドの位置及び/又は向きを調節するように適合されている。外科的補助システムは、視覚的コンテンツを表示するための少なくとも1つの表示装置と、顕微鏡画像を処理し、それに応じた表示のために表示装置を制御するように適合された制御ユニットと、をさらに備える。さらに、本開示は、特許請求の範囲のプレアンブルに係る画像表示方法、記憶媒体、及び無菌空間に関する。
手術用顕微鏡又は外科用顕微鏡は、外科的介入、特に神経外科、脊椎外科、マイクロサージャリーで使用される標準的な器具である。これらの外科用顕微鏡は、通常、双眼光学系を備えており、これにより、外科医は、光学的に拡大された顕微鏡画像/顕微鏡映像/顕微鏡写真を直接見ることができる、あるいは、(デジタル的に)記録された顕微鏡写真を視覚的に表示するためのORモニタなどの表示装置/外部通知装置を介して拡大表示された顕微鏡画像/顕微鏡映像/顕微鏡写真を見ることができる。しかしながら、いずれの場合においても、外科医は、双眼鏡又はORモニタを通して、非常に高い倍率で対象介入領域の顕微鏡画像のみを見ることになる。その結果、外科医は、自身の手や外科的介入中に使用する医療器具の位置を確認するために、(顕微鏡画像の)周囲の手術領域/術野/介入領域を見ることができないか、少なくともそうすることが困難である。外科用顕微鏡の視野に入るのは、適切な位置に置かれた外科用器具の先端のみである。
しかしながら、顕微鏡画像の周りを見ることは、実際の介入領域の外での損傷を避けるために、非常に重要である。周りを見るためには、外科医は、双眼システムや顕微鏡の表示装置から目を離して、外科用顕微鏡が対象としている領域の周囲を素早く視覚的に把握した後、再び顕微鏡画像へ戻らなければならず、これは介入中に大きな負担となる。2つの視野モダリティの異なる視野方向間の絶えず変化させ、外科医の頭の中で絶えず相関関係を保つことは、疲れるだけでなく、思わぬミスにつながってしまうことも多い。
また、外科用顕微鏡は、一方では、特に担当の外科医が、外科用顕微鏡を容易に扱って覗き込むことができるように、あるいはORモニタを良好な視野で見ることができるように、また他方では、術野/手術領域/介入領域を良好に見ることができるように手術室に配置されなければならない。したがって、ORモニタは、外科医が両方のモダリティの良好な視野を有するように配置されなければならないが、これによって、手術室における配置の柔軟性が制限されてしまう。また、通常、顕微鏡の顕微鏡ヘッドの設置容積によって患者を直視することが妨げられてしまうので、外科医が介入領域を直接見ることは困難である。さらに、この位置とそれに対応する良好な視野は外科医だけに確保されるものであり、手術室の他の位置にいる他の手術スタッフは、ORモニタによって表示される顕微鏡画像や介入領域を見ることが困難である。したがって、医療スタッフは、好ましくない位置にいる場合、常に頭の向きを変えて、見る方向を変えることを余儀なくされる。
例えば、US 201902901 A1は、外科医の頭部に設けられたポータブル視覚化システムと組み合わせて使用される外科用顕微鏡を備える補助システムを開示している。この視覚化システムを使うと、外科医は、自分の目の視野角に応じて、顕微鏡画像又は一種の拡大画像/拡大表示のいずれかを見ることができる。これにより、外科医は2つのモダリティを切り替えることができるが、このような視覚化システムには制限や困難が伴う。光学系が一体化されているので、視覚化システムは重く、製造コストが高く、また、外科医の眼へのビーム経路が常に正確でなければならないため、エラーが発生しやすい。また、外科医は、視覚化システムのせいで周囲の知覚を失ってしまう。
例えば、US9,936,863 B2は、特に外科用顕微鏡の中央顕微鏡画像と創傷拡張装置に設けられた追加カメラの周囲画像を外科医に提供するために、患者上にある創傷拡張装置に設けられた追加カメラを有する外科用顕微鏡を備えるシステムを開示している。しかし、このようなシステムには、カメラが設けられた創傷拡張装置を患者に装着しなければならず、また外科医に重要な情報を提供する介入部位の周囲環境が光学的に撮影されないという欠点がある。
従って、本開示の課題は、従来技術の欠点を回避するか、少なくとも低減することであり、特に、手術室内の参加者/医療スタッフ、特に(主導役の)外科医が、介入部位の対象領域の(拡大)顕微鏡画像/顕微鏡写真と介入部位の対象領域の周囲環境の表示との支援的な情報融合を一元的かつ直感的に見ることが可能な、外科的補助システム、(画像)表示方法、記憶媒体、及び無菌空間を提供することである。また、特に、不注意で意図しない動作による組織の損傷や外科的介入の継続時間を回避するか、又は少なくとも最小限に抑えるために、手と目の連係が改善され、介入領域/手術領域/術野への安全なアクセスが確保されるべきである。特に、顕微鏡画像と環境からの情報をリンクさせることによって、介入に必然的に伴う外科医の頭の動きや精神的なストレスを最小限に抑えるべきである。
これらの課題は、請求項1の特徴による汎用の外科的補助システムに関して解決され、請求項12の特徴による汎用の画像表示方法に関して解決され、請求項13の特徴による汎用のコンピュータ読取可能記憶媒体に関して解決され、請求項14の特徴による汎用の無菌空間に関して解決される。
基本的に、外科用顕微鏡、特に顕微鏡ヘッドは、少なくとも1つの追加カメラを含むカメラシステムを備える。カメラは、顕微鏡ヘッド上、特に顕微鏡光学系のハウジング上に、特に固定的に/しっかりと取り付けられて、配置されている。したがって、光学顕微鏡の軸は、光学カメラの軸と同様の視野方向を向く。そのため、顕微鏡画像とカメラ画像の両方は、特に相互に関連している。追加の周囲/環境カメラは、外科用顕微鏡と比較して低倍率の画像、又は、好ましくは外科用顕微鏡の光学系と同様の視野方向の広角画像/広角写真を生成する。周囲カメラ又はカメラシステムの別のカメラは、顕微鏡ヘッド内、特にハウジング内に配置されるか又は一体化されるように、顕微鏡ヘッドに配置されてもよい。
外科用顕微鏡(又は光学系)による顕微鏡画像と周囲カメラによる周囲画像の両画像は、制御ユニットによって処理され、両画像を含む合成ビューが生成される。そして、両画像の情報が視覚的に得られるこの(デジタル的に生成された)合成ビューは、表示装置によって一元的に出力される。
このように、この補助システムは、ユーザ、特に外科医が、頭の位置や見る方向を変えることなく、拡大された介入領域の内部と、介入領域の周囲/外部の概観との両方を視覚的に把握することを可能にする。特に、一元的な表示によって、連係が向上し、疲労が緩和され、介入時間が短くなる。また、より良い概観が外科医に提供されるので、患者の安全性も向上する。
言い換えれば、外科用顕微鏡、特に顕微鏡ヘッドは、少なくとも1つの周囲カメラを含むカメラシステムを備え、周囲カメラは、顕微鏡ヘッドに配置されているか、又は顕微鏡ヘッドに接続されている。特に、周囲カメラはハウジングに取り付けられている。周囲カメラは、顕微鏡ヘッド、特にハウジングにしっかりと固定され、顕微鏡ヘッドと光学系に対する向きが常に一定に保たれることが好ましい。光学系が対象とする領域と対象領域の周囲との両方を周囲カメラによって検出し、デジタル的に/コンピュータ読み取り可能に周囲画像を提供するために、周囲カメラは、特にその光学カメラ軸の向きを介して、及び/又はそのカメラ光学系を介して、周囲カメラの視野が、特に所定の距離から、好ましくはカメラの前面又は顕微鏡ヘッドの側面まで5cmの距離から、外科用顕微鏡の光学系の視野を含む/包含する/備える/伴うように適合されている。制御装置は、周囲画像を処理し、顕微鏡画像と周囲画像との合成ビューを生成し、表示装置によって合成ビューを視覚的に出力するようにさらに適合されている。
ここで、合成ビューとは、顕微鏡画像と周囲画像の両方の情報が単一のビューで一元的に表示されることを意味する。言い換えると、合成ビューには、顕微鏡画像と、必要に応じて画像処理された周囲画像とが表示される。
特に、周囲カメラは、外科用顕微鏡の光学系と同様の又は平行な視野方向を有する。従って、対象領域に加えて、この対象領域の周囲環境も光学的に記録される。光学系の光軸と周囲カメラの光軸は、同じように配置されている、特に互いに平行又は実質的に平行に配置されているとも言える。ここで、光学的検出は、特に可視光域に限定される必要はなく、可視光域より下及び上の他の周波数を含んでもよいことに留意されたい。例えば、赤外線画像が、周囲画像として周囲カメラによって記録されてもよく、制御ユニットによって処理されてもよく、適切に出力されてもよい。周囲カメラ、特に周囲カメラ及び制御ユニット、又はカメラシステムの別のカメラは、三次元画像及び/又はいわゆる深度マップを記録又は生成するように適合されてもよいことが好ましい。このように、時二次元画像だけでなく、周囲の三次元構造も得られる。深度マップには、視点から表面までの距離に関する情報が含まれるので、三次元構造が検出される。
視野という用語は、光学系や周囲のカメラの画角の中で、画像を撮影できる領域を意味する。言い換えると、周端縁によって制限された、画像ユニット又はセンサに捉えられた画像/イメージである。これは、光軸と同軸に配置され、その先端が光学系の前面に位置する円錐に例えることができる。円錐の内部体積内のすべての「物体」を記録することができる。円錐の開口角が、可能な画像領域を規定する。ここで、顕微鏡の円錐は、図式的には、周囲カメラの円錐内(内部)に位置する。従って、周囲カメラは、対象領域も周囲カメラの円錐内にあるので、対象領域を検出することができ、さらにこの領域の周囲環境も検出できる。周囲カメラは(円錐の)広い開口角を有し、それに応じて倍率が低いが、顕微鏡の光学系は、非常に狭い開口角を有し、それに応じて倍率が高い。
有利な実施形態は、従属請求項に記載され、以下に説明される。
好ましい実施形態によれば、補助システムは、術前の三次元画像データ、特にMRI画像データ及び/又はCT画像データが記憶された記憶ユニットをさらに備えてよく、補助システム、特に制御ユニットは、カメラシステムを用いて、特に周囲カメラのみを用いて、患者、特に頭部、特に好ましくは患者の顔の3D(即ち三次元)構造を空間的に検出し、特に外科用顕微鏡、特に好ましくは顕微鏡ヘッドに関して患者を登録するために、検出された3D構造を3D画像データと関連付けるように適合されていてもよい。換言すれば、特に制御ユニットは、患者を登録するために、患者の記憶された3D画像データ、特に磁気共鳴画像法(MRI)又はコンピュータ断層撮影法(CT)の記憶されたデータに基づいて、記録された3D構造を3D画像データと関連付けるように適合されていてもよい。このように、変換行列を介して、患者のローカル座標系が、外科用顕微鏡のローカル座標系、特に顕微鏡ヘッドのローカル座標系にリンクする。このようにして、3D画像データは、幾何学的に患者に関連付けられてもよいし、又は顕微鏡ヘッドにリンクされてもよい。したがって、周囲カメラを使って簡単に患者を登録することができる。顕微鏡ヘッドが動くと、顕微鏡ヘッドの動きが検出/追跡され、それに応じて3D画像データと関連付けられてもよい。このように、周囲カメラを備える補助システムのもう1つの機能は、外科的ナビゲーションシステムを使用する際に患者を登録することである。さらに言い換えると、パターン認識によって患者を登録するために、追加の周囲カメラが使用されてもよい。患者の3D表面、例えば顔が抽出され、CT画像データやMRI画像データなどの術前3Dデータセットの3D画像データの3D表面と関連付けられる。周囲カメラは、このようにして、患者表面の3D画像、例えば顔の3D画像を生成し、この3D画像は、MRI画像データなどの術前3D画像データと関連付けられてよく、制御ユニットはそれに応じて適合される。関連付けのための外部参照は、特に、剛体及び/又は光学パターン及び/又は特徴的な目印であってもよい。周囲カメラは、登録に使用される領域、例えば顔において、患者に位置合わせされる。3Dという用語は、患者の構造、画像データ、又は表面が、空間的であること、すなわち3次元であることを意味する。空間的な寸法を有する患者の身体又は身体の少なくとも一部は、例えばデカルト座標系(X、Y、Z)の3次元空間における画像データとしてデジタル的に利用可能である。
更なる実施形態によれば、3D構造を介した登録に加えて又はその代替として、患者に取り付けられた少なくとも1つのマーカを介した登録が行われてもよい。制御ユニットは、少なくとも1つのマーカの検出された所定の位置を介して、外科用顕微鏡、特に顕微鏡ヘッドに対して患者を登録するように適合されている。この登録は、画像処理技術を用いることによって、マーカを使用して行われてもよいし、マーカを使用せずに(マーカレスで)行われてもよい。ポーズという用語は、位置と向きの両方を意味する。
3D構造の検出のために、カメラシステムは、3Dカメラ及び/又は2Dカメラを有してよく、特に、カメラシステムの唯一の2Dカメラ又は3Dカメラとして周囲カメラのみで構成されることが好ましい。2Dカメラの場合、関心領域の様々なビューを得るために、2Dカメラは、患者の関心領域上を動かされてもよい。そして、制御ユニットは、画像解析(マシンビジョン)を使用して、撮影された様々なビューから3D構造を算出するように適合されている。このように、3D表面/3D構造を生成するために、3Dカメラが使用されるか、又は、患者上を動かされて、様々な視点からの画像を生成する2Dカメラが使用される。このようにして生成された3D構造/3D表面は、制御ユニットを介して、特に術前の3D画像データと関連付けられてもよい。
本開示の一態様によれば、補助システムは、特に、少なくとも1つのセンサを備えていてもよく、顕微鏡ヘッドの位置、特にポーズを検出し、それを位置データ又はポーズデータとして制御ユニットに提供するように適合されていてもよい。制御ユニットは、登録時の顕微鏡ヘッドの位置、特にポーズを、登録位置及び関連周囲画像、特に検出された3D構造として記憶ユニットに記憶するように適合されていることが好ましい。記憶された登録位置又はポーズで再登録する際に、制御ユニットは、記憶された3D構造と再検出された3D構造との重ね合わせが、特に介入中に変化しない重ね合わせの部分領域(カバー又は創傷エッジ/切開境界など)において、所定の閾値を超えてずれている場合に、登録ずれが存在すると判定してもよい。特に、制御ユニットは、ずれ量を計算するように適合されていてもよい。例えば、特徴的に予め規定された点のセットが決められており、記憶された3D構造と新たに検出された3D構造との対応する点の間の距離が合計されてもよい。距離の合計が閾値を超える場合、ずれが存在すると判定されてもよい。制御ユニットは、オフセットによって、特に空間内の並進のオフセット及び/又は軸を中心とする回転のオフセットによって、登録を自動的に修正するように適合され得てもよいことが好ましい。言い換えれば、補助システムは、好ましくは、(同じポーズの)2つの周囲画像間のずれを検出し、オフセット/変位/ずれを計算し、所定のオフセットを補正するように適合されていてもよい。特に、制御ユニットは、例えば、表示装置を介して視覚的に、及び/又はオーディオ装置を介して音響的に、ずれの存在をユーザに通知してもよい。特に、補助システムを介してアラーム信号が出力されてもよい。特に、補助システムは、周囲カメラ及び適合された制御ユニットによって、例えば、患者追跡装置の意図しない動きによって生じるナビゲーションの不正確さを自動的に検出し、修正してもよい。周囲カメラと外科用顕微鏡の光学系は、幾何学的に関連付けられている。初期登録中又は初期登録後、周囲カメラは、特定の位置(登録位置)又はポーズから介入領域の画像を撮影する。この位置又はポーズは、患者追跡装置から顕微鏡追跡装置への相対変換(変換マトリックス)として計算される。精度を確認するために、手術中いつでも顕微鏡ヘッドをこの登録位置へと動かし(戻し)、再び写真(周囲画像)を撮影してもよい。最初の登録時の画像と精度チェック時の画像(新しい周囲画像)の両画像が、重ね合わされる。不正確さやずれがなければ、これらの画像は、介入中に変更されない特定の画像部分/画像領域(カバーや傷の境界/切開の境界など)の全てにおいて一致する。一方、ずれや不正確さがある場合、2つの画像/写真は互いにオフセットしている。特に、ユーザにそのずれを通知してもよい。さらに、オフセットを計算することによって、外科医にずれ量を知らせてもよい。さらに、制御ユニットによって、決定されたオフセットを用いて登録を調整することにより、不正確さが自動的に修正されてもよいことが好ましい。
本開示の更なる態様によれば、記憶される登録位置に代えて又はそれに加えて、幾何学的位置、特に顕微鏡ヘッドのポーズも予め決められてもよく、特に介入領域の検出又は患者の顔の検出を介してそこから周囲画像を行うために、その位置に顕微鏡ヘッドが動かされる。ずれを計算するための補助システムの構成に関する上記の特徴は、この様態にも見出される。
特に、外科用顕微鏡は、可動式の顕微鏡アーム及び可動式の顕微鏡ヘッドを能動的に動かす及び制御するための少なくとも1つのアクチュエータを備えてよく、制御ユニットは、空間内の所定の位置及び/又は向きに顕微鏡ヘッドを動かすようにアクチュエータを制御するようにさらに適合されていてもよい。このように、顕微鏡ヘッドは、手動ではなく自動的に、特に所定の位置(位置及び向き)へ「動かされ」てもよい。このように、例えば、明確な繰り返し精度で、上述した登録位置を再現することができたり、記憶されたビューを外科用顕微鏡によって「呼び出す」ことができる。
独立して請求項に記載され得る本発明の一態様によれば、周囲カメラ及び/又は画像ユニットは、好ましくは少なくとも35メガピクセルの高解像度センサを備えてよく、制御ユニットは、画像に関してセンサの1つの領域、特に中央領域をデジタル的に拡大する一方で、センサの他の領域に対しては低い倍率を使用するように適合されていてもよい。
本開示のさらなる態様によれば、制御ユニットは、特に最初に、周囲画像を生成し、周囲画像内の少なくとも1つの特徴的な目印を抽出し、検出された顕微鏡ヘッドのポーズ(顕微鏡ヘッドと周囲カメラとの幾何学的関係が定義されている)に基づいて、顕微鏡ヘッドに対する抽出された目印の位置、特にポーズを特定し、つまり、基準座標系に対する空間内の目印の位置を特定し、周囲画像の特徴的な目印と関連付けられ決定された位置又はポーズとを基準値として記憶ユニットに記憶するように適合されており、制御ユニットは、現在の周囲画像においてこの抽出された目印を連続的に認識し、空間における目印の現在の位置、特に現在のポーズを連続的に特定し、記憶された位置又はポーズと現在の位置又はポーズとの間にずれがある場合に、登録にずれがあると判定するようにさらに適合されている。特に、制御ユニットは、表示装置を介して対応するメッセージを出力する。言い換えれば、一実施形態では、登録位置のずれを検出する代わりに、予め決められていない位置又はポーズの登録のずれを決定するために、方法又は対応するように適合された制御ユニットを使用してもよい。この場合、周囲カメラによって観察又は検出された領域のうち、介入中に変化しない部分領域が使用される。この領域において、画像処理法を用いて追跡可能な目印が抽出される。目印は、介入や処置の開始時に最初に見つけられる又は決められてもよいし、介入中に継続的に見つけられる又は決められてもよい。目印は、顕微鏡ヘッドの位置や向きが変わっても周囲カメラによって検出できるようなものでなければならない。周囲カメラの視野内にある各目印の位置は、特に画像処理方法によって、周囲カメラに対して連続的に特定される。顕微鏡ヘッドに対する周囲カメラの幾何学的関係又はポーズが既知であり、顕微鏡ヘッドの位置が測定可能であることから、観察された目印の位置も既知であるか、又は制御ユニットによって計算又は特定することができる。このようにして特定された目印位置は、予想される目印位置又はポーズ(目標位置)と比較されてもよい。ここでずれが見られる場合には、登録のずれが考えられる。予想される目印位置は、目印の更なる検出のための基準値として使用できるように、特に目印の最初の観察又は検出時に、システム又は記憶ユニットに記憶される。
本開示の更なる態様によれば、制御ユニットは、画像処理方法によって周囲カメラに対する目印の位置、特にポーズを特定し、このポーズを目印の既知のポーズ、特にナビゲーションシステムの外部カメラによって検出された目印のポーズ及び/又は顕微鏡の光学系及び画像ユニットによって検出されたポーズと比較し、過剰決定システムの最小化方法を用いて、カメラシステムの登録を改善し、及び/又はカメラシステムのエラーを最小化するように適合されていてもよい。換言すると、一実施形態によれば、周囲カメラに対する観察された又は特徴的な目印の特定された位置又はポーズは、ナビゲーションシステム又は登録の精度を向上させるためにも使用することができる。このために、顕微鏡ヘッドのポーズ、周囲カメラのポーズ、及び目印のポーズが、既知であるか又は特定可能であることが想定される。周囲カメラに対する目印の位置、特にポーズが、画像処理法を用いて(制御ユニットによって)特定される場合、顕微鏡又は顕微鏡ヘッドの位置、特にポーズを介して、目印の位置を特定する別の方法もある。カメラシステムや登録の不正確さに起因して、2つの方法において目印の位置が異なる。数学的な観点では、これは過剰決定システムになる。最小化技術を用いると、この過剰決定を利用して、カメラシステムのエラーやナビゲーションシステムの登録のエラーを継続的に改善でき、システム全体の精度を向上させることができる。
本開示のさらなる態様によれば、能動的に可動な顕微鏡ヘッドの場合、補助システムは、周囲カメラの周囲画像におけるフォーカス点を選択するための入力ユニット、特にタッチスクリーンを備えていてもよい。制御ユニットは、光学顕微鏡の軸が、患者において、特に所定の関連する距離で及び/又は所定の画像角度で、選択されたフォーカス点と位置合わせされるように、選択されたフォーカス点に基づいて、少なくとも1つのアクチュエータを介して顕微鏡アーム及び顕微鏡ヘッドを能動的に制御し、動かすように適合されていてもよい。このように、外科医が周囲画像の選択された点にワンタッチするだけで、顕微鏡を適切な焦点に合わせることができる、直感的で自動調節可能な外科用顕微鏡が提供される。このように、周囲カメラを備える補助システムの付加的な機能は、周囲カメラの周囲画像において対象/フォーカス点を決め、フォーカス点が顕微鏡画像の焦点又は外科用顕微鏡の光学系の焦点にあるように顕微鏡を動かすことにより、ロボットガイド外科用顕微鏡を対象フィールドへ動かすことである。
本開示のさらなる態様によれば、制御ユニットは、周囲画像の画像解析及び/又は顕微鏡ヘッドに設けられたセンサによって、顕微鏡ヘッドの領域内の物体と、この物体までの可動式顕微鏡ヘッドの距離とを検出するように適合されていてもよい。この物体と衝突の可能性がある場合、特に距離が所定の距離を下回っている場合、補助システム、特に制御ユニットは、アラーム信号、特にオーディオ装置を介したアラーム音、及び/又は表示装置を介したアラーム表示を発するように適合されており、及び/又は、顕微鏡ヘッド及び/又は顕微鏡アームの少なくとも動きの自由度を制限するように、特に、顕微鏡ヘッド、特に外科用顕微鏡全体の全体的な動きを停止するように適合されている。したがって、付加的な周囲カメラを備える補助システムの更なる機能は、補助システムが顕微鏡ヘッドまでの距離を特定し、その距離が足りない場合には視覚的又は聴覚的に警告を発することによって、又は、ロボットガイド式の外科顕微鏡の場合には動きを停止させることによって、顕微鏡と物体との衝突を防止することである。周囲カメラ/概観カメラは、特にロボットアームの形態の顕微鏡アーム上でガイドされる顕微鏡ヘッドの自律的な移動中の衝突も検出することができる。そして、例えばブレーキやロックシステムによって、その動きを時間内に停止させることができる。顕微鏡アームやロボットアームが手動でガイドされる場合でも、衝突を検知し、それ以上の動きを防止することができる。
制御ユニットは、カメラシステム、特に少なくとも周囲画像、特にマーカ及び/又は患者の特徴を介して、医療器具、特に外科用器具のポーズ、及び/又は顕微鏡ヘッドのポーズを正しく検出する、特に正しく追跡するように適合され得てもよいことが好ましい。従って、周囲カメラは、特に医療器具のポーズを連続的に検出してもよい。検出された医療器具のこのポーズは、特に、仮想の位置及び/又は向きを概略的に表示することによって、又は対応する位置に仮想の器具を重ねることによって、3D画像データで再現されてもよい。特に、顕微鏡ヘッドに対する患者及び/又は医療器具の相対的なポーズは、3D画像データで正確に表示されてもよい。さらに、特に、検出された顕微鏡ヘッドも仮想の顕微鏡ヘッドとして3D画像データに表示されてもよい。言い換えれば、周囲カメラを備える補助システムは、特に、外科用顕微鏡の使用中に患者の位置、特にポーズを追跡するために使用されてもよい。顕微鏡ヘッドに対する患者の位置、特にポーズを特定又は見つけるために、剛体又は光学パターン又は固有の解剖学的目印などの外部参照をこの目的のために使用し得ることが好ましい。これにより、MRI画像データなどの術前の3D画像データと関連付けられた顕微鏡画像を表示することができる。周囲カメラは、外科用器具、特にマーカを備える外科用器具を追跡し、その位置、特にポーズを術前の3D画像データの顕微鏡画像に重ね合わせるためにも使用されてもよいことが好ましい。このように、付加的な周囲カメラを備える補助システムのもう1つの機能は、外科用ナビゲーションシステムの使用中に、患者及び/又は外科用器具及び/又は外科用顕微鏡自体を追跡する/追いかけるために補助システムを提供することである。例えば、追跡のために周囲カメラの視野内のマーカを使用してもよいし、あるいは、患者や器具に固有の特徴を利用して、マーカなしで追跡を行うこともできる。この場合、周囲カメラは、外科用ナビゲーションシステムで通常使用される外部カメラに取って代わることができる。さらに、周囲カメラは、一時的に外部カメラの視野制限(例えば、オーバーラップによる)が発生しても、特徴や器具を検出するため、特にその位置を特定するために、一時的に外科用ナビゲーションシステムの外部カメラに取って代わったり、又はそれを補完したりすることもできる。
本開示のさらなる態様によれば、少なくとも1つの医療器具のデータ、特に幾何学的関係と、関連する使用指示と、が、記憶ユニットに保存/記憶されてもよい。制御ユニットは、記憶されたデータに基づいて、特に記憶された幾何学的関係に基づいて、周囲画像内の外科用器具を検出し、表示装置及び/又はオーディオ装置を介して関連する記憶された使用指示をユーザに出力するようにさらに適合されていてもよい。従って、周囲カメラを備える補助システムの付加的な機能は、使用される医療器具、特に外科用器具の認知と、外科医への関連する使用指示の提供である。
一実施形態によれば、少なくとも1つの表示装置は、ORモニタ及び/又は頭部装着型ディスプレイ(HMD)及び/又は重ね合わせ可能なデータを有する双眼システムであってもよい。表示装置がORモニタである場合、合成ビューは、画像としてORモニタに表示される。補助システムが表示装置として頭部装着型ディスプレイ/仮想現実ゴーグルを有する場合、合成ビューは、ディスプレイを介して出力されてもよい。特に、外科用顕微鏡及び/又は周囲カメラが3D画像を生成するように適合されている場合、外科医に空間的なビューが提供されるように、合成ビューは頭部装着型ディスプレイを介して3次元的に出力されてもよい。外科医が両眼で観察する双眼システムの場合、周囲データは、例えばプリズム及びディスプレイを介して、画像平面に重ね合わせられてもよい。これは、拡張現実システムを構成する。言い換えれば、少なくとも1つの表示装置は、(OR)モニタ及び/又は頭部装着型ディスプレイ及び/又は双眼システムであってもよい。
特に、制御ユニットは、合成ビューとして顕微鏡画像と周囲画像の横並び表示又は重ね合わせ表示を生成し、表示装置を介してそれを出力するように適合されていてもよい。言い換えれば、顕微鏡画像と周囲画像が、横並びで又は重ねられて表示されてもよい。重ね合わせ表示の場合、顕微鏡画像(例えば、透明性なし)が制御ユニットによって合成ビューの中央領域に生成されてよく、周囲画像はこの顕微鏡画像の周りの背景として表示される。
さらなる実施形態によれば、光学系の倍率は、少なくとも5倍、特に少なくとも10倍、特に好ましくは少なくとも40倍であってもよい。外科用顕微鏡の光学系はズーム機能を有し得ることが好ましい。周囲カメラの倍率は、最大5倍、特に最大1倍であり得ることがさらに好ましい。光学系と画像ユニットを備える外科用顕微鏡が比較的高い倍率を提供する一方で、光学系を備える周囲カメラは、広角画像を生成し、それを環境表示のための周囲画像として提供するように適合されている。
本開示の一態様によれば、カメラシステムは、周囲カメラに加えて、介入領域の周りの視野を拡大するために、第2のカメラ、特に加えて第3のカメラ、特に好ましくは加えて第4のカメラをさらに備えてもよい。このように、カメラシステムでは、術野外の視野を拡大するために、周囲カメラに加えて、追加のカメラを使用してもよい。
特に、広角の周囲画像を提供するために、周囲カメラの光学系の焦点距離は、最小10mm及び/又は最大50mmであってもよく、又は、視野角は、少なくとも45°、好ましくは少なくとも70°であってもよい。
光学顕微鏡軸は、最大10cm、特に好ましくは最大5cmの距離で、光学カメラ軸と交差する又は光学カメラ軸を通過してもよいことが好ましい。特に、光学顕微鏡軸と光学カメラ軸との間の角度は、最小2°及び/又は最大15°であってもよい。あるいは、光学顕微鏡軸と光学カメラ軸は、互いに平行であることが好ましい。
2つの異なる画像を表示するための(画像)表示方法に関して、本開示の課題及び目的は、以下のステップによって解決される:好ましくは、外科用顕微鏡の可動式顕微鏡ヘッドに周囲カメラを配置するステップ、可動式顕微鏡ヘッドに配置されている光学系を介して領域を対象とするステップ、光学系によって提供される倍率の顕微鏡ヘッド上又は内に配置されている顕微鏡画像ユニットによって顕微鏡画像を生成するステップ、顕微鏡ヘッドに配置されている周囲カメラによって周囲画像を生成するステップであって、周囲カメラの視野、特に所定の距離からの周囲カメラの視野が光学系の視野を含む、周囲画像を生成するステップ、顕微鏡画像と周囲画像とを含む合成ビューを生成するステップ、表示装置によって合成ビューを出力するステップ。この表示方法は、両方の画像モダリティを一元的に外科医に提供する。
表示方法は、術前の3D画像データ、特にMRI画像データ及び/又はCT画像データを読み込むステップと、周囲カメラによって患者の3D構造を検出するステップと、検出された3D構造と3D画像データとを関連付けるステップと、関連付けによって患者を登録するステップとをさらに含み得ることが好ましい。
一実施形態によれば、表示方法は、患者を初期登録するステップと、顕微鏡ヘッドのポーズを検出するステップと、周囲カメラによって周囲画像を生成するステップと、検出されたポーズ(登録位置)と周囲画像とを記憶するステップと、顕微鏡ヘッドを動かした後、記憶されたポーズへ戻すステップと、周囲画像を再取得するステップと、記憶された周囲画像と新しい周囲画像とを比較するステップと、記憶された周囲画像と新しい周囲画像との間のずれを判定するステップと、ずれが閾値を超えている場合に音響信号又は視覚信号を出力するステップ、及び/又は、オフセットを計算し、初期登録にオフセットを適用するステップを含んでよい。
特に、外科的補助システムに関して上述され、本方法にも同様に適用できるように、観察された目印の位置を目印の基準位置と連続的に比較し、ずれを判定してもよい。ずれが検出される場合、特に、登録のずれが存在すると判断されてよく、メッセージが出されることが好ましい。登録のずれを連続的に検出する方法を使用する場合、登録位置を記憶すること、登録位置で環境を撮像すること、及び環境の撮像を伴って登録位置へ戻ることを省略することができる。
さらなる実施形態によれば、表示方法は、周囲画像において、医療器具とその位置及び/又は向きとを検出するステップと、医療器具のポーズを3D画像データへ転送するステップと、仮想の医療器具のビュー又は少なくとも概略ビューを3D画像データに表示するステップとを含んでもよい。
表示方法は、周囲カメラによって患者及び/又は外科用器具及び/又は顕微鏡ヘッドを追跡するステップと、対応する動作データを提供するステップとを含むことが好ましい。
さらに、表示方法は、特に、周囲画像内で検出された物体までの距離を特定するステップと、距離が短い場合に、アラーム信号を出力するステップ、及び/又は顕微鏡ヘッドの動きの自由度を制限するステップ、特に顕微鏡ヘッドの動きを停止/阻止するステップと、を含んでもよい。周囲カメラ/概観カメラの周囲画像は、特にロボットアームの形態の顕微鏡アームの自律的又は協調的な移動中に衝突を検出するために使用することもできる。したがって、ブレーキシステムにより、動きを時間内に停止させることができる。例えば、顕微鏡アームやロボットアームが外科医によって手動でガイドされる場合でも、衝突を検出し、それ以上の動きを防止することができる。
本開示の一態様によれば、表示方法は、周囲画像内のフォーカス点を読み取るステップと、光学顕微鏡軸が、特に所定の距離で及び/又は所定の画像角度で、選択されたフォーカス点と位置合わせされるように、顕微鏡アームと顕微鏡ヘッドを制御するステップとを含んでもよい。
表示方法は、周囲画像において医療器具を検出するステップと、表示装置を介して、医療器具に関連する使用指示を出力するステップとを含み得ることが好ましい。
ここで、本開示の表示方法の特徴は、本開示の外科的補助システムにも転用可能であり、その逆でもよいことに留意されたい。
コンピュータ読み取り可能記憶媒体に関して、本開示の課題及び目的は、コンピュータ読み取り可能記憶媒体が、コンピュータによって実行されたときに、本開示による画像表示方法の方法ステップをコンピュータに実行させる命令を備えることによって解決される。
一般的な無菌空間に関して、本開示の課題は、医療用無菌空間が本開示による外科的補助システムを備えることで解決される。
本開示は、添付図面を用いて好ましい実施形態を参照して以下に説明される。
第1の好ましい実施形態の外科用補助システムの概略斜視図であり、外科的補助システムは移動式の外科用顕微鏡として提供されている。 図1の外科用顕微鏡の顕微鏡ヘッドの概略斜視図である。 介入中の図1及び図2の補助システムのさらなる概略斜視図である。 さらに好ましい実施形態による、頭部装着型ディスプレイを備える外科用補助システムの概略図である。 周囲カメラによる3D構造の検出を示す概略図である。 好ましい実施形態による画像表示方法のフローチャートを示す。
図は概略的なものであるにすぎず、本開示を理解しやすくすることのみを目的としている。同じ要素には同じ参照符号が付されている。様々な実施形態の特徴は入れ替えることができる。
図1~図3の各々は、患者Pに対する外科的介入で使用される、第1の好ましい実施形態の外科的補助システム1(以下、補助システムと呼ぶ)の概略斜視図である。補助システム1は、患者P(概略的にのみ図示される)に対する外科的介入中に適切な視覚化によって手術室にいる参加者、特に外科医をサポートするために、好ましい実施形態の手術室100の形態の医療無菌空間内で使用される。中央の無菌外科的介入領域で、患者Pに対して低侵襲性介入が行われる。
好ましい本実施形態では、外科的補助システム1は、外科用顕微鏡2を備え、移動可能で自律的に動作する外科用顕微鏡2として構成されている。具体的には、外科用顕微鏡2(以下、単に顕微鏡と呼ぶ)は、可動に取り付けられた前面可動/調節可能な顕微鏡ヘッド4を有する。したがって、顕微鏡ヘッド4の位置と向きを個別に調整することができる。
可動式の顕微鏡ヘッド4は、ハウジング6と、このハウジング内に配置され、レンズやレンズ系などの複数の光学素子を有する光学系8とを有する。本実施形態では、単眼光学系が設けられている。しかしながら、例えば三次元の顕微鏡画像を作成するために、双眼光学系8が設けられてももちろんよい。光学系は、外科用顕微鏡で一般的であるように、光学顕微鏡軸10の方向で対象領域Bの光学倍率を提供するように適合されている。特に、光学系は、5cmから80cmの間の距離で前置レンズ(図示せず)と対向する対象領域Bに鋭く焦点を合わせ、倍率を提供するように適合されている。こうして提供される倍率は、CMOSセンサやCCDセンサなどのセンサを備える下流の顕微鏡画像ユニット12(以下、画像ユニットと呼ぶ)によって検出され、画像ユニットは、デジタル/コンピュータ読み取り可能な顕微鏡画像14を生成する。
また、顕微鏡ヘッド4は、台車状のベース18に支持された可動式の顕微鏡アーム16に取り付けられている。顕微鏡アーム16は、ベース18と顕微鏡ヘッド4に対応する2つのアーム要素を有するロボットアーム、特に協調的なロボットアームの形態をしており、これによって、顕微鏡2は、空間における顕微鏡ヘッド4の位置及び/又は向きを設定し、外科医が拡大して見たい対象領域Bに顕微鏡ヘッド4を位置合わせすることができる。
この拡大図を視覚的に表示するために、補助システム1又は移動可能な顕微鏡2は、カンチレバー上にORモニタ20を備える。制御ユニット22は、顕微鏡画像14を処理し、ORモニタ20を介して表示を出力する。
公知の補助システムとは対照的に、顕微鏡2の顕微鏡ヘッド4は、周囲カメラ26(以下、カメラと呼ぶ)を備えるカメラシステム24をさらに備えている。このカメラ26は、顕微鏡2の光学系8とカメラ26とが互いに対して常に同じ相対的な向きとなるように、顕微鏡ヘッド4のハウジング6にしっかり取り付けられている。具体的には、光学系8の対象である領域Bと対象領域Bの周りの周囲Uとの両方を周囲カメラ26によって検出し、カメラ26によって対応する周囲画像30を提供するために、周囲カメラ26は、その光学カメラ軸28の向きとカメラ光学系を介して、周囲カメラ26の(カメラ)視野36が、所定の距離から光学系8の(顕微鏡)視野34を含むように適合されている。
制御装置22は、この周囲画像30を処理し、顕微鏡画像14と周囲画像30とを含む横並び表示の形態の合成ビュー32を生成し、それを表示装置20によって視覚的に出力するように適合されている。
このように、可動式の顕微鏡ヘッド4は、付加的な周囲カメラ26を備えている。カメラ26の光学カメラ軸28の視方向又は向きは、顕微鏡2の光学系8の光学顕微鏡軸10の視方向と同様である。この付加的なカメラ26は広角ビューを生成するので、光学系8の対象である領域Bの周りの術野である周囲Uを撮影することが可能となり、特に、切開境界、外科医の手、使用される器具などを撮影することが可能となる。顕微鏡画像と共にカメラ26の画像/映像を表示することにより、外科医は、頭の位置や見る方向を変えることなく、介入領域の「内側」と「外側」の両方を見ることができる。この点において、カメラ26は、顕微鏡ヘッド4に固定的に取り付けられており、顕微鏡ヘッド4と患者Pとの距離が近くても、例えば10~30cmであっても、介入領域の周囲Uを撮像又は検出するように適合されている。この補助システム1では、外科医は、ORモニタ20上で、高倍率の顕微鏡画像14と低倍率の付加的な周囲画像30との両方を見る。従って、外科医は、一目で、介入領域内側の高解像度領域と外側の明瞭な領域との両方を直感的に見ることができる。
顕微鏡ヘッド4は、顕微鏡2の光学系8とカメラ26の光学系という2つの異なる「光学系」を有しており、これらの光学系は、その配置により互いに関連している。顕微鏡2の光学系8は高倍率の画像を生成する役割を果たし、関連する光学系を備える付加的なカメラ26は広角画像を生成する役割を果たす。両光学系は、関連しており、視野方向は同様であり、介入領域/手術フィールドへ向けられてもよい。カメラ26を有するカメラシステム24は、例えば、介入部位の周りの切開境界又は手及び/又は器具を伴う手術環境を検出するために、低倍率で広い視野36を有する一方で、光学システム8は、高倍率で狭い視野34を有する。そして、合成ビュー32は、2つの画像14、30を一元的に表示し、外科医だけでなく他の医療従事者もが、互いに関連する両方の画像モダリティを一目で見ることを可能にする。
カメラシステム24は、カメラ26に加えて、例えば、ステレオ画像を作成するため、又は複数のビューを撮影し、それらを合成ビュー32で適宜合成するために、顕微鏡ヘッドに取り付けられた別のカメラを有してもよい。さらに、カメラ26自体が、2Dカメラに加えて、3Dカメラ又はステレオカメラであってもよい。
カメラ26は、対象領域B又は周囲に焦点を合わせるオートフォーカス機能を有する。さらに、カメラ26は、周囲画像30を特定の介入に最適に調整するズーム機能を有してもよい。さらに、光学系8も、顕微鏡2の倍率を調整するズーム機能を有してもよい。ズーム機能は、互いに相対的に動くレンズを介した連続的なものであってもよいし、回転するノーズピースのように離散的なものであってもよい。特に、外科医は、顕微鏡ヘッドのノブを使ってズーム/倍率を調整することができてもよい。また、カメラ26及び/又は光学系8は、焦点及び光入力を制御するための調節可能なアイリスを有してもよい。
制御ユニット22は2つの画像をデジタル処理するので、制御ユニット22は、特に、適切な合成ビュー32を生成するために、様々なデジタル分析、画像処理、及び制御を実行することができる。例えば、制御ユニット22は、画像の明るさやコントラストなどの様々な画像パラメータを変更するように適合されていてもよい。他のデジタルデータが、合成ビュー32に含まれてもよい。制御ユニット22は、中央処理装置(CPU)、RAMなどの揮発性メモリ、ROM、及びSSDなどの不揮発性メモリを備えてもよい。
顕微鏡アーム16は、複数のアクチュエータによって能動的に制御可能である。顕微鏡アーム16の各要素に設けられたセンサによって、顕微鏡アーム16と顕微鏡ヘッド4のポーズが特定され、制御ユニット22に伝達される。外科医は、タッチスクリーンとして設計されたORモニタ20上の周囲画像30において、指を使って手動でフォーカス点を選択することができる。この設定されたフォーカス点が制御ユニット22に伝えられると、制御ユニット22は、顕微鏡アーム16のアクチュエータと顕微鏡ヘッドの軸受けを能動的に制御して動かし、設定されたフォーカス点に基づいて、所定の距離と垂直な画像角度で、光学顕微鏡軸10が患者P上のフォーカス点に位置合わせされる。このようにして、対象領域Bがフォーカス点に設定され、外科医は、この点において容易に介入を行ったり、拡大画像を表示したりすることができる。また、異なるビューを自動で切り替えるために、フォーカス点を保存してもよい。
さらに、制御ユニット22は、周囲画像30の画像解析によって物体を検出し、さらに物体までの距離を計算するようにさらに適合されている。代替的又は追加的に、物体と距離を特定するために、顕微鏡ヘッド4に距離センサが設けられてよく、特に、異なる方向で複数の距離センサが設けられてもよい。動作範囲内でこのように検出された物体と衝突の可能性がある場合、補助システム1は、オーディオ装置(図示せず)を介して音響アラーム信号(衝突警告)を発し、顕微鏡アーム16の動きを阻止する。特に、顕微鏡アーム16と顕微鏡ヘッド4の動きは完全に停止される(衝突防止)。これにより、物体との衝突が防止される。
図4は、さらなる第2の好ましい実施形態の外科的補助システム1を示す。第1の実施形態と同様に、顕微鏡ヘッド4は、顕微鏡アーム16を介して固定ベース18に可動に取り付けられており、光学系8は、領域Bを対象とすることができる。周囲カメラ26は、対象領域Bにおいて光学カメラ軸28が光学顕微鏡軸10と交差するように配向されている。これにより、周囲画像が、対象領域に関して同心又は対称となる。ここでも、制御ユニット22は、2つの画像14、30を処理し、合成ビュー32を生成する。
しかしながら、第1の実施形態とは対照的に、合成ビュー32は、モニタを介して出力されるのではなく、頭部装着型ディスプレイ/HMD眼鏡38(以下、眼鏡と称する)を介して出力される。このため、眼鏡38は、ディスプレイと、さらに光学系とを備えてもよい。具体的には、制御ユニットは、データを眼鏡38に無線で送信する送受信ユニット40を制御する。そこで受信されたデータは、眼鏡38に表示される。
補助システム1はまた、外科用ナビゲーションシステムを使用し、患者PのMRI画像及びCT画像が3D画像データとして記憶される記憶ユニット42も備えている。制御ユニット22は、顕微鏡ヘッド4がカメラ26と適切に位置合わせされたときに、患者の顔の3D構造(図5参照)を3次元的に検出するように適合されている。このようにして検出された患者の顔の3D構造は、3D画像データの患者の顔の仮想3D構造と照合され、2つの3D構造は、初期登録を実行し、顕微鏡ヘッド4に対して患者Pを登録するために、関連付けられる。顕微鏡ヘッド4が動くと、センサが対応する動きを検出する。
図5は、図4の補助システムで実行される患者の顔の3D構造での登録機能を概略的に示している。カメラ26は、2Dカメラであり、患者の顔の関心領域(破線参照)上で動かされて、患者の顔の様々なビューを取得し、マシンビジョン法又は制御ユニット22によって実行される画像解析によって顔の3D構造を算出する。このようにして得られた顔の3D構造は、3D画像データの仮想3D構造と重ね合わせられてもよく、いうなれば関連付けられてもよく、あるいは、制御ユニット22自身が、3D構造に基づいて患者Pの位置を特定してもよい。
さらに、図4の補助システム1の制御ユニット22は、医療器具44に取り付けられているマーカ46又は特徴、特に幾何学的な特徴によって、周囲画像30を介して医療器具44を検出し、そのポーズ及び/又は機能を特定するように適合されている。特徴の場合、器具44の仮想の幾何学的関係が記憶ユニット42に記憶されていてもよく、制御ユニット22はこれを照合のために使用してもよい。そして、このようにして検出された医療器具44は、検出された位置で3D画像データに重ね合わせられてもよく、外科用ナビゲーションに使用されてもよい。特に、制御ユニットは、外科医に介入のさらなるガイダンスを提供するために、合成ビューに使用指示のデータをさらに重ねてもよい。特に、周囲カメラ30による器具44の検出は、例えば、器具44が視野を不明瞭にしてしまったり、器具の先端が視野内にある状態で器具44が配置及び/又は位置合わせされてしまったりすることなく、例えば、対象領域Bの良好な視野を得るために、制御ユニット22がロボットガイドの顕微鏡アーム16を介して顕微鏡ヘッド4を最適に配置及び/又は位置合わせするために使用されてもよい。
制御ユニット22はまた、例えば患者追跡装置/マーカの望ましくない動きに起因するナビゲーションのずれを自動的に検出するように適合されている。この目的のために、補助システム1は、初期登録の後、顕微鏡ヘッド4を所定の位置(登録位置及び向き、以下、登録位置と呼ぶ)へと動かし、カメラ26によって周囲画像30を生成するように適合されており、この周囲画像は記憶ユニット42に記憶される。登録位置は、患者追跡装置(不図示)と顕微鏡ヘッド追跡装置(不図示)との間の相対変換として算出される。確実にずれがないようにするために、外科医(又は外科医に指示された誰か)は、手術中に時々、顕微鏡ヘッド4を登録位置へと動かして、新しい周囲画像30を生成してもよい。そして、新しい周囲画像を記憶ユニット42に記憶されている周囲画像30に重ね合わせて、比較する。ずれがないか、許容できる程度の小さなずれであれば、2つの周囲画像30のうちの切開境界や手術用ドレープなどの変化しない部分領域は互いに関連付けられたままであり、制御ユニット22は、対応する画像解析を用いて、ずれがないか、許容できる程度のずれであると判定する。しかしながら、2つの周囲画像30の部分領域(実際には変化しない構造を含む)が互いに許容値/限界を超えてずれている場合、制御ユニット22はこれを検出し、眼鏡38又はモニタを介して外科医にメッセージを出力する。さらに、制御ユニット22は、適切な計算方法によってずれの程度を計算し、そのずれ量を外科医へ出力する。これにより、外科医は、このずれが過大であるか否かを判断でき、適切な処置をとることができる。代替的に又は追加的に、登録のずれの継続的な検出又は登録精度の継続的な改善を実現するための画像処理アルゴリズムが、制御ユニット22の記憶ユニット42に記憶されてもよい。
加えて又は代替的に、制御ユニット22はまた、記憶されている周囲画像30と新しい周囲画像30との間の変位/オフセットを決定し、このオフセットを登録に適合するか、又は顕微鏡ヘッドもしくは外科用ナビゲーションシステムのローカル座標系などのローカル座標系と患者Pのローカル座標系との間の変換行列に適宜適合し、このオフセットを補正するように適合されていてもよい。
図6は、顕微鏡画像14と周囲画像30とを関連付けて表示するための、本開示の好ましい実施形態による画像表示方法(以下、表示方法という)のフローチャートを示す。この表示方法は、上述した外科的補助システム1で適宜用いられる。
最初のステップS1では、周囲カメラ26が、好ましくは外科用顕微鏡2の可動式顕微鏡ヘッド4に配置されてよく、特にしっかりと取り付けられてもよい。
ステップS2では、可動式顕微鏡ヘッド4に配置された光学系8によって、領域Bが対象とされる。続くステップS3では、顕微鏡ヘッド4に配置された顕微鏡画像ユニット12によって、光学系8が提供する倍率の顕微鏡画像14が生成される。さらに、ステップS4では、顕微鏡ヘッド4に配置された周囲カメラ26によって周囲画像30が生成され、周囲カメラ26の視野36は、特に所定の距離から、光学系8の視野34を含む。
ステップS5では、制御ユニット22によって、顕微鏡画像14と周囲画像30を含む合成ビュー32が作成され、ステップS6では、表示装置20、38によって、合成ビュー32が最終的に出力される。
1:外科的補助システム
2:外科用顕微鏡
4:顕微鏡ヘッド
6:ハウジング
8:光学系
10:光学顕微鏡軸
12:顕微鏡画像ユニット
14:顕微鏡画像
16:顕微鏡アーム
18:ベース
20:ORモニタ
22:制御ユニット
24:カメラシステム
26:周囲カメラ
28:光学カメラ軸
30:周囲画像
32:合成ビュー
34:光学系の視野
36:カメラの視野
38:頭部装着型ディスプレイ/眼鏡
40:送受信ユニット
42:記憶ユニット
44:医療器具
46:マーカ
100:手術室
P:患者
B:対象領域
U:周囲
S1:周囲カメラを配置するステップ
S2:領域を対象とするステップ
S3:顕微鏡画像を生成するステップ
S4:周囲画像を生成するステップ
S5:合成ビューを生成するステップ
S6:合成ビューを出力するステップ
ステップS5では、制御ユニット22によって、顕微鏡画像14と周囲画像30を含む合成ビュー32が作成され、ステップS6では、表示装置20、38によって、合成ビュー32が最終的に出力される。
(項目1)
患者(P)への外科的介入で使用される外科的な補助システム(1)であって、前記補助システム(1)は、
外科用の顕微鏡(2)であって、
ハウジング(6)と、光学顕微鏡軸(10)の方向で対象領域(B)の光学的倍率を提供し、下流の顕微鏡画像ユニット(12)を介してデジタルの顕微鏡画像(14)を生成するように適合された光学系(8)とを含む、可動式の顕微鏡ヘッド(4)と、
ベース(18)に接続された可動式の顕微鏡アーム(16)であって、その上に可動式の前記顕微鏡ヘッド(4)が取り付けられており、特に支持されており、前記顕微鏡ヘッド(4)の位置及び/又は向きを調整するように適合されている可動式の顕微鏡アーム(16)と、を備える顕微鏡(2)と、
視覚的コンテンツを表示するための少なくとも1つの表示装置(20;38)と、
前記顕微鏡画像(14)を処理し、表示のために前記表示装置(20;38)を適宜制御するように適合されている制御ユニット(22)と、を備え、
外科用の前記顕微鏡(2)、特に前記顕微鏡ヘッド(4)は、前記顕微鏡ヘッド(4)上、特に前記ハウジング(6)上に、好ましくはしっかりと配置された少なくとも1つの周囲カメラ(26)を有するカメラシステム(24)をさらに備え、
前記周囲カメラ(26)は、特にその光学カメラ軸(28)の向きとカメラ光学系とを介して、前記周囲カメラ(26)によって、前記光学系(8)によって対象とされた前記領域(B)と対象の前記領域(B)の周りの周囲(U)との両方を検出し、周囲画像(30)を提供するために、前記周囲カメラ(26)の視野(36)が、特に所定の距離から、前記光学系(8)の視野(34)を含むように適合されており、
前記制御装置(22)は、前記周囲画像(30)を処理し、前記顕微鏡画像(14)と前記周囲画像(30)とを有する合成ビュー(32)を生成し、それを前記表示装置(20;38)によって視覚的に出力するようにさらに適合されていることを特徴とする、外科的な補助システム(1)。
(項目2)
外科的な前記補助システム(1)は、術前の3D画像データ、特にMRI画像データ及び/又はCT画像データを有する記憶ユニット(42)をさらに備え、
前記補助システム(1)、特に前記制御ユニット(22)は、前記カメラシステム(24)によって、特に前記周囲カメラ(26)のみを用いて、前記患者(P)の3D構造、特に前記患者(P)の顔の3D構造を空間的に検出し、前記患者(P)を登録するために、検出された前記3D構造を前記3D画像データと関連付けるように適合されていることを特徴とする、項目1に記載の外科的な補助システム(1)。
(項目3)
3D構造を検出するために、前記カメラシステム(24)は、3Dカメラ及び/又は2Dカメラを有し、特に前記カメラシステム(24)の唯一の2Dカメラ又は3Dカメラとして前記周囲カメラ(26)で構成されており、
前記2Dカメラの場合、前記2Dカメラは、関心領域の様々なビューを得るために、前記患者(P)の関心領域上を動かされ、前記制御ユニット(22)は、画像解析を用いて、前記様々なビューから3D構造を算出するように適合されていることを特徴とする、項目1又は項目2に記載の外科的な補助システム(1)。
(項目4)
前記補助システム(1)は、前記顕微鏡ヘッド(4)の位置、特にポーズを検出し、それを前記制御ユニット(22)に提供するように構成されており、
前記制御ユニット(22)は、前記顕微鏡ヘッド(4)の前記位置、特に前記ポーズを、登録位置及び関連する周囲画像(30)として、特に検出された3D構造として、前記記憶ユニット(42)に記憶するように適合されており、
記憶された前記登録位置又はポーズで周囲画像(30)を更新する際に、前記制御ユニット(22)は、記憶された前記周囲画像(30)と新たに検出された周囲画像(30)との重ね合わせ、特に部分領域の重ね合わせが、所定の閾値を超えてずれている場合に、ずれが存在すると判定することを特徴とする、項目2又は項目3の1つに記載の外科的な補助システム(1)。
(項目5)
外科用の前記顕微鏡(2)は、可動式の前記顕微鏡アーム(16)及び可動式の前記顕微鏡ヘッド(4)を能動的に動かすために、少なくとも1つのアクチュエータを備えており、
前記制御装置(22)は、前記顕微鏡ヘッド(4)を所定の位置及び/又は向きへ能動的に動かすように前記アクチュエータを制御するようさらに適合されていることを特徴とする、先行の項目の1つに記載の外科的な補助システム(1)。
(項目6)
前記補助システム(1)は、前記周囲画像(30)においてフォーカス点を選択するための入力ユニット、特にタッチスクリーンを備えており、
前記制御ユニット(22)は、前記光学顕微鏡軸(10)が、特に所定の関連距離及び/又は所定の画像角度で、前記患者(P)における選択された前記フォーカス点と位置合わせされるように、選択された前記フォーカス点に基づいて、少なくとも1つの前記アクチュエータを介して、前記顕微鏡アーム(16)及び前記顕微鏡ヘッド(4)を能動的に制御するように適合されていることを特徴とする、項目5に記載の外科的な補助システム(1)。
(項目7)
前記制御ユニット(22)は、前記周囲画像(30)の画像解析及び/又は前記顕微鏡ヘッド(4)に設けられたセンサを介して、前記顕微鏡ヘッド(4)の領域内にある物体と、前記物体までの可動式の前記顕微鏡ヘッド(4)の距離とを検出し、前記物体と衝突の可能性がある場合、特に前記距離が所定の距離を下回る場合、アラーム信号を発し、及び/又は、前記顕微鏡ヘッド(4)の少なくとも動きの自由度を制限し、特に前記顕微鏡ヘッド(4)の全体的な動きを停止するように適合されていることを特徴とする、先行する項目の1つに記載の外科的な補助システム(1)。
(項目8)
前記制御ユニット(22)は、前記カメラシステム(24)、特に少なくとも前記周囲画像(30)、特にマーカ及び/又は前記患者(P)の特徴を使用して、医療器具(44)及び/又は前記顕微鏡ヘッド(4)のポーズを正しく検出する、特に連続的に追跡するように適合されていることを特徴とする、先行する項目の1つに記載の外科的な補助システム(1)。
(項目9)
少なくとも1つの医療器具(44)のデータ、特に幾何学的関係と、関連する使用指示とが前記記憶ユニット(42)に記憶されており、
前記制御ユニット(22)は、記憶された前記データに基づいて、特に前記幾何学的関係に基づいて、前記周囲画像(30)において外科用器具(44)を検出し、前記表示装置(20;38)を介して、前記関連する使用指示をユーザに出力するように適合されていることを特徴とする、先行する項目の1つに記載の外科的な補助システム(1)。
(項目10)
少なくとも1つの前記表示装置は、ORモニタ(20)、及び/又は頭部装着型ディスプレイ(38)、及び/又はフェードイン可能なデータを有する双眼システムであることを特徴とする、先行する項目の1つに記載の外科的な補助システム(1)。
(項目11)
前記光学系(8)の倍率は、少なくとも5倍、特に少なくとも10倍であり、前記光学系(8)がズーム機能を有することが好ましく、及び/又は
前記周囲カメラ(26)の倍率は、最大で5倍、特に最大で1倍であることを特徴とする、先行する項目の1つに記載の外科的な補助システム(1)。
(項目12)
顕微鏡画像(14)と周囲画像(30)とを関連付けて表示するため、特に項目1~11の1つに記載の外科的な補助システム(1)のための画像表示方法であって、画像表示方法は、
好ましくは、外科用の顕微鏡(2)の可動式の顕微鏡ヘッド(4)に周囲カメラ(26)を配置するステップ(S1)と、
可動式の前記顕微鏡ヘッド(4)に配置されている光学系(8)を介して、領域(B)を対象とするステップ(S2)と、
前記顕微鏡ヘッド(4)に配置されている顕微鏡画像ユニット(12)によって、前記光学系(8)により提供される倍率の顕微鏡画像(14)を生成するステップ(S3)と、
前記顕微鏡ヘッド(4)に配置されている周囲カメラ(26)によって、周囲画像(30)を生成するステップ(S4)であって、前記周囲カメラ(26)の視野(36)は、特に所定の距離から、前記光学系(8)の視野(34)を含む、ステップと、
前記顕微鏡画像(14)と前記周囲画像(30)とを含む合成ビュー(32)を生成するステップ(S5)と、
表示装置(20;38)によって、前記合成ビュー(32)を出力するステップ(S6)と、を備える画像表示方法。
(項目13)
コンピュータによって実行されると、前記コンピュータに項目12の方法ステップを実行させる命令を備えるコンピュータ読み取り可能な記憶媒体。
(項目14)
手術室(100)などの医療無菌空間であって、項目1~11の1つに記載の外科的な補助システム(1)を備えることを特徴とする、医療無菌空間。

Claims (14)

  1. 患者(P)への外科的介入で使用される外科的な補助システム(1)であって、前記補助システム(1)は、
    外科用の顕微鏡(2)であって、
    ハウジング(6)と、光学顕微鏡軸(10)の方向で対象領域(B)の光学的倍率を提供し、下流の顕微鏡画像ユニット(12)を介してデジタルの顕微鏡画像(14)を生成するように適合された光学系(8)とを含む、可動式の顕微鏡ヘッド(4)と、
    ベース(18)に接続された可動式の顕微鏡アーム(16)であって、その上に可動式の前記顕微鏡ヘッド(4)が取り付けられており、特に支持されており、前記顕微鏡ヘッド(4)の位置及び/又は向きを調整するように適合されている可動式の顕微鏡アーム(16)と、を備える顕微鏡(2)と、
    視覚的コンテンツを表示するための少なくとも1つの表示装置(20;38)と、
    前記顕微鏡画像(14)を処理し、表示のために前記表示装置(20;38)を適宜制御するように適合されている制御ユニット(22)と、を備え、
    外科用の前記顕微鏡(2)、特に前記顕微鏡ヘッド(4)は、前記顕微鏡ヘッド(4)上、特に前記ハウジング(6)上に、好ましくはしっかりと配置された少なくとも1つの周囲カメラ(26)を有するカメラシステム(24)をさらに備え、
    前記周囲カメラ(26)は、特にその光学カメラ軸(28)の向きとカメラ光学系とを介して、前記周囲カメラ(26)によって、前記光学系(8)によって対象とされた前記領域(B)と対象の前記領域(B)の周りの周囲(U)との両方を検出し、周囲画像(30)を提供するために、前記周囲カメラ(26)の視野(36)が、特に所定の距離から、前記光学系(8)の視野(34)を含むように適合されており、
    前記制御装置(22)は、前記周囲画像(30)を処理し、前記顕微鏡画像(14)と前記周囲画像(30)とを有する合成ビュー(32)を生成し、それを前記表示装置(20;38)によって視覚的に出力するようにさらに適合されていることを特徴とする、外科的な補助システム(1)。
  2. 外科的な前記補助システム(1)は、術前の3D画像データ、特にMRI画像データ及び/又はCT画像データを有する記憶ユニット(42)をさらに備え、
    前記補助システム(1)、特に前記制御ユニット(22)は、前記カメラシステム(24)によって、特に前記周囲カメラ(26)のみを用いて、前記患者(P)の3D構造、特に前記患者(P)の顔の3D構造を空間的に検出し、前記患者(P)を登録するために、検出された前記3D構造を前記3D画像データと関連付けるように適合されていることを特徴とする、請求項1に記載の外科的な補助システム(1)。
  3. 3D構造を検出するために、前記カメラシステム(24)は、3Dカメラ及び/又は2Dカメラを有し、特に前記カメラシステム(24)の唯一の2Dカメラ又は3Dカメラとして前記周囲カメラ(26)で構成されており、
    前記2Dカメラの場合、前記2Dカメラは、関心領域の様々なビューを得るために、前記患者(P)の関心領域上を動かされ、前記制御ユニット(22)は、画像解析を用いて、前記様々なビューから3D構造を算出するように適合されていることを特徴とする、請求項1又は請求項2に記載の外科的な補助システム(1)。
  4. 前記補助システム(1)は、前記顕微鏡ヘッド(4)の位置、特にポーズを検出し、それを前記制御ユニット(22)に提供するように構成されており、
    前記制御ユニット(22)は、前記顕微鏡ヘッド(4)の前記位置、特に前記ポーズを、登録位置及び関連する周囲画像(30)として、特に検出された3D構造として、前記記憶ユニット(42)に記憶するように適合されており、
    記憶された前記登録位置又はポーズで周囲画像(30)を更新する際に、前記制御ユニット(22)は、記憶された前記周囲画像(30)と新たに検出された周囲画像(30)との重ね合わせ、特に部分領域の重ね合わせが、所定の閾値を超えてずれている場合に、ずれが存在すると判定することを特徴とする、請求項2又は請求項3の1つに記載の外科的な補助システム(1)。
  5. 外科用の前記顕微鏡(2)は、可動式の前記顕微鏡アーム(16)及び可動式の前記顕微鏡ヘッド(4)を能動的に動かすために、少なくとも1つのアクチュエータを備えており、
    前記制御装置(22)は、前記顕微鏡ヘッド(4)を所定の位置及び/又は向きへ能動的に動かすように前記アクチュエータを制御するようさらに適合されていることを特徴とする、先行の請求項の1つに記載の外科的な補助システム(1)。
  6. 前記補助システム(1)は、前記周囲画像(30)においてフォーカス点を選択するための入力ユニット、特にタッチスクリーンを備えており、
    前記制御ユニット(22)は、前記光学顕微鏡軸(10)が、特に所定の関連距離及び/又は所定の画像角度で、前記患者(P)における選択された前記フォーカス点と位置合わせされるように、選択された前記フォーカス点に基づいて、少なくとも1つの前記アクチュエータを介して、前記顕微鏡アーム(16)及び前記顕微鏡ヘッド(4)を能動的に制御するように適合されていることを特徴とする、請求項5に記載の外科的な補助システム(1)。
  7. 前記制御ユニット(22)は、前記周囲画像(30)の画像解析及び/又は前記顕微鏡ヘッド(4)に設けられたセンサを介して、前記顕微鏡ヘッド(4)の領域内にある物体と、前記物体までの可動式の前記顕微鏡ヘッド(4)の距離とを検出し、前記物体と衝突の可能性がある場合、特に前記距離が所定の距離を下回る場合、アラーム信号を発し、及び/又は、前記顕微鏡ヘッド(4)の少なくとも動きの自由度を制限し、特に前記顕微鏡ヘッド(4)の全体的な動きを停止するように適合されていることを特徴とする、先行する請求項の1つに記載の外科的な補助システム(1)。
  8. 前記制御ユニット(22)は、前記カメラシステム(24)、特に少なくとも前記周囲画像(30)、特にマーカ及び/又は前記患者(P)の特徴を使用して、医療器具(44)及び/又は前記顕微鏡ヘッド(4)のポーズを正しく検出する、特に連続的に追跡するように適合されていることを特徴とする、先行する請求項の1つに記載の外科的な補助システム(1)。
  9. 少なくとも1つの医療器具(44)のデータ、特に幾何学的関係と、関連する使用指示とが前記記憶ユニット(42)に記憶されており、
    前記制御ユニット(22)は、記憶された前記データに基づいて、特に前記幾何学的関係に基づいて、前記周囲画像(30)において外科用器具(44)を検出し、前記表示装置(20;38)を介して、前記関連する使用指示をユーザに出力するように適合されていることを特徴とする、先行する請求項の1つに記載の外科的な補助システム(1)。
  10. 少なくとも1つの前記表示装置は、ORモニタ(20)、及び/又は頭部装着型ディスプレイ(38)、及び/又はフェードイン可能なデータを有する双眼システムであることを特徴とする、先行する請求項の1つに記載の外科的な補助システム(1)。
  11. 前記光学系(8)の倍率は、少なくとも5倍、特に少なくとも10倍であり、前記光学系(8)がズーム機能を有することが好ましく、及び/又は
    前記周囲カメラ(26)の倍率は、最大で5倍、特に最大で1倍であることを特徴とする、先行する請求項の1つに記載の外科的な補助システム(1)。
  12. 顕微鏡画像(14)と周囲画像(30)とを関連付けて表示するため、特に請求項1~11の1つに記載の外科的な補助システム(1)のための画像表示方法であって、画像表示方法は、
    好ましくは、外科用の顕微鏡(2)の可動式の顕微鏡ヘッド(4)に周囲カメラ(26)を配置するステップ(S1)と、
    可動式の前記顕微鏡ヘッド(4)に配置されている光学系(8)を介して、領域(B)を対象とするステップ(S2)と、
    前記顕微鏡ヘッド(4)に配置されている顕微鏡画像ユニット(12)によって、前記光学系(8)により提供される倍率の顕微鏡画像(14)を生成するステップ(S3)と、
    前記顕微鏡ヘッド(4)に配置されている周囲カメラ(26)によって、周囲画像(30)を生成するステップ(S4)であって、前記周囲カメラ(26)の視野(36)は、特に所定の距離から、前記光学系(8)の視野(34)を含む、ステップと、
    前記顕微鏡画像(14)と前記周囲画像(30)とを含む合成ビュー(32)を生成するステップ(S5)と、
    表示装置(20;38)によって、前記合成ビュー(32)を出力するステップ(S6)と、を備える画像表示方法。
  13. コンピュータによって実行されると、前記コンピュータに請求項12の方法ステップを実行させる命令を備えるコンピュータ読み取り可能な記憶媒体。
  14. 手術室(100)などの医療無菌空間であって、請求項1~11の1つに記載の外科的な補助システム(1)を備えることを特徴とする、医療無菌空間。
JP2023546561A 2021-02-01 2022-01-31 外科用顕微鏡及びカメラを備える外科的補助システムと表示方法 Pending JP2024505269A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102021102274.6A DE102021102274A1 (de) 2021-02-01 2021-02-01 Chirurgisches Assistenzsystem mit Operationsmikroskop und Kamera und Darstellungsverfahren
DE102021102274.6 2021-02-01
PCT/EP2022/052202 WO2022162217A1 (de) 2021-02-01 2022-01-31 Chirurgisches assistenzsystem mit operationsmikroskop und kamera und darstellungsverfahren

Publications (1)

Publication Number Publication Date
JP2024505269A true JP2024505269A (ja) 2024-02-05

Family

ID=80685030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023546561A Pending JP2024505269A (ja) 2021-02-01 2022-01-31 外科用顕微鏡及びカメラを備える外科的補助システムと表示方法

Country Status (6)

Country Link
US (1) US20240090968A1 (ja)
EP (1) EP4284290A1 (ja)
JP (1) JP2024505269A (ja)
CN (1) CN116829098A (ja)
DE (1) DE102021102274A1 (ja)
WO (1) WO2022162217A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117562678B (zh) * 2024-01-08 2024-04-12 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6483948B1 (en) 1994-12-23 2002-11-19 Leica Ag Microscope, in particular a stereomicroscope, and a method of superimposing two images
CN101405763B (zh) 2006-03-01 2011-05-04 新加坡科技研究局 用于获取实时视频输出的对象的多个视图的方法和系统
US10022041B2 (en) 2012-06-27 2018-07-17 Camplex, Inc. Hydraulic system for surgical applications
DE102013006994A1 (de) 2013-04-19 2014-10-23 Carl Zeiss Microscopy Gmbh Digitalmikroskop und Verfahren zur Optimierung des Arbeitsablaufes in einem Digitalmikroskop
WO2017049381A1 (en) 2015-09-24 2017-03-30 Synaptive Medical (Barbados) Inc. Motorized full field adaptive microscope
US11278369B2 (en) 2016-04-28 2022-03-22 Sony Corporation Control device, control method, and surgical system
US10102640B2 (en) 2016-11-29 2018-10-16 Optinav Sp. Z O.O. Registering three-dimensional image data of an imaged object with a set of two-dimensional projection images of the object
IL250432A0 (en) * 2017-02-02 2017-06-29 Elbit Systems Ltd Magnified imaging with high resolution and traceability for medical use
EP3525023A1 (en) 2018-02-09 2019-08-14 Leica Instruments (Singapore) Pte. Ltd. Arm adapted to be attached to a microscope, and microscope
JP7094746B2 (ja) 2018-03-23 2022-07-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
DE102018110795A1 (de) * 2018-05-04 2019-11-07 Carl Zeiss Meditec Ag Mikroskop mit Smartdevice
US11969144B2 (en) * 2018-09-11 2024-04-30 Sony Corporation Medical observation system, medical observation apparatus and medical observation method
DE202019105838U1 (de) 2019-10-21 2019-12-04 Carl Zeiss Industrielle Messtechnik Gmbh Anordnung mit einem Koordinatenmessgerät oder Mikroskop

Also Published As

Publication number Publication date
US20240090968A1 (en) 2024-03-21
DE102021102274A1 (de) 2022-08-04
EP4284290A1 (de) 2023-12-06
WO2022162217A1 (de) 2022-08-04
CN116829098A (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
US11734901B2 (en) Surgeon head-mounted display apparatuses
US11707330B2 (en) Systems and methods for surgical navigation
US11382700B2 (en) Extended reality headset tool tracking and control
US20210169581A1 (en) Extended reality instrument interaction zone for navigated robotic surgery
CA2892554A1 (en) System and method for dynamic validation, correction of registration for surgical navigation
WO2020079098A1 (en) Augmented reality with medical imaging
WO2021154076A1 (en) Surgical navigation system with augmented reality device
CN112805999B (zh) 用于医疗程序的增强光学成像系统
US10846883B2 (en) Method for calibrating objects in a reference coordinate system and method for tracking objects
JP2016158911A (ja) 画像表示装置を使った外科手術方法及び、その外科手術に用いる装置
US10925687B2 (en) System and method for optical axis calibration
JP2024505269A (ja) 外科用顕微鏡及びカメラを備える外科的補助システムと表示方法
US20230026585A1 (en) Method and system for determining a pose of at least one object in an operating theatre
US11627868B2 (en) Systems and methods for controlling autofocus operations
US20230165640A1 (en) Extended reality systems with three-dimensional visualizations of medical image scan slices
EP3936080A1 (en) Navigated medical imaging
JP2004016357A (ja) 手術用観察システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231005