JP7003181B2 - 顕微鏡システムおよび手術用顕微鏡を制御する方法 - Google Patents

顕微鏡システムおよび手術用顕微鏡を制御する方法 Download PDF

Info

Publication number
JP7003181B2
JP7003181B2 JP2020090949A JP2020090949A JP7003181B2 JP 7003181 B2 JP7003181 B2 JP 7003181B2 JP 2020090949 A JP2020090949 A JP 2020090949A JP 2020090949 A JP2020090949 A JP 2020090949A JP 7003181 B2 JP7003181 B2 JP 7003181B2
Authority
JP
Japan
Prior art keywords
user
sensor
microscope
microscope system
sensor unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020090949A
Other languages
English (en)
Other versions
JP2020194161A (ja
Inventor
テメリス ゲオルゲ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of JP2020194161A publication Critical patent/JP2020194161A/ja
Application granted granted Critical
Publication of JP7003181B2 publication Critical patent/JP7003181B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/32—Micromanipulators structurally combined with microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B90/53—Supports for surgical instruments, e.g. articulated arms connected to the surgeon's body, e.g. by a belt
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00221—Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0223—Magnetic field sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Robotics (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、顕微鏡システムおよび手術用顕微鏡を制御する方法に関する。
手術用顕微鏡は、患者の外科的処置を実行するために広く利用されている。このような手術用顕微鏡を使用する場合、顕微鏡の全ての操作、例えば再配置、焦点合わせ、ズーム等は、手術医と顕微鏡との物理的相互作用を必要とする。例えば、手術用顕微鏡に意図した操作を実行させるためには、手術医はボタンを押し、ハンドルを掴まなければならない。手術用顕微鏡を意図したとおりに操作するために、手術医は通常、作業を中断して、手術用器具から手を離さなければならないので、手術用顕微鏡を手動で操作することは特に煩わしいことである。手術用顕微鏡を調整した後で、手術医は手術用器具を取り上げて、顕微鏡の手動操作以前に作業していたターゲットスポットを再び見付けなければならない。手術医は例えば、設定の最適化のために作業を中断するよりも、例えば不十分な焦点合わせといった最適以下の設定で作業を続ける方が好都合であると思うので、このような中断は、遅延と最適以下の顕微鏡設定の融合という結果となってしまう。さらに、顕微鏡を手動で操作する助手のようなさらなる専門家を使うことは可能かもしれないが、このような対策は、コストと手術室内の限られたスペースの点で欠点となる。
近年、ジェスチャ制御を使用した顕微鏡システムが、文献欧州特許出願公開第３２８５１０７号明細書において提案された。しかしながら、この発明者らは、ユーザーから一定の距離を置いてジェスチャが検出されるので、このようなジェスチャ制御には限界があることに気付いている。したがって、発明者らは、特定の検出角度および／または位置ではジェスチャ認識が不可能であることがあることを発見した。例えば、ユーザーの脚または足の位置および動きを検出するために、手術台の下にカメラを配置することは適切ではない。さらに発明者らは、ジェスチャ認識は、ユーザーの身体が衣服によって覆われていて、これにより微細な動きが見えない場合のように、いくつかの状況では不正確になり得ることを発見した。さらに発明者らは、一般的に、ユーザーのジェスチャの光学認識は、手術医の偶発的な動きまたは手術室にいる別の人員による動きに起因してエラーが生じる傾向があることを発見した。
したがって、本発明の目的は、ユーザーが手術進行を中断することなく、またはいずれにせよ最小限にしか中断することなく、効率的に手術用顕微鏡を操作することを可能にする顕微鏡システムおよび手術用顕微鏡を制御する方法を提供することである。
上記目的は、独立請求項の主題によって達成される。好適な実施形態は、従属請求項に定義されている。
提案された顕微鏡システムは、手術用顕微鏡と、ユーザーによって操作されるように構成された操作装置と、ユーザー操作に応じた操作装置からのコマンド信号を受信し、コマンド信号に基づき手術用顕微鏡を制御するように構成されたプロセッサと、を有している。操作装置は、ユーザー操作を検出して、検出されたユーザー操作に基づきコマンド信号を生成するように構成されたセンサユニットを有している。センサユニットはさらに、ユーザーに装着されるように構成されている。
顕微鏡システムは、ユーザー（例えば、顕微鏡を操作する手術医または看護師）に装着されるように構成されたセンサユニットを有しているので、顕微鏡システムは、その場で、すなわちユーザーが、顕微鏡システムを制御するために操作装置を操作する場所で、ユーザー操作を検出することができる。したがって、一定の距離からユーザー操作を検出することに関する欠点は回避される。特に、提案された顕微鏡システムにより、ユーザーの位置に関係なく、かつ手術室内でユーザーまたはその他の人が動いているかどうかに関係なく、ユーザー操作の認識が可能である。したがって、ユーザーは、以前よりも簡単、迅速、かつより正確かつ信頼性をもって顕微鏡システムを制御することができる。
操作装置に含まれるセンサユニットの構造は、ユーザーが装着できる構造であれば、特定の実施形態に限定されない。このために、センサユニットは、ユーザーの身体の一部、例えば指、手、腕、頭、脚および／または足に取り付けることができるように形成することができる。例えば、センサユニットは、指輪、ブレスレット、リストバンド、ヘッドバンド、フットストラップ、膝ストラップ等として形成されていてよい。特に、顕微鏡システムは、ユーザーの身体の一部に装着されるように構成されたユーザーウェアラブルデバイスを有していてよく、前述のユーザーウェアラブルデバイスがセンサユニットを含んでいる。この点で、ウェアラブルデバイスは、操作装置で実施されたユーザー操作を検出するためだけに構成されていてもよい。または、ユーザーウェアラブルデバイスは、意図したセンサ機能以外の付加的な機能を提供するように構成されていてもよいので、この場合センサユニットは、ユーザーウェアラブルデバイスの複数のさまざまな機能要素のうちの１つだけを形成する。
好適には、センサユニットは、ジャイロスコープ、加速度計、筋肉活動センサ、ボタン、圧力センサ、磁界センサ、電界センサ、誘導センサおよびマイクロフォンを含むグループから選択された少なくとも１つのセンサを備える。ジャイロスコープと加速度計とは、例えば、上述の構成要素を含む操作装置が、ユーザーの腕に装着されるブレスレットの一部である場合にはユーザーの腕の回転運動を検出するために使用することができる。腕の動きを検出することにより、例えば、意図したとおりに手術用顕微鏡の光学系の焦点を調整することができる。言うまでもなく、その他任意の種類の顕微鏡操作も、このような方法で制御することができる。
好適な実施形態では、センサユニットは、前述のグループのうちの、互いに相互作用するように構成されている少なくとも２つのセンサを有している。例えば圧力センサを、ユーザー操作の検出精度を高めるために、筋肉活動センサに組み合わせることができる。
さらに好適な実施形態では、２つのセンサのうちの一方は、センサユニットのアクティベーションを検出するように構成されていて、他方のセンサは、センサユニットのアクティベーションが検出された後に、ユーザー入力に基づきコマンド信号を生成するように構成されている。上述したように２つのセンサを使用することにより、偶発的なコマンド信号の呼び出しを回避することができる。
好適には、センサユニットは、独立型センサユニットであるように、すなわち、対応部分デバイスを必要としないユニットであるように構成されていてよい。このような独立型センサユニットは、例えば加速度計によって形成することができる。代替的には、センサユニットは、対応部分デバイスを含むセンサシステムの一部であるように構成されていてよい。例えば、センサユニットは、ユーザーに装着することができる電界センサであってもよく、この電界センサは、対応部分デバイスによって生成された電界の変化を測定するように構成されている。
好適には、顕微鏡システムは、コマンド信号を生成するための前述のセンサユニットと相互作用するように構成されたさらなるセンサユニット、すなわち付加的なセンサユニットを備える。この付加的なセンサユニットは、ユーザー操作を検出するための精度を向上させるために使用することができる。さらに、完全なタスクを実行するために、ユーザーに装着することができるセンサユニットを前述のさらなるセンサユニットに組み合わせることができる。例えば、手術用顕微鏡の焦点を調節するために、ユーザーはジャイロスコープまたは加速度計の使用をアクティベートする音声コマンドを使用することができる。別の例によると、ジャイロスコープのアクティベーションは、ボタンを押すことにより実施することができ、このボタンは、ユーザーの片方の足に着用された靴に設けられており、他方の足によって押される。
好適な実施形態では、センサユニットは、操作状態についてのフィードバック情報を提供するように構成されたフィードバックモジュールを備える。このようなフィードバックモジュールは、ユーザーに装着すべきセンサユニットが、プロセッサにコマンド信号を送信するために、現在、使用されていることを確認するために使用することができる。
好適には、フィードバック情報は、センサユニットのアクティベーション状態および手術用顕微鏡の操作状態のうちの少なくとも１つを含む。例えば、フィードバックモジュールは、コマンド信号生成モードが終了し、センサユニットが現在、作動していないことを確認することができる。さらなる例として、フィードバックモジュールは、センサユニットを始動する試みが成功しなかったことを示す情報をユーザーに提供することができる。さらに、手術用顕微鏡からの全てのメッセージをフィードバックモジュールによって、ユーザーに注意喚起する操作状態についての対応するフィードバック情報へと変換することができる。このような操作状態は例えば、それ以上ズームを拡大できないまたは光源の過熱が発生する状態であり得る。
フィードバックモジュールは、振動、機械的圧力、電気パルス、音声および光のうちの少なくとも１つの形態で前述のフィードバックを提供するように構成されていてよい。
好適には、センサユニットは、前述のコマンド信号の生成とは関係ない形式で、すなわち、例えば、ズーム、焦点合わせ、再配置等のために、手術中にユーザーによって行われる手術用顕微鏡の操作以上を行う形式で、手術用顕微鏡を制御するように構成された制御エレメントをさらに備える。
好適には、制御エレメントは、ユーザー識別子を検出するように構成されている。例えば、ユーザー識別子を検出するための制御エレメントは、ＲＦＩＤ（非接触）チップを有していてよい。このような場合、ユーザーの識別に使用されるＲＦＩＤチップには、ユーザー操作を検出し、コマンド信号を生成するセンサユニットも含まれていてよく、このコマンド信号に基づき、手術用顕微鏡は、ユーザーの意図したように制御される。センサユニットは、ジェスチャを認識するために、例えば電界または磁界を検出するように構成されていてよい。ＲＦＩＤチップとセンサユニットとを組み合わせることにより、顕微鏡システムの機能性を向上させることができる。特に、顕微鏡システムは、複数のユーザーからの入力を区別し、さらには複数のユーザー間の共同アクションを可能にすることもできる。
好適な実施形態では、センサは、ユーザーの身体的状態を検出するように構成されていてよい。例えば、センサユニットは、疲労、ストレス、振戦、安定性を測定するように構成されていてよく、これにより、手術医の健康状態、手術を続ける能力等を評価することができる。
別の態様によれば、手術用顕微鏡を制御する方法であって、以下のステップ、すなわち、ユーザーに装着されたセンサユニットによって、ユーザー操作を検出するステップ、検出されたユーザー操作に基づきコマンド信号を生成するステップ、およびコマンド信号に基づき手術用顕微鏡を制御するステップ、を含む方法が提供される。
さらなる態様によれば、コンピュータプログラムであって、コンピュータプログラムがプロセッサで実行されるときに、前述の方法を実行するためのプログラムコードを有するコンピュータプログラムが提供される。
以下に、好適な実施形態を図面につき説明する。
１つの実施形態による顕微鏡システムの構造を示す図である。 図１の顕微鏡システムに含まれる手術用顕微鏡を制御する方法の例を説明するフローチャートである。
図１は、手術用顕微鏡１０２とプロセッサ１０４とを備えた顕微鏡システム１００を示す図である。プロセッサ１０４は、手術用顕微鏡１０２と物理的に分離されているコンピュータのような制御装置に含まれていてよい。または、プロセッサ１０４は、手術用顕微鏡１０２に統合されていてもよい。
顕微鏡システム１００はさらに、患者の手術を実施するときにユーザー１０８によって操作される操作装置１０６を有している。例えばユーザー１０８は、操作装置１０６を操作して、再配置、焦点合わせ、ズーム等に関して手術用顕微鏡１０２を制御することができる。このために、操作装置１０６は、ユーザー操作に応答してコマンド信号Ｓを生成し、このコマンド信号Ｓをプロセッサ１０４に送信するように構成されている。好適には、操作装置１０６からプロセッサ１０４へのコマンド信号Ｓの送信は無線通信によって行われる。したがって、操作装置１０６とプロセッサ１０４とは、それぞれ対応する無線通信手段１１０および１１２を含むことができる。
操作装置１０６は少なくとも１つのセンサユニットを有していて、このセンサユニットは、ユーザー操作を検出して、検出されたユーザー操作に基づきコマンド信号Ｓを生成するように構成されている。例示の目的で、図１には複数のセンサユニット１１４，１１６，１１８，１２０，１２２が示されていて、これらのセンサユニットは、ユーザー操作を検出し、コマンド信号を生成するために単独でまたは組み合わせて使用することができる。特に、センサユニット１１４～１２２のうちの１つのみを使用すれば十分である。とはいえ、ユーザー１０８によって実行される手術用顕微鏡１０２の制御が比較的複雑になるときには特に、単一のセンサユニットを２つ以上使用することがいくつかの利点を含むかもしれない状況が考えられる。
図１に示した例によれば、さまざまなタイプのセンサ、例えばジャイロスコープ、加速度計およびボタンを提供することができる。センサユニット１１４～１２２のそれぞれが、これらのセンサタイプのうちの１つ以上を備えていてよい。図１では、異なるセンサタイプが、異なる接尾辞「ａ」、「ｂ」、「ｃ」で示されていて、この場合、「ａ」はジャイロスコープセンサタイプ、「ｂ」は加速度計センサタイプ、「ｃ」はボタンセンサタイプを示している。したがって、参照符号１１４ａおよび１１４ｂは、例えば、センサユニット１１４がジャイロスコープと加速度計とによってそれぞれ形成されていてよいことを示している。同じことはその他のセンサユニット１１６～１２２についても言える。
各センサユニット１１４～１２２は、ユーザー１０８に装着されるように構成されている。例えば、センサユニット１１４は、ユーザー１０８の手首に装着されるように構成されているユーザーウェアラブルデバイス１２４に含まれている。したがって、ユーザーウェアラブルデバイス１２４は、リストバンドによって形成することができる。
相応に、センサユニット１１６は、ユーザー１０８の上腕に装着することができるユーザーウェアラブルデバイス１２６に含まれている。したがって、ユーザーウェアラブルデバイス１２６は、ブレスレットによって形成することができる。センサユニット１１８は、ユーザー１０８の足首に装着することができるユーザーウェアラブルデバイス１２８に含まれている。したがって、ユーザーウェアラブルデバイス１２８は、フットストラップによって形成することができる。センサユニット１２０は、ユーザー１０８の膝に装着することができるユーザーウェアラブルデバイス１３０に含まれている。したがって、ユーザーウェアラブルデバイス１３０は、膝ストラップによって形成することができる。最後に、センサユニット１２２は、ユーザー１０８の頭に装着することができるユーザーウェアラブルデバイス１３２に含まれている。したがって、ユーザーウェアラブルデバイス１３２は、ヘッドバンドによって形成することができる。
図１に示したように、センサユニット１１４は、ジャイロスコープ１１４ａおよび／または加速度計１１４ｂを有していてよい。同様に、センサユニット１１６はボタン１１６ｃを有していてよく、センサユニット１１８は、ジャイロスコープ１１８ａ、加速度計１１８ｂおよび／またはボタン１１８ｃを有していてよい。センサユニット１２０は、ボタン１２０ｃを有していてよい。センサユニット１２２は、ジャイロスコープ１２２ａおよび／または加速度計１２２ｂを有していてよい。
図１に示されたセンサは、単なる例として理解されたい。その他のセンサタイプも、例えば、筋肉活動センサ、圧力センサ、磁界センサ、電界センサ、誘導センサおよびマイクロフォンも使用することができる。
図１に示した実施形態で説明したように、ユーザー操作の検出精度を高めるために、さまざまなセンサタイプを組み合わせることができる。例えば、手の動きの検出精度は、センサユニット１１４が、ジャイロスコープ１１４ａと加速度計１１４ｂとの両方を使用する場合に向上させることができる。同様に、上述したセンサのうちの一方は、センサユニット１１４のアクティベーションを検出するように構成されていてよく、他方のセンサは、センサユニット１１４のアクティベーションが検出された後で、コマンド信号Ｓを生成することができる。
図１に示したセンサユニット１１４～１２２は、独立型センサユニットであるように構成されている。しかしながら、各センサユニット１１４～１２２は、関連する対応部分デバイスと相互作用するように構成されていてよい。
さらに、各センサユニット１１４～１２２は、フィードバック情報を提供するフィードバックモジュールを有していてよく、このフィードバック情報に基づきユーザー１０８は、手術用顕微鏡１０２の特定の動作状態を検出することができる。例えば、このようなフィードバックモジュールは、対応するセンサユニットを開始する試みが失敗したことを、ユーザー１０８に通知することができる。
さらにセンサユニット１１４～１２２は、ユーザー１０８の身体的状態を、例えば、疲労、ストレス、振戦および安定性を測定するように構成されていてよい。
図２には、手術用顕微鏡１０２を制御する方法の例を説明するフローチャートが示されている。図２に示した例では、ユーザー１０８の手の動きが、リストバンド１２４内に含まれるジャイロスコープ１１４ａによって検出されると想定する。
ステップＳ１で、ユーザー１０８は、例えば検査される患者のターゲット領域に焦点を合わせるために、手術用顕微鏡１０２を制御するために特定の方法で手を動かす。
ステップＳ２で、ジャイロスコープ１１４ａが、ユーザー１０８によって行われた手の動きを検出し、検出された手の動きに基づきコマンド信号Ｓを生成する。
ステップＳ３で、ジャイロスコープ１１４ａは、通信手段１１０および１１２を使用して無線通信を介してコマンド信号Ｓをプロセッサ１０４へと送信する。
ステップＳ４で、プロセッサが制御信号Ｃを生成し、この制御信号Ｃを手術用顕微鏡へと送信する。
ステップＳ５で、手術用顕微鏡１０２は、制御信号Ｃに基づきユーザーが意図した操作を行う。例えば、手術用顕微鏡１０２は、ターゲット領域上に光学系を焦点合わせするために、駆動機構を作動させる。
いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。
一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。
本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。
一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。
別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。
したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。
したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。
別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。
別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。
本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。
いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。
１００ 顕微鏡システム
１０２ 手術用顕微鏡
１０４ プロセッサ
１０６ 操作装置
１０８ ユーザー
１１０，１１２ 無線通信手段
１１４ センサ手段
１１４ａ ジャイロスコープ
１１４ｂ 加速度計
１１６ センサ手段
１１６ｃ ボタン
１１８ センサ手段
１１８ａ ジャイロスコープ
１１８ｂ 加速度計
１１８ｃ ボタン
１２０ センサユニット
１２０ｃ ボタン
１２２ センサ手段
１２２ａ ジャイロスコープ
１２２ｂ 加速度計
１２４ リストバンド
１２６ ブレスレット
１２８ フットストラップ
１３０ 膝ストラップ
１３２ ヘッドバンド
Ｓ コマンド信号
Ｃ 制御信号

Claims (13)

  1. 顕微鏡システム（１００）であって、前記顕微鏡システム（１００）は、
    手術用顕微鏡（１０２）と、
    ユーザー（１０８）によって操作されるように構成された操作装置（１０６）と、
    ユーザー操作に応じた前記操作装置（１０６）からのコマンド信号（Ｓ）を受信し、前記コマンド信号に基づき前記手術用顕微鏡（１０２）を制御するように構成されたプロセッサ（１０４）と、
    を有しており、
    前記操作装置（１０６）は、前記ユーザー操作を検出して、検出された前記ユーザー操作に基づき前記コマンド信号（Ｓ）を生成するように構成されたセンサユニット（１１４～１２２）を有していて、
    前記センサユニット（１１４～１２２）はさらに、前記ユーザー（１０８）の指、手、腕、脚および／または足に取り付けられるように構成されており、
    前記センサユニット（１１４～１２２）は、前記顕微鏡システム（１００）の操作状態についてのフィードバック情報を提供するように構成されたフィードバックモジュールを備え、
    前記フィードバックモジュールは、振動、機械的圧力、電気パルス、音声および光のうちの少なくとも１つの形態で前記フィードバック情報を提供するように構成されている、
    顕微鏡システム（１００）。
  2. 前記センサユニット（１１４～１２２）は、ジャイロスコープ、加速度計、筋肉活動センサ、ボタン、圧力センサ、磁界センサ、電界センサ、誘導センサおよびマイクロフォンを含むグループから選択された少なくとも１つのセンサを備える、
    請求項１記載の顕微鏡システム（１００）。
  3. 前記センサユニット（１１４～１２２）は、互いに相互作用するように構成されている、前記グループのうちの少なくとも２つのセンサを備える、
    請求項２記載の顕微鏡システム（１００）。
  4. 前記２つのセンサのうちの一方は、前記センサユニット（１１４～１２２）のアクティベーションを検出するように構成されていて、他方のセンサは、前記センサユニット（１１４～１２２）の前記アクティベーションが検出された後に、ユーザー入力に基づき前記コマンド信号を生成するように構成されている、
    請求項３記載の顕微鏡システム（１００）。
  5. 前記センサユニット（１１４～１２２）は、独立型センサユニットであるように構成されている、
    請求項１から４までのいずれか１項記載の顕微鏡システム（１００）。
  6. 前記顕微鏡システム（１００）は、前記コマンド信号を生成するための前記センサユニット（１１４～１２２）と相互作用するように構成されたさらなるセンサユニットを備える、
    請求項１から４までのいずれか１項記載の顕微鏡システム（１００）。
  7. 前記フィードバック情報は、前記センサユニット（１１４～１２２）のアクティベーション状態および前記手術用顕微鏡（１０２）の操作ステータスのうちの少なくとも一方を含む、
    請求項１から６までのいずれか１項記載の顕微鏡システム（１００）。
  8. 前記センサユニット（１１４～１２２）は、前記コマンド信号の生成とは関係ない形式で前記手術用顕微鏡を制御するように構成された制御エレメントをさらに備える、
    請求項１から７までのいずれか１項記載の顕微鏡システム（１００）。
  9. 前記制御エレメントは、ユーザー識別子を検出するように構成されている、
    請求項８記載の顕微鏡システム（１００）。
  10. 前記センサユニット（１１４～１２２）は、前記ユーザーの身体的状態を検出するようにさらに構成されている、
    請求項１から９までのいずれか１項記載の顕微鏡システム（１００）。
  11. 前記顕微鏡システム（１００）は、前記ユーザー（１０８）の身体の一部に装着されるように構成されたユーザーウェアラブルデバイス（１２４，１２６，１２８，１３０，１３２）を有しており、前記ユーザーウェアラブルデバイスは、前記センサユニット（１１４～１２２）を含んでいる、
    請求項１から１０までのいずれか１項記載の顕微鏡システム（１００）。
  12. 顕微鏡システム（１００）の手術用顕微鏡（１０２）を制御する方法であって、前記方法は、
    ユーザー（１０８）の指、手、腕、脚および／または足に取り付けられたセンサユニット（１１４～１２２）によって、ユーザー操作を検出するステップと、
    検出された前記ユーザー操作に基づきコマンド信号（Ｓ）を生成するステップと、
    前記コマンド信号（Ｓ）に基づき前記手術用顕微鏡（１０２）を制御するステップと、
    前記センサユニット（１１４～１２２）のフィードバックモジュールによって、前記顕微鏡システム（１００）の操作状態についてのフィードバック情報を提供するステップと、
    を含み、
    前記フィードバックモジュールは、振動、機械的圧力、電気パルス、音声および光のうちの少なくとも１つの形態で前記フィードバック情報を提供するように構成されている、
    方法。
  13. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサ（１０４）で実行されるときに、請求項１２に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
JP2020090949A 2019-05-27 2020-05-25 顕微鏡システムおよび手術用顕微鏡を制御する方法 Active JP7003181B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19176728 2019-05-27
EP19176728.4A EP3744286A1 (en) 2019-05-27 2019-05-27 Microscope system and method for controlling a surgical microscope

Publications (2)

Publication Number Publication Date
JP2020194161A JP2020194161A (ja) 2020-12-03
JP7003181B2 true JP7003181B2 (ja) 2022-01-20

Family

ID=66751877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020090949A Active JP7003181B2 (ja) 2019-05-27 2020-05-25 顕微鏡システムおよび手術用顕微鏡を制御する方法

Country Status (4)

Country Link
US (1) US20210369391A1 (ja)
EP (1) EP3744286A1 (ja)
JP (1) JP7003181B2 (ja)
CN (1) CN111999879A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4016491A1 (en) * 2020-12-16 2022-06-22 Leica Instruments (Singapore) Pte. Ltd. Communications system for a surgical device, surgical system, and method of control
CN113017830A (zh) * 2021-02-23 2021-06-25 刘睿 一种基于视频识别的显微外科吻合操作评分系统
US12023206B2 (en) 2022-02-22 2024-07-02 Orasi Llc Wearable foot controller for surgical equipment and related methods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150173846A1 (en) 2012-09-10 2015-06-25 Elbit Systems Ltd. Microsurgery system for displaying in real time magnified digital image sequences of an operated area
US20170259428A1 (en) 2016-03-14 2017-09-14 California Institute Of Technology Wearable electromyography sensor array using conductive cloth electrodes for human-robot interactions
JP2018029961A (ja) 2016-08-16 2018-03-01 ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッドＬｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ． ジェスチャ制御機能を有する手術用顕微鏡、および、手術用顕微鏡のジェスチャ制御を行う方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4989253A (en) * 1988-04-15 1991-01-29 The Montefiore Hospital Association Of Western Pennsylvania Voice activated microscope
WO2014121268A1 (en) * 2013-02-04 2014-08-07 The Cleveland Clinic Foundation Instrument depth tracking for oct-guided procedures
US9483123B2 (en) * 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
JP6657933B2 (ja) * 2015-12-25 2020-03-04 ソニー株式会社 医療用撮像装置及び手術ナビゲーションシステム
US20180088675A1 (en) * 2016-09-29 2018-03-29 Brian K. Vogel Coordinate system for gesture control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150173846A1 (en) 2012-09-10 2015-06-25 Elbit Systems Ltd. Microsurgery system for displaying in real time magnified digital image sequences of an operated area
US20170259428A1 (en) 2016-03-14 2017-09-14 California Institute Of Technology Wearable electromyography sensor array using conductive cloth electrodes for human-robot interactions
JP2018029961A (ja) 2016-08-16 2018-03-01 ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッドＬｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ． ジェスチャ制御機能を有する手術用顕微鏡、および、手術用顕微鏡のジェスチャ制御を行う方法

Also Published As

Publication number Publication date
JP2020194161A (ja) 2020-12-03
US20210369391A1 (en) 2021-12-02
EP3744286A1 (en) 2020-12-02
CN111999879A (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
JP7003181B2 (ja) 顕微鏡システムおよび手術用顕微鏡を制御する方法
EP2836892B1 (en) Control of remote device based on gestures
US9542001B2 (en) Controlling a surgical navigation system
JP2017534985A (ja) 足ジェスチャに基づく制御装置
CN112119368B (zh) 脚控制的光标
JP6195713B2 (ja) 奥行きセンサーの使用によるアブレーターワークステーションのタッチフリー操作
JP7160033B2 (ja) 入力制御装置、入力制御方法、および手術システム
US12114955B2 (en) Dynamic scaling of surgical manipulator motion based on surgeon stress parameters
US20080018598A1 (en) Hands-free computer access for medical and dentistry applications
JP2021522940A (ja) 仮想フットペダル
US11877817B2 (en) Dynamic scaling for a robotic surgical system
JP2016538089A (ja) 外科手術中の外科医の画像化支援のための支援機器
JP2008203911A (ja) ポインティング・デバイス、およびコンピュータ
US20160378938A1 (en) Contactless device control system in sterile medical environment
US11517395B2 (en) Control device, control method, and surgical system
JP6926278B2 (ja) 顕微鏡システムおよび手術用顕微鏡を制御するための方法
EP3346368B1 (en) Device, method and system for control of a target apparatus
CN114360704A (zh) 指令传输装置、指令传输系统、手术系统和指令传输方法
CN115361917A (zh) 用于控制外科手术系统的用户界面
JP6680120B2 (ja) ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム
CN114025674B (zh) 内窥镜装置、控制方法、计算机可读取记录介质及内窥镜系统
KR20150089459A (ko) 손가락 이외의 신체부위를 이용하는 3차원 마우스
JP2016170581A (ja) 入力機器、入力方法及びコンピュータプログラム
JP2016009282A (ja) 医用画像診断装置
JP2019185821A (ja) 入力機器、入力方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211228

R150 Certificate of patent or registration of utility model

Ref document number: 7003181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150