JP6990292B2 - 医療システムおよび医療システムの作動方法 - Google Patents

医療システムおよび医療システムの作動方法 Download PDF

Info

Publication number
JP6990292B2
JP6990292B2 JP2020501032A JP2020501032A JP6990292B2 JP 6990292 B2 JP6990292 B2 JP 6990292B2 JP 2020501032 A JP2020501032 A JP 2020501032A JP 2020501032 A JP2020501032 A JP 2020501032A JP 6990292 B2 JP6990292 B2 JP 6990292B2
Authority
JP
Japan
Prior art keywords
endoscope
medical system
input
interest
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020501032A
Other languages
English (en)
Other versions
JPWO2019163890A1 (ja
Inventor
直也 木原
宏亮 岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2019163890A1 publication Critical patent/JPWO2019163890A1/ja
Application granted granted Critical
Publication of JP6990292B2 publication Critical patent/JP6990292B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles

Description

本発明は、腹壁等に形成した孔を通して処置を行う医療システムおよび同医療システムの作動方法に関する。
本願は、２０１８年２月２１日に、アメリカ合衆国に仮出願された米国特許仮出願第６２／６３３，１９０号に基づき優先権を主張し、その内容をここに援用する。
従来、腹腔鏡下手術において、腹壁に開けた別々の孔（開口）から処置具や内視鏡などを挿入して処置を行う手法が用いられている。内視鏡を操作するスコピストは、術者に対して処置に最適な内視鏡の視野、例えば対象臓器等の関心領域が含まれる視野を迅速に提供する必要がある。このような内視鏡の視野の操作を支援する医療システムが考案されている。
特許文献１には、術者等が対象臓器の解剖学的名称を発話することで、装置が入力される音声から対象臓器を特定し、表示画面に特定された対象臓器を表示する医用観察支援装置が記載されている。
特許公開２０１５－４７３０９号公報
しかしながら、特許文献１に記載の医用観察支援装置は、特定された対象臓器に対して内視鏡を移動させることは可能であるが、例えば、対象臓器の一部を拡大して表示するなどの具体的な作業態様を指示することはできない。
上記事情を踏まえ、本発明は、対象臓器に対する内視鏡の視野の具体的な操作を支援する医療システムおよび医療システムの作動方法を提供することを目的とする。
上記課題を解決するために、この発明は以下の手段を提案している。
本発明の第一の態様に係る医療システムは、撮像部を有し、電動で駆動されて作動する内視鏡と、前記内視鏡を作動させ、前記撮像部が取得した撮像画像から表示画像を生成する制御装置と、前記表示画像を表示する表示装置と、前記制御装置に対する指示が入力される入力装置と、を備え、前記制御装置は、術前計画において作成した対象臓器のモデルと前記対象臓器における複数の部位の名称および前記モデルの第一座標系における領域または点とを関連付けて記録し、前記入力装置から前記対象臓器における複数の部位のうち注目する注目部位の名称と、前記注目部位に対する作業態様とを受信し、前記モデルの前記第一座標系と前記表示画像が表示する表示空間の第二座標系とを関連付け、前記注目部位の前記第一座標系における位置から、前記注目部位の前記第二座標系における位置を算出し、前記作業態様に基づいて前記注目部位に対して前記内視鏡を作動させる。
また、本発明の第二の態様に係る医療システムの作動方法は、撮像部を有し、電動で駆動されて作動する内視鏡と、前記内視鏡を作動させ、前記撮像部が取得した撮像画像から表示画像を生成する制御装置と、前記表示画像を表示する表示装置と、前記制御装置に対する指示が入力される入力装置と、を備える医療システムの作動方法であって、術前計画において作成した対象臓器のモデルと前記対象臓器における複数の部位の名称および前記モデルの第一座標系における領域または点とを関連付けて記録するモデル記録工程と、前記入力装置から前記対象臓器における複数の部位のうち注目する注目部位の名称と、前記注目部位に対する作業態様とを受信する指示受信工程と、前記モデルの前記第一座標系と前記表示画像が表示する表示空間の第二座標系とを関連付ける関連付け工程と、前記注目部位の前記第一座標系における位置から、前記注目部位の前記第二座標系における位置を算出する相対位置算出工程と、前記作業態様に基づいて前記注目部位に対して前記内視鏡を作動させる内視鏡作動工程と、を備える。
本発明の医療システムおよび医療システムの作動方法によれば、対象臓器に対する内視鏡の視野の具体的な操作を支援できる。
本発明の一実施形態に係る医療システムの全体構成を示す図である。 同医療システムのハードウェア構成図である。 同医療システムの制御部の全体構成例を示す図である。 同医療システムの制御部の全体構成例を示す図である。 術前計画において作成した対象臓器のモデルである。 内視鏡が撮像した撮像画像から制御装置が生成した表示画像である。 制御部の自動モードにおける制御フローチャートである。 関連付け工程が完了した後の表示画像である。 自動モードが完了した後の表示画像である。 内視鏡の変形例の全体構成例である。
本発明の一実施形態について、図１から図９を参照して説明する。なお、図面を見やすくするため、各構成要素の寸法等は適宜調整されている。
図１は、本実施形態に係る医療システム１００の全体構成を示す図である。
医療システム１００は、図１に示すように、処置具１と、内視鏡２と、制御装置３と、表示装置４と、入力装置５と、を備えている。医療システム１００は、腹腔鏡下手術において、腹壁に開けた別々の孔（開口）から処置具１や内視鏡２などを挿入して行う処置を支援するシステムである。
処置具１は、図１に示すように、患者の腹腔内に挿入可能な長尺の挿入部１０と、挿入部１０の基端部に設けられた操作部１１と、を有する。術者は、患者の腹部に穿刺したトロッカに挿入部１０を通し、挿入部１０を腹腔内に導入する。処置の種類や患部の状況により、術者は複数の処置具１を腹腔内に導入する場合もある。
挿入部１０は、図１に示すように、先端部に患者の患部を処置する処置部１２を有する。本実施形態において処置部１２は、一対の把持部材１２ａで構成された把持機構である。
操作部１１は、一対の把持部材１２ａを操作する部材である。操作部１１はハンドルを有しており、ハンドルを操作部１１の他の部分に対して相対移動させることで、処置部１２の一対の把持部材１２ａを開閉させる。術者は、片手で操作部１１を保持して、処置部１２を操作することができる。
図２は、処置具１を除く医療システム１００のハードウェア構成図である。
内視鏡２は、図１および図２に示すように、患者の腹腔内に挿入可能な長尺の挿入部２０と、アーム２１と、を有する。術者は、患者の腹部に穿刺したトロッカに挿入部２０を通し、挿入部２０を腹腔内に導入する。
挿入部２０は先端部に、患者の腹部内の様子を撮影するためのレンズや撮像素子を有する撮像部２２が設けられている。腹腔内に導入された挿入部２０は、撮像部２２が腹部内の処置対象の患部を撮影可能な位置に配置される。撮像部２２は、光学ズームもしくは電子ズームの機能を有していてもよい。
なお、挿入部２０は、能動的に湾曲する能動湾曲部をさらに有してもよい。挿入部２０の一部に設けられた能動湾曲部を湾曲させることで、撮像部２２のレンズや撮像素子の向きを変更することができる。
アーム２１は、図１に示すように、少なくとも１以上の関節２３を有する電動駆動のロボットアームである。アーム２１の先端が内視鏡の挿入部２０の基端部に接続されており、アーム２１は、挿入部２０を移動させることができる。
関節２３は、回動軸を中心に屈曲する部位であり、モータ等によって能動的に屈曲動作するものであってもよいし、接続されるワイヤ等の進退動作によって受動的に屈曲動作するものであってもよい。アーム２１の内部には、関節２３の屈曲動作を制御する制御信号線やワイヤ等が配線されている。また、アーム２１の内部には、撮像部２２を制御する制御信号線や撮像部２２が撮像した撮像画像を転送する伝送信号も配線されている。
制御装置３は、図２に示すように、駆動部３１と、画像処理部３２と、制御部３３と、を有している。制御装置３は、入力装置５からの入力に基づいてアーム２１等を制御する。また、制御装置３は、内視鏡２の撮像部２２が撮像した撮像画像から表示画像を生成して、表示装置４に転送する。
駆動部３１は、アーム２１の関節２３や挿入部２０を駆動する。関節２３が能動的に屈曲動作するものである場合、制御部３３は関節２３を動作させるために駆動部３１への制御信号を生成する。その結果、関節２３は駆動部３１によって屈曲動作させることができる。別の態様として、挿入部２０が能動湾曲部を有する場合、制御部３３は能動湾曲部を制御する制御信号を生成する。駆動部３１は、生成した制御信号に従い、能動湾曲部を動作させるための動力を発生させる。その結果、能動湾曲部は、アーム２１を介して伝達された動力によって湾曲動作させることができる。
すなわち、駆動部３１は、アーム２１および挿入部２０の少なくとも一方を駆動することによって、内視鏡２の視野を変更させることができる。
画像処理部３２は、撮像部２２が撮像した撮像画像の伝送信号が接続されており、その伝送信号経由で、撮像画像を取得する。また、画像処理部３２は、撮像画像から表示用の表示画像を生成する。画像処理部３２は、撮像画像に対し、画像フォーマット変換やコントラスト調整などの画像処理を必要に応じて行ってもよい。生成された表示画像は、表示装置４に所定の転送タイミングで転送される。
画像処理部３２は、制御部３３が生成した図形や文字などの画像を、撮像画像と差し替えて、もしくは、撮像画像に重畳して、表示画像を生成することができる。例えば、画像処理部３２は、術者への警告や操作支援に関する文字の画像を、撮像画像に重畳して、表示画像を生成することができる。なお、上記の図形や文字などの画像は、制御部３３ではなく画像処理部３２が、制御部３３の指示に基づいて生成してもよい。
制御部３３は、入力装置５の操作および画像処理部３２が取得した画像を入力とし、それらの入力に基づいて駆動部３１および画像処理部３２の制御等を行う。
本実施形態において、制御部３３は、マニュアルモードおよび自動モードの２種類の動作モードを有する。制御部３３は、二つの動作モードから選択された一つの動作モードに基づいて、駆動部３１および画像処理部３２の制御等を行う。
マニュアルモードは、スコピストが入力装置５を操作して、内視鏡２のアーム２１の関節２３等を直接操作する動作モードである。
自動モードは、画像処理部３２が取得した画像に基づいて、内視鏡２のアーム２１の関節２３等が制御部３３により自動で操作され、内視鏡２の視野の自動調整が実施される動作モードである。
図３および図４は、制御部３３の全体構成例を示す図である。
制御部３３は、図３に示すように、ＣＰＵ（Central Processing Unit）３４と、プログラムを読み込み可能なメモリ３５と、記憶部３６と、入出力制御部３７と、を有するプログラム実行可能な装置（コンピュータ）である。
制御部３３の機能は、制御部３３に提供されたプログラムをＣＰＵ３４が実行することにより実現される。なお、制御部３３の少なくとも一部の機能を、専用の論理回路等によって構成してもよい。
記憶部３６は、上述したプログラムや必要なデータを記憶する不揮発性の記録媒体である。記憶部３６は、例えばＲＯＭやハードディスク等で構成される。記憶部３６に記録されたプログラムは、メモリ３５に読み込まれ、ＣＰＵ３４によって実行される。
入出力制御部３７は、入力装置５および画像処理部３２からの入力データを受け取り、ＣＰＵ３４等への転送等を実施する。また、入出力制御部３７は、ＣＰＵ３４が駆動部３１や画像処理部３２を制御する際に、ＣＰＵ３４の指示に基づき、駆動部３１や画像処理部３２に対する制御信号等を生成する。
ここで、制御部３３は、１つのハードウェアに備わる装置に限られない。例えば、制御部３３は、ＣＰＵ３４と、メモリ３５と、記憶部３６と、入出力制御部３７とをそれぞれ別体のハードウェアとして分離した上で、ハードウェア同士を通信回線で接続することで構成してもよい。あるいは、制御部３３は、記憶部３６を分離して、同様に通信回線で接続することで、制御部３３をクラウドシステムとして実現してもよい。
ここで、画像処理部３２が、撮像画像の処理を行う場合、処理中の一時的なデータを保管するため、制御部３３のメモリ３５を使用してもよい。また、画像処理部３２が行う撮像画像の処理の一部もしくは全部を、制御部３３のＣＰＵ３４がプログラム実行により実施してもよい。
なお、制御部３３は、図３に示すＣＰＵ３４、メモリ３５、記憶部３６、および入出力制御部３７以外のもので、制御装置３の動作のために必要なものを、さらに有してもよい。例えば、図４に示すように、制御部３３は、特定の画像処理や画像認識処理の一部もしくは全部を行う画像演算部３８をさらに有してもよい。画像演算部３８をさらに有することで、制御部３３は、特定の画像処理や画像認識処理を高速に実行することができる。
表示装置４は、画像処理部３２が生成した表示画像を表示する装置である。表示装置４は、ＬＣＤディスプレイ等の公知の表示装置を用いることができる。表示装置４は、ヘッドマウントディスプレイやプロジェクタであってもよい。
入力装置５は、図２に示すように、操作入力部５１と、モード選択部５２と、音声入力部５３と、を有する。入力装置５は、医療システム１００の動作に必要な情報を入力する装置である。
操作入力部５１は、内視鏡２のアーム２１の関節２３の操作を入力する装置である。また、操作入力部５１は、撮像部２２がズーム機能を有している場合は、そのズーム機能を操作することもできる。また、スコピストは、操作入力部５１を操作して、アーム２１の関節２３等を操作することができる。
操作入力部５１は、図１に示すように、ジョイスティックにより構成されていてもよいし、タッチパネルにより構成されていてもよい。アーム２１と相似形状のアーム形状の操作入力デバイスであってもよい。ＬＣＤディスプレイの表示装置４と、タッチパネルの操作入力部５１とが、一体に構成されていてもよい。
操作入力部５１を操作することで、その操作内容が制御部３３に転送される。制御部３３は、操作内容に対応する、アームの関節２３の動作量を算出する。制御部３３は、算出した動作量で関節２３が動作するように、駆動部３１を制御する。
制御部３３の動作モードがマニュアルモードである場合、操作入力部５１の操作により、内視鏡２のアーム２１の関節２３等は直接操作される。
一方、制御部３３の動作モードが自動モードである場合、操作入力部５１の操作は、制御部３３により無効化され、内視鏡２のアーム２１の関節２３等を操作することはできない。内視鏡２のアーム２１の関節２３等は制御部３３によって操作される。
モード選択部５２は、制御部３３が有する二つの動作モードのうち、どちらの動作モードで制御部３３が動作するかを選択する装置である。モード選択部５２は、スイッチにより構成されていてもよいし、タッチパネルにより構成されていてもよい。また、モード選択部５２は、操作入力部５１と一体に構成されていてもよい。モード選択部５２による制御部３３の動作モード選択は、いつでも行うことができる。
音声入力部５３は、マイクなどの入力される音声を信号化する部品を有しており、信号化された音声信号を制御部３３に転送する。
［医療システム１００の動作］
次に、腹腔鏡下手術を例として、医療システム１００の動作および作動方法を、図５から図９を参照して説明する。本実施形態では、対象臓器は肝臓Ｌとする。
術者等は、腹腔鏡下手術前に、公知の手法を用いて、対象臓器のモデル（形状データや画像）を作成する術前計画を行う。術者等は、例えば複数のＣＴ画像から対象臓器の三次元形状データを作成する。術前計画にて生成した三次元形状データの三次元座標系を「モデル座標系（第一座標系）Ｃ１」と称する。
図５は、術前計画において作成した対象臓器（肝臓Ｌ）のモデルＭである。モデルＭは、モデル座標系Ｃ１における三次元座標（Ｘ１座標、Ｙ１座標、Ｚ１座標）に対応付けられており、モデルＭの各部位の位置は、モデル座標系Ｃ１における三次元座標で特定することができる。モデルＭは、図５に示すように、右葉ＬＲと左葉ＬＬが区別されるように構成されている。
術者等は、術前計画において、モデルＭにおける（１）部位の名称と、（２）部位のモデル座標系Ｃ１における領域とが登録された「部位データベースＤ１」を作成する。
表１は、部位データベースＤ１の一例である。
部位データベースＤ１の部位の名称は、解剖学的名称であってもよく、略称であってもよい。部位データベースＤ１のモデル座標系Ｃ１における領域は、モデル座標系Ｃ１における三次元座標（Ｘ１座標、Ｙ１座標、Ｚ１座標）で特定される。モデル座標系Ｃ１における領域は、複数の三次元座標を使用して詳細にボクセル領域を特定してもよいし、二点の三次元座標を使用して大まかな領域を特定してもよいし、一点の三次元座標を使用するのみで注目点のみを特定してもよい。
Figure 0006990292000001
術者等は、術前計画において、腹腔鏡下手術における処置対象や観察対象となる特定の領域を、モデルＭにおいて「関心領域」として設定してもよい。本実施形態において、関心領域は、図５に示すように、対象臓器（肝臓Ｌ）の右葉ＬＲの一部の腫瘍Ａである。関心領域を設定した場合、表１に示すように、術者等は関心領域である腫瘍Ａを部位データベースＤ１に追加する。
表２は、作業態様データベースＤ２の一例である。
術者等は、術前計画において、「作業態様データベースＤ２」を作成する。作業態様データベースＤ２は、例えば、「拡大表示」や「全体表示」といった内視鏡２の作業態様と、作業態様に対応した内視鏡２の作動内容が登録されたデータベースである。作業態様データベースＤ２には、例えば、「全体表示」の作業態様に対応して、「内視鏡２の撮像部２２を注目部位に近付ける」等の内視鏡２の作動内容が登録されている。
Figure 0006990292000002
術前計画において作成した対象臓器のモデルＭは、対象臓器における複数の部位の名称およびモデルＭのモデル座標系Ｃ１における領域と関連付けて、すなわち部位データベースＤ１とともに、制御装置３の制御部３３の記憶部３６に記録される（モデル記録工程）。作業態様データベースＤ２も、制御装置３の制御部３３の記憶部３６に記録される。
次に、制御装置３は、モデルＭにおいて複数の特徴点Ｆを抽出して記憶する（特徴点抽出工程）。複数の特徴点Ｆは、公知の特徴点の抽出方法を用いて抽出される。複数の特徴点Ｆは、特徴を表すことに適した所定の基準に従って算出された特徴量とともに、モデル座標系Ｃ１における三次元座標も合わせて特定されて記憶部３６に記憶される。なお、複数の特徴点Ｆの抽出および記録は、術前に実施してもよく、術中に実施してもよい。
次に、腹腔鏡下手術中における医療システム１００の動作を説明する。術者は、患者の腹部にトロッカを設置するための孔（開口）を複数設け、孔にトロッカを穿刺する。次に術者は、患者の腹部に穿刺したトロッカに処置具１の挿入部１０を通し、挿入部１０を腹腔内に導入する。
次に、スコピストは、モード選択部５２を操作し、制御部３３の動作モードをマニュアルモードに設定する。スコピストは、操作入力部５１を操作して、内視鏡２を操作することで、内視鏡２の挿入部２０を患者の腹部に穿刺したトロッカに通し、挿入部２０を腹腔内に導入する。
図６は、腹腔内に挿入された内視鏡２の撮像部２２が撮像した撮像画像から制御装置３が生成した表示画像である。図６に示す表示画像には肝臓Ｌが表示されている。表示画像が表示する表示空間の三次元座標系を「表示座標系（第二座標系）Ｃ２」と称する。
術者は、関心領域である「腫瘍Ａ」が表示画面に拡大された状態で表示されるように、内視鏡２を作動させたい。そこで、術者もしくはスコピスト等は、モード選択部５２を操作し、制御部３３の動作モードを自動モードに変更する。操作入力部５１の操作は、制御部３３により無効化され、スコピスト等は内視鏡２のアーム２１の関節２３等を操作することはできない。以降、図７に示す自動モードにおける制御フローチャートに沿って説明を行う。
図７に示すように、制御部３３の動作モードが自動モードに設定されると、制御部３３は自動モードの制御を開始する（ステップＳ１０）。次に、制御部３３はステップＳ１１を実行する。
ステップＳ１１において、制御部３３は、音声入力部５３から対象臓器における複数の部位のうち注目する注目部位の名称と、注目部位に対する作業態様とを受信する（指示受信工程）。制御部３３は、音声入力部５３を有効化し、術者等からの音声入力により指示を受け付ける。制御部３３は、音声入力部５３から転送される音声信号を、公知の音声認識手法により、音声認識を実施する。次に、制御部３３は所定時間の経過後、ステップＳ１２を実行する。
ステップＳ１２において、制御部３３は、音声認識した内容に、部位データベースＤ１に登録された「部位の名称」と、作業態様データベースＤ２に登録された「作業態様」とが含まれているかを判定する。
含まれないと判定した場合、制御部３３は次にステップＳ１１を再び実行する。
含まれると判定した場合、制御部３３は次にステップＳ１３を実行する。
音声認識した内容に含まれる「部位の名称」は、部位データベースＤ１に登録された部位のうち、術者等が注目する注目部位である。音声認識した内容に含まれる「作業態様」は、注目部位に対する作業態様である。本実施形態においては、注目部位として「腫瘍Ａ」、注目部位に対する作業態様とて「拡大表示」が指示されたとする。
ステップＳ１３において、制御部３３は、表示画像において複数の特徴点Ｆに対応する複数の対応点Ａを抽出する（対応点抽出工程）。制御部３３は、予め記憶部３６に記憶された複数の特徴点Ｆの特徴量に基づき、表示画像における複数の対応点Ａを抽出する。抽出処理には、公知のテンプレートマッチング手法等から適宜選択した手法が用いられる。制御部３３が画像のマッチング処理の一部もしくは全部を高速に行う画像演算部３８を有している場合、上記のマッチング処理を高速に実行することができる。次に、制御部３３はステップＳ１４を実行する。
ステップＳ１４において、制御部３３は、複数の特徴点Ｆと複数の対応点Ａとに基づいて、モデルＭのモデル座標系Ｃ１と、表示画像が表示する表示空間の表示座標系Ｃ２とを関連付ける（関連付け工程）。関連付け処理には、公知の座標変換手法等から適宜選択した手法が用いられる。関連付け工程が完了すると、モデルＭの第一座標系Ｃ１に行ける座標位置を、表示空間の表示座標系Ｃ２に変換することができる。
図８は、関連付け工程が完了した後の表示画像である。
関連付け工程が完了した後、モデルＭの第一座標系Ｃ１に行ける座標位置を、表示空間の表示座標系Ｃ２に変換することができる。そのため、表１に示す部位データベースＤ１に登録された部位（右葉ＬＲ、左葉ＬＬ、腫瘍Ａ）は、表示空間の表示座標系Ｃ２において領域を特定することができる。図８に示す表示画像では、右葉ＬＲ、左葉ＬＬ、腫瘍Ａのそれぞれの位置がわかる識別表示画像（ハッチング画像）が重畳されている。次に、制御部３３はステップＳ１５を実行する。
ステップＳ１５において、制御部３３は、モデルＭに設定された注目部位（腫瘍Ａ）のモデル座標系Ｃ１における位置から、注目部位（腫瘍Ａ）の表示座標系Ｃ２における位置を算出する（相対位置算出工程）。次に、制御部３３はステップＳ１６を実行する。
ステップＳ１６において、制御部３３は、指示された作業態様に基づいて注目部位（腫瘍Ａ）に対して内視鏡２を作動させる（内視鏡作動工程）。指示された作業態様は「拡大表示」であるため、制御部３３は、ステップＳ１５で求めた注目部位の表示座標系Ｃ２における位置を用いて、Ｄ２の作業態様データベースＤ２に登録された対応する「内視鏡の作動内容」に基づいて、注目部位の位置に撮像部２２が近づくように、内視鏡２のアーム２１を操作する。次に、制御部３３は次にステップＳ１７を実行する。
ステップＳ１７において、制御部３３は、注目部位に対して指示された作業態様が完了したかを判定する。
完了していないと判定した場合、制御部３３は次にステップＳ１６を再び実行する。
完了したと判定した場合、制御部３３は次にステップＳ１８を実行して自動モードを終了する。
図９は、自動モードが完了した後の表示画像である。
自動モードの制御が完了した後、術前計画により作成したモデルＭにおいて指定した注目部位（腫瘍Ａ）に対して指示された作業態様（拡大表示）が実施されている。
本実施形態の医療システム１００によれば、術前計画により作成したモデルＭを用いて、対象臓器に対する内視鏡２の視野の具体的な操作を支援できる。術前に部位データベースＤ１に登録した複数の部位のうち注目する注目部位を特定し、注目部位に対する具体的な作業態様を、術前に作業態様データベースＤ２に登録した作業態様から特定できる。
従来であれば、術者はスコピストに対して、表示画像を基準に内視鏡２の視野の変更の指示（例えば、「視野範囲を右側に移動せよ」といった指示）を行っていた。
これに対して医療システム１００は、内視鏡２の視野の変更を、部位の名称を用いて指示することができる。さらに、指示に用いる部位は、指示を行う際に表示画面に表示されていなくてもよい。そのため、医療システム１００は、術者の希望に沿った視野を迅速に提供することができる。
医療システム１００は、術者が術前に注目部位に関する情報（名称、領域）をモデルＭに対して設定しておけるため、術中における視野の確保を迅速に行うことができ、術者およびスコピストの負担を減らすことができる。
以上、本発明の一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の一実施形態および以下で示す変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
（変形例１）
上記の実施形態では、指示受信工程において指示を音声により受信していたが、指示の受信方法はこれに限定されない。例えば、医療システムは、「部位の名称」と「作業態様」とをそれぞれ一種類のみ登録しておき、入力装置に接続されたフットペダル等からの起動信号を受信した際に、登録された「部位の名称」と「作業態様」の内容が指示されたとして動作してもよい。
（変形例２）
上記の実施形態では、内視鏡２のアーム２１を操作して内視鏡２の撮像位置を変更することで表示画像を変更していたが、表示画像の変更方法はこれに限定されない。画像処理部が、内視鏡の撮像画像から一部の領域を切り出して表示画像を生成する機能を有し、画像を切り出す位置を変更することで、表示画像を変更してもよい。また、画像処理部が、撮像部のズーム機能を制御して表示画像を変更してもよい。アームを有していない内視鏡の場合であっても、表示画像を変更することができる。
図１０は、内視鏡２の変形例である内視鏡２Ｂを示す全体構成例である。内視鏡２Ｂは、挿入部２０の先端に能動湾曲部２３Ｂを有している。術者は、内視鏡２Ｂを持って内視鏡２Ｂを移動させることで、内視鏡２の撮像部２２の位置や向きを変更することができる。また、能動湾曲部２３Ｂを湾曲させることで、撮像部２２の位置や向きを変更することができる。内視鏡２に代えて、内視鏡２Ｂを使用する場合であっても、制御部３３は、能動湾曲部２３Ｂを駆動することで、表示画像を変更することができる。
本発明は、内視鏡を有する医療システムおよび医療システムの作動方法に適用することができる。
１００ 医療システム
１ 処置具
２、２Ｂ 内視鏡
２０ 挿入部
２１ アーム
２２ 撮像部
２３ 関節
２３Ｂ 能動湾曲部
３ 制御装置
３１ 駆動部
３２ 画像処理部
３３ 制御部
３５ メモリ
３６ 記憶部
３７ 入出力制御部
３８ 画像演算部
４ 表示装置
５ 入力装置
５１ 操作入力部
５２ モード選択部
５３ 音声入力部

Claims (16)

  1. 撮像部を有し、電動で駆動されて作動する内視鏡と、
    前記内視鏡を作動させ、前記撮像部が取得した撮像画像から表示画像を生成する制御装置と、
    前記表示画像を表示する表示装置と、
    前記制御装置に対する指示が入力される入力装置と、
    を備え、
    前記制御装置は、
    術前計画において作成した対象臓器のモデルと前記対象臓器における複数の部位の名称および前記モデルの第一座標系における領域または点とを関連付けて記録し、
    前記入力装置から前記対象臓器における複数の部位のうち注目する注目部位の名称と、前記注目部位に対する作業態様とを受信し、
    前記モデルの前記第一座標系と前記表示画像が表示する表示空間の第二座標系とを関連付け、
    前記注目部位の前記第一座標系における位置から、前記注目部位の前記第二座標系における位置を算出し、
    前記作業態様に基づいて前記注目部位に対して前記内視鏡を作動させる、
    医療システム。
  2. 前記対象臓器における複数の部位の名称は、術者が設定した特定の領域の名称を含む、
    請求項１に記載の医療システム。
  3. 前記入力装置は音声入力部を有し、
    前記入力装置に入力される前記注目部位の前記名称と前記作業態様とは、音声入力により特定される、
    請求項２に記載の医療システム。
  4. 前記制御装置は、
    前記注目部位の前記名称と前記作業態様が前記音声入力により特定されてから前記音声入力に基づいた前記内視鏡の前記作業態様が完了するまでの間、前記音声入力以外に基づく前記内視鏡の操作を不能にする、
    請求項３に記載の医療システム。
  5. 前記音声入力により特定される前記注目部位の前記名称は、前記表示装置に表示されていない部位の名称を含む、
    請求項３に記載の医療システム。
  6. 前記入力装置はフットペダルを有し、
    前記入力装置に入力される前記注目部位の前記名称と前記作業態様とは、フットペダルにより入力される、
    請求項２に記載の医療システム。
  7. 前記制御装置は、
    前記注目部位に対する前記作業態様と前記内視鏡の作動内容とを関連付けて記録し、
    前記作動内容に基づいて前記内視鏡を作動させる、
    請求項１に記載の医療システム。
  8. 前記制御装置は、
    前記モデルにおける複数の特徴点に対応する複数の対応点を前記表示画像において抽出し、
    前記複数の特徴点と前記複数の対応点に基づいて、前記モデルの前記第一座標系と前記表示画像が表示する表示空間の第二座標系とを関連付ける、
    請求項１に記載の医療システム。
  9. 撮像部を有し、電動で駆動されて作動する内視鏡と、前記内視鏡を作動させ、前記撮像部が取得した撮像画像から表示画像を生成する制御装置と、前記表示画像を表示する表示装置と、前記制御装置に対する指示が入力される入力装置と、を備える医療システムの作動方法であって、
    術前計画において作成した対象臓器のモデルと前記対象臓器における複数の部位の名称および前記モデルの第一座標系における領域または点とを関連付けて記録するモデル記録工程と、
    前記入力装置から前記対象臓器における複数の部位のうち注目する注目部位の名称と、前記注目部位に対する作業態様とを受信する指示受信工程と、
    前記モデルの前記第一座標系と前記表示画像が表示する表示空間の第二座標系とを関連付ける関連付け工程と、
    前記注目部位の前記第一座標系における位置から、前記注目部位の前記第二座標系における位置を算出する相対位置算出工程と、
    前記作業態様に基づいて前記注目部位に対して前記内視鏡を作動させる内視鏡作動工程と、
    を備える、
    医療システムの作動方法。
  10. 前記モデル記録工程において、前記対象臓器における複数の部位の名称は、術者が設定した特定の領域の名称を含む、
    請求項９に記載の医療システムの作動方法。
  11. 指示受信工程において前記入力装置に入力される前記注目部位の前記名称と前記作業態様とは、音声入力により特定される、
    請求項１０に記載の医療システムの作動方法。
  12. 前記注目部位の前記名称と前記作業態様が前記音声入力により特定されてから前記音声入力に基づいた前記内視鏡の前記作業態様が完了するまでの間、前記音声入力以外に基づく前記内視鏡の操作を不能にする、
    請求項１１に記載の医療システムの作動方法。
  13. 前記音声入力により特定される前記注目部位の前記名称は、前記表示装置に表示されていない部位の名称を含む、
    請求項１１に記載の医療システムの作動方法。
  14. 前記入力装置はフットペダルを有し、
    前記入力装置に入力される前記注目部位の前記名称と前記作業態様とは、フットペダルにより入力される、
    請求項１０に記載の医療システムの作動方法。
  15. 前記注目部位に対する前記作業態様と前記内視鏡の作動内容とを関連付けて記録する工程と、
    前記作動内容に基づいて前記内視鏡を作動させる工程と、
    を更に備える、請求項９に記載の医療システムの作動方法。
  16. 前記モデルにおける複数の特徴点に対応する複数の対応点を前記表示画像において抽出する工程と、
    前記複数の特徴点と前記複数の対応点に基づいて、前記モデルの前記第一座標系と前記表示画像が表示する表示空間の第二座標系とを関連付ける工程と、
    を更に備える、請求項９に記載の医療システムの作動方法。
JP2020501032A 2018-02-21 2019-02-21 医療システムおよび医療システムの作動方法 Active JP6990292B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862633190P 2018-02-21 2018-02-21
US62/633,190 2018-02-21
PCT/JP2019/006554 WO2019163890A1 (ja) 2018-02-21 2019-02-21 医療システムおよび医療システムの作動方法

Publications (2)

Publication Number Publication Date
JPWO2019163890A1 JPWO2019163890A1 (ja) 2021-02-04
JP6990292B2 true JP6990292B2 (ja) 2022-01-12

Family

ID=67687714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020501032A Active JP6990292B2 (ja) 2018-02-21 2019-02-21 医療システムおよび医療システムの作動方法

Country Status (4)

Country Link
US (2) US11800966B2 (ja)
JP (1) JP6990292B2 (ja)
CN (1) CN111770716B (ja)
WO (2) WO2019163906A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7480477B2 (ja) * 2019-07-10 2024-05-10 ソニーグループ株式会社 医療用観察システム、制御装置及び制御方法
EP4081153A1 (en) * 2019-12-23 2022-11-02 Mazor Robotics Ltd. Multi-arm robotic system for spine surgery with imaging guidance

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007091464A1 (ja) 2006-02-09 2007-08-16 National University Corporation Hamamatsu University School Of Medicine 手術支援装置、方法及びプログラム
WO2007129493A1 (ja) 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置
JP2009213613A (ja) 2008-03-10 2009-09-24 Olympus Medical Systems Corp カプセル誘導システム
WO2015029970A1 (ja) 2013-08-28 2015-03-05 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡システム
JP2015514494A (ja) 2012-04-17 2015-05-21 カレッジ メディカル イメージング リミテッド 光干渉断層撮影プローブを用いた臓器マッピングシステム
JP2015530903A (ja) 2012-08-14 2015-10-29 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 多数のビジョンシステムのレジストレーションのためのシステム及び方法
WO2017006708A1 (ja) 2015-07-06 2017-01-12 オリンパス株式会社 医療装置、医療画像生成方法及び医療画像生成プログラム

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5086401A (en) * 1990-05-11 1992-02-04 International Business Machines Corporation Image-directed robotic system for precise robotic surgery including redundant consistency checking
US6463361B1 (en) * 1994-09-22 2002-10-08 Computer Motion, Inc. Speech interface for an automated endoscopic system
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
AU2001260559A1 (en) * 2000-05-19 2001-11-26 Simbionics Ltd. Endoscopic tutorial system for the pancreatic system
US7706860B2 (en) * 2005-04-28 2010-04-27 Boston Scientific Scimed, Inc. Automated manipulation of imaging device field of view based on tracked medical device position
JP2008264313A (ja) * 2007-04-23 2008-11-06 Olympus Medical Systems Corp 内視鏡システム
US10004387B2 (en) * 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
JP2010274044A (ja) * 2009-06-01 2010-12-09 Olympus Corp 手術支援装置、手術支援方法及び手術支援プログラム
EP2440129A4 (en) * 2009-06-08 2015-06-03 Mri Interventions Inc MRI-CONTROLLED SURGICAL SYSTEMS WITH PRESET SCAN SURFACES
JP5761900B2 (ja) * 2009-06-08 2015-08-12 三菱プレシジョン株式会社 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ
AU2011342900A1 (en) * 2010-12-17 2013-07-18 Intellijoint Surgical Inc. Method and system for aligning a prosthesis during surgery
JPWO2012108085A1 (ja) * 2011-02-08 2014-07-03 オリンパスメディカルシステムズ株式会社 医療機器
JP5918548B2 (ja) * 2012-01-24 2016-05-18 富士フイルム株式会社 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
JP6174676B2 (ja) * 2012-04-19 2017-08-02 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 術前及び術中３ｄ画像を用いて内視鏡を手動操作するガイダンスツール及びガイド下内視鏡ナビゲーションのための装置の作動方法
US9125556B2 (en) * 2012-05-14 2015-09-08 Mazor Robotics Ltd. Robotic guided endoscope
JP5719819B2 (ja) * 2012-09-28 2015-05-20 日本光電工業株式会社 手術支援システム
TWI504383B (zh) * 2012-11-27 2015-10-21 Nat Univ Chung Cheng Computer - aided positioning guidance system for dental implants
US9264801B2 (en) * 2012-12-04 2016-02-16 Storz Endoskop Produktions Gmbh System and method for pairing a command device incorporating a microphone to a remotely controlled medical system
EP2904958A4 (en) 2013-03-12 2016-08-24 Olympus Corp ENDOSCOPE SYSTEM
JP6304737B2 (ja) 2013-08-30 2018-04-04 国立大学法人名古屋大学 医用観察支援装置及び医用観察支援プログラム
JP6165033B2 (ja) * 2013-11-14 2017-07-19 オリンパス株式会社 医療システム
CN105934216B (zh) 2014-01-24 2019-09-17 皇家飞利浦有限公司 机器人引导系统、控制单元和装置
JP6854237B2 (ja) * 2014-03-28 2021-04-07 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視野内の器具の定量的三次元視覚化
US10555788B2 (en) * 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
CN110833382B (zh) * 2014-04-02 2023-05-30 直观外科手术操作公司 使用可操控管心针和柔性针的设备、系统以及方法
CN105992996B (zh) * 2014-04-04 2019-11-26 外科手术室公司 外科手术环境中的动态和交互式导航
US20150305612A1 (en) * 2014-04-23 2015-10-29 Mark Hunter Apparatuses and methods for registering a real-time image feed from an imaging device to a steerable catheter
KR101570857B1 (ko) * 2014-04-29 2015-11-24 큐렉소 주식회사 로봇 수술 계획 조정 장치
JP2017523817A (ja) * 2014-05-09 2017-08-24 ザ・チルドレンズ・ホスピタル・オブ・フィラデルフィアＴｈｅ Ｃｈｉｌｄｒｅｎ’Ｓ Ｈｏｓｐｉｔａｌ Ｏｆ Ｐｈｉｌａｄｅｌｐｈｉａ 可搬型外科手術の方法、システムおよび装置
CN104055520B (zh) * 2014-06-11 2016-02-24 清华大学 人体器官运动监测方法和手术导航系统
CN106061354B (zh) * 2014-08-04 2018-12-21 奥林巴斯株式会社 医疗系统
WO2016064800A1 (en) * 2014-10-20 2016-04-28 Mayo Foundation For Medical Education And Research Imaging data capture and video streaming system
US20210186355A1 (en) * 2014-11-30 2021-06-24 Elbit Systems Ltd. Model registration system and method
EP3222200A4 (en) * 2015-10-16 2018-09-19 Olympus Corporation Endoscopic device
US11484363B2 (en) * 2015-12-28 2022-11-01 Elbit Systems Ltd. System and method for determining the position and orientation of a tool tip relative to eye tissue of interest
CN105769109B (zh) * 2016-04-28 2017-07-18 深圳市鹏瑞智能图像有限公司 一种内窥镜扫描控制方法及系统
JP2017205343A (ja) * 2016-05-19 2017-11-24 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法
US10028794B2 (en) * 2016-12-19 2018-07-24 Ethicon Llc Surgical system with voice control
EP3700457A4 (en) * 2017-10-23 2021-11-17 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PRESENTATION OF AUGMENTED REALITY ON A DISPLAY OF A TELEOPERATION SYSTEM

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007091464A1 (ja) 2006-02-09 2007-08-16 National University Corporation Hamamatsu University School Of Medicine 手術支援装置、方法及びプログラム
WO2007129493A1 (ja) 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置
JP2009213613A (ja) 2008-03-10 2009-09-24 Olympus Medical Systems Corp カプセル誘導システム
JP2015514494A (ja) 2012-04-17 2015-05-21 カレッジ メディカル イメージング リミテッド 光干渉断層撮影プローブを用いた臓器マッピングシステム
JP2015530903A (ja) 2012-08-14 2015-10-29 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 多数のビジョンシステムのレジストレーションのためのシステム及び方法
WO2015029970A1 (ja) 2013-08-28 2015-03-05 オリンパスメディカルシステムズ株式会社 カプセル型内視鏡システム
WO2017006708A1 (ja) 2015-07-06 2017-01-12 オリンパス株式会社 医療装置、医療画像生成方法及び医療画像生成プログラム

Also Published As

Publication number Publication date
JPWO2019163890A1 (ja) 2021-02-04
US20200367733A1 (en) 2020-11-26
WO2019163906A1 (ja) 2019-08-29
US11800966B2 (en) 2023-10-31
US20210030476A1 (en) 2021-02-04
CN111770716A (zh) 2020-10-13
CN111770716B (zh) 2023-12-01
WO2019163890A1 (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
ES2907252T3 (es) Sistema para realizar procedimientos quirúrgicos y de intervención automatizados
US20210315645A1 (en) Feature identification
US11419481B2 (en) Medical system and operation method of medical system for controlling a driver to move an area defined by a plurality of positions of a treatment tool to a predetermined region in next image captured
JP4220780B2 (ja) 手術システム
US20210315637A1 (en) Robotically-assisted surgical system, robotically-assisted surgical method, and computer-readable medium
WO2016195919A1 (en) Accurate three-dimensional instrument positioning
US20210369354A1 (en) Navigational aid
JP2004254899A (ja) 手術支援システム及び手術支援方法
JP6990292B2 (ja) 医療システムおよび医療システムの作動方法
US20230009335A1 (en) Guided anatomical manipulation for endoscopic procedures
EP2852337B1 (en) Entry portal navigation
WO2021071784A1 (en) Physical medical element sizing systems and methods
US20220273368A1 (en) Auto-configurable simulation system and method
US20220096164A1 (en) Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system
US20220409300A1 (en) Systems and methods for providing surgical assistance based on operational context
KR102084598B1 (ko) 뼈 병변 수술을 위한 ａｉ 기반의 수술 보조 시스템
WO2021181502A1 (ja) 手術支援システム、手術支援システムの作動方法および手術支援システムの制御装置
JP6857748B2 (ja) 医療システムおよび医療システムの作動方法
EP4041125A1 (en) Physical medical element placement systems
GB2611972A (en) Feature identification
GB2608016A (en) Feature identification
WO2019035206A1 (ja) 医療システムおよび画像生成方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200813

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211203

R151 Written notification of patent or utility model registration

Ref document number: 6990292

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151