JP7235212B2 - 外科手術ビデオのための利き手ツール検出システム - Google Patents

外科手術ビデオのための利き手ツール検出システム Download PDF

Info

Publication number
JP7235212B2
JP7235212B2 JP2020569879A JP2020569879A JP7235212B2 JP 7235212 B2 JP7235212 B2 JP 7235212B2 JP 2020569879 A JP2020569879 A JP 2020569879A JP 2020569879 A JP2020569879 A JP 2020569879A JP 7235212 B2 JP7235212 B2 JP 7235212B2
Authority
JP
Japan
Prior art keywords
tool
tools
action
implementations
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020569879A
Other languages
English (en)
Other versions
JP2021527272A (ja
Inventor
シャオジン チェン
コ－カイ アルバート ホアン
ミン－チャン リュウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2021527272A publication Critical patent/JP2021527272A/ja
Application granted granted Critical
Publication of JP7235212B2 publication Critical patent/JP7235212B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28—Surgical forceps
    • A61B17/29—Forceps for use in minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/320016—Endoscopic cutting instruments, e.g. arthroscopes, resectoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Ophthalmology & Optometry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Image Analysis (AREA)

Description

〔関連出願の相互参照〕
[01] 本出願は、以下の出願、すなわち、２０１８年６月１４日出願の「外科手術ビデオのためのツールの左右の決定（Ｔｏｏｌ Ｈａｎｄｅｄｎｅｓｓ Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ｆｏｒ Ｓｕｒｇｉｃａｌ Ｖｉｄｅｏｓ）」という名称の米国特許出願番号第１６／００８，７８４号（代理人整理番号第０２０６９９－１１１９００ＵＳ号）に関連し、この出願は、全ての目的に対してあたかも本出願に全てが示されている如くここに引用により組み込まれる。
[02] コンピュータ支援外科手術は、コンピュータ技術を用いて、内視鏡手術、腹腔鏡手術等を含む処置などの医療処置を誘導又は実行する。外科手術中に、外科医は、様々なツールを用いて、外科手術を行う必要がある場合がある。カメラ及びモニタは、外科医が、ロボットアームを用いて、複数の外科手術ツールを操作するのを助けることができる。しかしながら、外科手術中に、外科手術ツールをモニタ上でよく見ることが困難である可能性がある。
[03] 実装形態は、一般に、外科手術ビデオにおいて利き手ツールを検出することに関する。いくつかの実装形態では、システムは、１又は２以上のプロセッサを含み、前記１又は２以上のプロセッサによって実行するための１又は２以上の非一時的コンピュータ可読記憶媒体に符号化されるロジックを含む。前記ロジックは、実行時に動作を実行するように作動可能であり、前記動作は、少なくとも１つの画像フレームを受け取るステップと、前記少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出するステップと、前記１又は２以上のオブジェクトを、１又は２以上のツール分類に分類するステップであって、前記１又は２以上のオブジェクトはツールである、ステップと、前記１又は２以上のツールの左右を決定するステップと、前記１又は２以上のツールの前記１又は２以上の分類に少なくとも部分的に基づいて、かつ前記１又は２以上のツールの前記左右に少なくとも部分的に基づいて、前記１又は２以上のツールから利き手ツールを決定するステップと、を含む。
[04] 更に、前記システムについて、いくつかの実装形態では、前記１又は２以上のツール分類は、ツールのタイプを表示する。いくつかの実装形態では、前記１又は２以上のツール分類は、ツールの機能を表示する。いくつかの実装形態では、前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記１又は２以上のツールに対して視覚インジケータを生成するステップと、前記少なくとも１つの画像内の前記１又は２以上のツールの各々の境界を画定するステップと、を含む。いくつかの実装形態では、前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、ツールのタイプを用いて、前記少なくとも１つの画像内の各ツールにラベル付けするステップを含む。いくつかの実装形態では、前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップをリアルタイムで実行するステップを含む。いくつかの実装形態では、前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップに少なくとも部分的に基づいて、カメラを制御するステップを含む。
[05] いくつかの実施形態では、プログラム命令を記憶した非一時的コンピュータ可読記憶媒体が提供される。前記命令は、１又は２以上のプロセッサによって実行された時に、動作を実行するように作動可能であり、前記動作は、少なくとも１つの画像フレームを受け取るステップと、前記少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出するステップと、前記１又は２以上のオブジェクトを、１又は２以上のツール分類に分類するステップであって、前記１又は２以上のオブジェクトはツールである、ステップと、前記１又は２以上のツールの左右を決定するステップと、前記１又は２以上のツールの前記１又は２以上の分類に少なくとも部分的に基づいて、かつ前記１又は２以上のツールの前記左右に少なくとも部分的に基づいて、前記１又は２以上のツールから利き手ツールを決定するステップと、を含む。
[06] 更に、前記コンピュータ可読記憶媒体について、いくつかの実装形態では、前記１又は２以上のツール分類は、ツールのタイプを表示する。いくつかの実装形態では、前記１又は２以上のツール分類は、ツールの機能を表示する。いくつかの実装形態では、前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記１又は２以上のツールに対して視覚インジケータを生成するステップと、前記少なくとも１つの画像内の前記１又は２以上のツールの各々の境界を画定するステップと、を含む。いくつかの実装形態では、前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、ツールのタイプを用いて、前記少なくとも１つの画像内の各ツールにラベル付けするステップを含む。いくつかの実装形態では、前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップをリアルタイムで実行するステップを含む。いくつかの実装形態では、前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップに少なくとも部分的に基づいて、カメラを制御するステップを含む。
[07] いくつかの実装形態では、方法は、少なくとも１つの画像フレームを受け取るステップを含む。前記方法は、更に、前記少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出するステップを含む。前記方法は、更に、前記１又は２以上のオブジェクトを、１又は２以上のツール分類に分類するステップを含み、前記１又は２以上のオブジェクトはツールである。前記方法は、更に、前記１又は２以上のツールの左右を決定するステップを含む。前記方法は、更に、前記１又は２以上のツールの前記１又は２以上の分類に少なくとも部分的に基づいて、かつ前記１又は２以上のツールの前記左右に少なくとも部分的に基づいて、前記１又は２以上のツールから利き手ツールを決定するステップを含む。
[08] 更に、前記方法について、いくつかの実装形態では、前記１又は２以上のツール分類は、ツールのタイプを表示する。いくつかの実装形態では、前記１又は２以上のツール分類は、ツールの機能を表示する。いくつかの実装形態では、前記方法は、更に、前記１又は２以上のツールに対して視覚インジケータを生成するステップと、前記少なくとも１つの画像内の前記１又は２以上のツールの各々の境界を画定するステップと、を含む。いくつかの実装形態では、前記方法は、更に、ツールのタイプを用いて、前記少なくとも１つの画像内の各ツールにラベル付けするステップを含む。いくつかの実装形態では、前記方法は、更に、前記利き手ツールを決定するステップをリアルタイムで実行するステップを含む。
[09] 本明細書の残りの部分及び添付図面の参照により、本明細書に開示する特定の実装形態の特質及び利点の更なる理解を達成することができる。
本明細書で説明する実装形態のために用いることができる例示的な作業環境のブロック図である。 いくつかの実装形態による、ツールを分析するための例示的なフロー図である。 いくつかの実装形態による、ツールの左右を含むツールの特性と、利き手ツールとを決定するための例示的なフロー図である。 いくつかの実装形態による、２つのツールと、ツールのタイプを表示するラベルとを示す例示的なスクリーンショットを示す図である。 いくつかの実装形態による、２つのツールと、ツールの左右を表示するラベルとを示す例示的なスクリーンショットを示す図である。 いくつかの実装形態による、２つのツールと、利き手ツールを表示するラベルとを示す例示的なスクリーンショットを示す図である。 いくつかの実装形態による、ツールの左右を決定するための例示的なフロー図である。 いくつかの実装形態による、カメラを位置決めするための例示的なフロー図である。 本明細書で説明するいくつかの実装形態のために用いることができる例示的なネットワーク環境のブロック図である。 本明細書で説明するいくつかの実装形態のために用いることができる例示的なコンピュータシステムのブロック図である。
[20] 本明細書で説明する実装形態は、外科手術ビデオにおいて利き手ツールを検出する。本明細書でより詳細に説明するように、システムは、ビデオストリームの画像フレーム内の利き手ツールをリアルタイムで識別する。様々な実装形態では、利き手ツールは、主要機能（例えば、切断、焼灼等）を有するツールである。非利き手ツールは、補助ツールと呼ぶことができる。システムは、ツール分類結果及び左右推定を用いて、利き手ツールを識別する。
[21] いくつかの実装形態では、システムは、画像フレームを受け取る。様々な実装形態では、画像フレームは、ビデオストリームの一連の画像フレームのうちの１つとすることができる。次に、システムは、画像フレーム内の１又は２以上のオブジェクトを検出し、オブジェクトを１又は２以上のツール分類に分類する。様々な実装形態では、オブジェクトは、外科手術ツールである。システムは、ツールの左右を決定する。システムは、ツールの分類及びツールの左右に少なくとも部分的に基づいて、１又は２以上のツールから利き手ツールを決定する。全ての提示されたツールの左右は、利き手ツール識別において、重要な役割を果たす。
[22] いくつかの実装形態では、システムは、複数の画像フレームのうちの少なくとも１つの画像フレームを受け取る。次に、システムは、少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出し、１又は２以上のオブジェクトを１又は２以上のツール分類に分類し、１又は２以上のオブジェクトはツールである。また、システムは、各ツールについて、そのツールが補助的なものであるか又は非補助的なものであるかを判定する。次に、システムは、各ツールについて、ツールの左右を決定する。
[23] 本明細書でより詳細に説明するように、外科手術中に、実装形態は、カメラを自動的に移動させて、カメラが利き手外科手術ツールを追跡して、外科医の何らかの負担を軽減するようになっている。実装形態は、カメラを自動的に制御して、手動で確実に、関心領域が、カメラの視野の中心に位置するようにする。
[24] 図１は、本明細書で説明する実装形態のために用いることができる例示的な作業環境１００のブロック図を示す。本明細書で説明する様々な実装形態を実行するシステム１０２が示されている。システム１０２は、カメラ１０４を制御し、カメラ１０４は、作業領域１０６のビデオを取り込む。システム１０２は、カメラ１０４に、ネットワーク１１０を介してカメラ１０４からビューアクライアント１０８にビデオストリームを送らせる。本明細書でより詳細に説明するように、システム１０２は、カメラ１０４によって取り込まれるツール１１２及び１１４の特性を分析する。
[25] 図２は、いくつかの実装形態による、ツールを分析するための例示的なフロー図を示す。図示のように、ブロック２０２において、図１のシステム１０２などのシステムが、多クラスオブジェクト検出及び分類を実行する。本明細書でより詳細に説明するように、システム１０２は、画像フレーム内のオブジェクトを検出して分類する。例えば、システム１０２は、カメラ１０４によって取り込まれる画像フレーム内のツール１１２及び１１４を検出することができる。ブロック２０４において、システム１０２は、ディープラーニング技術を利用して、ツールを分類することができる。ブロック２０６において、システム１０２は、ツールの左右を決定する。例えば、システム１０２は、特定のツールがユーザの右手又は左手によって使用されるかを判定する。システム１０２は、ブロック２０４において、ディープラーニング技術を利用して、ツールの左右を決定することもできる。システム１０２は、ツール分類及び左右の決定のためにディープラーニングネットワークを利用して、精度及び速度のために軽量モデルを提供する。
[26] ブロック２０８において、システム１０２は、どのツールが利き手ツールであるかを判定する。様々な実装形態では、利き手ツールは、使用される主要ツールである。他のツールは、利き手ツールを用いる主要作業においてユーザを助けるので、補助ツールと呼ぶことができる。例えば、外科手術の文脈では、利き手ツールは、患者の組織を切断するために用いられるクリッパーとすることができる。更に、利き手ツールは、通常、ユーザの利き手によって扱われる。非利き手ツールは、グラスパーなどの補助ツールとすることができ、ユーザは、グラスパーを用いて、特定の組織を掴んで、クリッパーによって切断されるべき組織から引き離すことができる。これらのステップを対象とする更なる例示的な実装形態について、本明細書でより詳細に説明する。
[27] 利き手ツール（例えば、利き手外科手術ツール）を検出して識別することは、様々な自然ユーザインターフェイスにとって有益である。例えば、利き手ツールの位置が与えられると、カメラは、自動的にツールの方に移動して、ツールが再び中心に位置するようにすることができる。これにより、ユーザ（例えば、医師等）に、より良く見える。様々な実装形態では、ビデオのフレーム毎に利き手ツールを位置決めするために、異なるタイプのモデルをトレーニングすることができる。したがって、全ての予測を規則的に組み合わせて、最終結果を生成することができる。
[28] 図３は、いくつかの実装形態による、ツールの左右を含むツールの特性と、利き手ツールとを決定するための例示的なフロー図を示す。以下により詳細に説明するように、システムは、各ツールの左右を決定することと、利き手ツールを決定することとを含む様々な機能を実行する。図２及び図３の両方を参照すると、ブロック３０２において、方法を開始して、システム１０２などのシステムが、少なくとも１つの画像フレームを受け取る。様々な実装形態では、受け取られた画像フレームは、ビデオストリームの一連の画像フレームからのものである。
[29] ブロック３０４において、システム１０２は、受け取られた画像フレーム内の１又は２以上のオブジェクトを検出する。様々な実装形態では、システム１０２は、オブジェクト認識技術を用いて、受け取られた画像内のオブジェクトを検出することができる。
[30] 図４は、いくつかの実装形態による、２つのツールと、ツールのタイプを表示するラベルとを示す例示的なスクリーンショット４００を示す。画像フレーム４０２と、画像フレーム４０２内に取り込まれて示されるオブジェクト４１２及び４１４とが示されている。図４の他の態様については、以下のステップと関連して、以下により詳細に説明する。
[31] ブロック３０６において、システム１０２は、１又は２以上のオブジェクトを、１又は２以上のツール分類に分類し、１又は２以上のオブジェクトはツールである。この特定の例では、ツールは外科手術ツールである。
[32] 様々な実装形態では、１又は２以上のツール分類は、ツールの機能を含むツールのタイプを表示する。例えば、図４を参照すると、システムは、オブジェクト４１２をグラスパーツール又はグラスパーとして分類する。したがって、オブジェクト４１２は、ツール４１２又はグラスパー４１２と呼ぶことができる。同様に、システムは、オブジェクト４１４をクリッパーツール又はクリッパーと分類する。したがって、オブジェクト４１４は、ツール４１４又はクリッパー４１４と呼ぶことができる。
[33] 例示的なツールがグラスパー及びクリッパーである文脈において、様々な実装形態を説明するが、これらの実装形態及び他の実装形態は、他の様々なタイプのツールにも適用される。例えば、ツールは、メス、ハサミ、ノコギリ等などの切断又は切開器具を含むことができる。ツールは、バイポーラ鉗子及びイルリガートルを含むことができる。ツールは、平滑鉗子及び歯付き鉗子、タオルクランプ、血管クランプ、臓器保持器等などの把持又は保持器具を含むことができる。ツールは、クランプ、止血鉗子、非外傷性止血鉗子等などの止血器具を含むことができる。ツールは、Ｃ字形層状フック、鈍歯付きフック、鋭歯付きフック、溝付きプローブ、タンプ（ｔａｍｐ）鉗子等などの開創器具を含むことができる。ツールは、針保持器、外科用縫合針、ステープラー、クリップ、粘着テープ等などの組織統合器具及び材料を含むことができる。検出される特定のツールは、変わる場合があり、特定の実装形態に依存する。外科手術ツールの文脈において、実装形態を本明細書で説明するが、これらの実装形態及び他の実装形態を、他のツール（例えば、非外科手術ツール）に適用することもできる。
[34] 様々な実装形態では、システム１０２は、１又は２以上のツールに対して視覚インジケータを生成する。次に、システム１０２は、少なくとも１つの画像内の１又は２以上のツールの各々の境界を画定する。例えば、図４を更に参照すると、バウンディングボックス４２２又はボックス４２２が示されており、これは、グラスパー４１２の境界を画定する視覚インジケータである。また、バウンディングボックス４２４又はボックス４２４が示されており、これは、クリッパー４１４の境界を画定する視覚インジケータである。ボックス４２２及び４２４は、この例では、方形として示されている。視覚インジケータの実際の形状は、任意の形状とすることができる。例えば、いくつかの実装形態では、視覚インジケータは、ツールの全体の形状に従うことができる。様々な実装形態では、ボックス４２２及び４２４及び関連するラベルは、ユーザが見るために、ビデオフレーム上にリアルタイムで重ね合わされる。これによって、ユーザが、どのツールがディスプレイ上に表示されているかを知るのを助ける。いくつかの実装形態では、システム１０２は、ユーザが、視覚インジケータをオフにすることができるようにすることができる。視覚インジケータをオフにした場合でも、システム１０２は、他の目的（例えば、カメラを自動的に調整して、特定のツール（例えば、利き手ツール等）に焦点を合わせること）のために収集された情報を用いることができる。
[35] 様々な実装形態では、システム１０２は、ツールのタイプを用いて、少なくとも１つの画像内の各ツールにラベル付けする。図４に示すように、システム１０２は、テキスト（例えば、「グラスパー」、「クリッパー」等）を用いて、各ツールにラベル付けすることができる。
[36] 様々な実装形態では、各オブジェクトについて、システム１０２は、ツールの各々の特徴を識別し、特徴は、形状、向き及び色のうちの１又は２以上を含むことができる。
[37] いくつかの実装形態では、システム１０２は、各ツールの形状を決定する。例えば、クリッパーは、切断のための特定の形状を有する２つの対向する刃を有することができる。また、グラスパーは、把持のための特定の形状を有する対向するアームを有することができる。
[38] いくつかの実装形態では、システム１０２は、各ツールの位置を決定する。例えば、クリッパーは、組織を切断するために、直立位置に配置することができ、グラスパーは、組織を引っ張るために、傾斜位置に配置することができる。
[39] いくつかの実装形態では、システム１０２は、各ツールの色を決定する。例えば、クリッパーは、特定の色（例えば、赤等）を有することができる。グラスパーは、異なる色（例えば、青等）を有することができる。様々な実装形態では、システム１０２は、ディープラーニングネットワークを利用して、オブジェクトを様々なツール分類に分類する。いくつかの実装形態では、システム１０２は、ディープラーニングネットワークによって学習された既知の特徴を用いてトレーニングされる分類器を用いる。システム１０２は、既知の特徴を用いて、システム１０２が画像フレーム内で認識する特徴に基づいて、ツールのタイプ又はツール分類を決定する。
[40] システム１０２は、特徴を、既知のツールの既知の特徴と比較する。次に、システム１０２は、１又は２以上の特徴を、既知のツールの既知の特徴と照合する。様々な実装形態では、システム１０２は、既知の特徴に関する情報を、適切な記憶位置に記憶する。任意の新しい情報を用いて、新たに検出されたツールの特徴を識別するのを助け、かつそれらのツールを分類するのを助けることができる。次に、システム１０２は、照合に基づいて、１又は２以上のオブジェクトを、１又は２以上のツール分類に分類する。
[41] システム１０２が分析する特定の特徴は、変わる場合があり、特定の実装形態に依存する。例えば、他の特徴は、各ハンドルの形状、各ハンドルの長さ等を含むことができる。
[42] 様々な実装形態では、システム１０２は、タイプ信頼スコアを決定し、タイプ信頼スコアは、１又は２以上のオブジェクトの１又は２以上のツール分類への分類の精度レベルを表示する。いくつかの実装形態では、タイプ信頼スコアは、システム１０２が、所与のツールの検出された特徴を、既知の特徴と、どのくらい密接に照合することができるかに基づいている。いくつかの実装形態では、システム１０２が照合することができる特徴が多いほど、システム１０２は、より高いタイプ信頼スコアを与える。例えば、システム１０２が、いくつかの特徴（例えば、形状、位置、色等）を照合する場合、システム１０２は、より高いタイプ信頼スコア（例えば、０．９７）を与えることができる。システム１０２が、より少ない特徴（例えば、形状及び位置）を照合する場合、システム１０２は、より低いタイプ信頼スコア（例えば、０．８９）を与えることができる。これらの例では、タイプ信頼スコアは、０～１の範囲内とすることができる。特定の実装形態に応じて、他のスコアリング規定も可能である。例えば、タイプ信頼スコアは、パーセンテージ（例えば、０％～１００％）とすることができる。いくつかの実装形態では、システム１０２は、図４に示すように、パーセンテージを表示することができる。
[43] 図３を更に参照すると、ブロック３０８において、システムは、各ツールについて、そのツールが補助的なものであるか又は非補助的なものであるかを判定する。様々な実装形態では、システム１０２は、ツールのタイプに少なくとも部分的に基づいて、ツールが補助的なものであるか又は非補助的なものであるかを判定する。例えば、クリッパーのように非補助的であるツールは、通常、利き手で操作され、グラスパーのように補助的であるツールは、通常、非利き手で操作される。したがって、システムが、クリッパーなどの非補助的なツールが右にあることを検出する場合、システム１０２は、クリッパーが右手によって操作されていると判断する。いくつかの実装形態では、システム１０２は、ユーザが、より多くの情報をシステム１０２に提供するために、ツールが補助的なものであるか又は非補助的なものであるかどうかを入力することができるようにすることができる。
[44] ブロック３１０において、システムは、各ツールについて、ツールの左右を決定する。様々な実装形態では、システム１０２は、ディープラーニングネットワークを利用して、各ツールの左右を決定する。いくつかの実装形態では、システム１０２は、ディープラーニングネットワークによって学習された特徴を用いてトレーニングされる分類器を用いて、各ツールの左右を予測する。様々な実装形態では、システム１０２は、高い計算効率でリアルタイムで左右を決定する。様々な実装形態では、システム１０２は、ディープラーニングに少なくとも部分的に基づいて、特定のツールの左右を決定する。
[45] 様々な実装形態では、システム１０２は、左右信頼スコアを決定し、左右信頼スコアは、左右の決定の精度レベルを表示する。いくつかの実装形態では、左右信頼スコアは、システム１０２が所与のツールの左右をどのくらい正確に決定することができるかに少なくとも部分的に基づいている。いくつかの実装形態では、システム１０２が左右を決定するための情報を多く有するほど、システム１０２が与えることができる左右信頼スコアは高くなる。例えば、画像内のツールが１つの向きに著しい信号を供給する場合、システム１０２は、それに、より高い左右信頼スコア（例えば、０．９９）を与えることができる。それ以外の場合では、ツールがごちゃごちゃしている背景の前にある場合、著しい向きを検出することができず、システム１０２は、それに、より低い左右信頼スコアを与えることができる。これらの例では、左右信頼スコアは、０～１の範囲内とすることができる。特定の実装形態に応じて、他のスコアリング規定も可能である。例えば、左右信頼スコアは、パーセンテージ（例えば、０％～１００％）とすることができる。いくつかの実装形態では、システム１０２は、図５に示すように、パーセンテージを表示することができる。
[46] 図５は、いくつかの実装形態による、２つのツールと、ツールの左右を表示するラベルとを示す例示的なスクリーンショット５００を示す。画像フレーム４０２と、画像フレーム４０２内に取り込まれて示されるオブジェクト４１２及び４１４とが示されている。また、グラスパー４１２の境界を画定する視覚インジケータであるボックス４２２と、クリッパー４１４の境界を画定する視覚インジケータであるボックス４２４とが示されている。様々な実装形態では、システム１０２は、各ツールの左右を用いて、画像フレーム４０２内の各ツールにラベル付けする。例えば、図示のように、システム１０２は、ツールが左手で使用されているか又は右手で使用されているかを表示するためのテキスト（例えば、「左」、「右」等）を用いて、各ツールにラベル付けすることができる。
[47] ブロック３１２において、システムは、１又は２以上のツールの１又は２以上の分類に少なくとも部分的に基づいて、かつ１又は２以上のツールの左右に少なくとも部分的に基づいて、１又は２以上のツールから利き手ツールを決定する。様々な実装形態では、システム１０２は、高い計算効率でリアルタイムで利き手ツールの決定を実行する。本明細書で示すように、利き手ツールは、使用される主要ツールである。例えば、外科手術の文脈では、利き手ツールは、患者の組織を切断するために用いられるクリッパーとすることができる。更に、利き手ツールは、通常、ユーザの利き手によって扱われる。利き手ツールは、通常、非補助的である。例えば、利き手ツールは、クリッパー及びハサミなどの切断ツール、バイポーラ鉗子などの焼灼ツール等を含む。
[48] 他のツールは、利き手ツールを用いる主要作業においてユーザを助けるので、補助ツールと呼ぶことができる。非利き手ツールは、グラスパーなどの補助ツールとすることができ、ユーザは、グラスパーを用いて、特定の組織を掴んで、クリッパーによって切断されるべき組織から引き離すことができる。他の補助ツールは、把持ツール、フックツール、灌注ツール等を含むことができる。
[49] 利き手ツールは、通常、ユーザの利き手によって操作される。したがって、システム１０２は、特定のツールの左右を決定する。したがって、いくつかの実装形態では、システム１０２は、非補助的なツールが、ユーザの右手によって使用されていることを決定する。システム１０２は、右手が利き手であることを決定することができる。システム１０２は、更に、利き手によって操作されているツール（例えば、右のツール）が利き手ツールであると決定することができる。
[50] 図６は、いくつかの実装形態による、２つのツールと、利き手ツールを表示するラベルとを示す例示的なスクリーンショット６００を示す。画像フレーム４０２と、画像フレーム４０２内に取り込まれて示されるオブジェクト４１２及び４１４とが示されている。また、グラスパー４１２の境界を画定する視覚インジケータであるボックス４２２と、クリッパー４１４の境界を画定する視覚インジケータであるボックス４２４とが示されている。様々な実装形態では、システム１０２は、画像フレーム４０２内のツールに、利き手ツールとしてラベル付けする。例えば、図示のように、システム１０２は、ツール４１４が利き手ツールであることを表示するためのテキストを用いて、ツール４１４にラベル付けすることができる。
[51] いくつかの実装形態では、システム１０２は、色分けを用いて、利き手ツールを表示することができる。例えば、システム１０２は、赤いボックス又は他の色のボックスを用いて利き手ツールを表示して、利き手ツールを強調表示することができる。
[52] ステップ、作動、又は計算は、特定の順番で提示することができるが、この順番は、特定の実装形態では変更することができる。特定の実装形態に応じて、ステップの他の順番が可能である。いくつかの特定の実装形態では、本明細書で順次示される複数のステップは、同時に実行することができる。また、いくつかの実装形態は、示されるステップの全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のステップを有することができる。
[53] 図７は、いくつかの実装形態による、ツールの左右を決定するための例示的なフロー図を示す。ブロック７０２において、方法を開始して、システム１０２などのシステムが、各ツールのタイプを決定する。ブロック７０４において、システム１０２は、画像フレーム内の各ツールの位置を決定する。ブロック７０６において、システム１０２は、画像フレーム内の各ツールの位置に少なくとも部分的に基づいて、各ツールの左右を決定する。
[54] ステップ、作動、又は計算は、特定の順番で提示することができるが、この順番は、特定の実装形態では変更することができる。特定の実装形態に応じて、ステップの他の順番が可能である。いくつかの特定の実装形態では、本明細書で順次示される複数のステップは、同時に実行することができる。また、いくつかの実装形態は、示されるステップの全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のステップを有することができる。
[55] 様々な実装形態では、システム１０２は、利き手ツール情報を用いて、自然ユーザインターフェイス設計に、オートフォーカス、自動警告システム、外科手術ワークフロー分析（例えば、内視鏡手術、腹腔鏡手術等）、及び外科手術スキル評価などの特徴を提供する。以下の例は、外科手術中に使用されているツールのビデオを取り込んでいるカメラを自動的に位置決めすることを対象とする。
[56] 図８は、いくつかの実装形態による、カメラを位置決めするための例示的なフロー図を示す。例えば、システム１０２は、利き手ツールの決定に少なくとも部分的に基づいて、カメラを制御することができる。いくつかの実施形態では、システム１０２は、利き手ツールの決定に少なくとも部分的に基づいて、利き手ツールの画像を変更する。ブロック８０２において、方法を開始して、システム１０２などのシステムが、画像フレーム内の利き手ツールの位置を決定する。ブロック８０４において、利き手ツールが画像フレームの中心にある場合、システム１０２は、カメラをその現在位置のままにしておく。ブロック８０６において、利き手ツールが画像フレームの中心にない場合、システム１０２は、利き手ツールが画像フレームの中心にあるように、カメラを移動させる。
[57] ステップ、作動、又は計算は、特定の順番で提示することができるが、この順番は、特定の実装形態では変更することができる。特定の実装形態に応じて、ステップの他の順番が可能である。いくつかの特定の実装形態では、本明細書で順次示される複数のステップは、同時に実行することができる。また、いくつかの実装形態は、示されるステップの全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のステップを有することができる。
[58] 本明細書で説明する実装形態は、様々な利益を提供する。例えば、実装形態は、外科手術中に使用される外科手術ツールの左右を決定する。また、本明細書で説明する実装形態は、外科手術中に利き手ツールを決定する。
[59] 本明細書で説明する実装形態は、異なる種類の外科手術のためのコンピュータベースの支援における様々な用途において用いることができる。例えば、実装形態は、内視鏡手術及び腹腔鏡手術を含む処置に適用することができる。実装形態を用いて、外科手術中にカメラを自動的に調整する（例えば、自動焦点合わせ等のために、利き手ツールを画像の中心に配置する）ことができる。実装形態は、外科手術中にロボットアームと共に用いることができる。実装形態を用いて、警告を与えることもできる（例えば、ツールが臓器の特定の部分に近すぎる場合等）。
[60] 図９は、本明細書で説明するいくつかの実装形態のために用いることができる例示的なネットワーク環境９００のブロック図を示す。いくつかの実装形態では、ネットワーク環境９００は、サーバ装置９０４及びネットワークデータベース９０６を含むシステム９０２を含む。ネットワーク環境９００は、また、直接又はシステム９０２を介して互いに通信することができるクライアント装置９１０、９２０、９３０及び９４０を含む。ネットワーク環境９００は、また、ネットワーク９５０を含む。
[61] 図示を容易にするために、図９は、システム９０２、サーバ装置９０４及びネットワークデータベース９０６の各々に対して１つのブロックを示し、クライアント装置９１０、９２０、９３０及び９４０については４つのブロックを示す。１つのクライアント装置を用いて外科手術処置のビデオを見る（例えば１人の外科医がビデオを見る）文脈において、いくつかの実装形態を説明するが、これらの実装形態及び他の実装形態は、複数のクライアント装置に適用することができる。例えば、他の内科医、及び／又は他の臨床医、及び／又は学生がビデオを見ることができる。
[62] ブロック９０２、９０４及び９０６は、複数のシステム、サーバ装置及びネットワークデータベースを表すことができる。また、任意の数のクライアント装置が存在することができる。他の実装形態では、ネットワーク環境９００は、示される構成要素の全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のタイプの要素を含む他の要素を有することができる。様々な実装形態では、ユーザＵ１、Ｕ２、Ｕ３及びＵ４は、それぞれのクライアント装置９１０、９２０、９３０及び９４０を用いて、互いに又はシステム９０２と対話することができる。
[63] 本明細書で説明する様々な実装形態では、システム９０２のプロセッサ及び／又は任意のクライアント装置９１０、９２０、９３０及び９４０のプロセッサが、本明細書で説明する要素（例えば、情報等）を、１又は２以上のディスプレイ画面上のユーザインターフェイスに表示させる。
[64] 実装形態は、任意のネットワークシステムに適用することができ、かつ／又は個別ユーザに対してローカルに適用することができる。例えば、本明細書で説明する実装形態は、システム９０２及び／又は任意のクライアント装置９１０、９２０、９３０及び９４０によって実装することができる。システム９０２は、スタンドアロンコンピュータ、タブレットコンピュータ、スマートフォン等上で、本明細書で説明する実装形態を実行することができる。システム９０２及び／又はクライアント装置９１０、９２０、９３０及び９４０のいずれかは、個別に又は他の装置と組み合わせて、本明細書で説明する実装形態を実行することができる。
[65] 図１０は、本明細書で説明するいくつかの実装形態のために用いることができる例示的なコンピュータシステム１０００のブロック図を示す。例えば、コンピュータシステム１０００を用いて、図１のシステム１０２及び／又は図９のシステム９０２を実装するとともに、本明細書で説明する実装形態を実行することができる。いくつかの実装形態では、コンピュータシステム１０００は、プロセッサ１００２と、オペレーティングシステム１００４と、メモリ１００６と、入力／出力（Ｉ／Ｏ）インターフェイス１００８とを含むことができる。様々な実装形態では、プロセッサ１００２を用いて、本明細書で説明する様々な機能及び特徴を実装するとともに、本明細書で説明する方法の実装形態を実行することができる。プロセッサ１００２は、本明細書で説明する実装形態を実行するものとして説明されているが、コンピュータシステム１０００の任意の適切な構成要素又は構成要素の組み合わせ、又はコンピュータシステム１０００又は任意の適切なシステムに関連する任意の適切な単複のプロセッサは、説明されるステップを実行することができる。本明細書で説明する実装形態は、ユーザ装置上、サーバ上、又はこれらの両方の組み合わせにおいて実行することができる。
[66] コンピュータシステム１０００は、また、ソフトウェアアプリケーション１０１０を含み、ソフトウェアアプリケーション１０１０は、メモリ１００６に又は他の任意の適切な記憶位置又はコンピュータ可読媒体に記憶することができる。ソフトウェアアプリケーション１０１０は、命令を与え、この命令によって、プロセッサ１００２は、本明細書で説明する実装形態及び他の機能を実行することができる。ソフトウェアアプリケーションは、また、１又は２以上のネットワークに関連する様々な機能及びネットワーク通信を実行するためのネットワークエンジンなどのエンジンを含むことができる。コンピュータシステム１０００の構成要素は、１又は２以上のプロセッサ又はハードウェア装置の任意の組み合わせ、及びハードウェア、ソフトウェア、ファームウェア等の任意の組み合わせによって実装することができる。
[67] 図示を容易にするために、図１０は、プロセッサ１００２、オペレーティングシステム１００４、メモリ１００６、Ｉ／Ｏインターフェイス１００８及びソフトウェアアプリケーション１０１０の各々に対して１つのブロックを示す。これらのブロック１００２、１００４、１００６、１００８及び１０１０は、複数のプロセッサ、オペレーティングシステム、メモリ、Ｉ／Ｏインターフェイス及びソフトウェアアプリケーションを表すことができる。様々な実装形態では、コンピュータシステム１０００は、示される構成要素の全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のタイプの要素を含む他の要素を有することができる。
[68] 特定の実施形態に関連して説明してきたが、これらの特定の実施形態は単なる例示であり、限定的なものではない。例に示される概念は、他の例及び実装形態に適用することができる。
[69] 様々な実装形態では、ソフトウェアは、１又は２以上のプロセッサによって実行するための１又は２以上の非一時的コンピュータ可読媒体に符号化される。ソフトウェアは、１又は２以上のプロセッサによって実行された時に、本明細書で説明する実装形態及び他の機能を実行するように作動可能である。
[70] 特定の実施形態のルーチンを実装するために、Ｃ、Ｃ＋＋、Ｊａｖａ、アセンブリ言語等を含む任意の適切なプログラミング言語を使用することができる。手続き型又はオブジェクト指向などの異なるプログラミング技術を使用することができる。ルーチンは、単一の処理デバイス又は複数のプロセッサ上で実行することができる。ステップ、作動、又は計算は、特定の順番で提示することができるが、この順番は、異なる特定の実施形態では変更することができる。いくつかの特定の実施形態では、本明細書で順次示される複数のステップは、同時に実行することができる。
[71] 特定の実施形態は、命令実行システム、装置、又はデバイスによって又はこれに関連して使用するための非一時的コンピュータ可読記憶媒体（機械可読記憶媒体とも呼ばれる）に実装することができる。特定の実施形態は、ソフトウェア又はハードウェア又はこれらの両方の組み合わせにおいて制御ロジックの形態で実装することができる。制御ロジックは、１又は２以上のプロセッサによって実行された時に、本明細書で説明する実装形態及び他の機能を実行するように作動可能である。例えば、ハードウェア記憶装置などの有形媒体を用いて、実行可能命令を含むことができる制御ロジックを記憶することができる。
[72] 特定の実施形態は、プログラマブル汎用デジタルコンピュータを使用することによって、及び／又は特定用途向け集積回路、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ、光学、化学、生物学、量子又はナノ工学システム、構成要素及び機構を使用することによって実装することができる。一般に、特定の実施形態の機能は、本技術分野で公知の任意の手段によって達成することができる。分散型、ネットワーク型システム、構成要素、及び／又は回路を使用することができる。データの通信又は転送は、有線、無線、又は任意の他の手段によるものとすることができる。
[73] 「プロセッサ」は、データ、信号又は他の情報を処理する任意の適切なハードウェア及び／又はソフトウェアシステム、機構又は構成要素を含むことができる。プロセッサは、汎用中央処理装置を有するシステム、複数の処理装置、機能を実現するための専用回路、又は他のシステムを含むことができる。処理は、地理的位置に限定されるか又は時間的制約を有する必要はない。例えば、プロセッサは、「リアルタイム」、「オフライン」、「バッチモード」等で、その機能を実行することができる。処理の一部は、異なる（又は同じ）処理システムによって、異なる時間及び異なる場所で実行することができる。コンピュータは、メモリと通信する任意のプロセッサとすることができる。メモリは、プロセッサによって実行するための命令（例えば、プログラム又はソフトウェア命令）を記憶するのに適した、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気記憶装置（ハードディスクドライブ等）、フラッシュ、光学記憶装置（ＣＤ、ＤＶＤ等）、磁気又は光ディスク、又は他の有形媒体などの電子記憶装置を含む、任意の適切なデータストレージ、メモリ及び／又は非一時的コンピュータ可読記憶媒体とすることができる。例えば、ハードウェア記憶装置などの有形媒体を用いて、実行可能命令を含むことができる制御ロジックを記憶することができる。命令は、例えば、サーバ（例えば、分散型システム及び／又はクラウドコンピューティングシステム）から配信されるサービス（ＳａａＳ）としてソフトウェアの形態で、電子信号に含まれて、電子信号として供給することもできる。
[74] 図面／図に示す要素の１又は２以上は、より分離された又は一体化された方法で、又は特定用途に応じて有用であるような特定の場合には更に取り外されるか又は作動不能にされて実装することもできることも理解されるであろう。上記の方法のいずれかをコンピュータに実行させるために機械可読媒体に記憶することができるプログラム又はコードを実装することも本発明の精神及び範囲内である。
[75] 本明細書の説明及び以下に続く特許請求の範囲で使用される「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈によって別途明確に指定しない限り、複数の参照物を含む。また、本明細書の説明及び以下に続く特許請求の範囲で使用される「内（ｉｎ）」の意味は、文脈によって別途明確に指定しない限り、「内（ｉｎ）」及び「上（ｏｎ）」を含む。
[76] したがって、本明細書で特定の実施形態を説明したが、修正、様々な変更、及び置換の自由が、以上の開示において意図されており、場合によっては、説明する範囲及び精神から逸脱することなく、特定の実施形態のいくつかの特徴は、他の特徴の対応する使用なしに使用されることは理解されるであろう。したがって、特定の状況又は内容を実質的な範囲及び精神に適合させるように、多くの修正を行うことができる。
１００ 作業環境
１０２ システム
１０４ カメラ
１０６ 作業領域
１０８ ビューアクライアント
１１０ ネットワーク
１１２，１１４ ツール
２０２ 多クラスオブジェクト検出及び分類
２０４ ディープラーニング
２０６ ツールの左右の決定
２０８ 利き手ツールの決定
３０２ 少なくとも１つの画像フレームを受け取る
３０４ 画像フレーム内の１又は２以上のオブジェクトを検出
３０６ １又は２以上のオブジェクトを１又は２以上のツール分類に分類
３０８ 各ツールが補助的なものであるか又は非補助的なものであるかを判定
３１０ 各ツールの左右を決定
３１２ １又は２以上のツールから利き手ツールを決定
４００ スクリーンショット
４０２ 画像フレーム
４１２ オブジェクト／ツール／グラスパー
４１４ オブジェクト／ツール／クリッパー
４２２ バウンディングボックス／ボックス
４２４ バウンディングボックス／ボックス
５００ スクリーンショット
６００ スクリーンショット
７０２ 各ツールのタイプを決定
７０４ 各ツールの位置を決定
７０６ 画像フレーム内の各ツールの位置に少なくとも部分的に基づいて、各ツールの左右を決定
８０２ 画像フレーム内の利き手ツールの位置を決定
８０４ 利き手ツールが画像フレームの中心にある場合、カメラをその現在位置のままにしておく
８０６ 利き手ツールが画像フレームの中心にない場合、利き手ツールが画像フレームの中心にあるように、カメラを移動させる
９００ ネットワーク環境
９０２ システム
９０４ サーバ装置
９０６ ネットワークデータベース
９１０，９２０，９３０，９４０ クライアント装置
９５０ ネットワーク
１０００ コンピュータシステム
１００２ プロセッサ
１００４ オペレーティングシステム
１００６ メモリ
１００８ 入力／出力（Ｉ／Ｏ）インターフェイス
１０１０ ソフトウェアアプリケーション
Ｕ１，Ｕ２，Ｕ３，Ｕ４ ユーザ

Claims (20)

  1. システムであって、
    １又は２以上のプロセッサと、
    前記１又は２以上のプロセッサによって実行するための１又は２以上の非一時的コンピュータ可読記憶媒体に符号化され、かつ実行時に動作を実行するように作動可能であるロジックと、
    を含み、前記動作は、
    少なくとも１つの画像フレームを受け取るステップと、
    前記少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出するステップと、
    前記１又は２以上のオブジェクトを、１又は２以上のツール分類に分類するステップであって、前記１又は２以上のオブジェクトは１又は２以上のツールである、ステップと、
    前記１又は２以上のツール分類に基づいて、前記１又は２以上のツールのそれぞれが非補助的であるかを決定するステップと、
    前記１又は２以上のツールがユーザの右手又は左手のいずれで使用されるか（左右）を決定するステップと、
    １又は２以上のツール分類に少なくとも部分的に基づいて、かつ前記１又は２以上のツールの前記左右に少なくとも部分的に基づいて、前記１又は２以上のツールから利き手ツールを決定するステップと、
    を含む、
    ことを特徴とするシステム。
  2. 前記１又は２以上のツール分類は、特定のツールが補助的であるか非補助的であるかを表示することを特徴とする、請求項１に記載のシステム。
  3. 前記１又は２以上のツール分類は、ツールの機能を表示することを特徴とする、請求項１に記載のシステム。
  4. 前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、
    前記１又は２以上のツールに対して視覚インジケータを生成するステップと、
    前記少なくとも１つの画像フレーム内の前記１又は２以上のツールの各々の境界を画定するステップと、
    を含む、
    ことを特徴とする、請求項１に記載のシステム。
  5. 前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、ツールのタイプを用いて、前記少なくとも１つの画像フレーム内の各ツールにラベル付けするステップを含むことを特徴とする、請求項１に記載のシステム。
  6. 前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップをリアルタイムで実行するステップを含むことを特徴とする、請求項１に記載のシステム。
  7. 前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップに少なくとも部分的に基づいて、カメラを制御するステップを含むことを特徴とする、請求項１に記載のシステム。
  8. プログラム命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記プログラム命令は、１又は２以上のプロセッサによって実行された時に、動作を実行するように作動可能であり、前記動作は、
    少なくとも１つの画像フレームを受け取るステップと、
    前記少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出するステップと、
    前記１又は２以上のオブジェクトを、１又は２以上のツール分類に分類するステップであって、前記１又は２以上のオブジェクトは１又は２以上のツールである、ステップと、
    前記１又は２以上のツール分類に基づいて、前記１又は２以上のツールのそれぞれが非補助的であるかを決定するステップと、
    前記１又は２以上のツールがユーザの右手又は左手のいずれで使用されるか（左右）を決定するステップと、
    １又は２以上のツール分類に少なくとも部分的に基づいて、かつ前記１又は２以上のツールの前記左右に少なくとも部分的に基づいて、前記１又は２以上のツールから利き手ツールを決定するステップと、
    を含む、
    ことを特徴とするコンピュータ可読記憶媒体。
  9. 前記１又は２以上のツール分類は、ツールのタイプを表示することを特徴とする、請求項８に記載のコンピュータ可読記憶媒体。
  10. 前記１又は２以上のツール分類は、ツールの機能を表示することを特徴とする、請求項８に記載のコンピュータ可読記憶媒体。
  11. 前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、
    前記１又は２以上のツールに対して視覚インジケータを生成するステップと、
    前記少なくとも１つの画像フレーム内の前記１又は２以上のツールの各々の境界を画定するステップと、
    を含む、
    ことを特徴とする、請求項８に記載のコンピュータ可読記憶媒体。
  12. 前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、ツールのタイプを用いて、前記少なくとも１つの画像フレーム内の各ツールにラベル付けするステップを含むことを特徴とする、請求項８に記載のコンピュータ可読記憶媒体。
  13. 前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップをリアルタイムで実行するステップを含むことを特徴とする、請求項８に記載のコンピュータ可読記憶媒体。
  14. 前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記利き手ツールを決定するステップに少なくとも部分的に基づいて、カメラを制御するステップを含むことを特徴とする、請求項８に記載のコンピュータ可読記憶媒体。
  15. コンピュータ実装方法であって、
    少なくとも１つの画像フレームを受け取るステップと、
    前記少なくとも１つの画像フレーム内の１又は２以上のオブジェクトを検出するステップと、
    前記１又は２以上のオブジェクトを、１又は２以上のツール分類に分類するステップであって、前記１又は２以上のオブジェクトは１又は２以上のツールである、ステップと、
    前記１又は２以上のツール分類に基づいて、前記１又は２以上のツールのそれぞれが非補助的であるかを決定するステップと、
    前記１又は２以上のツールがユーザの右手又は左手のいずれで使用されるか（左右）を決定するステップと、
    １又は２以上のツール分類に少なくとも部分的に基づいて、かつ前記１又は２以上のツールの前記左右に少なくとも部分的に基づいて、前記１又は２以上のツールから利き手ツールを決定するステップと、
    を含む、
    ことを特徴とする方法。
  16. 前記１又は２以上のツール分類は、ツールのタイプを表示することを特徴とする、請求項１５に記載の方法。
  17. 前記１又は２以上のツール分類は、ツールの機能を表示することを特徴とする、請求項１５に記載の方法。
  18. 更に、
    前記１又は２以上のツールに対して視覚インジケータを生成するステップと、
    前記少なくとも１つの画像フレーム内の前記１又は２以上のツールの各々の境界を画定するステップと、
    を含む、
    ことを特徴とする、請求項１５に記載の方法。
  19. 更に、ツールのタイプを用いて、前記少なくとも１つの画像フレーム内の各ツールにラベル付けするステップを含むことを特徴とする、請求項１５に記載の方法。
  20. 更に、前記利き手ツールを決定するステップをリアルタイムで実行するステップを含むことを特徴とする、請求項１５に記載の方法。
JP2020569879A 2018-06-14 2019-05-30 外科手術ビデオのための利き手ツール検出システム Active JP7235212B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/008,826 US10769443B2 (en) 2018-06-14 2018-06-14 Dominant tool detection system for surgical videos
US16/008,826 2018-06-14
PCT/IB2019/054494 WO2019239244A1 (en) 2018-06-14 2019-05-30 Dominant tool detection system for surgical videos

Publications (2)

Publication Number Publication Date
JP2021527272A JP2021527272A (ja) 2021-10-11
JP7235212B2 true JP7235212B2 (ja) 2023-03-08

Family

ID=66867601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020569879A Active JP7235212B2 (ja) 2018-06-14 2019-05-30 外科手術ビデオのための利き手ツール検出システム

Country Status (6)

Country Link
US (1) US10769443B2 (ja)
EP (1) EP3791320A1 (ja)
JP (1) JP7235212B2 (ja)
KR (1) KR102388604B1 (ja)
CN (1) CN112543940A (ja)
WO (1) WO2019239244A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021101694A1 (de) 2021-01-26 2022-07-28 Carl Zeiss Meditec Ag Tool-Typ-Agnostische Assistenzfunktionalität bei chirurgischen Eingriffen
CN117915853A (zh) * 2021-09-10 2024-04-19 阿瑙特株式会社 推断装置、信息处理方法和计算机程序

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007512854A (ja) 2003-04-28 2007-05-24 ブラッコ イメージング ソチエタ ペル アチオニ 手術用ナビゲーションシステム（カメラプローブ）
JP2016538089A (ja) 2013-09-05 2016-12-08 マッケ・ゲゼルシャフトミットベシュレンクターハフトゥング 外科手術中の外科医の画像化支援のための支援機器

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004070577A2 (en) * 2003-02-04 2004-08-19 Z-Kat, Inc. Interactive computer-assisted surgery system and method
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US8418073B2 (en) 2009-03-09 2013-04-09 Intuitive Surgical Operations, Inc. User interfaces for electrosurgical tools in robotic surgical systems
US8423182B2 (en) * 2009-03-09 2013-04-16 Intuitive Surgical Operations, Inc. Adaptable integrated energy control system for electrosurgical tools in robotic surgical systems
KR101159469B1 (ko) * 2009-05-14 2012-06-25 국립암센터 수술도구 검출 방법, 수술도구 검출 방법을 기록한 기록매체, 수술도구 검출 방법을 수행하는 수술 시스템 및 수술도구 검출 방법을 수행하는 수술 보조시스템
EP2493387A4 (en) * 2009-10-30 2017-07-19 The Johns Hopkins University Visual tracking and annotation of clinically important anatomical landmarks for surgical interventions
US9601025B2 (en) 2010-05-26 2017-03-21 Health Research, Inc. Method and system for automatic tool position determination for minimally-invasive surgery training
JP5936914B2 (ja) * 2011-08-04 2016-06-22 オリンパス株式会社 操作入力装置およびこれを備えるマニピュレータシステム
US9123155B2 (en) 2011-08-09 2015-09-01 Covidien Lp Apparatus and method for using augmented reality vision system in surgical procedures
US9204939B2 (en) 2011-08-21 2015-12-08 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery—rule based approach
AU2012345588A1 (en) * 2011-12-01 2014-05-22 Neochord, Inc. Surgical navigation for repair of heart valve leaflets
US9492065B2 (en) * 2012-06-27 2016-11-15 Camplex, Inc. Surgical retractor with video cameras
DE202014010578U1 (de) * 2013-01-10 2016-01-07 M.S.T. Medical Surgery Technologies Ltd. Chirurgisches Steuersystem
CN103142313B (zh) 2013-03-19 2015-05-13 张巍 一种基于单目视觉的手术工具位姿实时检测系统
WO2016005988A1 (en) * 2014-07-10 2016-01-14 M.S.T. Medical Surgery Technologies Ltd. Improved interface for laparoscopic surgeries - movement gestures
US10777398B2 (en) * 2015-03-06 2020-09-15 Micromass Uk Limited Spectrometric analysis
EP3628264A1 (en) * 2015-03-17 2020-04-01 Intuitive Surgical Operations, Inc. Systems and methods for rendering onscreen identification of instruments in a teleoperational medical system
EP3270815B1 (en) * 2015-03-17 2023-05-03 Intuitive Surgical Operations, Inc. Systems and methods for onscreen identification of instruments in a teleoperational medical system
US11962908B2 (en) * 2015-03-17 2024-04-16 Microsoft Technology Licensing, Llc. Automatic image frame processing possibility detection
US10366482B2 (en) * 2015-07-17 2019-07-30 Panasonic Corporation Or North America Method and system for automated video image focus change detection and classification
US11638615B2 (en) * 2015-08-30 2023-05-02 Asensus Surgical Us, Inc. Intelligent surgical tool control system for laparoscopic surgeries
US10510144B2 (en) 2015-09-10 2019-12-17 Magentiq Eye Ltd. System and method for detection of suspicious tissue regions in an endoscopic procedure
US10459914B2 (en) * 2015-09-18 2019-10-29 Facebook, Inc. Detecting key topics on online social networks
JPWO2017145531A1 (ja) * 2016-02-24 2018-12-13 ソニー株式会社 医療用画像処理装置、システム、方法及びプログラム
CA3024407A1 (en) * 2016-07-12 2018-01-18 Novartis Ag Optical and digital visualization in a surgical microscope
US11370113B2 (en) * 2016-09-06 2022-06-28 Verily Life Sciences Llc Systems and methods for prevention of surgical mistakes
WO2018050207A1 (en) * 2016-09-13 2018-03-22 Brainlab Ag Optimized semi-robotic alignment workflow
US11350995B2 (en) * 2016-10-05 2022-06-07 Nuvasive, Inc. Surgical navigation systems and methods
US10631935B2 (en) * 2016-10-25 2020-04-28 Biosense Webster (Israel) Ltd. Head registration using a personalized gripper

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007512854A (ja) 2003-04-28 2007-05-24 ブラッコ イメージング ソチエタ ペル アチオニ 手術用ナビゲーションシステム（カメラプローブ）
JP2016538089A (ja) 2013-09-05 2016-12-08 マッケ・ゲゼルシャフトミットベシュレンクターハフトゥング 外科手術中の外科医の画像化支援のための支援機器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
S. Kumar et al.，Product of tracking experts for visual tracking of surgical tools，2013 IEEE International Conference on Automation Science and Engineering (CASE)，米国，IEEE，2013年08月17日，pp.480-485，DOI 10.1109/CoASE.2013.6654037
丸谷 宜史ほか，腹腔鏡下手術映像中の手術器具・臓器位置を用いた手術プロセス認識，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2015年05月07日，第115巻,第25号，pp.7-11，ISSN 0913-5685

Also Published As

Publication number Publication date
US20190384980A1 (en) 2019-12-19
EP3791320A1 (en) 2021-03-17
KR20210008404A (ko) 2021-01-21
KR102388604B1 (ko) 2022-04-22
US10769443B2 (en) 2020-09-08
CN112543940A (zh) 2021-03-23
JP2021527272A (ja) 2021-10-11
WO2019239244A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
EP3537448B1 (en) Methods and systems for using multiple data structures to process surgical data
US11446092B2 (en) Methods and systems for using computer-vision to enhance surgical tool control during surgeries
US11576743B2 (en) Machine-learning-based visual-haptic system for robotic surgical platforms
US11625834B2 (en) Surgical scene assessment based on computer vision
US10963698B2 (en) Tool handedness determination for surgical videos
JP7235212B2 (ja) 外科手術ビデオのための利き手ツール検出システム
JP7395125B2 (ja) 手術ツールの先端及び向きの決定
JP7339862B2 (ja) 器具監視装置および器具監視装置の作動方法
WO2023144570A1 (en) Detecting and distinguishing critical structures in surgical procedures using machine learning
WO2022263430A1 (en) Joint identification and pose estimation of surgical instruments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230207

R151 Written notification of patent or utility model registration

Ref document number: 7235212

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151