JP2023529223A - 外科手術に関連するビデオストリームの処理 - Google Patents

外科手術に関連するビデオストリームの処理 Download PDF

Info

Publication number
JP2023529223A
JP2023529223A JP2022576834A JP2022576834A JP2023529223A JP 2023529223 A JP2023529223 A JP 2023529223A JP 2022576834 A JP2022576834 A JP 2022576834A JP 2022576834 A JP2022576834 A JP 2022576834A JP 2023529223 A JP2023529223 A JP 2023529223A
Authority
JP
Japan
Prior art keywords
image
images
progress
processed
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022576834A
Other languages
English (en)
Inventor
ニコラ・パドイ
ピエトロ・マスカーニ
ベルナール・ダルマーニュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Universite de Strasbourg
Original Assignee
Centre National de la Recherche Scientifique CNRS
Universite de Strasbourg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS, Universite de Strasbourg filed Critical Centre National de la Recherche Scientifique CNRS
Publication of JP2023529223A publication Critical patent/JP2023529223A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Primary Health Care (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、特定の手術処置に関連するビデオストリームを処理するためのデバイスに関し、デバイスは、ビデオストリーム受信インターフェースと、プロセッサと、命令を記憶するメモリとを備え、前記命令がプロセッサによって実行されると、ビデオストリーム受信インターフェースを介して、解剖学的要素の少なくとも一部を表す処理されるべき画像を含む画像のシーケンスを含むビデオストリームを受信する動作であって、処理されるべき画像が、処理要素によって形成されている、受信する動作と、処理関数によって、処理されるべき画像において基準が満たされているかどうかを判断する動作と、基準が満たされるかどうかに基づいて、処理されるべき画像に関連する進行状態を決定する動作であって、進行状態が、特定の手術処置の手術ステップの進行状態を表す、決定する動作とを行うようにデバイスを構成する。

Description

本発明は、ビデオストリームに関連するデータの分析およびコンピュータ処理の分野に関し、特に、外科手術に関連するビデオストリームに関する。
本発明は、特に、外科手術中の安全性を改善することを可能にするビデオストリーム処理デバイスにおける用途を有する。例えば、外科医支援デバイスである。
特に、外科手術に関連する合併症を減らすためのプロトコルまたはガイドラインが存在する。しかしながら、これらのプロトコルまたはガイドラインは、必ずしも適切に適用されるとは限らない。
例えば、胆嚢の摘出の場合、「安全性の批判的見解(critical view of safety(CVS))」と呼ばれる、手術中に器官およびその位置を識別するためのプロトコルが開発されている。
CVSは、アブレーションの前に満たされなければならない器官の位置に関連する3つの独立した基準に関連する。言い換えれば、外科医は、関係する器官の解剖学的構造を変更するために解剖を実行しなければならず、外科医の観察に基づいて、患者にとって高いリスクを招くステップに進む前に、3つの基準がどの程度満たされているかを判断しなければならない。
このタイプの手術に関連する合併症の減少に大きな成果があるにもかかわらず、CVSは、めったに守られず、または必ずしも適切に適用されない。さらに、外科医の観察の信頼性は、一定ではない。したがって、CVSプロトコルが適用されても、判断における誤りが生じる場合がある。
本発明は、この状況を改善する。
本発明の第1の態様は、特定の手術処置に関連するビデオストリームを処理するためのデバイスに関し、前記デバイスは、
ビデオストリーム受信インターフェースと、
プロセッサと、
命令を記憶するメモリと
を備え、これらの命令がプロセッサによって実行されると、
ビデオストリーム受信インターフェースを介して、解剖学的要素の少なくとも一部を表す処理されるべき画像を含む画像のシーケンスを含むビデオストリームを受信する動作であって、前記処理されるべき画像が、処理要素によって形成されている、受信する動作と、
処理関数によって、処理されるべき画像において少なくとも1つの基準が満たされているかどうかを判断する動作であって、処理関数が、第1のパラメータ化された関数および第2のパラメータ化された関数で構成され、
第1のパラメータ化された関数のパラメータが、画像に適用された第1のパラメータ化された関数の結果が解剖学的要素の一部を表す画像の処理要素を決定することを可能にするように、画像の参照シーケンスからの画像に基づいて機械学習アルゴリズムによって取得され、画像の参照シーケンスが、以前に記録され、特定の手術処置に関連し、画像の参照シーケンスからの画像が、解剖学的要素の少なくとも一部を表し、
第2のパラメータ化された関数のパラメータが、画像に適用された第2のパラメータ化された関数の結果が、画像に適用された第1のパラメータ化された関数の結果と組み合わせて、少なくとも1つの基準が満たされるかどうかを判断することを可能にするように、画像の参照シーケンスからの画像に適用された第1のパラメータ化された関数の結果と組み合わされた画像の参照シーケンスからの画像に基づいて機械学習モデルによって取得される、
判断する動作と、
基準が満たされるかどうかに基づいて、処理されるべき画像に関連する進行状態を決定する動作であって、進行状態が、特定の手術処置の手術ステップの進行状態を表す、決定する動作と
を行うようにデバイスを構成する。
したがって、特定の手術処置のビデオストリームからの画像に基づいて、手術ステップの進行状態を自動的に評価することが可能である。言い換えれば、画像を分析することは、画像が手術プロトコル内で位置する点を決定することを可能にする。この分析は、処理関数を画像に適用することによって行われ、この処理関数の結果は、1つまたは複数の基準が満たされるかどうかを示す。画像が手術プロトコル内で位置する点は、基準検証に基づいて決定される。したがって、外科手術の進行状態を判断するために、外科医の観察に頼る必要はもはやない。次いで、進行状態は、外科医にリアルタイム情報を提供するために使用され得る。例えば、外科医は、プロトコル、プロトコルの次の段階に進む前の検証、生命の維持に必要な器官および/もしくは敏感な器官および/もしくはかろうじて見える器官に関する警告、または特定の解剖学的特徴を有する解剖学的要素の情報に適切に従っている。進行状態は、手術ステップに適応するようにビデオのパラメータを変更することを可能にすることもできる。例えば、関心領域を拡大すること、コントラストを上げること、または測色を変更することが可能である。重要な手術ステップをより高精細に記憶することも可能である。手術ステップの進行状態に従って手術室のスケジュールを変更することも可能である。
特定の手術処置は、特定の医療処置、例えば、外科的処置を意味すると理解される。言い換えれば、特定の手術処置は、一種の医療処置、または一種の手術処置を意味すると理解される。
ビデオストリームは、ビデオフォーマット(例えば、MPEG2、H.264/AVC、HEVC、VP8、VP9、AV1)に従って符号化された画像のシーケンスを意味すると理解される。ビデオストリームは、ビデオカメラ、特に、患者の体内に導入され得るマイクロカメラから来ることができる。
処理要素は、シーケンスの画像の処理単位、例えばピクセルを意味すると理解される。これらの処理単位は、デバイスに固有であるが、ビデオフォーマットの処理単位、例えば、マクロブロック(MB)またはコーディングツリーユニット(CTU)と一致し得る。
解剖学的要素は、身体の器官を意味すると理解される。この解剖学的要素を表示する画像は、それを表す。
いくつかの基準(解剖学的基準とも呼ばれる)が、第1の画像において決定され得る。進行状態の決定は、前の画像の処理中にこれらの基準が満たされた順序とは無関係であり得る。
画像の参照シーケンスは、ビデオストリームが受信されるビデオを記録する前に撮影された画像のシーケンスを意味すると理解される。これは、ビデオストリームの手術処置と同じタイプの手術処置に関連する画像のシーケンスである。
手術ステップは、特定の手術処置におけるステップを意味すると理解される。手術ステップの進行状態は、手術ステップの進行または完了を表す進行レベルまたは完了レベル、例えば、ステップの完了率を意味すると理解される。
処理関数は、2つのパラメータ化された関数で構成される。例えば、第1のパラメータ化された関数は、最初に画像に適用され、次いで、第2のパラメータ化された関数は、第1のパラメータ化された関数の結果とこの同じ画像との組合せに適用される。言い換えれば、第2のパラメータ化された関数は、第1のパラメータ化された関数f1(I)の結果および画像I、すなわち、カップル(f1(I);I)に適用される。
第1のパラメータ化された関数は、パラメータ化された関数が期待される結果または少なくとも最も近い可能な結果を返すように、画像の参照シーケンスからの画像(より一般的には画像のコレクション)においてトレーニングされた機械学習アルゴリズムによって取得され得る。例えば、パラメータ化された関数は、機械学習アルゴリズムを画像(または画像のコレクション)に適用することによって人工ニューラルネットワークのパラメータを最適化することによって取得され得る。機械学習アルゴリズムは、画像の参照シーケンスからの(および一般的には画像の大きいセットにおける)画像の処理要素(または単純に、処理要素、例えば画像のピクセル)の値について計算されたコスト関数の結果を最適化する(例えば、最小化する)ようにパラメータを決定し、前記処理要素は、解剖学的要素の一部を表す。コスト関数は、処理要素に適用された第1のパラメータ化された関数の結果と、期待される結果、すなわち、画像処理要素が解剖学的要素の一部に属するかどうかを表す結果との間の距離であり得る。第1のパラメータ化された関数は、解剖学的要素の一部、またはより一般的には画像内に存在する様々な解剖学的要素の一部に従って、それが適用される画像のセグメント化を実行することを可能にする。
したがって、第1のパラメータ化された関数は、解剖学的要素の一部を表す画像処理要素を決定することを可能にするようにパラメータ化される。より具体的には、第1のパラメータ化された関数は、処理要素が解剖学的要素の一部に属するかどうかに従って、処理要素を決定し、それらを識別し、処理されるべき画像の各処理要素にラベルを与えるか、またはより一般的には値を割り当てる。第1の関数は、満たされるべき基準が考慮されるべきいくつかの解剖学的要素を必要とする場合、いくつかの異なる解剖学的要素を決定し得る。機械学習アルゴリズムを使用することによって、第1のパラメータ化された関数のパラメータの決定は、より正確になる。さらに、処理要素のグループの決定は、解剖学的要素に対して、すなわち、患者ごとの解剖学的要素の違いに対して敏感でなくなる。したがって、決定は、誤差の影響を受けにくくなる。
第2のパラメータ化された関数は、パラメータ化された関数が期待される結果または少なくとも最も近い可能な結果を返すように、画像の参照シーケンスからの画像に適用された第1のパラメータ化された関数からの結果と組み合わせて、画像の参照シーケンスからの画像(より一般的には画像のコレクション)においてトレーニングされた機械学習アルゴリズムによって取得され得る(トレーニングは、第1のパラメータ化された関数からの結果を用いて、または期待される解、すなわち、画像処理要素が解剖学的要素の一部に属するかどうかを直接用いて、効果的に行われ得る)。例えば、パラメータ化された関数は、第1のパラメータ化された関数からの結果または期待される解と組み合わせて、画像(または画像のコレクション)に機械学習アルゴリズムを適用することによって人工ニューラルネットワークのパラメータを最適化することによって取得され得る。
画像の参照シーケンスからの画像と、画像の参照シーケンスからの画像に適用された第1のパラメータ化された関数の結果(または、直接、期待される解、すなわち、画像の処理要素が解剖学的要素の一部に属するかどうか)との組合せは、ここでは単に、画像の参照シーケンスからの画像に関連する組合せ、または代替的には参照組合せと呼ばれる。
機械学習アルゴリズムは、参照組合せ(より一般的には、参照画像に関連する組合せの大きいセット)において計算されたコスト関数の結果を最適化する(例えば、最小化する)ように、第2のパラメータ化された関数のパラメータを決定する。コスト関数は、参照組合せに適用された第2のパラメータ化された関数の結果と、期待される結果、すなわち、この参照組合せについて基準が満たされるかどうかを表す結果との間の距離であり得る。
画像と、この画像に適用された第1のパラメータ化された関数の結果または期待される解の結果との組合せは、セルが処理要素を表す行列のnタプルであり得る。例えば、n個の行列のうちの3個が、RGBカラーコードに従って処理要素(例えば、ピクセル)をコーディングするために使用される。nタプルの他の各行列は、異なる解剖学的要素を表す。解剖学的要素を表す行列のセルは、(セルに対応する)処理要素が解剖学的要素に属するかどうかに依存する値(例えば、1または0)を有する。
第1および第2のパラメータ化された関数のパラメータは、メモリ内に記憶され得る。
機械学習アルゴリズムを使用することによって、基準が満たされるかどうかの判断は、より正確になる。
第1および第2のパラメータ化された関数を取得するために使用される2つの機械学習アルゴリズムは、互いに独立している。したがって、特に、別個のデータベースにおいて学習を実行し、アルゴリズムの各々の学習をよりよく制御することが可能であり、したがって、より少ない計算能力を必要としながら、より高い学習効率を有することが可能になる。
したがって、画像に適用され、各基準の結果を直接取得することを可能にする単一の関数の学習ではなく、2つのパラメータ化された関数のこの共通の要素を持たない(disjoint)学習は、基準が満たされたかどうかをより効率的に(特に、より少ない誤差で、またはさらにより正確に)決定することを可能にする。実際、処理されるべき画像の各処理要素について、要素が解剖学的要素の一部に属するかどうかに依存する値を用いて画像を強化することによって、第2のパラメータ化された関数によって解剖学的要素が誤って解釈され、したがって基準が不適切に評価されるリスクが少なくなる。
処理されるべき画像に関連する進行状態は、いくつかの基準(C1、C2、C3)の検証に従って決定され得、例えば、基準の各検証組合せ(1、0、1)、(1、0、0)などは、異なる進行状態を返す。
一実装形態によれば、命令がプロセッサによって実行されると、命令は、
決定された進行状態に基づいて、処理されるべき画像の周囲の時間間隔内にある画像のシーケンスからの画像を記憶する
ためにデバイスを構成する。
したがって、重要な手術ステップに対応するビデオストリームの部分を記憶するか、またはより鮮明であることを意味し、かつ／またはビデオストリームのこの部分のより多くのフレームを保持する、より圧縮されていない方法でビデオストリームのこの部分を記憶することが可能である。次いで、手術が行われたセンタは、各手術の最も関連性の高い要素を保持することができる。
一実施形態によれば、記憶される画像の数は、手術ステップの重要度および/または決定された進行状態に依存する。
したがって、画像のシーケンスを記憶するために必要な記憶スペースを最適化することが可能である。
一実施形態によれば、表示手段も提供され、命令がプロセッサによって実行されると、命令は、
処理されるべき画像とともに、進行状態に依存する情報を表示手段において表示する
ためにデバイスを構成する。
したがって、外科医または手術処置に関わっている任意の人は、手術処置の進行状態を知ることができる。
一実施形態によれば、命令がプロセッサによって実行されると、命令は、
進行状態に基づいて、手術プロトコルからの逸脱を判断する
ためにデバイスを構成し、
進行状態に依存する情報は、判断された逸脱に依存する。
したがって、特定の手術処置の手術ステップが手術プロトコル(例えば、手術処置の開始時に決定された手術プロトコル)に準拠していない場合、判断された逸脱に依存する情報(例えば、警告)を表示することが可能である。
表示手段は、特に、例えば、スクリーンまたは(例えば、仮想現実眼鏡を用いる)没入型視聴デバイスによって、ビデオストリームを外科医に表示するために使用される手段において行われ得る。
手術プロトコルは、特定の手術処置を実行するためのスケジュールされた手術タスクのセットを意味すると理解される。
逸脱に依存する情報は、表示手段において表示され、それは、例えば、拡張現実において、上記に示すように、外科医に対して表示されるビデオストリームに挿入され得る。
逸脱は、1つまたは複数の特定の指標に従った手術プロトコルからの差異であり得、例えば、進行状態に基づいて、手術プロトコルに従って予測される変形に対応しない解剖学的要素の一部またはシーケンスの画像内に存在する別の解剖学的要素の部分を変形させるアクションを外科医が実行する場合である。逸脱はまた、画像のシーケンスにおける進行状態に対応する時刻と、画像の参照シーケンスにおける同じ進行状態に対応する時刻との間のタイムラグに対応し得る。
一実施形態によれば、進行状態に依存する情報の表示は、進行状態によって表される手術ステップの重要性に従う。
したがって、進行状態に依存する情報、例えば、逸脱に関連する情報は、手術ステップが重要であるかどうかに応じて、警告または単純な情報であり得る。
一実施形態によれば、進行状態に依存する情報は、基準が有効化されていないことを示す情報を含む。
したがって、外科医または手術に関わっている任意の人は、手術行為を正しく実行するために実行されるべきアクションまたはタスクをリアルタイムで決定することができる。有効化されていない基準は、例えば、手術プロトコルを考慮して、進行のこの段階において有効化されるべきであった基準である。
一実施形態によれば、第1の進行状態に依存する情報は、手術ステップのサブステップ、外科的操作、および/もしくは外科的アクションを検証する情報、または次の手術ステップの開始を許可する情報を含む。
したがって、手術ステップが正しく進行していることを外科医に知らせること、もしくは次の手術ステップを外科医に示すこと、または次の種々ステップに進むことを可能にするために現在の手術ステップを検証することが重要である。
一実施形態によれば、命令がプロセッサによって実行されると、命令は、
解剖学的要素の一部を表す画像の処理要素のグループの特性の少なくとも1つの値と基準値との間の偏差を決定する動作であって、基準値が、解剖学的要素の一部を表し、進行状態と同じ進行状態に関連する処理要素のグループの特性の値の平均である、決定する動作と
この偏差に関連するリスクのレベルを決定する動作と
を行うためにデバイスを構成し、
進行状態に依存する情報は、リスクのレベルを含む。
したがって、解剖学的要素が異常である場合に外科医に警告することが可能である。
要素のグループの特性は、例えば、処理要素のグループのサイズ、処理要素のグループの形状、この処理要素のグループの配置、または処理要素のグループの色であり得る。
リスクのレベルは、平均値を含む値の範囲によって定義され得る。値の範囲外の特性の任意の値は、リスクのレベルを示すとみなされる。
監視される特性ごとにいくつかのしきい値(または値の範囲)が定義され得、したがって、リスクのいくつかのレベルが決定され得る。
基準値は、画像の複数の基準シーケンスから取得された要素のグループの特性の値を平均することによって取得され得、要素のグループは、第1の進行状態と同じ進行状態における要素のグループである。
それに加えて、処理要素のグループの特性の値と基準値との間の偏差の決定は、事前に決定された処理要素のグループを使用し、したがって、いかなる新しい決定も必要としないので、より効率的になる。
一実施形態によれば、進行状態に依存する情報は、
外科的アクションが実行されるべきゾーン、および/または
外科的アクションが存在しないゾーン、および/または
特別な注意を必要とする解剖学的要素が存在するゾーン、および/または
第1の進行状態について考慮される処理要素に対応するゾーン
を含む。
したがって、ビデオストリームを外科医に表示する表示手段において、進行とともに変化するゾーンを表示することが可能である。このゾーンは、このゾーンを強調表示することによって、またはこのゾーンの輪郭を定めることによって表示され得る。したがって、進行状態に応じて、外科医は、外科医が手術するゾーン、および/または介入する必要がないゾーンもしくは特別なケアが取られなければならないゾーン(例えば、動脈が通過するゾーン)について知らされ得る。
ゾーンは、進行状態を決定するために考慮された処理要素にも対応し得、したがって外科医または手術処置に関わっている他の人またはコンピュータシステムの任意のオペレータは、進行状態の計算が関連する要素を考慮に入れていることを検証することができる。この検証の後に、妥当性確認ステップが続き得る。したがって、外科医または第三者のオペレータが、考慮された要素が適切であることを確認した場合、プロセスは、継続することができ、逆に、考慮された要素が適切でないことが確認された場合、外科医は、進行状態の決定の信頼性が低いことを知らされ得る。考慮された要素が適切であるかどうかの判断、すなわち、決定された処理要素のグループが進行状態を決定することに関連するかどうかを識別することは、自動的に(例えば、手術プロトコルと比較することによって)、または外科医の知識を用いて手動で実行され得る。
一実施形態によれば、進行状態に依存する情報は、進行状態に対応する画像から始まる画像の参照シーケンスからの画像を含む。
したがって、外科医は、同様の手術処置の進行を見ることができる。さらに、表示手段において表示される画像のシーケンスの部分は、進行状態が決定されたものと同じ手術ステップ、すなわち、現在進行中のステップに対応する。
別の態様によれば、プロセッサによって実行されると、
ビデオストリーム受信インターフェースを介して、解剖学的要素の少なくとも一部を表す処理されるべき画像を含む画像のシーケンスを含むビデオストリームを受信するステップであって、前記処理されるべき画像が、処理要素によって形成されている、受信するステップと、
処理関数によって、処理されるべき画像において基準が満たされているかどうかを判断するステップであって、処理関数が、第1のパラメータ化された関数および第2のパラメータ化された関数で構成され、
第1のパラメータ化された関数のパラメータが、画像に適用された第1のパラメータ化された関数の結果が解剖学的要素の一部を表す画像の処理要素を決定することを可能にするように、画像の参照シーケンスからの画像に基づいて機械学習アルゴリズムによって取得され、画像の参照シーケンスが、以前に記録され、特定の手術処置に関連し、画像の参照シーケンスからの画像が、解剖学的要素の少なくとも一部を表し、
第2のパラメータ化された関数のパラメータが、画像に適用された第2のパラメータ化された関数の結果が、画像に適用された第1のパラメータ化された関数の結果と組み合わせて、基準が満たされるかどうかを判断することを可能にするように、画像の参照シーケンスからの画像に適用された第1のパラメータ化された関数の結果と組み合わされた画像の参照シーケンスからの画像に基づいて機械学習モデルによって取得される、
判断するステップと、
基準が満たされるかどうかに基づいて、処理されるべき画像に関連する進行状態を決定するステップであって、進行状態が、特定の手術処置の手術ステップの進行状態を表す、決定するステップと
を含む、特定の手術処置に関連するビデオストリームを処理するための方法を実装する命令を含むコンピュータプログラムが提案される。
本発明の別の態様によれば、そのようなプログラムが記憶された非一時的なコンピュータ可読記憶媒体が提供される。
本発明の別の態様によれば、ビデオストリーム処理デバイスと、ビデオストリーム受信インターフェースに接続された内視鏡を備えるカメラとを備えるシステムが提案される。
本発明の他の特徴、詳細、および利点は、以下の詳細な説明を読み、添付図面を分析すると明らかになるであろう。
特定の実施形態によるデバイスを示す図である。 特定の実施形態によるデバイスの実装形態を表すフローチャートである。
図1における例は、外科医1が、特定の手術処置、例えば、患者2に対する胆嚢摘出術(胆嚢の除去)を実行している手術室について説明する。
手術処置は、レンズ31と、光ファイバ32と、レンズ31から来て光ファイバ32によって伝達される光信号をデジタル信号、すなわちビデオストリームに変換することを可能にする符号化モジュール33とを備える外科用カメラを用いて行われる。ここに示す外科用カメラは、腹腔鏡カメラである。任意の他の外科用カメラデバイスが本発明で用いられ得る。
ビデオストリームは、ビデオフォーマット、例えば、MPEGフォーマットにおいて符号化された画像のシーケンス34を含む。このビデオストリームは、ビデオストリーム処理デバイス40に送信される。
ビデオストリーム処理デバイス40は、外科用カメラとインターフェースするインターフェースモジュール(INT_CAM)41と、プロセッサ(PROC)42と、メモリ(MEMO)43と、表示手段とインターフェースするインターフェースモジュール(INT_SCR)44とを備える。
プロセッサ42は、処理関数Fによって、処理された画像が基準(Crit 1、Crit 2、Crit 3)を満たすかどうかを判断し、処理された画像35に関連する進行状態を決定するように構成される。
プロセッサ42は、進行中の手術処置の前に記録された画像の参照シーケンスによって、第1および第2のパラメータ化された関数のパラメータを決定するように構成され得、ビデオストリーム処理デバイス40またはリモートデータベース(図1には示さず)において記憶され得る。
プロセッサ42は、重要なシーケンスの画像を記憶するように構成される。
プロセッサ42は、異常を示す解剖学的要素に関連するリスクのレベルを決定するように構成される。
プロセッサ42は、画像35に対応する手術プロトコルと手術手順における状況との間の偏差を決定するように構成される。
プロセッサ42は、外科用カメラの符号化モジュール33から来るビデオストリームを受信することを可能にするために、外科用カメラとインターフェースするインターフェースモジュール(INT_CAM)41を制御するようにも構成される。
プロセッサ42は、様々な情報を伴うビデオストリームを外科医1に表示することを可能にするために、表示手段とインターフェースするインターフェースモジュール(INT_SCR)44を制御するようにも構成される。
メモリ43は、コンピュータプログラムが記憶される不揮発性メモリと、パラメータ化された関数のパラメータ(すなわち、処理されるべき画像35のセグメント化を行う関数f1(第1のパラメータ化された関数)のパラメータ、および基準テスト関数f2(第2のパラメータ化された関数)のパラメータ)、ビデオストリームの画像、表示手段において表示されるべき情報などが記憶される揮発性メモリとを備える。
画像のシーケンス34が処理されると、ビデオストリーム処理デバイス40は、表示手段とインターフェースするインターフェースモジュール(INT_SCR)44を介して、表示されるべき情報を表示手段50に送信することができる。
図1の表示手段50は、手術室内のスクリーンであるが、外科手術の文脈において使用される任意の他の表示手段、例えば、拡張現実眼鏡が使用され得る。
ビデオストリーム処理デバイス40および表示手段は、手術室内に配置されない場合があり、または手術室が配置された建物内に配置されない場合さえある。例えば、ビデオストリーム処理デバイス40は、情報技術(IT)に関連するサービスをホストするデータセンタ内にあり得、表示手段は、遠隔外科手術の場合には患者2が位置する手術室ではない場合がある部屋である、外科医1が位置する室内にあり得る。
シーケンス内の重要な画像は、病院のデータベースまたは外部データセンタにおいて記憶され得る。
図2は、1つの特定の実施形態による方法のフローチャートを示す。
ステップS0において、デバイスは、特定のタイプの手術処置、例えば、本明細書に記載の場合における胆嚢摘出術または胆嚢のアブレーションのために構成される。この目的のために、処理関数Fが決定され、デバイス40のメモリ43内に記憶される。
処理関数Fは、第1のパラメータ化された関数f1と第2のパラメータ化された関数f2の2つの関数からなる。第1のパラメータ化された関数f1は、処理されるべき画像35のセグメント化を可能にし、第2のパラメータ化された関数f2は、基準C1、C2、およびC3が画像Iにおいて満たされるかどうかをテストすることを可能にする。関数Fは、例えば、処理されるべき画像Iに対して、F(I)=f2(I,f1(I))によって取得されるトリプレット(c1、c2、c3)を関連付け得る。カップル(I、f1(I))は、セルが処理要素を表す行列のnタプル(M1、...、Mn)であり得る。行列M1のセルの値は、RGBカラーコードにおける赤色レベルを表し、行列M1の各セルは、処理されるべき画像I 35の処理要素(例えば、ピクセル)を表す。行列M2のセルの値は、RGBカラーコードにおける緑色レベルを表し、行列M2の各セルは、処理されるべき画像I 35の処理要素(例えば、ピクセル)を表す。行列M3のセルの値は、RGBカラーコードにおける青色レベルを表し、行列M3の各セルは、処理されるべき画像I 35の処理要素(例えば、ピクセル)を表す。行列M4からMnの各々は、異なる解剖学的要素に対応する。(4からnまでの範囲のiについて)行列Miの各セルは、処理されるべき画像I 35の処理要素(例えば、ピクセル)を表し、セルの値(例えば、0または1)は、処理要素が行列Miに対応する解剖学的要素の一部を表すかどうかをコーディングする。f1(I)は、行列M4からMnに対応し、例えば、f1(I)=(M4,...,Mn)である。処理されるべき画像I 35は、行列M1、M2、およびM3によって表される。カップル(I、f1(I))の他の表現が可能であり、本発明の適用に影響しない。例えば、M1、M2、およびM3は、セルがRGBコードを直接表す単一の行列によって置き換えられ得る。したがって、f1は、行列(M4、...、Mn)を処理されるべき画像I 35に関連付ける。例えば、画像のセグメント化が7つの解剖学的要素に基づいて実行される場合、f1は、行列(M4、...、M10)を処理されるべき画像I 35に関連付ける。行列の各々は、解剖学的要素に対応し、例えば、胆嚢(M4)、胆嚢管(M5)、胆嚢動脈(M6)、胆嚢肝三角(M7)、および肝床(M8)に対応し、これらに手術器具(M9)および背景(M10)が追加される。処理されるべき画像I 35のピクセルについて、このピクセルに対応する行列のセルは、ピクセルがこれらの解剖学的要素(または器具および背景)の一部を表す場合、値として1を示し、ピクセルがこれらの解剖学的要素(または器具および背景)の一部を表さない場合、0を示す。
関数f2は、カップル(I、f1(I))に、事前定義された各基準(Crit 1、Crit 2、Crit 3)が有効であるかどうかを表すトリプレット(c1、c2、c3)をそれぞれ関連付ける。したがって、
c1は、胆嚢肝三角(より正確には、画像内の胆嚢肝三角を表す処理要素)が脂肪組織と繊維組織(より正確には、脂肪組織と繊維組織とを表す処理要素)を含まない場合(Crit 1)、「1」の値を取ることができ、そうでない場合、「0」の値を取ることができ、
c2は、肝床を露出させるために胆嚢の下3分の1が肝臓から分離されている場合(Crit 2)、「1」の値を取ることができ、そうでない場合、「0」の値を取ることができ、
c3は、胆嚢管および胆嚢動脈が胆嚢に入っていることが明らかな場合(Crit 3)、「1」の値を取ることができ、そうでない場合、「0」の値を取ることができる。
2つのパラメータ化された関数f1およびf2のパラメータは、特に、機械学習アルゴリズムを使用することによって決定され、次いでメモリ43内に記憶される。
第1のパラメータ化された関数f1は、ニューロンの1つまたは複数の層の人工ニューラルネットワークとして定義され得る。ネットワークの層の各ニューロンは、その入力が前の層の出力からの重み付けされた値である活性化関数である。活性化関数は、例えば、シグモイド関数、双曲線正接関数、またはヘヴィサイドの階段関数であり得る。重みは、関数f1のパラメータを構成する。これらのパラメータを決定するために、参照ビデオ(または画像の参照シーケンス)からの画像に対して機械学習アルゴリズムが使用される。したがって、機械学習アルゴリズムは、f1が画像に適用されたときのf1の結果と、期待される結果、すなわち、行列M4からM10のセルの期待値との間の距離を最小化するようにパラメータを決定する。期待値は、特定の手術処置に関連する分野の専門家によって、例えば、(パラメータを決定するために)使用される各画像における様々な解剖学的要素を決定することによって決定され得る。
第1のパラメータ化された関数f1と同様に、第2のパラメータ化された関数f2は、ニューロンの1つまたは複数の層の人工ニューラルネットワークとして定義され得る。ネットワークの層の各ニューロンは、その入力が前の層の出力からの重み付けされた値である活性化関数である。活性化関数は、例えば、シグモイド関数、双曲線正接関数、またはヘヴィサイドの階段関数であり得る。重みは、関数f2のパラメータを構成する。これらのパラメータを決定するために、参照ビデオ(または画像の参照シーケンス)からの画像に対して機械学習アルゴリズムが使用される。したがって、機械学習アルゴリズムは、f2が参照組合せに適用されたときのf2の結果と、期待される結果、すなわち、上記で示した値c1、c2、およびc3との間の距離を最小化するようにパラメータを決定する。したがって、期待値c1、c2、およびc3と、f2が学習を行うために使用された画像の参照シーケンスからの画像に対応する行列のnタプル(M1、...、M10)に適用されたときの関数f2の結果との間の距離が最小化される。
パラメータ化された関数f1およびf2のパラメータが、特定の手術処置、すなわち、この場合は胆嚢摘出術に関連する参照ビデオを含むデータベースによって識別されると、これらは、メモリ43内に記憶される。
ステップS1において、ビデオストリーム処理デバイス40は、外科用カメラ41とインターフェースするインターフェースモジュールを介して、画像のシーケンス34(またはビデオストリーム)の最後の画像35の符号化に対応するデータを受信する。例えば、ビデオストリーム処理デバイス40は、最後の画像35に対応するMPEGフォーマットにおけるデータを受信する。以前に受信された画像のシーケンス34内の画像は、ビデオストリーム処理デバイス40によって処理されているか、またはすでに処理されている。したがって、最後の画像35は、処理されるべき次の画像である。ビデオストリームが中断されない場合、他の画像がデバイス40によって受信され、画像35の後に処理される。
ステップS2において、プロセッサ42は、考慮される3つの基準(Crit 1、Crit 2、Crit 3)に関連する値のトリプレット(c1、c2、c3)を取得するために、処理関数Fを画像35に適用する。画像35は、上記で示したように、行列のトリプレット(M1、M2、M3)によって表され得る。したがって、この行列トリプレットに対するFの結果は、F(M1,M2,M3)=f2[(M1,M2,M3),f1(M1,M2,M3)]=f2(M1,...,M10)によって取得され得る。
処理関数Fは、画像35の処理が2つのステップ、すなわち、行列のトリプレット(M1、M2、M3)への第1のパラメータ化された関数f1の適用、次いで画像35(すなわち、行列のトリプレット(M1、M2、M3))と、第1のパラメータ化された関数f1の結果(すなわち、行列の7タプル(M4,...,M10))との組合せへの第2のパラメータ化された関数f2の適用、すなわち、nタプル(M1,...,M10)への第2のパラメータ化された関数f2の適用において行われ得る場合であっても、有利には、処理された画像35を表す行列のトリプレット(M1、M2、M3)に単一のステップにおいて適用される。処理関数が2つのステップにおいて適用される場合、処理関数Fの結果の妥当性を容易に検証または監視するために、第1のパラメータ化された関数f1の結果にオプションの検証が適用され得る。
したがって、図1の例において、処理関数Fの結果は、(c1,c2,c3)=(1,1,1)であり、すなわち、3つの基準は、満たされる。処理関数Fの結果は、値のトリプレットであり得、各値は、基準が満たされたことの信頼性のレベルを示す。例えば、(c1,c2,c3)=(58,32,99)の場合、基準1が満たされる信頼度は、58%、基準2が満たされる信頼度は、32%、基準3が満たされる信頼度は、99%とみなす。
ステップS3において、プロセッサ42は、この画像について満たされたまたは満たされない基準に基づいて、最後の画像34に関連する手術ステップの進行状態を決定する。図1の例において、特定の手術処置の手術ステップは、胆嚢の最終的なアブレーションの前に必要とされる準備ステップである。3つの事前定義された基準(Crit 1、Crit 2、Crit 3)が満たされていれば、準備ステップの進行状態は、画像のシーケンス34からの画像35において「最終」(または、準備ステップの100%が完了した)である。したがって、準備ステップは、完了とみなされ得る。基準のうちの1つが満たされない場合、準備ステップの進行状態は、未完了(または、準備ステップの66%が完了した)である。2つの基準が満たされない場合、準備ステップの進行状態は、未完了(または、準備ステップの33%が完了した)である。または、いずれの基準も満たされない場合、準備ステップの進行状態は、「初期」(または、準備ステップの0%が完了した)である。
進行状態は、画像のシーケンス34内の画像(ここでは画像35)に関連付けられる。したがって、プロセッサ42は、画像のシーケンス34内の各画像について進行状態を計算している場合がある。
ステップS4において、プロセッサ42は、ステップS4において計算された進行状態に基づいて、手術プロトコルからの逸脱を判断する。
逸脱は、画像のシーケンス34からのいくつかの画像の処理を必要とする指標であり得る。実際、進行状態は、画像35のキャプチャの時刻tにおける状態であり得るが、逸脱は、進行状態のシーケンス(すなわち、基準を検証する際のシーケンス)を考慮した分析であり得る。したがって、プロセッサ42は、画像のシーケンス34の進行状態の進展を計算し、これからの偏差を推論することができ、例えば、
プロトコルの同じ進行状態までの基準に対する検証順序と比較した、事前定義された基準の検証順序における差異、および/または
外科医が作用している解剖学的要素の部分と、プロトコルの観点において、ステップS3において計算された進行状態の直後の外科医のアクションによって関係されるべき解剖学的要素の部分との間の差異、
画像のシーケンス34の進行状態の進展間の差異
を推論することができる。
このステップは、オプションである。
ステップS5において、プロセッサ42は、処理要素のグループ、すなわち解剖学的要素の一部を表す処理要素のセットの特性値と、画像35に関連する進行状態と同じ進行状態に関連する参照特性値(例えば、解剖学的要素の同じ部分を表す処理要素のグループの特性の平均)との間の偏差を決定する。偏差を決定するために、値の範囲が決定され得る。したがって、偏差は、ピクセルのグループが、その値が参照値を含む値の範囲外にある特性(サイズ、形状、配置、または色)を有するという事実、すなわち、特性が異常な解剖学的要素の部分に対応する。
ステップS6において、プロセッサ42は、ステップS5において決定された各偏差に関連するリスクのレベルを決定する。各特性に対して、リスクのいくつかのレベルが提供され得、それらのレベルは、互いに入れ子になったいくつかの範囲に対応する。リスクのレベルは、実行される手術処置に関連するリスクに関連する。
ステップS5およびS6は、他の実施形態、例えば、ステップS4において説明した実施形態と組み合わされ得る実施形態の一部である。しかしながら、これらのステップは、オプションである。
ステップS7において、プロセッサ42は、表示手段50において情報を表示するために、表示手段とインターフェースするインターフェースモジュール44を制御する。表示されるべき情報は、ステップS3において決定された進行状態に依存する情報である。図1の例における表示手段は、手術室内に配置されたスクリーンであり、そこに表示される情報は、手術処置を実行する外科医を対象としている。しかしながら、表示手段は、任意の他のタイプ(眼鏡、プロジェクタなど)であり得、外科医以外の人、例えば、診療所もしくは病院の管理メンバー、または手術処置を監督する外科医を対象とし得る。
表示される情報は、以下であり得る。
ステップS4において決定された手術プロトコルからの逸脱に依存する情報(警告の形で提示され得る)。したがって、スクリーンは、基準がプロトコルによって必要とされる順序において検証されていないことを示し得る。スクリーンは、外科医が作用している解剖学的要素が、進行状態におけるその段階においてプロトコルコンテキストに関与する解剖学的要素に対応しないことも表示し得る。進行状態が手術プロトコルの進行状態に対応しないことを示す情報、例えば、関連する手術ステップの開始時に進行状態が非常に速く変化し、その後非常に遅く変化することを示す情報も表示し得る。
ステップS2においてテストされた基準のうちの1つが満たされないことを示す情報。
いくつかの情報52が3つの基準が満たされた(すなわち、検証された)ことを示す、図1において説明したように満たされた基準を示す情報。
手術ステップのステップを検証する情報、または次の手術ステップの開始を許可する情報。図1の例において、3つの基準が満たされた後、準備ステップは、「OK」51によって検証される。
ステップS6において決定されたリスクのレベルに関する情報。
画像35内に示されるゾーン。このゾーンは、外科的アクションが実行されるべきゾーンを示し得る。逆に、このゾーンは、外科的アクションが実行されるべきではない、またはリスクのある解剖学的要素が存在するゾーンを示し得る。
ステップS3において決定された手術ステップの進行状態に関する情報。
特定の手術処置に関連する画像の参照シーケンス(または参照ビデオ)からの画像であって、画像またはビデオは、ステップS3において決定された進行状態と同じ進行状態またはそれに続く進行状態に対応する画像である。
情報は、図1の例における場合のように、画像35と組み合わせて表示され得る。この情報は、現在進行中の手術ステップの重要度および表示されるべき情報の重要度に適合され得る。したがって、基準の妥当性の確認は、リスクのレベルに関する情報、またはリスクのある解剖学的要素が位置するゾーンに関する情報よりも目立たない方法で表示され得る。図1のスクリーンにおいて表示される情報は、スクリーンの左上において表示され、任意の他のレイアウトが可能である。
ステップS2からS7は、符号化モジュール33が処理されるべき画像を送信している限り、繰り返され得る。
ステップS8において、プロセッサ42は、進行状態に関連する手術ステップの重要度に従って、画像のシーケンス(例えば、画像35に続く次の1分のビデオ内の画像)からの画像の周りに時間的的に構成されるシーケンスの画像を記憶する(またはより高精細におよび/もしくはビデオストリームの残りの記憶と比較してビデオストリームのこの部分のより多くの画像を保持しながら記憶する)ようにデバイスを制御する。
手術ステップの重要性または非重要性は、手術プロトコルによって示され得る。
記憶は、メモリ43またはデータセンタにおいて実行され得る。したがって、これらのストリームの関連部分を保持することを優先することによって、より多くの量のビデオストリームを保持することが可能である。
1 外科医
2 患者
31 レンズ
32 光ファイバ
33 符号化モジュール
34 画像のシーケンス
35 処理された画像、画像、処理されるべき画像、処理されるべき画像I
40 ビデオストリーム処理デバイス、デバイス
41 外科用カメラとインターフェースするインターフェースモジュール(INT_CAM)
42 プロセッサ(PROC)、プロセッサ
43 メモリ(MEMO)、メモリ
44 表示手段とインターフェースするインターフェースモジュール(INT_SCR)
50 表示手段
51 「OK」
52 情報
ステップS3において、プロセッサ42は、この画像について満たされたまたは満たされない基準に基づいて、最後の画像35に関連する手術ステップの進行状態を決定する。図1の例において、特定の手術処置の手術ステップは、胆嚢の最終的なアブレーションの前に必要とされる準備ステップである。3つの事前定義された基準(Crit 1、Crit 2、Crit 3)が満たされていれば、準備ステップの進行状態は、画像のシーケンス34からの画像35において「最終」(または、準備ステップの100%が完了した)である。したがって、準備ステップは、完了とみなされ得る。基準のうちの1つが満たされない場合、準備ステップの進行状態は、未完了(または、準備ステップの66%が完了した)である。2つの基準が満たされない場合、準備ステップの進行状態は、未完了(または、準備ステップの33%が完了した)である。または、いずれの基準も満たされない場合、準備ステップの進行状態は、「初期」(または、準備ステップの0%が完了した)である。

Claims (12)

  1. 特定の手術処置に関連するビデオストリームを処理するためのデバイスであって、前記デバイスが、
    ビデオストリーム受信インターフェースと、
    プロセッサと、
    命令を記憶するメモリと
    を備え、これらの命令が前記プロセッサによって実行されると、
    前記ビデオストリーム受信インターフェースを介して、解剖学的要素の少なくとも一部を表す処理されるべき画像を含む画像のシーケンスを含む前記ビデオストリームを受信する動作であって、前記処理されるべき画像が、処理要素によって形成されている、受信する動作と、
    処理関数によって、前記処理されるべき画像において基準が満たされているかどうかを判断する動作であって、前記処理関数が、第1のパラメータ化された関数および第2のパラメータ化された関数で構成され、
    前記第1のパラメータ化された関数のパラメータが、前記画像に適用された前記第1のパラメータ化された関数の結果が前記解剖学的要素の前記一部を表す前記画像の前記処理要素を決定することを可能にするように、画像の参照シーケンスからの画像に基づいて機械学習アルゴリズムによって取得され、前記画像の参照シーケンスが、以前に記録され、前記特定の手術処置に関連し、前記画像の参照シーケンスからの前記画像が、解剖学的要素の少なくとも一部を表し、
    前記第2のパラメータ化された関数のパラメータが、前記画像に適用された前記第2のパラメータ化された関数の結果が、前記画像に適用された前記第1のパラメータ化された関数の前記結果と組み合わせて、前記基準が満たされるかどうかを判断することを可能にするように、前記画像の参照シーケンスからの前記画像に適用された前記第1のパラメータ化された関数の前記結果と組み合わされた前記画像の参照シーケンスからの前記画像に基づいて機械学習モデルによって取得される、
    判断する動作と、
    前記基準が満たされるかどうかに基づいて、前記処理されるべき画像に関連する進行状態を決定する動作であって、前記進行状態が、前記特定の手術処置の手術ステップの進行状態を表す、決定する動作と
    を行うように前記デバイスを構成する、
    デバイス。
  2. 前記命令が前記プロセッサによって実行されると、前記命令が、
    前記決定された進行状態に基づいて、前記処理されるべき画像の周囲の時間間隔内にある前記画像のシーケンスからの画像を記憶する
    ために前記デバイスを構成する、
    請求項1に記載のデバイス。
  3. 記憶される画像の数が、前記手術ステップの重要度および/または前記決定された進行状態に依存する、請求項2に記載のデバイス。
  4. 表示手段をさらに備え、
    前記命令が前記プロセッサによって実行されると、前記命令が、
    前記処理されるべき画像とともに、前記進行状態に依存する情報を前記表示手段において表示する
    ために前記デバイスを構成する、
    請求項1から3のいずれか一項に記載のデバイス。
  5. 前記命令が前記プロセッサによって実行されると、前記命令が、
    前記進行状態に基づいて、手術プロトコルからの逸脱を判断する
    ために前記デバイスを構成し、
    前記進行状態に依存する前記情報が、前記判断された逸脱に依存する、
    請求項4に記載のデバイス。
  6. 前記進行状態に依存する情報の前記表示が、前記進行状態によって表される前記手術ステップの重要性に従う、請求項4または5に記載のデバイス。
  7. 前記進行状態に依存する前記情報が、前記基準が有効化されていないことを示す情報を含む、請求項4から6のいずれか一項に記載のデバイス。
  8. 前記進行状態に依存する前記情報が、手術ステップのステップを有効化する情報、または次の手術ステップの開始を許可する情報を含む、請求項4から7のいずれか一項に記載のデバイス。
  9. 前記命令が前記プロセッサによって実行されると、前記命令が、
    前記解剖学的要素の前記一部を表す前記画像の処理要素のグループの特性の少なくとも1つの値と基準値との間の偏差を決定する動作であって、前記基準値が、前記解剖学的要素の前記一部を表し、前記進行状態と同じ進行状態に関連する処理要素のグループの前記特性の前記値の平均である、決定する動作と
    この偏差に関連するリスクのレベルを決定する動作と
    を行うために前記デバイスを構成し、
    前記進行状態に依存する前記情報が、前記リスクのレベルを含む、
    請求項4から8のいずれか一項に記載のデバイス。
  10. 前記進行状態に依存する前記情報が、
    外科的アクションが実行されるべきゾーン、および/または
    外科的アクションが存在しないゾーン、および/または
    特別な注意を必要とする解剖学的要素が存在するゾーン、および/または
    前記進行状態を決定するために考慮される処理要素に対応するゾーン
    を含む、
    請求項4から9のいずれか一項に記載のデバイス。
  11. 前記進行状態に依存する前記情報が、前記進行状態に対応する前記画像から始まる前記画像の参照シーケンスからの画像を含む、請求項4から10のいずれか一項に記載のデバイス。
  12. プロセッサによって実行されると、
    ビデオストリーム受信インターフェースを介して、解剖学的要素の少なくとも一部を表す処理されるべき画像を含む画像のシーケンスを含むビデオストリームを受信するステップであって、前記処理されるべき画像が、処理要素によって形成されている、受信するステップと、
    処理関数によって、前記処理されるべき画像において基準が満たされているかどうかを判断するステップであって、前記処理関数が、第1のパラメータ化された関数および第2のパラメータ化された関数で構成され、
    前記第1のパラメータ化された関数のパラメータが、前記画像に適用された前記第1のパラメータ化された関数の結果が前記解剖学的要素の前記一部を表す前記画像の前記処理要素を決定することを可能にするように、画像の参照シーケンスからの画像に基づいて機械学習アルゴリズムによって取得され、前記画像の参照シーケンスが、以前に記録され、特定の手術処置に関連し、前記画像の参照シーケンスからの前記画像が、解剖学的要素の少なくとも一部を表し、
    前記第2のパラメータ化された関数のパラメータが、前記画像に適用された前記第2のパラメータ化された関数の結果が、前記画像に適用された前記第1のパラメータ化された関数の前記結果と組み合わせて、前記基準が満たされるかどうかを判断することを可能にするように、前記画像の参照シーケンスからの前記画像に適用された前記第1のパラメータ化された関数の前記結果と組み合わされた前記画像の参照シーケンスからの前記画像に基づいて機械学習モデルによって取得される、
    判断するステップと、
    前記基準が満たされるかどうかに基づいて、前記処理されるべき画像に関連する進行状態を決定するステップであって、前記進行状態が、前記特定の手術処置の手術ステップの進行状態を表す、決定するステップと
    を含む、前記特定の手術処置に関連するビデオストリームを処理するための方法を実装する命令を含むコンピュータプログラム。
JP2022576834A 2020-06-12 2021-06-11 外科手術に関連するビデオストリームの処理 Pending JP2023529223A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR2006178A FR3111463B1 (fr) 2020-06-12 2020-06-12 Traitement de flux vidéo relatifs aux opérations chirurgicales
FR2006178 2020-06-12
PCT/FR2021/051053 WO2021250362A1 (fr) 2020-06-12 2021-06-11 Traitement de flux vidéo relatifs aux opérations chirurgicales

Publications (1)

Publication Number Publication Date
JP2023529223A true JP2023529223A (ja) 2023-07-07

Family

ID=73138889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022576834A Pending JP2023529223A (ja) 2020-06-12 2021-06-11 外科手術に関連するビデオストリームの処理

Country Status (7)

Country Link
US (1) US20230240788A1 (ja)
EP (1) EP4165548A1 (ja)
JP (1) JP2023529223A (ja)
KR (1) KR20230048298A (ja)
CA (1) CA3181667A1 (ja)
FR (1) FR3111463B1 (ja)
WO (1) WO2021250362A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021168408A1 (en) * 2020-02-20 2021-08-26 Smith & Nephew, Inc. Methods for arthroscopic video analysis and devices therefor

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3012640B1 (fr) * 2013-10-31 2018-07-20 Universite De Bretagne Occidentale Procede d'analyse semantique d'un flux video en cours d'acquisition, terminal, produit programme d'ordinateur et medium correspondant
CA2929282A1 (en) * 2013-10-31 2015-05-07 Health Research, Inc. System and method for a situation and awareness-based intelligent surgical system
US11515030B2 (en) * 2016-06-23 2022-11-29 Siemens Healthcare Gmbh System and method for artificial agent based cognitive operating rooms
WO2019040705A1 (en) * 2017-08-23 2019-02-28 The General Hospital Corporation SURGICAL DECISION SUPPORT USING A DECISION-MAKING MODEL
US20190069957A1 (en) * 2017-09-06 2019-03-07 Verily Life Sciences Llc Surgical recognition system
US11205508B2 (en) * 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
WO2020023740A1 (en) * 2018-07-25 2020-01-30 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for generating and providing artificial intelligence assisted surgical guidance

Also Published As

Publication number Publication date
FR3111463A1 (fr) 2021-12-17
EP4165548A1 (fr) 2023-04-19
WO2021250362A1 (fr) 2021-12-16
FR3111463B1 (fr) 2023-03-24
CA3181667A1 (fr) 2021-12-16
KR20230048298A (ko) 2023-04-11
US20230240788A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
CN113543694B (zh) 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质
US10248756B2 (en) Anatomically specific movie driven medical image review
US20210012133A1 (en) Intelligent Image Segmentation Prior to Optical Character Recognition (OCR)
WO2020083298A1 (zh) 医学影像的识别方法、装置、存储介质和电子设备
KR101789166B1 (ko) 이미지 기반 황달 진단 방법 및 장치, 이미지 기반 황달 진단 보조 장치
JP2023529223A (ja) 外科手術に関連するビデオストリームの処理
CN110742690A (zh) 一种用于配置内窥镜的方法及终端设备
US20080165247A1 (en) Image processing apparatus and method
JP7562193B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
KR102034648B1 (ko) 의료영상 관리 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
WO2019220871A1 (ja) 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
CN109658425A (zh) 一种肺叶分割方法、装置、计算机设备及存储介质
CN114187582B (zh) 一种基于人工神经网络技术的人工心肺机数据记录方法
CN112991333B (zh) 一种内窥镜手术中基于语音分析的图像处理方法及系统
CN114882742A (zh) 基于vr技术的耳内镜手术模拟教学方法、系统、设备和介质
JPH119547A (ja) 内視鏡システム
CN115409953B (zh) 基于多相机颜色一致性的颌面重建方法、设备及介质
US20230162388A1 (en) Learning device, control method, and storage medium
CN117456000B (zh) 一种内窥镜的对焦方法、装置、存储介质和电子设备
RU2813938C1 (ru) Устройство и способ для определения границ патологии на медицинском изображении
EP4372757A1 (en) Method and system for processing medical images
KR102561318B1 (ko) 인공 신경망을 이용하여 질병에 대한 치료 반응을 예측하는 방법 및 상기 방법을 수행하는 치료 반응 예측 장치
US20230360416A1 (en) Video based continuous product detection
TW201740871A (zh) 眼底影像重建方法
Taniai et al. Herbal Liqueur Effect Through Sublingual Vein Imaging Using Smartphone and Deep Learning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240611