WO2022158433A1 - 学習モデル生成方法、訓練データ生成方法、プログラム、情報処理装置及び情報処理方法 - Google Patents

学習モデル生成方法、訓練データ生成方法、プログラム、情報処理装置及び情報処理方法 Download PDF

Info

Publication number
WO2022158433A1
WO2022158433A1 PCT/JP2022/001482 JP2022001482W WO2022158433A1 WO 2022158433 A1 WO2022158433 A1 WO 2022158433A1 JP 2022001482 W JP2022001482 W JP 2022001482W WO 2022158433 A1 WO2022158433 A1 WO 2022158433A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
puncture
learning model
information
puncture line
Prior art date
Application number
PCT/JP2022/001482
Other languages
English (en)
French (fr)
Inventor
雄一 日置
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2022576679A priority Critical patent/JPWO2022158433A1/ja
Publication of WO2022158433A1 publication Critical patent/WO2022158433A1/ja
Priority to US18/346,848 priority patent/US20230346486A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3788—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument transmitter only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

学習モデル生成方法は、被検体の表面に接触させて使用する超音波プローブから得られる信号に基づき生成された被検体内における第１方向の第１画像と、第１方向に直交する第２方向の第２画像とを表示し、表示した第１画像及び前記第２画像それぞれについて、被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を受け付け、第１画像と、第１画像に対する穿刺ラインに関する情報とを含む訓練データに基づき、第１画像を入力した場合に穿刺ラインに関する情報を出力するよう学習された第１学習モデルを生成し、第２画像と、前記第２画像に対する穿刺ラインに関する情報とを含む訓練データに基づき、第２画像を入力した場合に穿刺ラインに関する情報を出力するよう学習された第２学習モデルを生成する。

Description

学習モデル生成方法、訓練データ生成方法、プログラム、情報処理装置及び情報処理方法
　本発明は、学習モデル生成方法、訓練データ生成方法、プログラム、情報処理装置及び情報処理方法に関する。
　従来、超音波画像生成装置が診察や検査に広く用いられている。超音波画像生成装置は、超音波プローブと共に用いられ、超音波プローブから被検体に超音波を照射し、そのエコー信号から被検体の断層画像を生成する装置である。
　そして、被検体の断層画像を観察しながら、医師が穿刺針等の穿刺器具を所望の部位に穿刺する穿刺術が広く行われており、このような穿刺術を支援する技術の開発が行われている。例えば特許文献１では、穿刺対象の血管の超音波画像を取得する際に、超音波プローブの押し込みによる当該血管の潰れ状態に関する情報を提供し、医師若しくはロボットによる血管穿刺を迅速且つ正確に行えるようにする穿刺支援システムが開示されている。
特許第５９２０７４６号公報
　しかしながら、特許文献１に記載の穿刺支援システムは、現在の超音波プローブの押し込み状態により穿刺のし易さを判定するものであり、穿刺術者による被検体への穿刺器具の刺入を好適に支援するものではないといった問題がある。
　本開示の目的は、穿刺を好適に支援することが可能な学習モデル生成方法等を提供することである。
　本開示の一態様に係る学習モデル生成方法は、被検体の表面に接触させて使用する超音波プローブから得られる信号に基づき生成された被検体内における第１方向の第１画像と、前記第１方向に直交する第２方向の第２画像とを表示し、表示した前記第１画像及び前記第２画像それぞれについて、前記被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を受け付け、前記第１画像と、前記第１画像に対する穿刺ラインに関する情報とを含む訓練データに基づき、第１画像を入力した場合に穿刺ラインに関する情報を出力するよう学習された第１学習モデルを生成し、前記第２画像と、前記第２画像に対する穿刺ラインに関する情報とを含む訓練データに基づき、第２画像を入力した場合に穿刺ラインに関する情報を出力するよう学習された第２学習モデルを生成する。
　本開示の一態様に係る訓練データ生成方法は、被検体の表面に接触させて使用する超音波プローブから得られる信号に基づき生成された被検体内における第１方向の第１画像と、前記第１方向に直交する第２方向の第２画像とを表示し、表示した前記第１画像及び前記第２画像それぞれについて、前記被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を受け付け、前記第１画像及び前記第２画像と、前記穿刺ラインに関する情報とを訓練データとして対応付けて記憶する。
　本開示の一態様に係るプログラムは、被検体の表面に接触させて使用する超音波プローブから得られる信号に基づき生成された被検体内における第１方向の第１画像と、前記第１方向に直交する第２方向の第２画像とを取得し、第１画像を入力した場合に被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を出力するよう学習された第１学習モデルに、取得した前記第１画像を入力して、前記第１学習モデルから出力される穿刺ラインに関する情報を取得し、第２画像を入力した場合に被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を出力するよう学習された第２学習モデルに、取得した前記第２画像を入力して、前記第２学習モデルから出力される穿刺ラインに関する情報を取得する処理をコンピュータに実行させる。
　本開示によれば、穿刺を好適に支援することができる。
第１実施形態における支援システムの概要図である。 支援システムの構成例を示すブロック図である。 第１学習モデル及び第２学習モデルの概要を示す説明図である。 訓練データＤＢに記憶される情報の内容例を示す図である。 訓練データの生成処理手順の一例を示すフローチャートである。 受付画面の一例を示す模式図である。 学習モデルの生成処理手順の一例を示すフローチャートである。 支援情報の出力処理手順の一例を示すフローチャートである。 表示装置に表示される画面の一例を示す模式図である。 表示装置に表示される画面の一例を示す模式図である。 第２実施形態における第１学習モデル及び第２学習モデルの構成を示す模式図である。 第３実施形態における処理の流れを説明する説明図である。 第３実施形態における訓練データの生成処理手順の一例を示すフローチャートである。 第３実施形態における支援情報の出力処理手順の一例を示すフローチャートである。 第４実施形態における学習モデルの再学習処理の一例を示すフローチャートである。
　本開示をその実施の形態を示す図面を参照して具体的に説明する。
（第１実施形態）
　図１は、第１実施形態における支援システムの概要図である。支援システムは、情報処理装置１、超音波プローブ２及び画像処理装置３を備える。超音波プローブ２及び画像処理装置３は有線又は無線により接続されており、各種信号を送受信することができる。情報処理装置１及び画像処理装置３は、ＬＡＮ（Local Area Network）、インターネット等のネットワークＮに通信接続されている。
　本実施形態における支援システムは、穿刺対象とする被検体（被検者）の超音波画像に基づき、被検体への穿刺を支援する支援情報を生成する。例えば、医師等の術者は、生成された支援情報を用いて、穿刺針等の穿刺器具を対象部位に差し込み、血管に刺入する血管穿刺を行う。
　超音波プローブ２は、被検体の器官を超音波で走査する装置であり、超音波走査は画像処理装置３によって制御される。超音波プローブ２は、例えば、複数の振動素子からなる振動子アレイ２１と、不図示の音響整合層及び音響レンズとを備える。振動子アレイ２１は、画像処理装置３から出力される駆動信号に従い超音波を発生させる。振動子アレイ２１で発生した超音波は、音響整合層及び音響レンズを介して超音波プローブ２から被検体の生体へ送信される。音響整合層は、振動子アレイ２１と、被検体との間の音響インピーダンスを整合させるための部材である。音響レンズは、振動子アレイ２１から広がる超音波を収束させて被検体へ送信するための素子である。超音波プローブ２から被検体へ送信された超音波は、被検体の器官における音響インピーダンスの不連続面で反射され、振動子アレイ２１にて受信される。反射波の振幅は、反射面における音響インピーダンスの差に依存する。反射波の到達時間は、当該反射面の深さに依存する。振動子アレイ２１は、反射された超音波の振動圧力を電気信号に変換する。以下、当該電気信号をエコー信号と呼ぶ。超音波プローブ２はエコー信号を画像処理装置３へ出力する。
　画像処理装置３は、超音波プローブ２からのエコー信号に基づいて超音波断層像を生成する。本実施形態では、超音波プローブ２は、穿刺対象である被検者の皮膚に接触して使用され、当該超音波プローブ２が接触する皮膚下の、血管を含む体内部分の超音波断層像が生成される。画像処理装置３は、生成した超音波断層像及び当該超音波断層像に応じた支援情報を医師等に表示するための表示装置４と、医師等からの入力操作を受け付けるための入力装置５とを備えている。
　本実施形態における超音波プローブ２は、第１振動子アレイ２１１及び第２振動子アレイ２１２を含む振動子アレイ２１を有するＴ字型超音波プローブである。第１振動子アレイ２１１及び第２振動子アレイ２１２は、超音波プローブ２本体の略平坦な底面上にて、互いに同一面内において直交配置されている。第１振動子アレイ２１１及び第２振動子アレイ２１２はそれぞれ、配置方向に応じた被検体の器官を走査する。画像処理装置３は、第１振動子アレイ２１１及び第２振動子アレイ２１２それぞれからの同一時点におけるエコー信号に基づき、被検者の体内部分の第１方向の断面を示す第１画像（超音波断層像）と、当該第１方向に直交する第２方向の断面を示す第２画像（超音波断層像）とを生成する。例えば超音波プローブ２は、Ｔ字形状の下端部を血管の近位（基端）方向に、Ｔ字形状の上端部を血管の遠位（末梢）方向に向けて、第１振動子アレイ２１１を血管の走行方向に沿うよう被検者の皮膚表面に接触させて使用される。これにより、画像処理装置３は、同一時点における血管の長軸方向（走行方向）に沿った第１方向の断面画像である第１画像（長軸断面画像）と、第１方向に直交する方向、すなわち血管の短軸方向を示す第２方向の断面画像である第２画像（短軸断面画像）とを生成することができる。第１画像及び第２画像には、例えば、血管、皮下組織、皮膚表面、血栓、石灰化病変等が含まれている。
　なお、超音波プローブ２は上述のＴ字型超音波プローブに限定されるものではない。１軸の超音波プローブを用いる場合においては、被検体の血管の長軸方向に沿った第１方向のエコー信号を取得した後、第１方向に直交する第２方向のエコー信号を連続して取得することにより、撮像時点の近似する第１画像及び第２画像を取得するものであってよい。
　情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。情報処理装置１は、画像処理装置３及び超音波プローブ２が設置される施設（病院等）内に設置されたローカルサーバであってもよく、インターネット等を介して通信接続されたクラウドサーバであってもよい。情報処理装置１は、画像処理装置３を介して取得した超音波断層像に基づき支援情報を生成する。情報処理装置１は、生成した支援情報を画像処理装置３に出力し、表示装置４に表示させる。
　支援情報は、被検体への穿刺を支援するための情報であり、例えば被検体に穿刺される穿刺針等の穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報が含まれる。より具体的には、支援情報には、刺入位置及び刺入方向を示す穿刺ライン、又は、穿刺ラインに対する評価点数等の評価情報が含まれる。情報処理装置１は、後述する学習モデルを用いて、第１画像及び第２画像に応じた支援情報を生成する。すなわち、情報処理装置１は、第１画像及び第２画像にて示される被検者の血管等の状況に適した穿刺ラインに関する情報を生成する。例えば、穿刺器具の先端には超音波不透過マーカが装着されており、第１画像及び第２画像において穿刺器具の位置が可視化される。医師等の術者は、第１画像及び第２画像上に表示される穿刺ラインに関する情報と、穿刺器具の位置とを比較しながら好適な穿刺を行うことができる。
　本実施形態の支援システムは、特に、皮膚表面からの距離が遠く、血流量が多い下肢血管（例えば浅大腿骨動脈）への穿刺において好適に適用される。支援システムにより提供される支援情報を利用することで、下肢穿刺のように穿刺ラインの特定に熟練の技術を要する場合において、未熟な術者であっても熟練者と同様の穿刺内容を実施することが可能となる。
　図２は、支援システムの構成例を示すブロック図である。情報処理装置１は、制御部１１、主記憶部１２、補助記憶部１３、通信部１４、表示部１５及び操作部１６を備える。なお、情報処理装置１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
　制御部１１は、一又は複数のＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置である。制御部１１は、補助記憶部１３に記憶されたプログラム１３Ｐを読み出して実行することにより、サーバコンピュータを支援情報の生成に関する各種処理を行う情報処理装置として機能させる。
　主記憶部１２は、ＳＲＡＭ（Static Random Access Memory ）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域である。主記憶部１２は、制御部１１の演算処理を実行する際に補助記憶部１３から読み出されたプログラム１３Ｐ、又は制御部１１の演算処理によって生ずる各種データを一時的に記憶する。
　補助記憶部１３は、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM ）、フラッシュメモリ等の不揮発性記憶領域である。補助記憶部１３は情報処理装置１に接続された外部記憶装置であってもよい。補助記憶部１３は、制御部１１が処理を実行するために必要なプログラム１３Ｐを含むプログラム及びデータを記憶している。また、補助記憶部１３は、第１学習モデル１３１、第２学習モデル１３２及び訓練データＤＢ（Data Base ：データベース）１３４を記憶している。第１学習モデル１３１及び第２学習モデル１３２はそれぞれ、訓練データを学習済みの機械学習モデルである。第１学習モデル１３１及び第２学習モデル１３２は、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。各学習モデル及び訓練データＤＢ１３４の詳細は後述する。補助記憶部１３は、さらに第３学習モデル１３３を記憶していてもよい。第３学習モデル１３３については他の実施形態で詳述する。
　プログラム１３Ｐは、記録媒体１Ａにコンピュータ読み取り可能に記録されている態様でもよい。補助記憶部１３は、図示しない読出装置によって記録媒体１Ａから読み出されたプログラム１３Ｐを記憶する。記録媒体１Ａはフラッシュメモリ等の半導体メモリ、光ディスク、磁気ディスク、磁気光ディスク等である。また、通信網に接続されている図示しない外部サーバから本実施形態に係るプログラム１３Ｐをダウンロードし、補助記憶部１３に記憶させる態様であってもよい。
　通信部１４は、通信に関する処理を行うための通信モジュールである。制御部１１は、通信部１４を介して画像処理装置３と情報の送受信を行う。
　表示部１５は、第１画像及び第２画像、支援情報等の情報を出力する出力装置である。出力装置は、例えば液晶ディスプレイ又は有機ＥＬ（electroluminescence ）ディスプレイである。
　操作部１６は、ユーザの操作を受け付ける入力装置である。入力装置は、例えばキーボード、タッチパネル等のポインティングデバイスである。
　画像処理装置３は、制御部３１、主記憶部３２、補助記憶部３３、通信部３４、入出力部３５及びプローブ制御部３６を備える。
　制御部３１は、一又は複数のＣＰＵ、ＧＰＵ等の演算処理装置である。主記憶部３２は、ＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ等の一時記憶領域である。制御部３１は、補助記憶部３３に記憶されたプログラムを読み出して実行することにより、種々の情報処理を行う。
　主記憶部３２は、制御部１１の演算処理を実行する際に補助記憶部１３から読み出されたプログラム、又は制御部１１の演算処理によって生ずる各種データを一時的に記憶する。
　補助記憶部１３は、ハードディスク、ＥＥＰＲＯＭ、フラッシュメモリ等の不揮発性記憶領域である。補助記憶部１３は、制御部１１が処理を実行するために必要なプログラム及びデータを記憶している。補助記憶部１３は、上述の各学習モデルを記憶していてもよい。
　通信部３４は、通信に関する処理を行うための通信モジュールである。制御部３１は、通信部３４を介して情報処理装置１と情報の送受信を行い、支援情報を取得する。
　入出力部３５は、外部装置を接続するための入出力Ｉ／Ｆ（インタフェース）である。入出力部３５には、表示装置４及び入力装置５が接続されている。表示装置４は、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等である。入力装置５は、例えばキーボード、タッチパネル等のポインティングデバイスである。制御部３１は、入出力部３５を介して、第１画像及び第２画像、支援情報等を表示装置４へ出力する。また制御部３１は、入出力部３５を介して、入力装置５に入力された情報を受け付ける。
　プローブ制御部３６は、図示を省略する駆動制御部、送受信制御部、画像生成部等を備えている。プローブ制御部３６には、超音波プローブ２が接続されている。プローブ制御部３６は、超音波プローブ２による超音波走査の処理を制御する。具体的には駆動信号を超音波プローブ２から出力することによって超音波を発生させ、超音波プローブ２から出力されるエコー信号を受信する。またプローブ制御部３６は、受信したエコー信号に基づいて、第１画像及び第２画像（超音波断層像）を生成する処理を実行する。プローブ制御部３６は、エコー信号を受信する都度、リアルタイムで一連の第１画像及び第２画像を生成する。第１画像及び第２画像はそれぞれ、例えば反射波の強度を輝度で表したＢモード画像であり、器官の２次元断層像が再現される。なお、第１画像及び第２画像の種は特に限定されるものではない。プローブ制御部３６の機能および構成は、従来から使用されている画像処理装置と同様であるため、詳細な説明を省略する。なお、制御部３１が、プローブ制御部３６の機能を実現してもよい。
　図３は、第１学習モデル１３１及び第２学習モデル１３２の概要を示す説明図である。第１学習モデル１３１は、被検者の血管の長軸方向の断面を示す第１画像と、被検者の血管の長軸方向に対する穿刺ラインとを入力として、当該穿刺ラインに対する評価点数を示す情報を出力する機械学習モデルである。第２学習モデル１３２は、被検者の血管の短軸方向の断面を示す第２画像と、被検者の血管の短軸方向に対する穿刺ラインとを入力として、当該穿刺ラインに対する評価点数を示す情報を出力する機械学習モデルである。第１学習モデル１３１と、第２学習モデル１３２とは同様の構成であるため、以下では第１学習モデル１３１の構成について説明する。
　情報処理装置１は、所定の訓練データを学習する機械学習を行って第１学習モデル１３１を事前に生成しておく。そして情報処理装置１は、画像処理装置３から取得した被検者の第１画像及び穿刺ラインを第１学習モデル１３１に入力し、穿刺ラインに対する評価点数を出力する。
　例えば第１学習モデル１３１は、深層学習によって生成されるニューラルネットワークモデルであり、多数の畳み込み層で入力画像の特徴量を抽出するＣＮＮ（Convolutional Neural Network）である。第１学習モデル１３１は、例えば、第１画像及び穿刺ラインが入力される入力層と、画像の特徴量を抽出する中間層と、評価点数を示す情報を出力する出力層とを有する。
　第１学習モデル１３１の入力層は、画像部分に含まれる第１画像及び穿刺ラインの入力を受け付ける複数のノードを有し、入力されたデータを中間層に受け渡す。中間層は、第１画像及び穿刺ラインの特徴量を抽出する複数のノードを有し、各種パラメータを用いて抽出された特徴量を出力層に受け渡す。中間層は、畳み込み層、プーリング層及び全結合層等を含んでよい。出力層は、評価点数を示す情報を出力する一又は複数のノードを有する。
　第１学習モデル１３１の入力層に入力される入力データには、第１画像及び穿刺ラインが含まれる。穿刺ラインは、第１画像に対する穿刺ラインを示す情報である。例えば、穿刺ラインは、穿刺ライン上の１点（例えば始点）を示す座標値と、刺入方向を示す角度とにより定義される。穿刺ラインは、ベクトル化して入力層に入力されてよい。なお、穿刺ラインは、座標値及び角度に基づき生成される穿刺ラインを示す画像データであってもよい。
　第１学習モデル１３１の出力層から出力される出力データは、穿刺ラインに対する評価点数である。評価点数は、例えば１０点満点で示され、点数が高い程評価がよく、すなわち穿刺リスクの低い穿刺ラインであることを示す。なお、穿刺ラインに対する評価態様は限定されるものではない。穿刺ラインに対する評価は、例えば１００分率であってもよく、複数の穿刺ラインにおける評価順位等であってもよい。
　第２学習モデル１３２は、第１学習モデル１３１と同様の構成であり、被検者の血管の短軸方向の断面を示す第２画像と、被検者の血管の短軸方向に対する穿刺ラインとを入力として、当該穿刺ラインに対する評価点数を示す情報を出力する。
　なお本実施形態においては、第１学習モデル１３１及び第２学習モデル１３２がＣＮＮであるものとするが、第１学習モデル１３１及び第２学習モデル１３２の構成はＣＮＮに限るものではない。第１学習モデル１３１及び第２学習モデル１３２は、例えばＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、又は、回帰木等、その他の学習アルゴリズムに基づく学習モデルであってもよい。
　図４は、訓練データＤＢ１３４に記憶される情報の内容例を示す図である。情報処理装置１は、第１学習モデル１３１及び第２学習モデル１３２の訓練（学習）のための訓練データを収集し、訓練データＤＢ１３４に記憶する。訓練データＤＢ１３４は、管理項目として、例えば、データＩＤ、種類、画像、穿刺ライン及び評価点数を含む。データＩＤ列には、訓練データを識別する識別情報が格納されている。種類列には、訓練データの種類を示す情報が含まれる。図４の例では、被検者の血管の長軸方向データであることを示す識別子「０」、又は、被検者の血管の短軸方向データであることを示す識別子「１」のいずれかが格納されている。画像列には、超音波プローブ２のエコー信号に基づき生成された被検者の血管の長軸断面画像データ又は短軸断面画像データが格納されている。穿刺ライン列には、穿刺ラインに係る始点の座標値及び角度が格納されている。穿刺ライン列にはさらに、穿刺ラインの長さが含まれてもよい。評価点数列には、穿刺ラインに対する評価点数が格納されている。なお図４は一例であって、訓練データＤＢ１３４の記憶内容は限定されるものではない。
　情報処理装置１は、穿刺支援を行う運用フェーズの前段階である学習フェーズにおいて、上述した訓練データを用いて第１学習モデル１３１及び第２学習モデル１３２を生成し、生成した第１学習モデル１３１及び第２学習モデル１３２を記憶する。そして、運用フェーズにおいて、記憶する第１学習モデル１３１及び第２学習モデル１３２を用いて、支援情報を生成する。
　以下に、上述した構成の支援システムにおいて、各装置が行う処理について説明する。図５は、訓練データの生成処理手順の一例を示すフローチャートである。以下の処理は、学習フェーズにおいて、情報処理装置１の補助記憶部１３に記憶されるプログラム１３Ｐに従って制御部１１により実行される。
　情報処理装置１の制御部１１は、画像処理装置３から第１画像及び第２画像を取得する（ステップＳ１１）。第１画像及び第２画像はそれぞれ、超音波プローブ２から出力された同一時点のエコー信号に基づいて生成された、同一時点における血管の長軸方向及び短軸方向の超音波断層画像である。
　制御部１１は、第１画像及び第２画像それぞれについて、複数の穿刺ラインの候補を生成する（ステップＳ１２）。制御部１１は、例えば、所定のルールに従い穿刺ラインの始点及び角度を対応付けた穿刺ライン候補テーブルから候補データを適宜読み出すことにより、所定数の穿刺ラインを生成してよい。制御部１１は、例えば、操作部１６を介して医師等により生成された穿刺ラインの入力を受け付けることにより、穿刺ラインを生成（取得）してもよい。
　制御部１１は、取得した第１画像及び第２画像と、生成した複数の穿刺ラインとを含む受付画面１５１を表示部１５に表示する（ステップＳ１３）。制御部１１は、各穿刺ラインに対する評価点数を受け付ける（ステップＳ１４）。
　図６は、受付画面１５１の一例を示す模式図である。受付画面１５１は、穿刺ライン表示部１５２、評価点数入力部１５３、登録ボタン等を含む。穿刺ライン表示部１５２は、第１画像及び第２画像それぞれに、複数の穿刺ラインの候補を重畳して表示する。穿刺ラインはそれぞれ、始点座標及び角度に基づく線等の描画オブジェクトにて示される。各穿刺ラインには、穿刺ラインを識別するための番号が対応付けて表示されている。図６の例では、第１画像及び第２画像上に、始点及び角度の異なる９個の穿刺ラインを示す描画オブジェクトがそれぞれ表示されている。評価点数入力部１５３は、各穿刺ラインの番号に対応付けられた、当該穿刺ラインに対する評価点数の入力を受け付けるための複数の入力ボックスを表示する。医師等は、各穿刺ラインに対する評価点数をそれぞれ入力する。受付画面１５１で、各穿刺ラインに対する評価点数が入力された状態で登録ボタンをタップすると、操作部１６に、各穿刺ラインに対する評価点数が入力される。制御部１１は、各穿刺ラインに対する評価点数を受け付ける。
　穿刺ラインに対する評価点数は、複数の評価項目に沿って算出される。例えば、長軸方向においては、穿刺ラインの角度が血管に対して４５度に近い程、評価が高い。穿刺ライン上に例えば血栓や石灰化等の病変が存在していない程、評価が高い。穿刺ライン周辺において血管の蛇行が少ない程、評価が高い。短軸方向においては、穿刺ラインが皮膚表面に対して垂直である程、評価が高い。穿刺ラインが血管の中心を通る（血管穿刺部が血管の真ん中である）程、評価が高い。なお評価が高いとは、穿刺リスクが低いことを示している。例えば熟練の医師等により、これらの知見に沿った評価点数が算出される。
　上記において、制御部１１は、各穿刺ラインに対する評価点数を受け付けるものに限定されない。制御部１１は、熟練の医師等から各穿刺ラインに対する評価順位を受け付けてもよい。また制御部１１は、評価の高い順に、評価順位に対応付けて所定数の穿刺ラインの選択を受け付けてもよい。なお、制御部１１は、受け付けた評価順位に基づき、自動で評価点数を算出してもよい。
　図５に戻り説明を続ける。制御部１１は、第１画像又は第２画像と、穿刺ラインとに対して、当該穿刺ラインに対する評価点数が正解値としてラベル付けされたデータセットである訓練データを生成する（ステップＳ１５）。制御部１１は、生成した訓練データを訓練データＤＢ１３４に記憶し（ステップＳ１６）、一連の処理を終了する。制御部１１は、大量の第１画像及び第２画像と、評価点数とを収集し、収集したデータに基づき生成した複数の情報群を訓練データとして訓練データＤＢ１３４に蓄積する。
　図７は、学習モデルの生成処理手順の一例を示すフローチャートである。以下の処理は、例えば学習フェーズにおいて図５の処理の終了後に、情報処理装置１の補助記憶部１３に記憶されるプログラム１３Ｐに従って制御部１１により実行される。
　情報処理装置１の制御部１１は、訓練データＤＢ１３４を参照して、情報群より抽出された長軸方向の訓練データを取得する（ステップＳ２１）。制御部１１は、取得した訓練データを用いて、第１画像及び穿刺ラインを入力した場合に穿刺ラインに対する評価点数を出力する第１学習モデル１３１を生成する（ステップＳ２２）。具体的には、制御部１１は、訓練データに含まれる第１画像及び穿刺ラインを入力データとして第１学習モデル１３１に入力し、第１学習モデル１３１から出力される評価点数を取得する。制御部１１は、出力された評価点数と、正解値である評価点数との誤差を所定の損失関数により算出する。制御部１１は、損失関数を最適化（最小化又は最大化）するように、例えば誤差逆伝播法を用いて、ノード間の重み等のパラメータを調整する。学習が開始される前の段階では、第１学習モデル１３１を記述する定義情報には、初期設定値が与えられているものとする。誤差、学習回数が所定基準を満たすことによって学習が完了すると、最適化されたパラメータが得られる。
　また、制御部１１は訓練データＤＢ１３４を参照して、情報群より抽出された短軸方向の訓練データを取得する（ステップＳ２３）。制御部１１は、取得した訓練データを用いて、第２画像及び穿刺ラインを入力した場合に穿刺ラインに対する評価点数を出力する第２学習モデル１３２を生成する（ステップＳ２４）。具体的には、制御部１１は、訓練データに含まれる第２画像及び穿刺ラインを入力データとして第２学習モデル１３２に入力し、第２学習モデル１３２から出力される評価点数を取得する。制御部１１は、上記第１学習モデル１３１と同様に、出力された評価点数と正解値である評価点数とを比較し、両者が近似するようパラメータを最適化して第２学習モデル１３２を生成する。
　学習が終了すると、制御部１１は、学習済みの第１学習モデル１３１及び第２学習モデル１３２として、学習済みの第１学習モデル１３１及び第２学習モデル１３２それぞれに関する定義情報を補助記憶部１３に記憶させ（ステップＳ２５）、本フローチャートによる処理を終了する。上述の処理により、第１画像及び穿刺ラインに対し、当該第１画像の穿刺ラインに対する評価点数を適切に推定可能に学習された第１学習モデル１３１を構築することができる。また、第２画像及び穿刺ラインに対し、当該第２画像の穿刺ラインに対する評価点数を適切に推定可能に学習された第２学習モデル１３２を構築することができる。
　上記の図５及び図７では、一連の処理を情報処理装置１の制御部１１が実行する例を説明したが、本実施形態はこれに限定されない。上記の処理は、一部又は全部が画像処理装置３の制御部３１で実行されるものであってもよい。情報処理装置１と画像処理装置３とは、例えばプロセス間通信を行うことにより協働して一連の処理を行うものであってもよい。第１学習モデル１３１及び第２学習モデル１３２は、情報処理装置１により生成され、画像処理装置３で学習されたものであってもよい。
　上述のように生成された第１学習モデル１３１及び第２学習モデル１３２を用いて、支援システムでは、被検者の血管の状態に応じた最適な穿刺ラインに関する支援情報が提供される。以下、運用フェーズにおいて支援システムが実行する処理手順について説明する。
　図８は、支援情報の出力処理手順の一例を示すフローチャートである。以下の処理は、情報処理装置１の補助記憶部１３に記憶されるプログラム１３Ｐに従って制御部１１によって実行される。例えば、制御部１１は、画像処理装置３から第１画像及び第２画像が送信される都度、以下の処理を行う。
　情報処理装置１の制御部１１は、画像処理装置３から送信される第１画像及び第２画像を受信することにより、第１画像及び第２画像を取得する（ステップＳ３１）。第１画像及び第２画像はそれぞれ、超音波プローブ２から出力された同一時点のエコー信号に基づいて画像処理装置３により生成された、同一時点における血管の長軸方向及び短軸方向の超音波断層画像である。
　制御部１１は、第１画像及び第２画像それぞれについて、複数の穿刺ラインの候補を生成する（ステップＳ３２）。制御部１１は、例えば、所定のルールに従い穿刺ラインの始点及び角度を対応付けた穿刺ライン候補テーブルから所定数の穿刺ラインを適宜選択することにより、穿刺ラインの候補を生成してよい。
　制御部１１は、生成した第１画像に対する穿刺ラインそれぞれについて、第１画像及び穿刺ラインを入力データとして第１学習モデル１３１に入力する（ステップＳ３３）。制御部１１は、第１学習モデル１３１から出力された各穿刺ラインの評価点数を取得する（ステップＳ３４）。
　また、制御部１１は、生成した第２画像に対する穿刺ラインそれぞれについて、第２画像及び穿刺ラインを入力データとして第２学習モデル１３２に入力する（ステップＳ３５）。制御部１１は、第２学習モデル１３２から出力された各穿刺ラインの評価点数を取得する（ステップＳ３６）。なお、制御部１１は、ステップＳ３３の第１学習モデル１３１による推定処理と、ステップＳ３５の第２学習モデル１３２による推定処理とを順次実行するものに限定されず、これらの処理を並行して実行するのものであってもよい。
　制御部１１は、第１学習モデル１３１及び第２学習モデル１３２の出力結果に基づき、第１画像及び第２画像それぞれに対する全ての穿刺ライン候補の内、所定条件を満たす穿刺ラインを特定する（ステップＳ３７）。例えば制御部１１は、評価点数が所定値以上である、評価順位が所定値以下である等の条件を満たす穿刺ラインから、所定数の穿刺ラインを選択してよい。
　制御部１１は、特定した穿刺ラインに対する評価点数を含む評価画面情報を生成する（ステップＳ３８）。制御部１１は、生成した評価画面情報を画像処理装置３へ送信し（ステップＳ３９）、送信した評価画面情報に基づく評価画面１５４を表示装置４へ表示させる。
　制御部１１は、第１画像及び第２画像それぞれについて、特定した穿刺ラインの中から医師等の術者により選択された１つの穿刺ラインを取得する（ステップＳ４０）。具体的には、制御部１１は、評価画面１５４を利用し、画像処理装置３を介して術者から１つの穿刺ラインの選択を受け付け、受け付けた穿刺ラインの情報を画像処理装置３から受信することにより１つの穿刺ラインを取得する。なお、術者により適した穿刺ラインが得られないと判断されることにより、穿刺ラインの選択を受け付けられなかった場合には、制御部１１は、処理をステップＳ３１に戻し、新たな第１画像及び第２画像に基づく穿刺ラインの出力処理を実行してもよい。
　制御部１１は、第１画像及び第２画像それぞれに、選択された１つの穿刺ラインを重畳して表示する画面情報を生成する（ステップＳ４１）。制御部１１は、生成した画面情報を画像処理装置３へ送信し（ステップＳ４２）、送信した画面情報に基づく画面１５８を表示装置４へ表示させ、一連の処理を終了する。
　上記では、一連の処理を情報処理装置１の制御部１１が実行する例を説明したが、本実施形態はこれに限定されない。図８の処理は、一部又は全部が画像処理装置３の制御部３１で実行されるものであってもよい。画像処理装置３の制御部３１は、情報処理装置１から取得した第１学習モデル１３１及び第２学習モデル１３２を補助記憶部３３に記憶しておき、第１学習モデル１３１及び第２学習モデル１３２に基づく支援情報の生成処理を実行してもよい。
　図９及び図１０は、表示装置４に表示される画面の一例を示す模式図である。図９は評価画面１５４の一例である。画像処理装置３の制御部３１は、情報処理装置１から受信した評価画面情報に基づき、図９に示す如く評価画面１５４を表示装置４に表示する。評価画面１５４は、穿刺ライン表示部１５５及び評価点数表示部１５６等を含む。穿刺ライン表示部１５５は、第１画像及び第２画像それぞれに、例えば評価点数の高い所定数の穿刺ラインを重畳して表示する。評価点数表示部１５６は、各穿刺ラインに対する評価点数と、タップ等の方法で術者が指定することによって１つの穿刺ラインの選択処理の指示が入力される複数の受付ボタン１５７とを表示する。
　情報処理装置１の制御部１１は、特定した穿刺ラインの始点座標及び角度に基づく描画オブジェクトを生成する。制御部１１は、生成した穿刺ラインを示す描画オブジェクトを第１画像及び第２画像それぞれに重畳表示する。この場合において、制御部１１は、穿刺ラインの色、太さを評価点数に応じて変更する等、各穿刺ラインの表示態様を評価点数に応じて異ならせることが好ましい。また、穿刺ライン毎に付した穿刺ライン番号等に、学習モデルから出力された評価点数及び受付ボタン１５７を対応付けて表示する。
　術者は、評価画面１５４の穿刺ライン及び評価点数を確認し、評価画面１５４に表示される穿刺ラインの中から、第１画像及び第２画像に対して適切な穿刺ラインをそれぞれ１つ選択する。図９の評価画面１５４で、術者の選択した穿刺ラインに対応付けられた受付ボタン１５７が選択された状態で決定ボタンをタップすると、入力装置５を介して、穿刺ラインの選択結果が入力される。画像処理装置３の制御部３１は、穿刺ラインの選択結果を受け付け、受け付けた穿刺ラインの選択結果を情報処理装置１へ送信する。このように、複数の穿刺ラインが表示されることにより、術者の判断や穿刺技術等に応じた選択が可能となるため、支援内容が向上される。
　情報処理装置１の制御部１１は、穿刺ラインの選択結果を受信した場合、図１０に示す画面１５８を表示するための画面情報を生成し、画像処理装置３へ送信する。画面１５８は、術者により選択された１つの穿刺ラインを表示する穿刺ライン表示部１５９を含む。穿刺ライン表示部１５９は、術者により選択された１つの穿刺ラインのみを例えば半透明マスク等に加工し、第１画像及び第２画像上にそれぞれ重畳して表示する。穿刺ラインが重畳された第１画像及び第２画像により、画像に含まれる皮膚表面と穿刺ラインとの交点で示される刺入位置と、穿刺ラインの角度で示される刺入方向とが認識可能に示される。
　穿刺ライン表示部１５９は、エコー信号に基づいて生成される第１画像及び第２画像をリアルタイムで表示するものであってよい。すなわち、制御部１１は、術者による穿刺ラインの決定を受け付けた後、リアルタイムで生成される第１画像及び第２画像を取得し、取得した第１画像及び第２画像上に選択された穿刺ラインを重畳して表示する画面情報を生成する処理を、繰り返し実行するものであってよい。術者は、穿刺ラインを選択した後、超音波プローブ２の位置を固定し穿刺を行う。リアルタイムで生成される第１画像及び第２画像には、マーカ等により穿刺器具の位置を示す情報が含まれる。術者は、第１画像及び第２画像上の穿刺ラインと、第１画像及び第２画像に含まれる穿刺器具の位置とを確認しながら穿刺する。具体的には、術者は、第１画像及び第２画像上の穿刺器具の位置が、穿刺ラインにより示される刺入位置及び刺入方向に沿うよう穿刺を進める。
　本実施形態によれば、穿刺器具の刺入位置及び刺入方向をガイドする支援情報を出力することにより、術者の穿刺を好適に支援することができる。穿刺ラインに関する支援情報は、第１学習モデル１３１及び第２学習モデル１３２を用いて精度よく推定され、術者に認識し易い表示態様にて示される。また、２軸の超音波プローブ２を用いることにより、２方向の２次元画像にて、直交座標系の刺入位置及び刺入方向を効率的に把握することができる。
（第２実施形態）
　第２実施形態では、第１学習モデル１３１及び第２学習モデル１３２により穿刺ラインを示す画像を出力する。以下では主に第１実施形態との相違点を説明し、第１実施形態と共通する構成については同一の符号を付してその詳細な説明を省略する。
　図１１は、第２実施形態における第１学習モデル１３１及び第２学習モデル１３２の構成を示す模式図である。第１学習モデル１３１は、第１画像を入力した場合に、第１画像に対する穿刺ラインの画像を出力するよう構成される。第２学習モデル１３２は、第２画像を入力した場合に、第２画像に対する穿刺ラインの画像を出力するよう構成される。第１学習モデル１３１と、第２学習モデル１３２とは同様の構成であるため、第１学習モデル１３１の構成について説明する。
　第１学習モデル１３１は、例えば、セマンティックセグメンテーションモデル(Semantic Segmentation )を用いた画像認識技術により、入力される画像内の各画素がオブジェクト領域に対応する画素であるか否か、画素単位で認識する。第１学習モデル１３１は、画像部分が入力される入力層と、画像の特徴量を抽出し復元する中間層と、画像部分に含まれるオブジェクトを画素単位で示すラベル画像を出力する出力層とを有する。第１学習モデル１３１は、例えばＵ－Ｎｅｔである。
　第１学習モデル１３１の入力層は、画像部分に含まれる各画素の画素値の入力を受け付ける複数のノードを有し、入力された画素値を中間層に受け渡す。中間層は、畳み込み層（ＣＯＮＶ層）と、逆畳み込み層（ＤＥＣＯＮＶ層）とを有する。畳み込み層は、画像データを次元圧縮する層である。次元圧縮により、オブジェクトの特徴量が抽出される。逆畳み込み層は逆畳み込み処理を行い、元の次元に復元する。逆畳み込み層における復元処理により、画像内の各画素がオブジェクトであるか否かを示す二値化されたラベル画像が生成される。出力層は、ラベル画像を出力する一又は複数のノードを有する。ラベル画像は、例えば、穿刺ラインに対応する画素がクラス「１」、その他の画像に対応する画素がクラス「０」の画像である。
　第２学習モデル１３２は、第１学習モデル１３１と同様の構成であり、画像部分に含まれる穿刺ラインを画素単位で認識し、生成されたラベル画像を出力する。ラベル画像は、例えば、穿刺ラインに対応する画素がクラス「１」、その他の画像に対応する画素がクラス「０」の画像である。
　情報処理装置１の制御部１１は、画像処理装置３により生成された第１画像と、当該第１画像に対する穿刺ラインとを画素毎にラベル付けした訓練データを取得し、訓練データＤＢ１３４に記憶する。正解値となる穿刺ラインは、例えば、熟練の医師等により作成された穿刺ラインの画像データを受け付けることにより取得してよい。訓練データを用いて未学習のニューラルネットワークを機械学習させることにより、第１画像に対し穿刺ラインを適切に推定可能に学習された第１学習モデル１３１を構築することができる。同様に、制御部１１は、穿刺ラインを含む第２画像と、当該第２画像に対する穿刺ラインとを画素毎にラベル付けした訓練データを用いて、第２画像に対し穿刺ラインを適切に推定可能に学習された第２学習モデル１３２を構築する。
　情報処理装置１の制御部１１は、運用フェーズにおいて、画像処理装置３から取得した第１画像を第１学習モデル１３１に入力し、第１学習モデル１３１から出力される第１画像に対する穿刺ラインを示すラベル画像を取得する。同様に、画像処理装置３から取得した第２画像を第２学習モデル１３２に入力し、第２学習モデル１３２から出力される第２画像に対する穿刺ラインを示すラベル画像を取得する。例えば制御部１１は、第１学習モデル１３１及び第２学習モデル１３２から出力されたラベル画像を半透明マスクに加工し、元の第１画像及び第２画像に重畳する画像情報を生成する。
　本実施形態によれば、第１学習モデル１３１及び第２学習モデル１３２を用いて精度よく推定される穿刺ラインを生成することにより、術者の穿刺を好適に支援することができる。
（第３実施形態）
　第３実施形態では、第３学習モデル１３３により、血管等のオブジェクト領域を抽出した第１画像及び第２画像を取得する。以下では主に第１実施形態との相違点を説明し、第１実施形態と共通する構成については同一の符号を付してその詳細な説明を省略する。
　図１２は、第３実施形態における処理の流れを説明する説明図である。情報処理装置１の制御部１１は、画像処理装置３から第１画像及び第２画像を取得し、第３学習モデル１３３を用いて第１画像及び第２画像におけるオブジェクト領域を検出する。
　第３学習モデル１３３は、例えばＵ－Ｎｅｔ等のセマンティックセグメンテーションモデルを用いた画像認識技術により、入力される画像内の各画素がオブジェクト領域に対応する画素であるか否か、画素単位で認識するモデルである。第３学習モデル１３３により検出されるオブジェクトとしては、例えば、血管、血栓、皮下組織、皮膚表面等が挙げられる。第３学習モデル１３３は、オブジェクトを含む画像を入力した場合、当該画像におけるオブジェクト領域の画素を示すラベル画像を生成する。ラベル画像は、例えば、血管壁部に対応する画素がクラス「１」、血栓に対応する画素がクラス「２」、皮下組織に対応する画素がクラス「３」、皮膚表面に対応する画素がクラス「４」に分類された画像である。
　制御部１１は、画像処理装置３から取得した第１画像及び第２画像それぞれを第３学習モデル１３３に入力し、オブジェクト領域を検出した第１画像（領域検出第１画像）及び第２画像（領域検出第２画像）を取得する。制御部１１は、オブジェクト領域を検出した第１画像及び第２画像と、穿刺ラインとをそれぞれ第１学習モデル１３１及び第２学習モデル１３２に入力することにより、穿刺ラインに対する評価点数を出力する。
　図１３は、第３実施形態における訓練データの生成処理手順の一例を示すフローチャートである。情報処理装置１の制御部１１は、画像処理装置３から第１画像及び第２画像を取得する（ステップＳ１１）。第１画像及び第２画像はそれぞれ、超音波プローブ２から出力された同一時点のエコー信号に基づいて生成された、同一時点における血管の長軸方向及び短軸方向の超音波断層画像である。
　制御部１１は、取得した第１画像及び第２画像それぞれを第３学習モデル１３３に入力する（ステップＳ１１１）。制御部１１は、第３学習モデル１３３から出力されるラベル画像、すなわちオブジェクト領域を検出した第１画像及び第２画像それぞれを取得する（ステップＳ１１２）。制御部１１は、図５に示したＳ１２以降の処理を実行し、オブジェクト領域を検出した第１画像及び第２画像を含む訓練データの生成処理を行う。
　また制御部１１は、図６に示した処理を実行し、生成した訓練データを用いた学習モデルの生成処理を行う。制御部１１は、オブジェクト領域を検出した第１画像及び穿刺ラインと、穿刺ラインに対する評価点数とがラベル付けされた訓練データを用いて第１学習モデル１３１を構築する。制御部１１は、オブジェクト領域を検出した第２画像及び穿刺ラインと、穿刺ラインに対する評価点数とがラベル付けされた訓練データを用いて第２学習モデル１３２を構築する。
　図１４は、第３実施形態における支援情報の出力処理手順の一例を示すフローチャートである。情報処理装置１の制御部１１は、画像処理装置３から第１画像及び第２画像を取得する（ステップＳ３１）。
　制御部１１は、取得した第１画像及び第２画像それぞれを第３学習モデル１３３に入力する（ステップＳ３１１）。制御部１１は、第３学習モデル１３３から出力されるラベル画像、すなわちオブジェクト領域を検出した第１画像及び第２画像それぞれを取得する（ステップＳ３１２）。制御部１１は、図８に示したＳ３２以降の処理を実行し、支援情報の出力処理を行う。制御部１１は、オブジェクト領域を検出した第１画像及び穿刺ラインを第１学習モデル１３１に入力することにより、穿刺ラインに対する評価点数を取得する。また制御部１１は、オブジェクト領域を検出した第２画像及び穿刺ラインを第２学習モデル１３２に入力することにより、穿刺ラインに対する評価点数を取得する。
　上述の処理において、制御部１１は、オブジェクト領域を検出した第１画像及び第２画像に対し、画像全体から注目領域を抽出する前処理を行ってもよい。制御部１１は、各オブジェクトの検出結果に基づき、例えば血管を含む皮膚表面以下５ｃｍ等、第１画像及び第２画像から所定領域（範囲）のみを抽出する。エコー信号に基づき生成される超音波断層画像は、穿刺対象を含む広範囲を含む。このような超音波断層画像から、穿刺ラインに関する情報の生成に必要な注目領域のみを抽出することにより、効率的に処理を実行することができる。
　本実施形態によれば、第３学習モデル１３３を用いて血管等のオブジェクト領域が検出された第１画像及び第２画像を第１学習モデル１３１及び第２学習モデル１３２の入力要素とすることで、血管等の位置に応じたより好適な穿刺ラインに関する情報を出力することができる。
（第４実施形態）
　第４実施形態では、第１学習モデル１３１及び第２学習モデル１３２の再学習を実行する。以下では主に第１実施形態との相違点を説明し、第１実施形態と共通する構成については同一の符号を付してその詳細な説明を省略する。
　図１５は、第４実施形態における学習モデルの再学習処理の一例を示すフローチャートである。情報処理装置１の制御部１１は、第１学習モデル１３１及び第２学習モデル１３２から出力される評価点数を取得する（ステップＳ５１）。制御部１１は、評価点数に対する修正情報を取得する（ステップＳ５２）。制御部１１は、画像処理装置３を介して医師等からの修正情報の入力を受け付けることにより、修正情報を取得するものであってよい。例えば、画像処理装置３の制御部３１は、図９で例示した評価画面１５４において、評価点数表示部１５６で表示した各評価点数の情報を修正する修正入力を受け付け、受け付けた修正情報を情報処理装置１へ送信する。なお第１学習モデル１３１及び第２学習モデル１３２が穿刺ラインの画像を出力するモデルである場合には、画像処理装置３の制御部３１は、修正情報として穿刺ラインの情報を取得するものであってよい。
　制御部１１は、第１学習モデル１３１及び第２学習モデル１３２それぞれについて、評価点数に対する修正情報を用いて再学習を行い、第１学習モデル１３１及び第２学習モデル１３２を更新する（ステップＳ５３）。具体的には、制御部１１は、第１学習モデル１３１に入力した第１画像及び穿刺ラインと、評価点数に対する修正情報とを訓練データとする再学習を行い、第１学習モデル１３１を更新する。すなわち制御部１１は、第１学習モデル１３１から出力される評価点数が修正後の評価点数に近似するようノード間の重み等のパラメータを最適化し、第１学習モデル１３１を再生成する。同様に、制御部１１は、第２学習モデル１３２に入力した第２画像及び穿刺ラインと、評価点数に対する修正情報とを訓練データとする再学習を行い、第２学習モデル１３２を更新する。なお、制御部１１は、第１学習モデル１３１又は第２学習モデル１３２のいずれか一方のみに対し、上述の再学習処理を実行するものであってもよい。
　本実施形態によれば、本支援システムの運用を通じて第１学習モデル１３１及び第２学習モデル１３２をより最適化することができる。
　上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。また、上述の実施形態の少なくとも一部を任意に組み合わせてもよい。
　１　情報処理装置
　１１　制御部
　１２　主記憶部
　１３　補助記憶部
　１４　通信部
　１５　表示部
　１６　操作部
　１３Ｐ　プログラム
　１３１　第１学習モデル
　１３２　第２学習モデル
　１３３　第３学習モデル
　１３４　訓練データＤＢ
　１Ａ　記録媒体
　２　超音波プローブ
　２１１（２１）　第１振動子アレイ
　２１２（２１）　第２振動子アレイ
　３　画像処理装置
　３１　制御部
　３２　主記憶部
　３３　補助記憶部
　３４　通信部
　３５　入出力部
　３６　プローブ制御部
　４　表示装置
　５　入力装置
 

Claims (19)

  1. 　被検体の表面に接触させて使用する超音波プローブから得られる信号に基づき生成された被検体内における第１方向の第１画像と、前記第１方向に直交する第２方向の第２画像とを表示し、
    　表示した前記第１画像及び前記第２画像それぞれについて、前記被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を受け付け、
    　前記第１画像と、前記第１画像に対する穿刺ラインに関する情報とを含む訓練データに基づき、第１画像を入力した場合に穿刺ラインに関する情報を出力するよう学習された第１学習モデルを生成し、
    　前記第２画像と、前記第２画像に対する穿刺ラインに関する情報とを含む訓練データに基づき、第２画像を入力した場合に穿刺ラインに関する情報を出力するよう学習された第２学習モデルを生成する
    　学習モデル生成方法。
  2. 　前記第１画像及び前記第２画像それぞれについて、穿刺ラインの候補を複数表示し、
    　表示した各穿刺ラインに対する評価を受け付け、
    　前記第１画像及び前記穿刺ラインと、前記穿刺ラインに対する評価とを含む訓練データに基づき、第１画像及び穿刺ラインを入力した場合に前記穿刺ラインに対する評価を出力するよう学習された前記第１学習モデルを生成し、
    　前記第２画像及び前記穿刺ラインと、前記穿刺ラインに対する評価とを含む訓練データに基づき、第２画像及び穿刺ラインを入力した場合に前記穿刺ラインに対する評価を出力するよう学習された前記第２学習モデルを生成する
    　請求項１に記載の学習モデル生成方法。
  3. 　前記穿刺ラインに対する評価は、前記穿刺ラインの評価項目に対する評価点数を含む
    　請求項２に記載の学習モデル生成方法。
  4. 　前記被検体内の血管の長軸方向の断面画像を含む前記第１画像上に、前記被検体内の血管の長軸方向に対する前記穿刺ラインの候補を複数重畳して表示し、
    　前記被検体内の血管の短軸方向の断面画像を含む前記第２画像上に、前記被検体内の血管の短軸方向に対する前記穿刺ラインの候補を複数重畳して表示する
    　請求項１から請求項３のいずれか１項に記載の学習モデル生成方法。
  5. 　第１画像を入力した場合に穿刺ラインに関する情報に基づく画像を出力するよう学習された前記第１学習モデルを生成し、
    　第２画像を入力した場合に穿刺ラインに関する情報に基づく画像を出力するよう学習された前記第２学習モデルを生成する
    　請求項１から請求項４のいずれか１項に記載の学習モデル生成方法。
  6. 　超音波プローブから得られる信号に基づき生成された画像を入力した場合に前記画像に含まれるオブジェクト領域を検出するよう学習された第３学習モデルを用いて、オブジェクト領域を検出した前記第１画像及び前記第２画像を取得し、
    　取得した前記第１画像及び前記第２画像を用いて前記第１学習モデル及び前記第２学習モデルを生成する
    　請求項１から請求項５のいずれか１項に記載の学習モデル生成方法。
  7. 　前記超音波プローブは、第１振動子アレイと、前記第１振動子アレイに直交するよう配された第２振動子アレイとを備え、
    　前記第１画像及び前記第２画像は、前記超音波プローブの前記第１振動子アレイ及び前記第２振動子アレイから得られる信号に基づき生成される同一時点における画像である
    　請求項１から請求項６のいずれか１項に記載の学習モデル生成方法。
  8. 　被検体の表面に接触させて使用する超音波プローブから得られる信号に基づき生成された被検体内における第１方向の第１画像と、前記第１方向に直交する第２方向の第２画像とを表示し、
    　表示した前記第１画像及び前記第２画像それぞれについて、前記被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を受け付け、
    　前記第１画像及び前記第２画像と、前記穿刺ラインに関する情報とを訓練データとして対応付けて記憶する
    　訓練データ生成方法。
  9. 　被検体の表面に接触させて使用する超音波プローブから得られる信号に基づき生成された被検体内における第１方向の第１画像と、前記第１方向に直交する第２方向の第２画像とを表示し、
    　表示した前記第１画像及び前記第２画像それぞれについて、前記被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を受け付け、
    　前記第１画像と、前記第１画像に対する穿刺ラインに関する情報とを含む訓練データに基づき、第１画像を入力した場合に穿刺ラインに関する情報を出力するよう学習された第１学習モデルを生成し、
    　前記第２画像と、前記第２画像に対する穿刺ラインに関する情報とを含む訓練データに基づき、第２画像を入力した場合に穿刺ラインに関する情報を出力するよう学習された第２学習モデルを生成する
    　処理をコンピュータに実行させるためのプログラム。
  10. 　被検体の表面に接触させて使用する超音波プローブから得られる信号に基づき生成された被検体内における第１方向の第１画像と、前記第１方向に直交する第２方向の第２画像とを表示する表示部と、
    　表示した前記第１画像及び前記第２画像それぞれについて、前記被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を受け付ける受付部と、
    　前記第１画像と、前記第１画像に対する穿刺ラインに関する情報とを含む訓練データに基づき、第１画像を入力した場合に穿刺ラインに関する情報を出力するよう学習された第１学習モデルを生成する第１学習モデル生成部と、
    　前記第２画像と、前記第２画像に対する穿刺ラインに関する情報とを含む訓練データに基づき、第２画像を入力した場合に穿刺ラインに関する情報を出力するよう学習された第２学習モデルを生成する第２学習モデル生成部とを備える
    　情報処理装置。
  11. 　被検体の表面に接触させて使用する超音波プローブから得られる信号に基づき生成された被検体内における第１方向の第１画像と、前記第１方向に直交する第２方向の第２画像とを取得し、
    　第１画像を入力した場合に被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を出力するよう学習された第１学習モデルに、取得した前記第１画像を入力して、前記第１学習モデルから出力される穿刺ラインに関する情報を取得し、
    　第２画像を入力した場合に被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を出力するよう学習された第２学習モデルに、取得した前記第２画像を入力して、前記第２学習モデルから出力される穿刺ラインに関する情報を取得する
    　処理をコンピュータに実行させるためのプログラム。
  12. 　前記第１画像及び前記第２画像に対する穿刺ラインを生成し、
    　第１画像及び穿刺ラインを入力した場合に前記穿刺ラインに対する評価を出力するよう学習された前記第１学習モデルに、取得した前記第１画像及び穿刺ラインを入力して、前記第１学習モデルから出力される前記穿刺ラインに対する評価を取得し、
    　第２画像及び穿刺ラインを入力した場合に前記穿刺ラインに対する評価を出力するよう学習された前記第２学習モデルに、取得した前記第２画像及び穿刺ラインを入力して、前記第２学習モデルから出力される前記穿刺ラインに対する評価を取得する
    　請求項１１に記載のプログラム。
  13. 　前記第１画像及び前記第２画像に対する複数の前記穿刺ラインを生成し、
    　生成した複数の前記穿刺ラインを前記第１学習モデル又は前記第２学習モデルに入力して、前記第１学習モデル又は前記第２学習モデルから出力される複数の前記穿刺ラインそれぞれに対する評価を取得する
    　請求項１２に記載のプログラム。
  14. 　前記第１画像及び前記第２画像上に、前記穿刺ラインに対する評価に応じた表示態様により穿刺ラインを重畳して表示する
    　請求項１２又は請求項１３に記載のプログラム。
  15. 　第１画像を入力した場合に穿刺ラインに関する情報に基づく画像を出力するよう学習された前記第１学習モデルに、取得した前記第１画像を入力して、前記第１学習モデルから出力される穿刺ラインに関する情報に基づく画像を取得し、
    　第２画像を入力した場合に穿刺ラインに関する情報に基づく画像を出力するよう学習された前記第２学習モデルに、取得した前記第２画像を入力して、前記第２学習モデルから出力される穿刺ラインに関する情報に基づく画像を取得する
    　請求項１１から請求項１４のいずれか１項に記載のプログラム。
  16. 　超音波プローブから得られる信号に基づき生成された画像を入力した場合に前記画像に含まれるオブジェクト領域を検出するよう学習された第３モデルを用いて、オブジェクト領域を検出した前記第１画像及び前記第２画像を取得し、
    　取得したオブジェクト領域を検出した前記第１画像を前記第１学習モデルに入力して、前記第１学習モデルから出力される穿刺ラインに関する情報を取得し、
    　取得したオブジェクト領域を検出した前記第２画像を前記第２学習モデルに入力して、前記第２学習モデルから出力される穿刺ラインに関する情報を取得する
    　請求項１１から請求項１５のいずれか１項に記載のプログラム。
  17. 　前記穿刺ラインに関する情報に対する修正情報を取得し、
    　前記第１学習モデルに入力した前記第１画像又は前記第２学習モデルに入力した前記第２画像と、取得した前記修正情報とに基づく再学習を行う
    　請求項１１から請求項１６のいずれか１項に記載のプログラム。
  18. 　被検体の表面に接触させて使用する超音波プローブから得られる信号に基づき生成された被検体内における第１方向の第１画像と、前記第１方向に直交する第２方向の第２画像とを取得し、
    　第１画像を入力した場合に被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を出力するよう学習された第１学習モデルに、取得した前記第１画像を入力して、前記第１学習モデルから出力される穿刺ラインに関する情報を取得し、
    　第２画像を入力した場合に被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を出力するよう学習された第２学習モデルに、取得した前記第２画像を入力して、前記第２学習モデルから出力される穿刺ラインに関する情報を取得する
    　処理をコンピュータに実行させる情報処理方法。
  19. 　被検体の表面に接触させて使用する超音波プローブから得られる信号に基づき生成された被検体内における第１方向の第１画像と、前記第１方向に直交する第２方向の第２画像とを取得する第１取得部と、
    　第１画像を入力した場合に被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を出力するよう学習された第１学習モデルに、取得した前記第１画像を入力して、前記第１学習モデルから出力される穿刺ラインに関する情報を取得する第２取得部と、
    　第２画像を入力した場合に被検体に穿刺される穿刺器具の刺入位置及び刺入方向を示す穿刺ラインに関する情報を出力するよう学習された第２学習モデルに、取得した前記第２画像を入力して、前記第２学習モデルから出力される穿刺ラインに関する情報を取得する第３取得部とを備える
    　情報処理装置。
     
PCT/JP2022/001482 2021-01-20 2022-01-18 学習モデル生成方法、訓練データ生成方法、プログラム、情報処理装置及び情報処理方法 WO2022158433A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022576679A JPWO2022158433A1 (ja) 2021-01-20 2022-01-18
US18/346,848 US20230346486A1 (en) 2021-01-20 2023-07-04 Medical operation assistance system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-007380 2021-01-20
JP2021007380 2021-01-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/346,848 Continuation US20230346486A1 (en) 2021-01-20 2023-07-04 Medical operation assistance system

Publications (1)

Publication Number Publication Date
WO2022158433A1 true WO2022158433A1 (ja) 2022-07-28

Family

ID=82549433

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001482 WO2022158433A1 (ja) 2021-01-20 2022-01-18 学習モデル生成方法、訓練データ生成方法、プログラム、情報処理装置及び情報処理方法

Country Status (3)

Country Link
US (1) US20230346486A1 (ja)
JP (1) JPWO2022158433A1 (ja)
WO (1) WO2022158433A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116725640A (zh) * 2023-06-20 2023-09-12 山东卓业医疗科技有限公司 一种身体穿刺打印模板的构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137215A1 (ja) * 2018-12-27 2020-07-02 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
CN111434316A (zh) * 2019-01-15 2020-07-21 北京理工大学 超声平面外血管穿刺辅助机器人
JP2020156730A (ja) * 2019-03-26 2020-10-01 富士フイルム株式会社 超音波観測装置及び超音波内視鏡システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020137215A1 (ja) * 2018-12-27 2020-07-02 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
CN111434316A (zh) * 2019-01-15 2020-07-21 北京理工大学 超声平面外血管穿刺辅助机器人
JP2020156730A (ja) * 2019-03-26 2020-10-01 富士フイルム株式会社 超音波観測装置及び超音波内視鏡システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116725640A (zh) * 2023-06-20 2023-09-12 山东卓业医疗科技有限公司 一种身体穿刺打印模板的构建方法
CN116725640B (zh) * 2023-06-20 2024-02-27 山东卓业医疗科技有限公司 一种身体穿刺打印模板的构建方法

Also Published As

Publication number Publication date
US20230346486A1 (en) 2023-11-02
JPWO2022158433A1 (ja) 2022-07-28

Similar Documents

Publication Publication Date Title
JP2022521556A (ja) エンドエフェクタのフィードフォワード連続配置制御
US8483488B2 (en) Method and system for stabilizing a series of intravascular ultrasound images and extracting vessel lumen from the images
JP7125428B2 (ja) 超音波診断装置および超音波診断装置の制御方法
US20230346486A1 (en) Medical operation assistance system
JP7321836B2 (ja) 情報処理装置、検査システム及び情報処理方法
CN105491955A (zh) 超声波诊断装置及超声波图像生成方法
JP2018079070A (ja) 超音波診断装置、及び走査支援プログラム
CN112367920A (zh) 声波诊断装置及声波诊断装置的控制方法
WO2021199968A1 (ja) コンピュータプログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2023054467A1 (ja) モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置
JP2021083782A (ja) 超音波診断装置、医用画像撮影装置、学習装置、超音波画像表示方法及びプログラム
Marahrens et al. Towards autonomous robotic minimally invasive ultrasound scanning and vessel reconstruction on non-planar surfaces
WO2022209574A1 (ja) 医療画像処理装置、医療画像処理プログラム、および医療画像処理方法
US20220249174A1 (en) Surgical navigation system, information processing device and information processing method
CN113012057A (zh) 对超声扫描仪中ai网络的连续训练
US20230274430A1 (en) Information processing apparatus, information processing method, and program
US20230410482A1 (en) Machine learning system, recognizer, learning method, and program
WO2021199961A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
CN113116384A (zh) 超声扫查引导方法、超声设备及存储介质
US20230196580A1 (en) Ultrasound diagnostic apparatus and ultrasound image processing method
US11925506B2 (en) Ultrasonic image diagnostic apparatus, identifier changing method, and identifier changing program
US20240065671A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
JP2022047609A (ja) 超音波診断装置、計測条件設定方法及びプログラム
JP2023051175A (ja) コンピュータプログラム、情報処理方法、及び情報処理装置
Saito et al. Autonomous scanning motion generation adapted to individual differences in abdominal shape for robotic fetal ultrasound

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22742555

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022576679

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22742555

Country of ref document: EP

Kind code of ref document: A1