JP6863647B1 - 医療画像用のマーキングシステム及びマーキング判定装置 - Google Patents

Abstract

本発明のマーキングシステム１０は、医療画像を取得する画像取得装置１３と、医療画像内に表れる所望の人体部位を指定するマーキングを行う入力装置１４と、医療画像に対する各種処理を行う処理装置１５とを備えている。処理装置１５は、医療画像を構成するフレーム毎に、その取得時刻及び医療画像の取得時の体内における位置及び姿勢からなる位置姿勢情報を対応させて記録した画像データを保存する画像保存手段２１と、マーキングの結果について判定するマーキング判定手段２３とを備えている。マーキング判定手段２３では、判定対象とする画像データの前後時間における複数フレームから、所定のタイミングの医療画像内でマーキングされたマーキング部分の連続性の有無を求めた上で、当該連続性を有する場合に、マーキング部分と予め記憶された前記人体部位の解剖学的構造を表す人体モデルとを対比することにより、マーキング部分の正確性が判定される。

Description

本発明は、医療画像用のマーキングシステム及びマーキング判定装置に係り、更に詳しくは、医師等の入力者により、画像提供者の体内の医療画像内に表れる組織や器官等の所望の人体部位を指定するマーキングが行われた際に、当該マーキングの正確性について自動判定する医療画像用のマーキングシステム及びマーキング判定装置に関する。

医療現場における神経痛等の患者への治療法の一つとして、患者の神経の内部や周囲に局所麻酔薬を注射針で注入して神経に麻酔を作用させ、神経の興奮伝達を一時的若しくは半永久的に遮断する神経ブロックと呼ばれる処置が行われている。特に、頚椎症性神経根症や胸郭出口症候群等で生じる肩や腕への痛みを伴う場合には、超音波画像診断装置により患者の頸部の内部の超音波画像を取得し、当該超音波画像のガイド下で患者の頸部への穿刺がなされる。この場合、医師が、超音波画像上で頚椎からの神経の束である腕神経叢の位置を確認しながら、患者の頸部から腕神経叢の周囲に穿刺する。しかしながら、超音波画像を目視し、当該超音波画像内で対象となる神経を発見することは、熟練の麻酔医でも難しいとされている。このため、超音波画像で対象となる神経を含む対象領域が表れた際に、その都度、超音波画像に対し、当該対象領域を医師に自動的に重畳提示できる装置の出現が要請される。

ところで、特許文献１には、人工知能を利用し、取得した超音波画像内から腕神経叢を含む部分を自動的に検出可能なシステムが開示されている。

特開２０１９−５２５７８６号公報

前記特許文献１等のシステムのように、取得した医療画像から人工知能を利用して所望の人体部位を精度良く自動検出するには、多くの教師データを取得し、高精度の学習済モデルを生成する必要がある。ここでの教師データとしては、熟練医師の知見を利用し、当該医師が多くの医療画像を視認の上、自動検出の対象となる人体部位を含む対象領域を人為的に指定して保存するマーキングを行ったデータが利用され得る。ところが、前述した神経部位のように、熟練医師でも対象の人体部位を発見し難いケースもあり、対象領域を誤って指定したものが教師データとされ、当該誤った教師データが多くなる程、新規に取得した医療画像に対する人工知能による対象領域の検出精度が低下することになる。

本発明は、このような課題に着目して案出されたものであり、その目的は、医療画像を視認した入力者によって医療画像内における所望の人体部位を指定するマーキング作業が、より高精度に行われるように支援可能な医療画像用のマーキングシステム及びマーキング判定装置を提供することにある。

前記目的を達成するため、本発明は、主として、画像提供者の体内の医療画像を取得する画像取得装置と、入力者の入力操作により前記医療画像内に表れる所望の人体部位を指定するマーキングを行う入力装置と、当該入力装置への入力に基づいて前記医療画像に対する各種処理を行う処理装置とを備えた医療画像用のマーキングシステムにおいて、前記処理装置は、前記マーキングの結果について判定するマーキング判定手段を備え、前記マーキング判定手段では、所定のタイミングの前記医療画像内でマーキングされたマーキング部分について、予め記憶された前記人体部位の解剖学的構造を表す人体モデルと対比することにより、前記マーキング部分の正確性を判定する、という構成を採っている。

本発明によれば、医師等の入力者により、画像提供者の体内の医療画像内に表れる所望の人体部位を指定するマーキングが行われた際に、当該マーキングにより、人為的に指定された人体部位が、予め記憶された人体モデルと対比されることで、マーキングの正確性について自動判定される。従って、その判定結果により、マーキングが不正確である場合に、その旨を入力者が認識し、正確な結果が得られるまでマーキング作業を繰り返し行うことができる。このため、患者等の被検者の医療画像内で所望となる人体部位の存在状態を自動的に推定する人工知能システムに対し、教師データとして正確なマーキングが行われた画像データの提供が可能になる。また、臨床現場において、医師等により指定した医療画像内の部分について、治療時の探索対象等となる所望の人体部位に相当するか否かの自動判定が可能となり、様々な処置を行う際の支援ツールとしても利用可能となる。

本実施形態に係る医療画像用のマーキングシステムの概略構成を表すブロック図である。 マーキングの判定手順を説明するためのフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。

図１には、本実施形態に係る医療画像用のマーキングシステムの概略構成を表すブロック図が示されている。この図において、前記マーキングシステム１０は、医師等の入力者により、画像提供者の体内の医療画像内に表れる組織や器官等の所望の人体部位を指定するマーキング（ラベル付け）を行うためのシステムである。更に詳しくは、このマーキングシステム１０では、後述するように、マーキングの正確性について自動判定することで、入力者のマーキング作業を支援可能となる。

本実施形態において、マーキングシステム１０は、患者等の被検者から取得した体内の医療画像内で所望の人体部位の存在位置を自動的に推定する人工知能機能を含む画像解析システム１１に対して、医師等の入力者による人為的判断に基づく教師データを提供する際に利用される。

具体的に、本実施形態では、人体部位として、患者の医療画像内における頚椎からの神経の束である腕神経叢の領域が対象となっている。なお、以下に例示的に説明するが、本発明においては、医療画像内に表れる組織や器官等の他の人体部位を対象とすることも可能である。

すなわち、本実施形態でのマーキングシステム１０では、画像提供者の頸部内における医療画像としての超音波画像に適宜出現する腕神経叢を囲む神経領域を対象領域とし、入力者の視認により人為的に判断して医療画像内の対象領域を指定するマーキングについて、適切か否かを判定するようになっている。そして、マーキングシステム１０で適切とされたマーキングを含む画像データが、教師データとして画像解析システム１１に送信される。

このマーキングシステム１０は、画像提供者の体内の医療画像を取得する画像取得装置１３と、医療画像に対して入力者により所定の入力操作がなされる入力装置１４と、入力装置１４からの入力に基づいて、医療画像に対する各種処理を行う処理装置１５と、処理装置１５での処理に基づき、医療画像やその他の各種情報等を表示するディスプレイ等の液晶機器からなる表示部１６Ａを有する画像表示装置１６とを備えている。

本実施形態における前記画像取得装置１３としては、２次元超音波診断装置が適用される。この２次元超音波診断装置では、プローブ１８によるビーム走査によって、ビーム走査面と同一断面における断層画像である２次元画像からなる超音波画像が医療画像として取得される。

なお、画像取得装置１３としては、本実施形態の超音波診断装置に限らず、体内の人体部位に係る医療画像を取得可能な限りにおいて、ＣＴ、ＭＲＩ等の他の画像診断装置や内視鏡等の他の撮像装置を適用することも可能である。

前記プローブ１８には、超音波画像を取得した際のプローブ１８の位置及び姿勢を検出可能なセンサ１９が設けられている。当該センサ１９の検出結果により、プローブ１８の位置及び姿勢に対応して取得された超音波画像について、その取得時の体内における位置及び姿勢からなる位置姿勢情報が、処理装置１５にて特定可能となる。なお、センサ１９としては、加速度センサ、磁気センサ、光学センサ等、前記位置姿勢情報を取得可能な限りにおいて、種々の機器を採用することができる。

前記入力装置１４は、画像提供者の頸部へのプローブ１８の走査時に取得された超音波画像が画像表示装置１６の表示部１６Ａに表示された状態において、入力者による入力操作を行える機器からなり、当該入力操作による情報が処理装置１５に出力されるようになっている。この入力装置１４としては、特に限定されるものではないが、所定のタイミングでの医療画像の保存を指令するボタンや、超音波画像内の所望の対象領域を指定するマーキングを行うためのマウス、タッチペン、タッチパネル、キーボード等の機器により構成されている。ここで、入力装置１４によるマーキング作業としては、入力者により、表示部１６Ａの超音波画像の一部に対象領域が表れたと判断したときに、タッチペン等により、表示部１６Ａの表面を当接させながら、その対象領域の外縁部分をなぞるようにして入力する方法を例示できる。

前記処理装置１５は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段として機能させるためのプログラムがインストールされている。

この処理装置１５は、画像取得装置１３からの超音波画像に係る画像データを保存する画像保存手段２１と、画像保存手段２１で保存された超音波画像を所定のタイミングで画像表示装置１６に提示する画像提示手段２２と、所定の超音波画像について入力装置１４によりマーキングされたマーキング結果について判定するマーキング判定手段２３とを備えている。従って、処理装置１５は、マーキングの結果について判定するマーキング判定装置としても機能する。

前記画像保存手段２１は、超音波画像を構成するフレーム毎に、取得時刻と前記位置姿勢情報を対応させて記録した画像データを保存する全画像データ保存部２５と、任意のタイミングでの超音波画像をマーキング用画像として保存するマーキング用画像保存部２６と、前記画像データに、マーキング用画像内でマーキングされた対象領域の位置情報を付加したマーキング済み画像データを保存するマーキング済画像データ保存部２７とを備えている。

前記マーキング用画像保存部２６では、入力者により、超音波画像の視認の結果、対象領域が表れているタイミングでの入力装置１４の操作により、当該タイミングでの超音波画像の画像データが、後で行うマーキングの対象となるマーキング用画像として保存される。

マーキング済画像データ保存部２７では、入力装置１４を通じ、マーキング用画像内で対象領域（神経領域）と思われる部分がマーキング部分として指定された後、当該マーキング部分の位置情報を超音波画像の画像データに付加したマーキング済み画像データが保存される。

前記画像提示手段２２では、画像保存手段２１で保存された画像データに基づいて所望の超音波画像を画像表示装置１６に所定のタイミングで提示するようになっている。この画像提示手段２２は、所定のタイミングにおける静止画像を提示する静止画提示部２９と、所定時間内の超音波画像の動画像を提示する動画提示部３０とを備えている。

前記静止画提示部２９では、入力者が、超音波画像内から対象領域を選択するマーキング作業時において、マーキング用画像保存部２６に記憶されたマーキング用画像を画像表示装置１６に提示するように機能する。

前記動画提示部３０では、全画像データ保存部２５で記憶された画像データに基づき、所定のタイミングにおいて、超音波画像の動画像を画像表示装置１６に提示可能に機能する。すなわち、ここでは、マーキング用画像が画像表示装置１６の表示部１６Ａの一領域に表示されている際に、マーキング用画像の取得時刻における前後の所定時間（例えば、前後１０秒間）内の時間帯における動画像を表示部１６Ａの他の領域に繰り返し表示させるマーキング用動画再生モードでの動画提示が可能となっている。これにより、入力者は、マーキング作業をより確実に行える。

なお、特に限定されるものではないが、動画提示部３０として、全画像データ保存部２５に録画保存された超音波画像を任意の時間帯で再生する任意動画再生モードでの動画提示を可能とすることもできる。

前記マーキング判定手段２３では、マーキング済画像データ保存部２７で保存されたマーキング済み画像データに対して、当該画像データにおけるマーキング部分の正確性について判定される。

このマーキング判定手段２３は、人体部位の解剖学的構造をモデル化した人体モデルが記憶された人体モデル記憶部３２と、マーキング用画像内で入力者によりマーキングされた領域となるマーキング部分の中から予め設定された特徴部分を抽出する特徴部分抽出部３３と、マーキング用画像の前後の時間での特徴部分の変化から、マーキング部分内の特徴部分の連続性の有無を判断する連続性判断部３４と、連続性判断部３４で連続性が有りとされた場合に、そのマーキング部分について、人体モデル記憶部３２で記憶された人体モデルとの対比により、対象領域に相当する確度が高いか否かを推定する適否推定部３５と、適否推定部３５で、マーキング部分が対象領域に相当する旨の推定がされたマーキング用画像について、その画像データに、マーキングされた対象領域の位置情報を重畳した教師データとして画像解析システム１１に適宜出力する出力部３６とを備えている。

前記人体モデル記憶部３２では、人体モデルとして、人体の所定範囲毎に、その内部の組織や器官等の人体部位の解剖学的な配置や体内サイズ等に関するデータが記録されている。ここでは、入力装置１４に対する入力者の事前の入力により、教師データとする対象領域の存在する部位の人体モデルが選択される。なお、本実施形態においては、穿刺対象の腕神経叢の神経領域が対象領域となるため、頸部内の解剖学的構造が記録された人体モデルの部分が使用される。

前記特徴部分抽出部３３では、マーキング部分における画像情報から、公知の画像処理手法を利用して、神経の断面形状に対応する円形若しくは楕円形の丸型輪郭を有する部分が特徴部分として抽出される。ここで、腕神経叢の場合には、対象領域内に、複数の丸型輪郭部分が存在することになる。

前記連続性判断部３４では、マーキング用画像の前後の所定時間内における超音波画像（例えば、前後０．３秒程度、前後１０フレーム分程度）それぞれについて、公知の画像処理手法を用い、マーキング部分内の特徴部分である丸型輪郭部分が、前記位置姿勢情報が反映された各超音波画像間の画像データの対比により連続的に存在するか否かが判断される。

前記適否推定部３５では、超音波画像内に表れる丸型輪郭部分として、教師データの対象とする神経領域のみならず、対象外となる血管領域等の他の組織等の可能性もあるため、対象の神経領域の本数や延出方向や位置等が記憶された人体モデルとの対比により、マーキング用画像内でマーキングされたマーキング部分が、対象領域に相当する否かが推定される。すなわち、ここでは、連続的に存在するとされた丸型輪郭部分の本数や延出方向や位置等により、丸型輪郭部分が人体モデルの神経部分に近似するような場合には、マーキング部分が、教師データとして必要とする神経領域の可能性が高いと推定される。一方、そうでない場合には、教師データとして必要とする神経領域が間違って指定されている可能性が高く、入力者に対し、不正確なマーキング結果である旨を認識させるように、画像表示装置１６等を通じた所定の表示や、図示省略したスピーカ等による音声伝達等がなされる。

次に、前記マーキングシステム１０によるマーキングの判定処理手順について、図２のフローチャートを用いながら説明する。

先ず、医師等により、画像提供者の頸部の所定範囲内における体表面に沿ってプローブ１８が走査される。この際、超音波画像に前記位置姿勢情報を付加した画像データが時系列で取得され、当該画像データが画像保存手段２１に保存される。ここで、画像表示装置１６にリアルタイムで表示されるプローブ１８の走査時における超音波画像を医師等が視認しながら次の判断がなされる。すなわち、対象領域である神経領域が画像内に存在するタイミングで、入力装置１４のボタン操作等により、当該タイミングでの超音波画像がマーキング用画像として選択され、その画像データが画像保存手段２１に保存される（ステップＳ１０１）。ここでは、リアルタイムで超音波画像を視認する医師等が、当該超音波画像内に対象領域が出現する度に、マーキング用画像として、その画像データが画像保存手段２１に保存される。

なお、以上のマーキング用画像の指定は、プローブ１８の走査終了後、録画された超音波画像を連続して再生しながら同様に行うことも可能である。

マーキング用画像の指定が終了したら、医師等の入力者によるマーキング作業が行われる。ここでは、所定のタイミングで指定されたマーキング用画像が、画像表示装置１６の表示部１６Ａの主領域に表示される。この際、当該表示部１６Ａ内の残りの一領域に、マーキング用画像の取得時刻における前後の所定時間帯での超音波画像の動画像が繰り返し表示される。そこで、入力者は、当該動画像を同時に見ながらマーキング用画像内で、対象領域が存在すると思われるマーキング部分を入力装置１４により指定する。そして、画像データにマーキング部分の画像内位置情報を含めたマーキング作業済み画像データが画像保存手段２１に保存される（ステップＳ１０２）。

その後、マーキング判定手段２３により、マーキング用画像内で記録されたマーキング部分が対象領域に相当するか否かについての推定処理が行われる。

先ず、特徴部分抽出部３３により、マーキング部分内における所望の特徴部分の有無を検出する抽出処理が行われる（ステップＳ１０３）。そこで、特徴部分有りとして当該特徴部分が抽出されれば、以降の連続性判断処理がなされる。一方、当該特徴部分無しとして特徴部分の抽出が不能であれば、指定された特徴部分は、対象となる神経領域とは異なると判定され、その旨が画像表示装置１６等を通じて入力者に伝達されるとともに、画像解析システム１１での教師データとして不使用と判断される（ステップＳ１０４）。その後、当該マーキング用画像を再度マーキングすることで、対象領域の特徴部分が抽出されると、以下の連続性判断処理がなされる。

次に、連続性判断部３４において、マーキング部分内における特徴部分の連続性の有無が判断される（ステップＳ１０５）。そこで、当該連続性が有りと判断されれば、以降の適否推定処理がなされる。一方、当該連続性が無いと判断されれば、指定された特徴部分は、対象となる神経領域とは異なると判定され、その旨が画像表示装置１６等を通じて医師等に伝達されるとともに、画像解析システム１１での教師データとして不使用と判断される（ステップＳ１０４）。その後、当該マーキング用画像を再度マーキングすることで、ここまでの処理をクリアできれば、以下の適否推定処理がなされる。

次に、適否推定部３５では、マーキング部分について、人体モデル記憶部３２に記憶された人体モデルとの対比により、教師データとして必要な神経領域である対象領域に相当する確度が高いか否かが推定される（ステップＳ１０６）。その結果、当該確度が高いと推定されれば、マーキング部分の画像内位置情報を付加したマーキング作業済み画像データが、画像解析システム１１での教師データとして使用される（ステップＳ１０７）。一方、前記確度が低いと推定されれば、教師データとして使用されない（ステップＳ１０４）。

そして、別のタイミングで得られたマーキング用画像についても、同様の処理が行われ、教師データとしての適否が判定される。

なお、以上のマーキング用画像に対する処理は、前記マーキング部分を含むマーキング画像内の最小領域で行っても良いし、その全画像領域をそのまま使用して行っても良い。

また、前記実施形態では、マーキング判定手段２３により、マーキング部分が対象領域に相当するか否かについて推定しているが、本発明はこれに限らず、マーキング判定手段２３でのマーキング部分と人体モデルとの差異の程度を数値化し、当該数値に基づく正確性の度合を導出し、画像表示装置１６等に提示することも可能である。

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

１０ マーキングシステム
１３ 画像取得装置
１４ 入力装置
１５ 処理装置（マーキング判定装置）
１６ 画像表示装置
１９ センサ
２１ 画像保存手段
２２ 画像提示手段
２３ マーキング判定手段
３２ 人体モデル記憶部
３３ 特徴部分抽出部
３４ 連続性判断部
３５ 適否推定部

Claims (5)

1. 画像提供者の体内の医療画像を取得する画像取得装置と、入力者の入力操作により前記医療画像内に表れる所望の人体部位を指定するマーキングを行う入力装置と、当該入力装置への入力に基づいて前記医療画像に対する各種処理を行う処理装置とを備えた医療画像用のマーキングシステムにおいて、
   前記処理装置は、前記マーキングの結果について判定するマーキング判定手段を備え、
   前記マーキング判定手段では、所定のタイミングの前記医療画像内で前記マーキングされたマーキング部分について、予め記憶された前記人体部位の解剖学的構造を表す人体モデルと対比することにより、前記マーキング部分の正確性を判定することを特徴とする医療画像用のマーキングシステム。
2. 前記画像取得装置は、前記医療画像の取得時の体内における位置及び姿勢からなる位置姿勢情報を検出可能なセンサを含み、
   前記処理装置は、前記医療画像を構成するフレーム毎に、その取得時刻及び前記位置姿勢情報を対応させて記録した画像データを保存する画像保存手段を更に備え、
   前記マーキング判定手段では、判定対象とする前記画像データの前後時間における複数フレームから、前記マーキング部分の連続性の有無を求めた上で、当該連続性を有するとされた前記マーキング部分を前記人体モデルと対比することを特徴とする請求項１記載の医療画像用のマーキングシステム。
3. 画像提供者の体内の医療画像を取得する画像取得装置と、入力者の入力操作により前記医療画像内に表れる所望の人体部位を指定するマーキングを行う入力装置と、当該入力装置への入力に基づいて前記医療画像に対する各種処理を行う処理装置とを備えた医療画像用のマーキングシステムにおいて、
   前記画像取得装置は、前記医療画像の取得時の体内における位置及び姿勢からなる位置姿勢情報を検出可能なセンサを含み、
   前記処理装置は、前記医療画像を構成するフレーム毎に、その取得時刻及び前記位置姿勢情報を対応させて記録した画像データを保存する画像保存手段と、前記マーキングの結果について判定するマーキング判定手段とを備え、
   前記マーキング判定手段は、前記人体部位の解剖学的構造をモデル化した人体モデルが記憶された人体モデル記憶部と、前記マーキングが行われる前記医療画像であるマーキング用画像内で、前記入力者により前記マーキングがなされたマーキング部分の中から、予め設定された特徴部分を抽出する特徴部分抽出部と、前記マーキング用画像の前後時間における前記画像データ内の前記特徴部分の変化に基づき、当該特徴部分の連続性の有無を判断する連続性判断部と、当該連続性判断部で連続性が有りとされた場合に、前記マーキング部分について前記人体モデルとの対比により、前記人体部位に相当する確度が高いか否かを推定する適否推定部とを備えたことを特徴とする医療画像用のマーキングシステム。
4. 前記処理装置での処理に基づき、前記医療画像が表示される画像表示装置を更に備え、
   前記処理装置は、前記画像保存手段から前記医療画像を所定のタイミングで前記画像表示装置に提示する画像提示手段を更に備え、
   前記画像提示手段では、前記入力者が前記マーキングを行う静止画からなる所定のタイミングの医療画像を前記画像表示装置に提示する際に、当該タイミングの前後所定時間における前記医療画像の動画像を同時に前記画像表示装置に提示することを特徴とする請求項３記載の医療画像用のマーキングシステム。
5. 画像提供者の体内の医療画像内に表れる所望の人体部位を入力者により指定するマーキングが行われた際に、当該マーキングの結果について判定するマーキング判定装置であって、
   所定のタイミングの前記医療画像内で入力者によりマーキングされたマーキング部分について、予め記憶された前記人体部位の解剖学的構造を表す人体モデルと対比することにより、前記マーキング部分の正確性を判定することを特徴とする医療画像用のマーキング判定装置。

Images