JP6875774B1

JP6875774B1 - 医療画像用のマーキングシステム及びマーキング支援装置

Info

Publication number: JP6875774B1
Application number: JP2020510628A
Authority: JP
Inventors: 張　博; 博張; 奎陳; 唯一蔡
Original assignee: TCC Media Lab Co Ltd
Current assignee: TCC Media Lab Co Ltd
Priority date: 2020-02-19
Filing date: 2020-02-19
Publication date: 2021-05-26
Anticipated expiration: 2040-02-19
Also published as: JPWO2021166094A1; WO2021166094A1

Abstract

本発明のマーキングシステム１０は、医療画像を構成するフレーム毎に、その取得時刻及び医療画像の取得時の体内における位置及び姿勢からなる位置姿勢情報を対応させて記録した画像データに、マーキングがなされた医療画像内でのマーキング部分の位置情報を付加したマーキング済み画像データを保存するマーキング済画像データ保存部２７を備えている。マーキング済画像データ保存部２７は、手動マーキングにより得られたマーキング済み画像データを保存する手動マーキング保存機能２７Ａと、自動マーキングにより得られたマーキング済み画像データを保存する自動マーキング保存機能２７Ｂとを有する。自動マーキング保存機能２７Ｂでは、他の医療画像について、手動マーキングされたマーキング済み画像データのマーキング部分内での所望の特徴部分と画像上同一若しくは近似する特徴部分を含むマーキング部分が特定される。

Description

本発明は、医療画像用のマーキングシステム及びマーキング支援装置に係り、更に詳しくは、医師等の入力者により、画像提供者の体内の医療画像内に表れる組織や器官等の所望の人体部位を指定するマーキングを支援するための医療画像用のマーキングシステム及びマーキング支援装置に関する。

医療現場における神経痛等の患者への治療法の一つとして、患者の神経の内部や周囲に局所麻酔薬を注射針で注入して神経に麻酔を作用させ、神経の興奮伝達を一時的若しくは半永久的に遮断する神経ブロックと呼ばれる処置が行われている。特に、頚椎症性神経根症や胸郭出口症候群等で生じる肩や腕への痛みを伴う場合には、超音波画像診断装置により患者の頸部の内部の超音波画像を取得し、当該超音波画像のガイド下で患者の頸部への穿刺がなされる。この場合、医師が、超音波画像上で頚椎からの神経の束である腕神経叢の位置を確認しながら、患者の頸部から腕神経叢の周囲に穿刺する。しかしながら、超音波画像を目視し、当該超音波画像内で対象となる神経を発見することは、熟練の麻酔医でも難しいとされている。このため、超音波画像で対象となる神経を含む対象領域が表れた際に、その都度、超音波画像に対し、当該対象領域を医師に自動的に重畳提示できる装置の出現が要請される。

ところで、特許文献１には、人工知能を利用し、取得した超音波画像内から腕神経叢を含む部分を自動的に検出可能なシステムが開示されている。

特開２０１９−５２５７８６号公報

前記特許文献１等のシステムのように、取得した医療画像から人工知能を利用して所望の人体部位を精度良く自動検出するには、多くの教師データを取得し、高精度の学習済モデルを生成する必要がある。ここでの教師データとしては、熟練医師の知見を利用し、当該医師が多くの医療画像を視認の上、自動検出の対象となる人体部位を含む対象領域を人為的に指定して保存するマーキングを行ったデータが利用され得る。ところが、前述した神経部位のように、熟練医師でも対象の人体部位を発見し難いケースもあり、対象領域を誤って指定したものが教師データとされ、当該誤った教師データが多くなる程、新規に取得した医療画像に対する人工知能による対象領域の検出精度が低下することになる。しかも、このようなケースでは、取得した医療画像に対するマーキング作業が煩雑になる。

本発明は、このような課題に着目して案出されたものであり、その目的は、医療画像を視認した入力者によって医療画像内における所望の人体部位を指定するマーキング作業をより迅速且つ高精度に行えるようにする医療画像用のマーキングシステム及びマーキング支援装置を提供することにある。

前記目的を達成するため、本発明は、主として、画像提供者の体内の医療画像を取得する画像取得装置と、入力者の入力操作により、前記医療画像内に表れる所望の人体部位を指定するマーキングを行う入力装置と、当該入力装置への入力に基づいて前記医療画像に対する各種処理を行う処理装置とを備えた医療画像用のマーキングシステムにおいて、
前記画像取得装置は、前記医療画像の取得時の体内における位置及び姿勢からなる位置姿勢情報を検出可能なセンサを含み、前記処理装置は、前記画像取得装置からの前記医療画像に係る画像データを保存する画像保存手段を備え、前記画像保存手段は、前記画像データとして、前記医療画像を構成するフレーム毎に、取得時刻及び前記位置姿勢情報を対応させた状態で保存する全画像データ保存部と、前記画像データに、前記マーキングがなされたマーキング部分の前記医療画像内の位置情報を付加したマーキング済み画像データを保存するマーキング済画像データ保存部とを備え、前記マーキング済画像データ保存部は、前記入力操作で前記マーキングを行う手動マーキングにより得られた前記マーキング済み画像データを保存する手動マーキング保存機能と、前記手動マーキングがなされていない他の前記医療画像内における前記人体部位を自動的に指定する自動マーキングにより得られたマーキング済み画像データを保存する自動マーキング保存機能とを有し、前記自動マーキング保存機能では、他の前記医療画像について、前記手動マーキングされた前記マーキング済み画像データのマーキング部分内での所望の特徴部分と画像上同一若しくは近似する特徴部分を含むマーキング部分が特定され、当該マーキング部分の前記位置情報を含む前記マーキング済み画像データとして保存される、という構成を採っている。

本発明によれば、例えば、医師等の入力者の目視により、画像提供者の体内の医療画像内に表れる所望の人体部位がより判別しやすい医療画像のみについて、入力者等の入力操作による手動マーキングを行えば、その他の医療画像について、手動マーキングされた対象と同一の人体部位をより正確に自動マーキングすることができ、短時間でより多くのマーキング済み画像データを得ることができる。しかも、マーキング判定手段により、マーキングされた所望の人体部位が、予め記憶された人体モデルと対比されることで、マーキングの正確性について自動判定される。従って、その判定結果により、マーキングが不正確である場合に、その旨を入力者が認識し、正確な結果が得られるまでマーキング作業を繰り返し行うことができる。その結果、患者等の被検者の医療画像内で所望となる人体部位の存在状態を自動的に推定する人工知能システムに対し、教師データとして正確なマーキングが行われた画像データの提供が可能になる。また、臨床現場において、医師等により指定した医療画像内の部分について、治療時の探索対象等となる所望の人体部位に相当するか否かの自動判定が可能となり、様々な処置を行う際の支援ツールとしても利用可能となる。

本実施形態に係る医療画像用のマーキングシステムの概略構成を表すブロック図である。マーキングの判定手順を説明するためのフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。

図１には、本実施形態に係る医療画像用のマーキングシステムの概略構成を表すブロック図が示されている。この図において、前記マーキングシステム１０は、医師等の入力者により、画像提供者の体内の医療画像内に表れる組織や器官等の所望の人体部位を指定するマーキング（ラベル付け）を行うためのシステムである。更に詳しくは、このマーキングシステム１０では、後述するように、マーキングとして、入力者の手動で行う手動マーキングの他に、当該手動マーキングの結果を利用して自動的にマーキングを行う自動マーキングが可能であるとともに、これらマーキングの正確性が自動判定されることで、入力者のマーキング作業を支援可能となる。

本実施形態において、マーキングシステム１０は、患者等の被検者から取得した体内の医療画像内で所望の人体部位の存在位置を自動的に推定する人工知能機能を含む画像解析システム１１に対して、医師等の入力者による人為的判断に基づく教師データを提供する際に利用される。

具体的に、本実施形態では、人体部位として、患者の医療画像内における頚椎からの神経の束である腕神経叢の領域が対象となっている。なお、以下に例示的に説明するが、本発明においては、医療画像内に表れる組織や器官等の他の人体部位を対象とすることも可能である。

すなわち、本実施形態でのマーキングシステム１０では、画像提供者の頸部内における医療画像としての超音波画像に適宜出現する腕神経叢を囲む神経領域を対象領域とし、当該対象領域を医療画像内で特定するマーキングについて、適切か否かを判定するようになっている。そして、マーキングシステム１０で適切とされたマーキングを含む画像データが、教師データとして画像解析システム１１に送信される。

このマーキングシステム１０は、画像提供者の体内の医療画像を取得する画像取得装置１３と、医療画像に対して入力者により所定の入力操作がなされる入力装置１４と、入力装置１４からの入力に基づいて、医療画像に対する各種処理を行う処理装置１５と、処理装置１５での処理に基づき、医療画像やその他の各種情報等を表示するディスプレイ等の液晶機器からなる表示部１６Ａを有する画像表示装置１６とを備えている。

本実施形態における前記画像取得装置１３としては、２次元超音波診断装置が適用される。この２次元超音波診断装置では、プローブ１８によるビーム走査によって、ビーム走査面と同一断面における断層画像である２次元画像からなる超音波画像が医療画像として取得される。

なお、画像取得装置１３としては、本実施形態の超音波診断装置に限らず、体内の人体部位に係る医療画像を取得可能な限りにおいて、ＣＴ、ＭＲＩ等の他の画像診断装置や内視鏡等の他の撮像装置を適用することも可能である。

前記プローブ１８には、超音波画像を取得した際のプローブ１８の位置及び姿勢を検出可能なセンサ１９が設けられている。当該センサ１９の検出結果により、プローブ１８の位置及び姿勢に対応して取得された超音波画像について、その取得時の体内における位置及び姿勢からなる位置姿勢情報が、処理装置１５にて特定可能となる。なお、センサ１９としては、加速度センサ、磁気センサ、光学センサ等、前記位置姿勢情報を取得可能な限りにおいて、種々の機器を採用することができる。

前記入力装置１４は、画像提供者の頸部へのプローブ１８の走査時に取得された超音波画像が画像表示装置１６の表示部１６Ａに表示された状態において、入力者による入力操作を行える機器からなり、当該入力操作による情報が処理装置１５に出力されるようになっている。この入力装置１４としては、特に限定されるものではないが、所定のタイミングでの医療画像の保存を指令するボタンや、超音波画像内の所望の対象領域を指定するマーキングを行うためのマウス、タッチペン、タッチパネル、キーボード等の機器により構成されている。ここで、入力装置１４によるマーキング作業としては、入力者により、表示部１６Ａの超音波画像の一部に対象領域が表れたと判断したときに、タッチペン等により、表示部１６Ａの表面を当接させながら、その対象領域の外縁部分をなぞるようにして入力する方法を例示できる。

前記処理装置１５は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段として機能させるためのプログラムがインストールされている。

この処理装置１５は、画像取得装置１３からの超音波画像に係る画像データを保存する画像保存手段２１と、画像保存手段２１で保存された超音波画像を所定のタイミングで画像表示装置１６に提示する画像提示手段２２と、所定の超音波画像について入力装置１４によりマーキングされたマーキング結果について判定するマーキング判定手段２３とを備えている。

前記画像保存手段２１は、超音波画像を構成するフレーム毎に、取得時刻と前記位置姿勢情報を対応させて記録した画像データを保存する全画像データ保存部２５と、任意のタイミングでの超音波画像をマーキング用画像として保存するマーキング用画像保存部２６と、前記画像データに、超音波画像内でマーキングされた対象領域の位置情報を付加したマーキング済み画像データを保存するマーキング済画像データ保存部２７とを備えている。

前記マーキング用画像保存部２６では、入力者により、超音波画像の視認の結果、対象領域が表れているタイミングでの入力装置１４の操作により、当該タイミングでの超音波画像の画像データが、後で行う手動マーキングの対象となるマーキング用画像として保存される。

前記マーキング済画像データ保存部２７は、マーキング用画像内の対象領域を入力者が指定する手動マーキングによるマーキング済み画像データを保存する手動マーキング保存機能２７Ａと、手動マーキングがなされていない他の超音波画像内における前記対象領域を自動的に指定する自動マーキングによるマーキング済み画像データを保存する自動マーキング保存機能２７Ｂと、これらのマーキング済み画像データから立体的な３次元の画像データを構築して保存する３Ｄデータ保存機能２７Ｃとを有している。

前記手動マーキング保存機能２７Ａでは、入力装置１４を通じ、マーキング用画像内で対象領域（神経領域）と思われる部分がマーキング部分として指定された後、当該マーキング部分の位置情報を超音波画像の画像データに付加したマーキング済み画像データが保存される。

前記自動マーキング保存機能２７Ｂでは、手動マーキングがされたマーキング用画像の前後の所定時間帯で取得され、且つ、手動マーキングがされていない他の超音波画像について、次の自動マーキング処理がなされる。すなわち、ここでは、公知の画像処理手法により、手動マーキングされたマーキング済み画像データのマーキング部分と同一若しくは近似すると推定される画像内領域をマーキング部分として特定し、当該マーキング部分の位置情報を対応する画像データに付加したマーキング済み画像データが保存される。

具体的に、先ず、手動マーキングされたマーキング済み画像データの前後時間帯で取得された各フレームの画像データについて、マーキング部分内で所定の特徴部分が抽出される。この特徴部分としては、特に限定されるものではないが、腕神経叢の場合、対象領域内に、複数の丸型輪郭部分が存在することになるため、本実施形態では、神経の断面形状に対応する円形若しくは楕円形の丸型輪郭を有する部分が特徴部分として抽出される。

その後、各画像データの位置姿勢情報を考慮しながら、手動マーキングされたマーキング済み画像データの前後の各フレームの画像データについて、画像上同一若しくは近似する特徴部分を含む領域が、マーキング部分として特定され、当該マーキング部分の位置情報が、対応する画像データに付加され、自動マーキングがなされたマーキング済み画像データとして保存される。

なお、手動マーキングを所定のタイミング毎に行い、その間の時間帯である所定の２時刻における手動マーキングの間に存在する画像データについて、当該２時刻での手動マーキング時の前記特徴部分に対する前記位置情報の差が少なくなるように、自動マーキングでのマーキング部分の位置情報を調整する態様を採ることができる。これにより、自動マーキングの精度がより向上することになる。

前記３Ｄデータ保存機能では、公知の画像処理手法を利用して、手動マーキング及び自動マーキング等で得られた複数のマーキング済み画像データを結合することで、超音波画像を撮像した人体部位の範囲内での３次元の断層画像が生成される。ここでの３次元の断層画像からなる３次元画像データでは、任意の部分での断層面における対象領域の有無や場所が特定されることになる。

以上の処理装置１５は、手動マーキングの結果に基づき、その前後の時間帯にて取得された超音波画像について自動的にマーキングを行うことで、入力者によるマーキング作業を支援するマーキング支援装置としても機能する。

前記画像提示手段２２では、画像保存手段２１で保存された画像データに基づいて所望の超音波画像を画像表示装置１６に所定のタイミングで提示するようになっている。この画像提示手段２２は、所定のタイミングにおける静止画像を提示する静止画提示部２９と、所定時間内の超音波画像の動画像を提示する動画提示部３０とを備えている。

前記静止画提示部２９では、入力者が、超音波画像内から対象領域を人為的に選択する手動マーキング作業時において、マーキング用画像保存部２６に記憶されたマーキング用画像を画像表示装置１６に提示するように機能する。

前記動画提示部３０では、全画像データ保存部２５で記憶された画像データに基づき、所定のタイミングにおいて、超音波画像の動画像を画像表示装置１６に提示可能に機能する。すなわち、ここでは、マーキング用画像が画像表示装置１６の表示部１６Ａの一領域に表示されている際に、マーキング用画像の取得時刻における前後の所定時間（例えば、前後１０秒間）内の時間帯における動画像を表示部１６Ａの他の領域に繰り返し表示させるマーキング用動画再生モードでの動画提示が可能となっている。これにより、入力者は、手動マーキング作業をより確実に行える。

なお、特に限定されるものではないが、動画提示部３０として、全画像データ保存部２５に録画保存された超音波画像を任意の時間帯で再生する任意動画再生モードでの動画提示を可能とすることもできる。

前記マーキング判定手段２３では、マーキング済画像データ保存部２７で保存されたマーキング済み画像データに対し、当該画像データにおけるマーキング部分の正確性について判定される。

このマーキング判定手段２３は、人体部位の解剖学的構造をモデル化した人体モデルが記憶された人体モデル記憶部３２と、マーキング用画像内でマーキングされた領域となるマーキング部分の中から予め設定された特徴部分を抽出する特徴部分抽出部３３と、マーキング用画像の前後の時間での特徴部分の変化から、マーキング部分内の特徴部分の連続性の有無を判断する連続性判断部３４と、連続性判断部３４で連続性が有りとされた場合に、そのマーキング部分について、人体モデル記憶部３２で記憶された人体モデルとの対比により、対象領域に相当する確度が高いか否かを推定する適否推定部３５と、適否推定部３５で、マーキング部分が対象領域に相当する旨の推定がされたマーキング用画像について、その画像データに、マーキングされた対象領域の位置情報を重畳したマーキング済み画像データを教師データとして画像解析システム１１に適宜出力する出力部３６とを備えている。

前記人体モデル記憶部３２では、人体モデルとして、人体の所定範囲毎に、その内部の組織や器官等の人体部位の解剖学的な配置や体内サイズ等に関するデータが記録されている。ここでは、入力装置１４に対する入力者の事前の入力により、教師データとする対象領域の存在する部位の人体モデルが選択される。なお、本実施形態においては、穿刺対象の腕神経叢の神経領域が対象領域となるため、頸部内の解剖学的構造が記録された人体モデルの部分が使用される。

前記特徴部分抽出部３３では、マーキング部分における画像情報から、公知の画像処理手法を利用して、神経の断面形状に対応する円形若しくは楕円形の丸型輪郭を有する部分が特徴部分として抽出される。なお、ここでは、前述した自動マーキング保存機能２７Ｂでの特徴部分の抽出結果を利用することもできる。

前記連続性判断部３４では、マーキング用画像の前後の所定時間内における超音波画像（例えば、前後０．３秒程度、前後１０フレーム分程度）それぞれについて、公知の画像処理手法を用い、マーキング部分内の特徴部分である丸型輪郭部分が、前記位置姿勢情報が反映された各超音波画像間の画像データの対比により連続的に存在するか否かが判断される。

前記適否推定部３５では、超音波画像内に表れる丸型輪郭部分として、教師データの対象とする神経領域のみならず、対象外となる血管領域等の他の組織等の可能性もあるため、対象の神経領域の本数や延出方向や位置等が記憶された人体モデルとの対比により、マーキング用画像内でマーキングされたマーキング部分が、対象領域に相当する否かが推定される。すなわち、ここでは、連続的に存在するとされた丸型輪郭部分の本数や延出方向や位置等により、丸型輪郭部分が人体モデルの神経部分に近似するような場合には、マーキング部分が、教師データとして必要とする神経領域の可能性が高いと推定される。一方、そうでない場合には、教師データとして必要とする神経領域が間違って指定されている可能性が高く、入力者に対し、不正確なマーキング結果である旨を認識させるように、画像表示装置１６等を通じた所定の表示や、図示省略したスピーカ等による音声伝達等がなされる。

次に、前記マーキングシステム１０によるマーキングの判定処理手順について、図２のフローチャートを用いながら説明する。

先ず、医師等により、画像提供者の頸部の所定範囲内における体表面に沿ってプローブ１８が走査される。この際、超音波画像に前記位置姿勢情報を付加した画像データが時系列で取得され、当該画像データが画像保存手段２１に保存される。ここで、画像表示装置１６にリアルタイムで表示されるプローブ１８の走査時における超音波画像を医師等が視認しながら次の判断がなされる。すなわち、対象領域である神経領域が画像内に存在するタイミングで、入力装置１４のボタン操作等により、当該タイミングでの超音波画像がマーキング用画像として選択され、その画像データが画像保存手段２１に保存される（ステップＳ１０１）。ここでは、リアルタイムで超音波画像を視認する医師等が、当該超音波画像内に対象領域が出現する度に、マーキング用画像として、その画像データが画像保存手段２１に保存される。

なお、以上のマーキング用画像の指定は、プローブ１８の走査終了後、録画された超音波画像を連続して再生しながら同様に行うことも可能である。

マーキング用画像の指定が終了したら、医師等の入力者による手動マーキング作業が行われる。ここでは、所定のタイミングで指定されたマーキング用画像が、画像表示装置１６の表示部１６Ａの主領域に表示される。この際、当該表示部１６Ａ内の残りの一領域に、マーキング用画像の取得時刻における前後の所定時間帯での超音波画像の動画像が繰り返し表示される。そこで、入力者は、当該動画像を同時に見ながらマーキング用画像内で、対象領域が存在すると思われるマーキング部分を入力装置１４により指定する。更に、マーキング済画像データ保存部２７の自動マーキング保存機能２７Ｂにて自動マーキングが行われる。すなわち、手動マーキングがされていない他の超音波画像について、手動マーキングされたマーキング済み画像データのマーキング部分と同一若しくは近似する領域がマーキング部分として自動的に特定される。そして、画像データにマーキング部分の画像内位置情報を含めたマーキング済み画像データが画像保存手段２１に保存される（ステップＳ１０２）。

その後、マーキング判定手段２３により、マーキング済み画像データにおけるマーキング部分が対象領域に相当するか否かについての推定処理が行われる。

先ず、特徴部分抽出部３３により、マーキング部分内における所望の特徴部分の有無を検出する抽出処理が行われる（ステップＳ１０３）。そこで、特徴部分有りとして当該特徴部分が抽出されれば、以降の連続性判断処理がなされる。一方、当該特徴部分無しとして特徴部分の抽出が不能であれば、指定された特徴部分は、対象となる神経領域とは異なると判定され、その旨が画像表示装置１６等を通じて入力者に伝達されるとともに、画像解析システム１１での教師データとして不使用と判断される（ステップＳ１０４）。その後、当該マーキング用画像を再度マーキングすることで、対象領域の特徴部分が抽出されると、以下の連続性判断処理がなされる。

次に、連続性判断部３４において、マーキング部分内における特徴部分の連続性の有無が判断される（ステップＳ１０５）。そこで、当該連続性が有りと判断されれば、以降の適否推定処理がなされる。一方、当該連続性が無いと判断されれば、指定された特徴部分は、対象となる神経領域とは異なると判定され、その旨が画像表示装置１６等を通じて医師等に伝達されるとともに、画像解析システム１１での教師データとして不使用と判断される（ステップＳ１０４）。その後、当該マーキング用画像を再度マーキングすることで、ここまでの処理をクリアできれば、以下の適否推定処理がなされる。

次に、適否推定部３５では、マーキング部分について、人体モデル記憶部３２に記憶された人体モデルとの対比により、教師データとして必要な神経領域である対象領域に相当する確度が高いか否かが推定される（ステップＳ１０６）。その結果、当該確度が高いと推定されれば、マーキング部分の画像内位置情報を付加したマーキング作業済み画像データが、画像解析システム１１での教師データとして使用される（ステップＳ１０７）。一方、前記確度が低いと推定されれば、教師データとして使用されない（ステップＳ１０４）。

そして、別のタイミングでマーキング部分が指定された他の画像データについても、同様の処理が行われ、教師データとしての適否が判定される。

以上のマーキング判定手段２３での適否推定は、先ず、手動マーキングにより得られたマーキング作業済み画像データのみについて行っても良い。その結果、そのマーキング部分が前記対象領域に該当すると推定された場合には、当該手動マーキングに基づく自動マーキングにより得られたマーキング作業済み画像データについて、当該自動マーキングによるマーキング部分も前記対象領域に該当すると決定しても良く、或いは、前記手順での適否推定処理を別途行っても良い。一方、手動マーキングでのマーキング部分が前記対象領域に該当しないと推定された場合には、当該手動マーキングに基づく自動マーキングにより得られたマーキング作業済み画像データについて、当該自動マーキングによるマーキング部分も前記対象領域に該当しないと決定しても良く、或いは、前記手順での適否推定処理を別途行っても良い。

なお、以上の処理は、前記マーキング部分を含む超音波画像内の最小領域で行っても良いし、その全画像領域をそのまま使用して行っても良い。

また、前記実施形態では、マーキング判定手段２３により、マーキング部分が対象領域に相当するか否かについて推定しているが、本発明はこれに限らず、マーキング判定手段２３でのマーキング部分と人体モデルとの差異の程度を数値化し、当該数値に基づく正確性の度合を導出し、画像表示装置１６等に提示することも可能である。

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

１０マーキングシステム
１３画像取得装置
１４入力装置
１５処理装置（マーキング支援装置）
１９センサ
２１画像保存手段
２３マーキング判定手段
２５全画像データ保存部
２７マーキング済み画像データ保存部
２７Ａ手動マーキング保存機能
２７Ｂ自動マーキング保存機能
２７Ｃ３Ｄデータ保存機能

Claims

画像提供者の体内の医療画像を取得する画像取得装置と、入力者の入力操作により、前記医療画像内に表れる所望の人体部位を指定するマーキングを行う入力装置と、当該入力装置への入力に基づいて前記医療画像に対する各種処理を行う処理装置とを備えた医療画像用のマーキングシステムにおいて、
前記画像取得装置は、前記医療画像の取得時の体内における位置及び姿勢からなる位置姿勢情報を検出可能なセンサを含み、
前記処理装置は、前記画像取得装置からの前記医療画像に係る画像データを保存する画像保存手段と、前記マーキングの結果について判定するマーキング判定手段とを備え、
前記画像保存手段は、前記画像データとして、前記医療画像を構成するフレーム毎に、取得時刻及び前記位置姿勢情報を対応させた状態で保存する全画像データ保存部と、前記画像データに、前記マーキングがなされたマーキング部分の前記医療画像内の位置情報を付加したマーキング済み画像データを保存するマーキング済画像データ保存部とを備え、
前記マーキング済画像データ保存部は、前記入力操作で前記マーキングを行う手動マーキングにより得られた前記マーキング済み画像データを保存する手動マーキング保存機能と、前記手動マーキングがなされていない他の前記医療画像内における前記人体部位を自動的に指定する自動マーキングにより得られたマーキング済み画像データを保存する自動マーキング保存機能とを有し、
前記自動マーキング保存機能では、他の前記医療画像について、前記手動マーキングされた前記マーキング済み画像データのマーキング部分内での所望の特徴部分と画像上同一若しくは近似する特徴部分を含むマーキング部分が特定され、当該マーキング部分の前記位置情報を含む前記マーキング済み画像データとして保存され、
前記マーキング判定手段では、少なくとも一部の前記マーキング済み画像データの前後時間における複数フレームから、前記マーキング部分の連続性の有無を求めた上で、当該連続性を有するとされた前記マーキング部分と、予め記憶された前記人体部位の解剖学的構造を表す人体モデルとを対比することにより、前記マーキング部分の正確性を判定することを特徴とする医療画像用のマーキングシステム。
前記自動マーキング保存機能では、所定の２時刻における前記手動マーキングの間に存在する前記画像データについて、前記２時刻での前記手動マーキング時における各前記特徴部分における前記位置情報との差が少なくなるように、前記自動マーキングでの前記マーキング部分の前記位置情報を調整することを特徴とする請求項１記載の医療画像用のマーキングシステム。
前記マーキング済画像データ保存部は、複数の前記マーキング済み画像データから、立体的な３次元の画像データを構築して保存する３Ｄデータ保存機能を更に有することを特徴とする請求項１記載の医療画像用のマーキングシステム。
画像提供者の体内の医療画像内に表れる所望の人体部位を指定するマーキングを支援するマーキング支援装置であって、
前記医療画像に係る画像データを保存する画像保存手段と、前記マーキングの結果について判定するマーキング判定手段とを備え、
前記画像保存手段は、前記画像データとして、前記医療画像を構成するフレーム毎に、前記医療画像の取得時の体内における位置及び姿勢からなる位置姿勢情報及び取得時刻を対応させた状態で保存する全画像データ保存部と、前記画像データに、前記マーキングがなされた前記医療画像内でのマーキング部分の位置情報を付加したマーキング済み画像データを保存するマーキング済画像データ保存部とを備え、
前記マーキング済画像データ保存部は、入力者の入力操作により前記マーキングを行う手動マーキングにより得られた前記マーキング済み画像データを保存する手動マーキング保存機能と、前記手動マーキングがなされていない他の前記医療画像内における前記人体部位を自動的に指定する自動マーキングにより得られたマーキング済み画像データを保存する自動マーキング保存機能とを有し、
前記自動マーキング保存機能では、他の前記医療画像について、前記手動マーキングされた前記マーキング済み画像データのマーキング部分内での所望の特徴部分と画像上同一若しくは近似する特徴部分を含むマーキング部分が特定され、当該マーキング部分の前記位置情報を含む前記マーキング済み画像データとして保存され、
前記マーキング判定手段では、少なくとも一部の前記マーキング済み画像データの前後時間における複数フレームから、前記マーキング部分の連続性の有無を求めた上で、当該連続性を有するとされた前記マーキング部分と、予め記憶された前記人体部位の解剖学的構造を表す人体モデルとを対比することにより、前記マーキング部分の正確性を判定することを特徴とする医療画像用のマーキング支援装置。