JP7382240B2 - 医用画像処理装置及び医用画像処理方法 - Google Patents

Description

本発明は医用画像撮像装置で取得される医用画像から病変候補を検出する医用画像処理装置及び医用画像処理方法に関し、特に操作者によって修正された領域に基づいて病変候補を再抽出する技術に係る。

超音波診断装置に代表される医用画像撮像装置では大量の医用画像が取得されるようになり、医用画像の撮像や診断に係る検査技師や読影医といった医療従事者の負担が増大している。医療従事者の負担を軽減するため、コンピュータによって医用画像から病変候補を検出して提示することで画像診断を支援するいわゆるＣＡＤ（Computer-Aided Detection/Diagnosis）の開発が進んでいる。

特許文献１には、ＣＡＤによる誤検出を低減するため、超音波画像から検出された病変候補の解剖学的な位置に基づいて偽陽性か否かを判定することが開示されている。

特開２０１５－１５４９１８号公報

しかしながら特許文献１では、ＣＡＤによって検出された病変候補が含まれる領域を操作者が修正したり新たな領域を追加したりする場合に対する配慮がなされていない。ＣＡＤによって検出された領域に過不足がある場合、検出された領域の再撮像や再読影が必要になり、医療従事者である操作者に負担が生じる。

そこで本発明は、医用画像の再撮像や再読影といった負担を軽減可能な医用画像処理装置及び医用画像処理方法を提供することを目的とする。

上記目的を達成するために本発明は、医用画像を処理する医用画像処理装置であって、前記医用画像から病変候補または対象組織が含まれる領域である候補領域を検出するとともに前記候補領域の識別スコアを算出する検出部と、操作者によって指定された領域である指定領域を取得する指定領域取得部と、前記候補領域を検出する過程で用いられる領域である複数の事前定義領域と前記指定領域とに基づいて前記指定領域の識別スコアを算出する再検出部を備えることを特徴とする。

また本発明は、医用画像を処理する医用画像処理装置が実行する医用画像処理方法であって、前記医用画像から病変候補または対象組織が含まれる領域である候補領域を検出するとともに前記候補領域の識別スコアを算出する検出ステップと、操作者によって指定された領域である指定領域を取得する指定領域取得ステップと、前記候補領域を検出する過程で用いられる領域である複数の事前定義領域と前記指定領域とに基づいて前記指定領域の識別スコアを算出する再検出ステップを備えることを特徴とする。

本発明によれば、医用画像の再撮像や再読影といった負担を軽減可能な医用画像処理装置及び医用画像処理方法を提供することができる。

実施例１の医用画像処理装置のハードウェア構成例を示す図である。 医用画像撮像装置の一例である超音波診断装置の構成例を示す図である。 実施例１の機能ブロック図である。 検出部の構成例を示す図である。 推定部での処理について補足説明する図である。 再検出部の構成例を示す図である。 実施例１の処理の流れの一例を示す図である。 実施例１の表示画面の一例を示す図である。 指定領域の編集について説明する図である。 指定領域の形状の例について説明する図である。 指定領域の識別スコアを算出する処理の流れの一例を示す図である。 識別スコア算出部での処理について補足説明する図である。

以下、添付図面に従って本発明に係る医用画像処理装置および医用画像処理方法の好ましい実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１を用いて本実施例の医用画像処理装置１００のハードウェア構成例について説明する。医用画像処理装置１００は、いわゆるコンピュータである。具体的には、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、記憶部１０３、ネットワークアダプタ１０４がバス１０５によって信号送受可能に接続されて構成される。また医用画像処理装置１００には、入力部１０６と表示部１０７が信号送受可能に接続される。さらに医用画像処理装置１００は、ネットワークアダプタ１０４及びネットワーク１０８を介して医用画像撮像装置１０９や医用画像データベース１１０と信号送受可能に接続される。ここで、「信号送受可能に」とは、電気的または光学的に、有線と無線を問わず、相互にあるいは一方から他方へ信号を受け渡しできる状態である。

ＣＰＵ１０１は、記憶部１０３に記憶されるシステムプログラム等を読み出し、各構成要素の動作を制御する装置である。ＣＰＵ１０１は、記憶部１０３に格納されるプログラムやプログラム実行に必要なデータをメモリ１０２にロードして実行する。記憶部１０３は、ＣＰＵ１０１が実行するプログラムやプログラム実行に必要なデータを格納する装置であり、具体的にはＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記録装置や、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に読み書きする装置である。プログラム実行に必要なデータを含む各種データはＬＡＮ（Local Area Network）等のネットワーク１０８からも送受信される。メモリ１０２には、ＣＰＵ１０１が実行するプログラムや演算処理の途中経過等が記憶される。

表示部１０７は、プログラム実行の結果等が表示される装置であり、具体的には液晶ディスプレイ等である。入力部１０６は、操作者が医用画像処理装置１００に対して操作指示を行う操作デバイスであり、具体的にはキーボードやマウス等である。マウスはトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。また表示部１０７がタッチパネルである場合には、タッチパネルが入力部１０６としても機能する。ネットワークアダプタ１０４は、医用画像処理装置１００をＬＡＮ、電話回線、インターネット等のネットワーク１０８に接続するためのものである。

医用画像撮像装置１０９は、病変部位等の形態を画像化した断層画像等の医用画像を取得する装置であり、具体的には、超音波診断装置や、Ｘ線透視撮影装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置等である。複数の断層画像が積み上げられることにより、三次元医用画像が作成されても良い。医用画像データベース１１０は、医用画像撮像装置１０９によって取得された医用画像を保管するデータベースシステムである。

図２を用いて、医用画像撮像装置１０９の一例である超音波診断装置２００について説明する。超音波診断装置２００は、探触子２０１、送信部２０２、受信部２０３、超音波送受信制御部２０４、整相加算部２０５、画像処理部２０６を有する。

探触子２０１は、送信部２０２から送信される信号に基づいて超音波を被検体２１０に照射し、被検体２１０の中で反射した超音波、いわゆる反射エコーを検出し、反射エコーに応じた信号を受信部２０３へ送信する。送信部２０２と受信部２０３は超音波送受信制御部２０４によって制御され、探触子２０１との間で信号を送受信する。整相加算部２０５は受信部２０３に送信された反射エコーに応じた信号を整相加算するとともにアナログデジタル変換をして、ＲＦ（Radio Frequency）信号フレームデータを時系列に生成し、画像処理部２０６へ送信する。画像処理部２０６は、時系列に生成されたＲＦ信号フレームデータを二次元空間にマッピングすることにより超音波断層画像を生成する。生成された超音波断層画像は医用画像として診断に用いられる。

図３を用いて本実施例の要部の機能ブロック図について説明する。なおこれらの機能は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等を用いた専用のハードウェアで構成されても良いし、ＣＰＵ１０１上で動作するソフトウェアで構成されても良い。以降の説明では各機能がソフトウェアで構成された場合について説明する。本実施例は、検出部３０１と指定領域取得部３０３と再検出部３０４を備える。以下、各部について説明する。

検出部３０１は、医用画像３００から病変候補または対象組織が含まれる領域である候補領域を検出するとともに候補領域の識別スコアを算出する。すなわち検出部３０１はいわゆるＣＡＤとして機能する。医用画像３００は医用画像撮像装置１０９によって取得されたり、医用画像データベース１１０から読み出されたりして取得される。候補領域に含まれる病変候補や対象組織は、操作者によって入力部１０６を介して指定されても良い。識別スコアは、異常度、悪性度、組織区分の尤度、病変カテゴリの尤度などの少なくとも一つを含む指標である。異常度とは正常組織との乖離度または病変である確率を示し、病変において１、正常組織において０となる指標である。悪性度とは病変の進行度を示し、悪性の病変において１、良性の病変もしくは正常組織において０となる指標である。組織区分の尤度とは、対象組織が所定の組織である確率を示し、例えば乳房検査では、乳腺、脂肪、大胸筋、肋骨などの各解剖学的組織である確率を示す。病変カテゴリの尤度とは、病変候補が所定の病変カテゴリに含まれる確率を示し、任意のガイドラインなどにより定められた病変カテゴリや、病変の疾患名などに含まれる確率を示す。

図４を用いて、検出部３０１の構成例について説明する。検出部３０１は、候補領域と識別スコアを同時に推定可能な物体検出ニューラルネットワークであれば良く、例えばＳＳＤ（Single Shot multi-box Detector）やＹＯＬＯ（You Only Look Once）等を用いる構成としても良い。図４に示す検出部３０１は、特徴抽出部４０１、推定部４０２、領域統合部４０３を有する。なお検出部３０１は既知の病変や組織が含まれる多数の医用画像を事前に学習する。

特徴抽出部４０１は、畳み込み処理や活性化処理、プーリング処理、正規化処理等を実行することにより、医用画像３００から複数の特徴量マップを算出し、推定部４０２に送信する。

推定部４０２は、特徴抽出部４０１から送信される特徴量マップに対して畳み込み処理を実行することにより、病変候補または対象組織が含まれる候補領域と当該候補領域の識別スコアを推定する。

図５を用いて、推定部４０２での処理について補足説明する。推定部４０２は、特徴抽出部４０１で算出された特徴量マップ５００の注目画素５０１に対して、複数の事前定義領域５０２ａ～５０２ｃを設定する。事前定義領域５０２ａ～５０２ｃのそれぞれは縦横比を含む大きさや中心位置が異なっても良い。また事前定義領域５０２の数や形状は図５に示される三つや矩形に限定されない。なお事前定義領域５０２は、複数の注目画素５０１のそれぞれに対して同様に設定される。

さらに推定部４０２は、特徴量マップ５００に畳み込み処理を実行することにより、複数の事前定義領域５０２のそれぞれに対して識別スコアを推定する。推定された結果は、例えば推定結果５０３のような形式で出力され、領域統合部４０３へ送信される。推定結果５０３は、ｎ個の事前定義領域５０２のそれぞれに対して識別スコアが推定された結果である。推定結果５０３には、各事前定義領域５０２の中心位置が注目画素５０１から縦と横に平行移動した量と各事前定義領域５０２の縦と横の大きさも含まれる。例えば推定結果５０３の中の第一領域は、注目画素５０１から横に０．２、縦に０．４、平行移動した中心位置と、幅０．２、高さ０．８の大きさを有し、０．８の識別スコアが推定されている。

領域統合部４０３は、推定部４０２から送信される推定結果５０３に基づいて、候補領域と識別スコア４０４を出力する。具体的には、まず推定結果５０３に含まれる識別スコアが所定の閾値以上である事前定義領域５０２が抽出される。次に同じ病変候補に対して複数の事前定義領域５０２が抽出されるのを抑制するため、ＮＭＳ（Non-Maximum Suppression）等が用いられる。すなわち識別スコアが最大である事前定義領域と、他の事前定義領域との重なりの程度を示す類似度が算出され、他の事前定義領域の中で類似度が所定の閾値以上であるものが削除される。類似度には、例えばＩｏＵ（Intersection-over-Union）が用いられる。そして類似度に基づき削除されなかった事前定義領域は候補領域として、識別スコアとともに出力される。

図３の説明に戻る。指定領域取得部３０３は、操作者によって指定された領域である指定領域３０２を取得する。操作者は入力部１０６を用いて医用画像３００の上で指定領域３０２を指定する。

再検出部３０４は、複数の事前定義領域５０２と指定領域３０２とに基づいて、指定領域の識別スコア３０５を算出する。

図６を用いて、再検出部３０４の構成例について説明する。図６に示す再検出部３０４は、類似度算出部６０１、識別スコア算出部６０２を有する。類似度算出部６０１は、複数の事前定義領域５０２のそれぞれと指定領域３０２との類似度を算出する。類似度には、例えばＩｏＵやＤＩＣＥ係数、Ｊａｃｃａｒｄ係数、Ｓｉｍｐｓｏｎ係数、領域の中心距離、領域の面積、縦横比などの少なくとも一つが用いられる。

識別スコア算出部６０２は複数の事前定義領域５０２の各識別スコアと各類似度とに基づいて、指定領域３０２の識別スコアを算出する。指定領域３０２の識別スコアｓｃｏｒｅの算出には例えば次式が用いられる。

ｓｃｏｒｅ＝Σ（ｗ_ｉ・ｓ_ｉ）／Σ（ｗ_ｉ） … （１）
ここで、ｓ_ｉは複数の事前定義領域５０２のそれぞれの識別スコア、ｗ_ｉは複数の事前定義領域５０２のそれぞれと指定領域３０２との各類似度である。

図７を用いて、本実施例の処理の流れの一例について説明する。

（Ｓ７０１）
検出部３０１は医用画像３００から候補領域を検出するとともに候補領域の識別スコアを算出し、表示部１０７に表示する。

図８を用いて、本実施例の表示画面の一例について説明する。図８の表示画面８０１には、医用画像３００とともに、病変候補を含む候補領域８０２が表示される。また候補領域８０２の識別スコアが識別結果８０３に表示されるとともに、編集ボタン８０４と削除ボタン８０５が表示される。さらに検査位置アイコン８０６が表示されても良い。

編集ボタン８０４は、指定領域を生成するために候補領域８０２を編集するモードに切り替えるときに用いられる。削除ボタン８０５は、候補領域８０２を削除するときに用いられる。検査位置アイコン８０６は、表示画面８０１に表示される医用画像３００の検査位置を示すアイコンである。図８には左乳房を模擬するアイコンが示されており、アイコン上の縦長矩形が探触子の位置、すなわち検査位置を示す。図８では左乳房の左上が検査位置であることが示される。

（Ｓ７０２）
指定領域取得部３０３は、操作者によって指定される指定領域を取得する。

図９を用いて、指定領域の編集について説明する。図８の表示画面８０１において編集ボタン８０４が選択されると、編集ボタン８０４が変色するとともに、候補領域８０２の枠上に複数の制御点９０１が表示される。編集ボタン８０４の変色は候補領域８０２を編集するモードに切り替わったことを示す。複数の制御点９０１はマウスポインタ９０２の操作により移動する点であり、候補領域８０２の編集による指定領域の生成に用いられる。制御点９０１の移動後に編集ボタン８０４が再選択されると、編集ボタン８０４の色が戻るともに、指定領域が決定され、指定領域取得部３０３によって指定領域の位置や大きさが取得される。

なお指定領域の形状は図９に示される矩形に限定されない。図１０を用いて、指定領域３０２の形状の例について説明する。指定領域３０２の形状には、矩形の指定領域３０２ａ以外にも、楕円形または円形の指定領域３０２ｂ、多角形の指定領域３０２ｃ、自由曲線による閉領域の指定領域３０２ｄ等が用いられても良い。操作者は、操作者自身が医用画像３００上で視認できる病変候補の形状に応じて、指定領域３０２の形状を変更しても良い。

（Ｓ７０３）
再検出部３０４は、検出部３０１が候補領域８０２を検出する過程で用いた複数の事前定義領域とＳ７０２で取得された指定領域に基づいて、指定領域の識別スコアを算出する。

図１１を用いて、本ステップの処理の流れの一例について説明する。

（Ｓ１１０１）
類似度算出部６０１は、複数の事前定義領域のそれぞれと指定領域との類似度を算出する。類似度には、例えばＩｏＵが用いられ、両領域が一致すれば類似度は１になり、重なりがなければ類似度は０になる。

（Ｓ１１０２）
識別スコア算出部６０２は、複数の事前定義領域５０２の各識別スコアと各類似度とに基づいて、指定領域３０２の識別スコアを算出する。指定領域３０２の識別スコアの算出には、平均や重み付き平均、ロジスティック回帰、ＳＶＭ、ニューラルネットワーク等の少なくとも一つが用いられ、例えば式（１）が用いられても良い。なお式（１）を用いるにあたり、識別スコアの算出に用いられる事前定義領域５０２を指定領域３０２との類似度がより大きいものに限定しても良い。例えば、予め定められた閾値より大きい類似度を有する事前定義領域５０２に限定したり、類似度の大きさが所定の順位までの事前定義領域５０２に限定したりしても良い。事前定義領域５０２の数を限定することにより演算量を低減できる。

図１２を用いて、識別スコア算出部６０２での処理について補足説明する。図１２には、医用画像３００上で操作者によって視認された病変候補１２００と、操作者によって指定された指定領域３０２と、指定領域３０２との類似度が閾値０．７以上の事前定義領域５０２ｘ～ｚが示される。また図５の推定結果５０３を類似度により並べ替えた推定結果１２０１も示される。指定領域３０２の識別スコアを算出するにあたり、閾値０．７以上の事前定義領域５０２ｘ～ｚに限定するとき、式（１）は次式のように書き換えられる。

ｓｃｏｒｅ＝（ｗ_ｘ・ｓ_ｘ＋ｗ_ｙ・ｓ_ｙ＋ｗ_ｚ・ｓ_ｚ）／（ｗ_ｘ＋ｗ_ｙ＋ｗ_ｚ） … （２）
ここでｓ_ｘ、ｓ_ｙ、ｓ_ｚは事前定義領域５０２ｘ～ｚのそれぞれの識別スコア、ｗ_ｘ、ｗ_ｙ、ｗ_ｚは事前定義領域５０２ｘ～ｚのそれぞれと指定領域３０２との各類似度である。

指定領域３０２の識別スコアの算出結果は、表示部１０７に表示される。例えば、図９の表示画面８０１の識別結果８０３に指定領域３０２の識別スコアが表示されても良い。なお、識別スコアが悪性度又は病変カテゴリの尤度である場合には、良性か悪性か又はいずれの病変カテゴリであるかを閾値処理によって選別した結果が表示されても良い。

以上説明した処理の流れにより、ＣＡＤとして機能する検出部によって検出された領域に過不足がある場合であっても、操作者によって指定された指定領域の識別スコアが算出される。その結果、医用画像の再撮像や再読影の回数を低減できるので、医療従事者である操作者の負担を軽減可能となる。

以上、本発明の実施例について説明した。本発明は実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したのであり、説明したすべての構成を備えるものに限定されるものではない。

１００：医用画像処理装置、１０１：ＣＰＵ、１０２：メモリ、１０３：記憶部、１０４：ネットワークアダプタ、１０５：バス、１０６：入力部、１０７：表示部、１０８：ネットワーク、１０９：医用画像撮像装置、１１０：医用画像データベース、２００：超音波診断装置、２０１：探触子、２０２：送信部、２０３：受信部、２０４：超音波送受信制御部、２０５：整相加算部、２０６：画像処理部、２１０：被検体、３００：医用画像、３０１：検出部、３０２、３０２ａ～ｄ：指定領域、３０３：指定領域取得部、３０４：再検出部、３０５：指定領域の識別スコア、４０１：特徴抽出部、４０２：推定部、４０３：領域統合部、４０４：候補領域と識別スコア、５００：特徴量マップ、５０１：注目画素、５０２、５０２ａ～ｃ、５０２ｘ～ｚ：事前定義領域、５０３：推定結果、６００：事前定義領域と識別スコア、６０１：類似度算出部、６０２：識別スコア算出部、８０１：表示画面、８０２：候補領域、８０３：識別結果、８０４：編集ボタン、８０５：削除ボタン、８０６：検査位置アイコン、９０１：制御点、９０２：マウスポインタ、１２００：病変候補、１２０１：並べ替えた推定結果

Claims (7)

1. 医用画像を処理する医用画像処理装置であって、
   前記医用画像から病変候補または対象組織が含まれる領域である候補領域を検出するとともに、複数の事前定義領域を用いて前記候補領域の識別スコアを算出する検出部と、
   操作者によって指定された領域である指定領域を取得する指定領域取得部と、
   前記複数の事前定義領域と前記指定領域とに基づいて前記指定領域の識別スコアを算出する再検出部を備え、
   前記再検出部は、前記事前定義領域のそれぞれと前記指定領域との類似度を算出する類似度算出部と、前記事前定義領域のそれぞれの識別スコアと前記類似度とに基づいて前記指定領域の識別スコアを算出する識別スコア算出部を有することを特徴とする医用画像処理装置。
2. 請求項１に記載の医用画像処理装置であって、
   前記識別スコア算出部は、前記事前定義領域のそれぞれの識別スコアをｓｉ 、前記類似度のそれぞれをｗｉ、とするときに、前記指定領域の識別スコアをΣ（ｗｉ・ｓｉ）／Σ（ｗｉ）として算出することを特徴とする医用画像処理装置。
3. 請求項２に記載の医用画像処理装置であって、
   前記識別スコア算出部は、前記類似度ｗｉが所定の値以上の事前定義領域の識別スコアｓｉのみを用いることを特徴とする医用画像処理装置。
4. 請求項１に記載の医用画像処理装置であって、
   前記指定領域は、前記候補領域を変形して生成されることを特徴とする医用画像処理装置。
5. 請求項１に記載の医用画像処理装置であって、
   前記指定領域の形状は、矩形、楕円形、円形、多角形、自由曲線による閉領域のいずれかであることを特徴とする医用画像処理装置。
6. 請求項１に記載の医用画像処理装置であって、
   前記候補領域と前記事前定義領域と前記指定領域の識別スコアは、異常度、悪性度、組織区分の尤度、病変カテゴリの尤度の少なくとも一つを含む指標であることを特徴とする医用画像処理装置。
7. 医用画像を処理する医用画像処理装置が実行する医用画像処理方法であって、
   前記医用画像から病変候補または対象組織が含まれる領域である候補領域を検出するとともに、複数の事前定義領域を用いて前記候補領域の識別スコアを算出する検出ステップと、
   操作者によって指定された領域である指定領域を取得する指定領域取得ステップと、
   前記複数の事前定義領域と前記指定領域とに基づいて前記指定領域の識別スコアを算出する再検出ステップを備え、
   前記再検出ステップには、前記事前定義領域のそれぞれと前記指定領域との類似度を算出する類似度算出ステップと、前記事前定義領域のそれぞれの識別スコアと前記類似度とに基づいて前記指定領域の識別スコアを算出する識別スコア算出ステップが含まれることを特徴とする医用画像処理方法。

Images