JP6638230B2 - 超音波画像処理装置及びプログラム - Google Patents

超音波画像処理装置及びプログラム Download PDF

Info

Publication number
JP6638230B2
JP6638230B2 JP2015144139A JP2015144139A JP6638230B2 JP 6638230 B2 JP6638230 B2 JP 6638230B2 JP 2015144139 A JP2015144139 A JP 2015144139A JP 2015144139 A JP2015144139 A JP 2015144139A JP 6638230 B2 JP6638230 B2 JP 6638230B2
Authority
JP
Japan
Prior art keywords
cine
information
abnormal candidate
frame
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015144139A
Other languages
English (en)
Other versions
JP2017023347A (ja
Inventor
真樹子 占部
真樹子 占部
早田 啓介
啓介 早田
淳 大宮
淳 大宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2015144139A priority Critical patent/JP6638230B2/ja
Priority to US15/213,623 priority patent/US10002422B2/en
Publication of JP2017023347A publication Critical patent/JP2017023347A/ja
Application granted granted Critical
Publication of JP6638230B2 publication Critical patent/JP6638230B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)

Description

本発明は、超音波画像処理装置及びプログラムに関する。
超音波診断は、超音波探触子を体表から当てるという簡単な操作で心臓の拍動や胎児の動きの様子が超音波画像として得られ、かつ安全性が高いため繰り返して検査を行うことができる。このような超音波診断を行うために用いられる超音波画像診断装置が知られている。超音波画像は、超音波探触子から超音波が被検体に送信され、反射した超音波を超音波探触子が受信し、その受信した信号に様々な処理を行うことで得られる。
超音波診断装置は、超音波の送受信で生成した1フレーム分の超音波画像データを時系列に連続して表示することで、検査中、リアルタイムに生体内の画像を表示可能である。また、複数フレーム分の超音波画像データからなる動画データ(シネ動画データ)を記憶し、検査後に再生することが可能である。
例えば乳腺分野などの診断において、読影者(技師や医師)は、検査者(技師や医師)が超音波診断装置により取得したシネ動画データを再生し、検査後に読影を行うことがある。そのような場合、検査者がデータ記録時に、検査開始から異常候補が描出されるまでの経過時間を確認して読影者に伝えていた。
検査後に読影を行う際に、診断に必要のない画像を排除し効率よく画像を検索する手法として、複数フレームの超音波画像データの再生に関し、事前に登録した所定のイベントをトリガとして超音波画像データの記録の開始及び終了の少なくとも一方を制御し、当該所定のイベントを超音波画像データの付帯情報として記録し、付帯情報に基づいて所望の超音波画像データを検索できる超音波診断装置が知られている(特許文献1参照)。この所定のイベントとは、画像調整操作等のボタン操作、造影時のフレーム間の閾値以上の輝度変化などである。
また、時系列の超音波画像データを収集し、所定の超音波画像データを抽出するための抽出条件を記憶し、2つ以上の設定項目が抽出条件を満たす期間に対応する超音波画像データを抽出する超音波診断装置が知られている(特許文献2参照)。抽出条件は、操作に連動したイベント、画質パラメーター、収集条件(フレームレート、スキャンレンジ、ローデータ)、診断条件(Exam Type)である。
特開2006−141997号公報 特開2014−176430号公報
しかし、検査者が異常候補箇所について口頭で読影者に伝える場合、異常候補箇所を目視により認識し、異常候補箇所を含むように連続する複数フレームの超音波画像データを記録し、画像データの記録開始から異常候補箇所が描出されるまでの経過時間を記憶する必要があるため、検査者の作業負担が大きかった。また、事前に登録した所定のイベントの有無に関連づけて超音波画像データを検索する場合や、所定の超音波画像データを抽出するための抽出条件を記憶して抽出条件を満たす期間に対応する超音波画像データを抽出する場合、事前に登録した所定のイベントや抽出条件が、異常候補箇所が存在する超音波画像データの箇所と必ずしも一致しない場合がある。
本発明の課題は、連続する複数フレームの超音波画像データの中で異常候補箇所が存在するフレームがどこにあるかを容易に認識することである。
上記課題を解決するため、請求項1に記載の発明は、
連続する複数フレームの超音波画像データから各フレームの超音波画像内の構造物を抽出する構造物抽出部と、
前記抽出された構造物から異常候補箇所を検出する異常候補箇所検出部と、
前記検出された異常候補箇所を検出元のフレームに関連付けたシネ情報を生成するシネ情報生成部と、
前記複数フレームの超音波画像データのうち、異常候補箇所の種類が同一の連続する複数フレームがある場合に、前記生成されたシネ情報の異常候補箇所の種類が同一の複数フレームの領域を示す第1のマーカー情報を当該異常候補箇所の領域に配置したシネスライダーを生成するシネスライダー生成部と、を備え
前記シネ情報生成部は、前記複数フレームの超音波画像データの生成中に行われた超音波画像処理装置に対する操作の種類を当該操作の対象となったフレームに関連付けた操作情報を含む前記シネ情報を生成し、
前記シネスライダー生成部は、前記生成されたシネ情報の操作の種類に対応する第2のマーカー情報を当該操作の対象となったフレームの位置に配置した前記シネスライダーを生成する
請求項2に記載の発明は、請求項1に記載の超音波画像処理装置において、
前記シネスライダー生成部は、前記生成されたシネ情報の異常候補箇所の種類に対応する第のマーカー情報を当該異常候補箇所の検出元のフレームの位置に配置して、前記複数フレームの超音波画像データのスライド表示用の操作を受け付ける前記シネスライダーを生成し、
前記複数フレームの超音波画像データを前記生成されたシネスライダーとともに表示部に表示させる表示制御部備える。
請求項に記載の発明は、請求項に記載の超音波画像処理装置において、
前記シネスライダー生成部は、前記異常候補箇所の種類が同一の領域のうち、当該異常候補箇所の種類に対応する第のマーカー情報を表示させるための1つのフレームを設定し、当該設定したフレームの位置に当該第のマーカー情報を配置したシネスライダーを生成する。
請求項に記載の発明は、請求項又はに記載の超音波画像処理装置において、
前記シネスライダー生成部は、前記第のマーカー情報及び/又は前記異常候補箇所の種類が同一の領域に、異常候補箇所の種類に応じて異なる表示色を設定した前記シネスライダーを生成する。
請求項に記載の発明は、請求項1からのいずれか一項に記載の超音波画像処理装置において、
被検体に向けて超音波を送受信する超音波探触子に、駆動信号を出力する送信部と、
前記超音波探触子から受信信号を受信する受信部と、
前記受信された受信信号から前記複数フレームの画像データを順に生成する画像生成部と、を備える。
請求項に記載の発明のプログラムは、
超音波画像処理装置のコンピューターを、
連続する複数フレームの超音波画像データから各フレームの超音波画像内の構造物を抽出する構造物抽出部、
前記抽出された構造物から異常候補箇所を検出する異常候補箇所検出部、
前記検出された異常候補箇所を検出元のフレームに関連付けたシネ情報を生成するシネ情報生成部、
前記複数フレームの超音波画像データのうち、異常候補箇所の種類が同一の連続する複数フレームがある場合に、前記生成されたシネ情報の異常候補箇所の種類が同一の複数フレームの領域を示す第1のマーカー情報を当該異常候補箇所の領域に配置したシネスライダーを生成するシネスライダー生成部、として機能させ
前記シネ情報生成部は、前記複数フレームの超音波画像データの生成中に行われた前記超音波画像処理装置に対する操作の種類を当該操作の対象となったフレームに関連付けた操作情報を含む前記シネ情報を生成し、
前記シネスライダー生成部は、前記生成されたシネ情報の操作の種類に対応する第2のマーカー情報を当該操作の対象となったフレームの位置に配置した前記シネスライダーを生成する
本発明によれば、連続する複数フレームの超音波画像データの中で異常候補箇所が存在するフレームがどこにあるかを容易に認識できる。
本発明の実施の形態の超音波画像診断装置の外観図である。 超音波画像診断装置の機能構成を示すブロック図である。 第1のシネ画面情報表示処理を示すフローチャートである。 第1のシネ画面情報表示処理のシネ情報生成処理を示すフローチャートである。 腫瘤を判別する際の判別方法の一例を説明する概念図である。 第1のシネ画面情報表示処理のシネスライダー生成処理を示すフローチャートである。 シネ画面を示す図である。 第2のシネ画面情報表示処理を示すフローチャートである 変形例の超音波画像診断システムを示すブロック図である。 第3のシネ画面情報表示処理を示すフローチャートである。
添付図面を参照して本発明に係る実施の形態及び変形例を詳細に説明する。なお、本発明は、図示例に限定されるものではない。なお、以下の説明において、同一の機能及び構成を有するものについては、同一の符号を付し、その説明を省略する。
(実施の形態)
図1〜図8を参照して、本実施の形態を説明する。先ず、図1を参照して、本実施の形態の超音波画像処理装置としての超音波画像診断装置100の全体構成を説明する。図1は、本実施の形態の超音波画像診断装置100の外観図である。
図1に示すように、超音波画像診断装置100は、超音波画像診断装置本体1と、超音波探触子2と、を備える。超音波探触子2は、図示しない生体等の被検体内に対して超音波(送信超音波)を送信するとともに、この被検体内で反射した超音波の反射波(反射超音波:エコー)を受信する。超音波画像診断装置本体1は、超音波探触子2とケーブル3を介して接続され、超音波探触子2に電気信号の駆動信号を送信することによって超音波探触子2に被検体に対して送信超音波を送信させるとともに、超音波探触子2にて受信した被検体内からの反射超音波に応じて超音波探触子2で生成された電気信号である受信信号に基づいて被検体内の内部状態を超音波画像として画像化する。
超音波探触子2は、圧電素子からなる振動子2a(図2参照)を備えており、この振動子2aは、例えば、方位方向(走査方向)に一次元アレイ状に複数配列されている。本実施の形態では、例えば、192個の振動子2aを備えた超音波探触子2を用いている。なお、振動子2aは、二次元アレイ状に配列されたものであってもよい。また、振動子2aの個数は、任意に設定することができる。また、本実施の形態では、超音波探触子2としてリニア電子スキャンプローブを用いて、リニア走査方式による超音波の走査を行うものとするが、セクタ走査方式あるいはコンベックス走査方式の何れの方式を採用することもできる。超音波画像診断装置本体1と超音波探触子2との通信は、ケーブル3を介する有線通信に代えて、UWB(Ultra Wide Band)等の無線通信により行うこととしてもよい。
次いで、図2を参照して、超音波画像診断装置100の機能構成を説明する。図2は、超音波画像診断装置100の機能構成を示すブロック図である。
図2に示すように、超音波画像診断装置本体1は、例えば、操作入力部11と、送信部12と、受信部13と、画像生成部14と、構造物抽出部、異常候補箇所検出部としてのシネ情報生成部15と、シネ記憶部16と、シネマーカー記憶部17と、シネスライダー生成部18と、表示制御部としての表示合成部19と、表示部20と、制御部21と、を備える。
操作入力部11は、例えば、診断開始を指示するコマンド、被検体の個人情報等のデータ、及び、超音波画像を表示部20に表示するための各種パラメーターの入力などを行うための各種スイッチ、ボタン、トラックボール、マウス、キーボード等を備えており、操作信号を制御部21に出力する。特に、操作入力部11は、表示中の動画の超音波画像のフリーズや、シネ動画データの生成終了の入力を受け付けるフリーズボタンを含むものとする。
送信部12は、制御部21の制御に従って、超音波探触子2にケーブル3を介して電気信号である駆動信号を供給して超音波探触子2に送信超音波を発生させる回路である。また、送信部12は、例えば、クロック発生回路、遅延回路、パルス発生回路を備えている。クロック発生回路は、駆動信号の送信タイミングや送信周波数を決定するクロック信号を発生させる回路である。遅延回路は、振動子2a毎に対応した個別経路毎に遅延時間を設定し、設定された遅延時間だけ駆動信号の送信を遅延させて送信超音波によって構成される送信ビームの集束(送信ビームフォーミング)等を行うための回路である。パルス発生回路は、所定の周期で駆動信号としてのパルス信号を発生させるための回路である。上述のように構成された送信部12は、制御部21の制御に従って、駆動信号を供給する複数の振動子2aを、超音波の送受信毎に所定数ずらしながら順次切り替え、出力の選択された複数の振動子2aに対して駆動信号を供給することにより走査(スキャン)を行う。
受信部13は、制御部21の制御に従って、超音波探触子2からケーブル3を介して電気信号である受信信号を受信する回路である。受信部13は、例えば、増幅器、A/D変換回路、整相加算回路を備えている。増幅器は、受信信号を、振動子2a毎に対応した個別経路毎に、予め設定された増幅率で増幅させるための回路である。A/D変換回路は、増幅された受信信号をアナログ−デジタル変換(A/D変換)するための回路である。整相加算回路は、A/D変換された受信信号に対して、振動子2a毎に対応した個別経路毎に遅延時間を与えて時相を整え、これらを加算(整相加算)して音線データを生成するための回路である。すなわち、整相加算回路は、振動子2a毎の受信信号に対して受信ビームフォーミングを行って音線データを生成する。
画像生成部14は、受信部13からの音線データに対して包絡線検波処理や対数圧縮などを実施し、ダイナミックレンジやゲインの調整を行って輝度変換することにより、B(Brightness)モード画像データを生成することができる。すなわち、Bモード画像データは、受信信号の強さを輝度によって表したものである。
また、画像生成部14は、DRAM(Dynamic Random Access Memory)などの半導体メモリーによって構成された画像メモリー部(図示略)を備えている。画像生成部14は、生成したBモード画像データをフレーム単位で画像メモリー部に記憶する。フレーム単位での画像データを超音波画像データ、あるいはフレーム画像データということがある。
また、画像生成部14は、画像メモリー部から適宜読みだした超音波画像データに対して適宜画像フィルタ処理や時間平滑化処理などの画像処理を施し、表示部20へ表示するための表示画像パターンに走査変換する。画像生成部14は、生成した超音波画像データをシネ動画データとしてシネ情報生成部15、シネ記憶部16に出力し、リアルタイム(ライブ)の超音波画像表示用に、当該超音波画像データを表示合成部19に出力する。
シネ情報生成部15は、画像生成部14で生成されたシネ動画データの各フレームに対し、病変等の異常候補箇所が存在するか否かを判別し、当該シネ動画データの各フレームのうち、異常候補箇所が存在するフレームに対応するシネ情報を生成し、シネ記憶部16に出力する。
シネ記憶部16は、例えば、フラッシュメモリやEEPROM(Electrically Erasable Programmable ROM)などの半導体メモリーによって構成され、画像生成部14で生成されたシネ動画データと、シネ情報生成部15で生成されたシネ情報と、を記憶する。
シネマーカー記憶部17は、例えば、フラッシュメモリ、EEPROM、ROM等の半導体メモリーによって構成され、病変等の異常候補箇所の種類に応じたマーカーと、シネ動画データ中の連続した異常候補箇所のシネフレームの領域を示す異常候補領域と、を表示するためのマーカー情報を記憶している。マーカー情報は、シネマーカーの種類(マーカー、異常候補領域)を識別するシネマーカー番号に対応付けられている。
シネスライダー生成部18は、シネ記憶部16から読み出されたシネ情報及びシネ動画データと、シネマーカー記憶部17から読み出されたマーカー情報と、に基づいて、シネスライダーを生成する。シネスライダーは、通常、シネ動画データの再生時に、現在表示中のフレームが何フレーム目であるかの再生状況を示すスライダーであるが、シネスライダー生成部18が生成するシネスライダーは、さらに、何フレーム目に異常候補箇所が存在するかをも示す。また、シネスライダー生成部18は、シネ記憶部16から読み出されたシネ情報を表示合成部19に出力する。
表示合成部19は、シネスライダー生成部18から入力されたシネ動画データ及びシネスライダーを合成してシネ画面情報として表示部20に出力する。
表示部20は、LCD(Liquid Crystal Display)、CRT(Cathode-Ray Tube)ディスプレイ、有機EL(Electronic Luminescence)ディスプレイ、無機ELディスプレイ、プラズマディスプレイ等の表示装置が適用可能である。表示部20は、表示合成部19から出力されたシネ画面情報又は超音波画像データの画像信号に従って表示画面上にシネ画面又は超音波画像の表示を行う。
制御部21は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)を備え、ROMに記憶されているシステムプログラム等の各種処理プログラムを読み出してRAMに展開し、展開したプログラムに従って超音波画像診断装置本体1の各部の動作を集中制御する。ROMは、半導体等の不揮発メモリー等により構成され、超音波画像診断装置100に対応するシステムプログラム及び該システムプログラム上で実行可能な各種処理プログラムや、ガンマテーブル等の各種データ等を記憶する。これらのプログラムは、コンピューターが読み取り可能なプログラムコードの形態で格納され、CPUは、当該プログラムコードに従った動作を逐次実行する。RAMは、CPUにより実行される各種プログラム及びこれらプログラムに係るデータを一時的に記憶するワークエリアを形成する。特に、制御部21のROMには、第1、第2のシネ画面情報表示プログラムが記憶されているものとする。なお、制御部21は、超音波画像診断装置本体1の各部を制御するが、図2上では、その制御を示す線を省略している。
超音波画像診断装置100が備える送信部12、受信部13、画像生成部14、シネ情報生成部15、シネスライダー生成部18、表示合成部19、制御部21について、各々の機能ブロックの一部又は全部の機能は、集積回路などのハードウェア回路として実現することができる。集積回路とは、例えばLSI(Large Scale Integration)であり、LSIは集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよいし、FPGA(Field Programmable Gate Array)やLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。また、各々の機能ブロックの一部又は全部の機能をソフトウェアにより実行するようにしてもよい。この場合、このソフトウェアは一つ又はそれ以上のROMなどの記憶媒体、光ディスク、又はハードディスクなどに記憶されており、このソフトウェアが演算処理器により実行される。
次に、図3〜図8を参照して、超音波画像診断装置100の動作を説明する。より具体的には、制御部21で実行される第1、第2のシネ画面情報表示処理を説明する。図3は、第1のシネ画面情報表示処理を示すフローチャートである。図4は、第1のシネ画面情報表示処理のシネ情報生成処理を示すフローチャートである。図5は、腫瘤を判別する際の判別方法の一例を説明する概念図である。図6は、第1のシネ画面情報表示処理のシネスライダー生成処理を示すフローチャートである。図7は、シネ画面200を示す図である。図8は、第2のシネ画面情報表示処理を示すフローチャートである。
第1のシネ画面情報表示処理は、超音波送受信により得られるシネ動画データを生成するとともにそのシネフレームから病変等の異常候補箇所を検出し、シネ動画データを、異常候補箇所が存在するシネフレームを示すシネスライダーとともに表示する処理である。
例えば、操作入力部11を介して、被検体の検査者(技師又は医師)から第1のシネ画面情報表示処理の実行指示が入力されたことをトリガとして、制御部21は、ROMに記憶されている第1のシネ画面情報表示プログラムに従い、各部を制御して、第1のシネ画面情報表示処理を実行する。
図3に示すように、先ず、送信部12及び受信部13は、超音波探触子2を介して1フレーム分の超音波画像用の超音波の送受信を行う(ステップS11)。そして、画像生成部14は、ステップS11による超音波送受信に対応する1つのシネフレーム(1フレーム分の超音波画像データ)を生成し、シネ情報生成部15、シネ記憶部16、表示合成部19への出力と、シネ動画データの1フレームとしての当該シネフレームをシネ記憶部16に記憶する(ステップS12)。表示合成部19に入力されたシネフレームは、表示合成部19により、リアルタイム(ライブ)画面情報として表示部20に表示される。
そして、シネ情報生成部15は、シネ情報生成処理を実行する(ステップS13)。ここで、図4を参照して、ステップS13のシネ情報生成処理を説明する。先ず、シネ情報生成部15は、ステップS12で生成された1つのシネフレームに、ダイナミックレンジ調整、平滑化処理等の前処理を施す(ステップS21)。
そして、シネ情報生成部15は、ステップS21で前処理が施されたシネフレームについて、所定の特徴量の演算を行い、演算結果に応じて、所定の判定方法を用いて、画像内の構造物を抽出する(ステップS22)。
ステップS22の所定の特徴量とは、ヘシアン解析の特徴量、HaarLike特徴量、LBP(Local Binary Pattern)等を用いる。ヘシアン解析とは、x,y,z空間上の2次微分成分情報(=ヘシアン行列)から、特徴量としての固有値を解析することで、筒状構造、平面構造、塊構造、ノイズ等を推定する解析方法であり、本実施の形態のように画像のx,y空間上では、線状構造と塊構造との推定が可能である(“Multiscale vessel enfancement filtering” Alejandoro F Flangi et al.1998, MICCAI)。
HaarLike特徴量とは、画像の探索窓の中で計算対象である矩形(HaarLikeパターン)中の黒色の領域のピクセル値の和の値から白色の領域のピクセル値の和の値を引いた値(局所的な明暗差)であり、探索窓中のHaarLikeパターンの位置、大きさを変化させて、学習サンプルの明暗差との比較により、探索窓中の検出対象(ここでは構造物)の判定に用いる。
LBPとは、画像の局所的な特徴を抽出する方法であり、類似画像(検出対象)を検索できる。注目画素に対して左上から時計回りに周辺画素値との大小を比較してビット出力(注目画素以上:1、注目画素未満:0)し、各ビットを並べた8ビットの数字をLBPの特徴量としている。
ステップS22の所定の判定方法とは、閾値処理、相関値判定、判別分析、SVM(Support Vector Machine)等である。閾値処理とは、画像の特徴量が、所定の閾値以上であるか否かに応じて、画像が検出対象であるか否かを判定する方法である。
相関値判定とは、画像の特徴量が、検出対象の特徴量に相関する度合いに応じて、画像が検出対象であるか否かを判定する方法である。
判別分析は、複数軸に特徴量を設定し、解析対象画像から検出した特徴量がどこに分布するかによって、検出対象か否かを判定する方法である。
SVMは、特徴空間内の正例及び負例の訓練データを適切に(例えばマージンを最大化するように)分離する識別面を算出し、画像が検出対象であるか否かを判定する方法である。画像の特徴量が、識別面を境にどちらの領域に含まれるかにより、画像が検出対象であるか否かが判定される。
上記所定の判定方法における閾値、判別式、識別面等の設定は、機械学習(Machine Learning)により行う構成としてもよい。機械学習とは、人工知能における研究課題の一つで、人間が自然に行っている学習能力と同様の機能をコンピューターで実現しようとする技術・手法である。機械学習においては、事前に識別したカテゴリ毎のサンプルデータを複数取得しておき、そのサンプルデータに基づいた判別基準を作成する。機械学習のアルゴリズムとしては、ランダムフォレスト(Random Forest)がある。ランダムフォレストは、決定木を弱学習器(精度の低い学習器)として用いた集団学習を用いるモデルである。例えば、教師データからサンプリングしたデータをノードに与えて多数のツリー構造のグラフ(決定木)を作成し、多数の決定木を用いてデータの識別等を行う。
そして、シネ情報生成部15は、ステップS22で抽出された構造物の画像について、所定の特徴量の演算を行い、演算結果に応じて、所定の判定方法を用いて、当該構造物内の異常候補箇所を検出する(ステップS23)。ステップS23における所定の特徴量、判定方法は、ステップS22で説明した特徴量、判定方法を用いる。本実施の形態では、異常候補箇所として検出する対象が、一例として、腫瘤病変であった場合について、これ以降説明を行う。異常候補箇所が腫瘤病変であった場合は、例えばヘシアン解析等で塊状の構造物として検出されている。そこで、塊状の構造物に対して円形度と、塊状の構造に含まれる画素の輝度値の平均を算出する。
図5は、腫瘤を判別する際の判別方法の一例を説明する概念図である。例えば、縦軸に輝度値の平均値、横軸に円形度という2つの特徴量のグラフが設定され、検出対象としての腫瘤か否かを判別分析するケースを考える。図5に示すように、予め腫瘤である構造物及び腫瘤でない構造物の特徴点を示す教師データが特徴量のグラフ上に入力され、腫瘤である領域と腫瘤でない領域との境界となる判別式が作成されている。そして、ステップS23において、ステップS22で抽出された構造物の特徴量が判別式を境にどちらの領域に含まれるかにより、ステップS22で抽出された構造物が腫瘤であるか否かが判別される。構造物が腫瘤である場合に、異常候補箇所の異常の種類(腫瘤)が特定される。
そして、シネ情報生成部15は、ステップS23で検出された異常候補箇所の異常の種類と検出元のシネフレームのフレーム番号との関連付けをする(ステップS24)。フレーム番号は、シネ動画データ内の各シネフレームの識別情報であり、画像生成部14における生成順に付与されているものとする。そして、シネ情報生成部15は、ステップS24での異常候補箇所の異常の種類と関連付けた検出元のシネフレームのフレーム番号(異常候補箇所番号)を含めるようにシネ情報を更新しシネ記憶部16に記憶し(ステップS25)、シネ情報生成処理を終了する。
図3に戻り、シネ情報生成部15は、検査者から操作入力部11のフリーズボタンの押下入力があるか否かを判別する(ステップS14)。フリーズボタンの押下入力がない場合(ステップS14;NO)、ステップS11に移行される。
フリーズボタンの押下入力がある場合(ステップS14;YES)、シネスライダー生成部18は、シネスライダー生成処理を実行する(ステップS15)。ここで、図6を参照して、ステップS15のシネスライダー生成処理を説明する。シネスライダー生成部18では、シネ動画データを一フレームずつ読み出し、それぞれにシネマーカーを付与する。
先ず、シネスライダー生成部18は、シネ動画データの読み出していないフレーム番号が最小の1つのシネフレームと当該シネフレームに対応するシネ情報とをシネ記憶部16から読み出す(ステップS31)。
そして、シネスライダー生成部18は、ステップS31で読み出されたシネ情報に異常候補箇所番号があるか否かを判別する(ステップS32)。異常候補箇所番号がある場合(ステップS32;YES)、シネスライダー生成部18は、異常候補箇所番号に応じてその後の処理を実施する。ここでは、異常候補箇所を腫瘤として説明する。
シネスライダー生成部18は、ステップS31で読み出されたシネフレームの異常候補箇所の径(腫瘤径)を算出する(ステップS33)。ステップS33では、図4のステップS21〜S23と同様にして異常候補箇所である腫瘤が検出され、腫瘤の輪郭線抽出等を行って腫瘤径を求める。
そして、シネスライダー生成部18は、ステップS33で算出された腫瘤径が、最大径か否かを判定する(ステップS34)。ステップS34では、直前のステップS31で読み出されたシネフレームを含む異常候補箇所を有する連続したシネフレーム(異常候補領域)の各シネフレームの中で腫瘤径が最大か否かが判別される。最大径である場合(ステップS34;YES)、シネスライダー生成部18は、ステップS31で読み出されたシネフレームのフレーム番号と、異常候補箇所(腫瘤)の最大径であることを示すシネマーカー番号とを関連付ける(ステップS35)。ステップS35では、直前のステップS31で読み出されたシネフレームのフレーム番号と腫瘤の最大径であることを示すシネマーカー番号とが関連付けられるとともに、直前のステップS31で読み出されたシネフレームを含む異常候補領域で腫瘤の最大径であることを示すシネマーカー番号に既に関連付けられていたフレーム番号についての関連付けが解除され、解除されたフレーム番号と異常候補領域を示すシネマーカー番号とが関連付けられる。
最大径でない場合(ステップS34;NO)は、シネスライダー生成部18は、ステップS31で読み出されたシネフレームのフレーム番号と、異常候補(腫瘤)領域を示すシネマーカー番号とを関連付ける(ステップS36)。異常候補箇所番号がない場合(ステップS32;NO)、シネスライダー生成部18は、ステップS31で読み出されたシネフレームのフレーム番号と、正常領域のシネマーカー番号とを関連付ける(ステップS37)。
ステップS35,S36,S37の実行後、シネスライダー生成部18は、直前のステップS31で読み出されたシネフレームがシネ動画データの最終フレームであるか否かを判別する(ステップS38)。最終フレームでない場合(ステップS38;NO)、ステップS31に移行される。最終フレームである場合(ステップS38;YES)、シネスライダー生成部18は、腫瘤の最大径であることを示すシネマーカー番号に対応するマーカーのマーカー情報と、異常候補領域を示すシネマーカー番号に対応する異常候補領域のマーカー情報と、をシネマーカー記憶部17から適宜読み出し、それらのマーカー情報と、ステップS35,S36,S37での関連付けの情報と、に基づいてシネスライダーを生成する(ステップS39)、シネスライダー生成処理を終了する。
シネスライダー生成処理後は図3に示す通り、表示合成部19は、シネ画面情報表示(ステップS16)を行う。表示合成部19はシネ記憶部16から読み出したシネ動画データと、シネスライダー生成部18で生成したシネスライダーとを表示部20に表示する。
ここで、図7を参照して、ステップS16で表示部20に表示されるシネ画面情報の一例を説明する。
図7に示すように、シネ画面情報としてのシネ画面200は、超音波画像部210と、シネスライダー部220と、を有する。超音波画像部210は、ステップS11〜S14で取得及び記憶されたシネ動画データのシネフレームの超音波画像を表示する領域である。但し、図7上の超音波画像部210では、超音波画像を省略している。シネスライダー部220は、超音波画像部210で表示中のシネフレーム及びそのシネ動画データに対応する情報をシネスライダーにより表示する領域である。
シネスライダー部220は、画像位置表示部221と、シネスライダー222と、異常候補領域223と、マーカー224と、を有する。なお、マーカー225については、後述する。
画像位置表示部221は、ステップS11〜S14で取得及び記憶されたシネ動画データのうちの超音波画像部210に表示中のシネフレームの表示順の位置を数字により示す表示要素である。図7では、全部で125フレームのシネ動画データのうち、超音波画像部210に表示中の超音波画像のシネフレームが、125番目の表示順の(125番目に生成された)シネフレームであることを示している。
シネスライダー222は、超音波画像部210に表示中のシネフレームの位置を示すスライドバーであり、ステップS11〜S14で取得及び記憶されたシネ動画データの全フレーム数のうちの超音波画像部210に表示中のシネフレームの表示順をバー上の左右の位置により示す。シネスライダー222は、超音波画像部210に表示中のシネフレームの位置を示し左右に移動入力可能なノブ222aを有する。
異常候補領域223は、異常候補箇所として腫瘤が検出された連続する複数のシネフレームの範囲である異常候補領域の位置をシネスライダー222上に示す表示要素としてのシネマーカーである。このように、複数フレームにわたり、同一の異常候補箇所が存在する場合はそれが視認できるようにシネスライダー222上に異常候補領域223を表示する。
(逆三角形の)マーカーは、異常候補箇所が検出されたシネフレームのシネスライダー222上の位置を示す表示要素としてのシネマーカーである。本実施の形態では、マーカー224は、異常候補箇所として腫瘤が検出された画像データにおいて、腫瘤の最大径が描出されている位置を示す。表示合成部19は、マーカーと、同一異常候補箇所の異常候補領域とを、異常候補箇所の種類に応じて同じ色に設定するのが好ましい。
異常候補領域223に対応するマーカーは、異常候補領域223の全てのシネフレームに対応して表示されるものではなく、異常候補領域223の全てのシネフレームのうちの特徴的なシネフレーム1枚に対応して表示される。ここでは、マーカー224は、異常候補領域223の全てのシネフレームのうち、腫瘤が最大径のシネフレームに対応する位置に表示される。つまり、ステップS35で腫瘤が最大径であることを示すシネマーカー番号に関連付けられたフレーム番号のシネフレーム位置にマーカー224及び異常候補領域223が表示され、ステップS36で異常候補領域を示すシネマーカー番号に関連付けられたフレーム番号のシネフレーム位置に異常候補領域223が表示される。但し、これに限定されるものではなく、腫瘤が最大径を示すシネマーカー番号に関連付けられたフレーム番号のシネフレームが、他の異常候補箇所のシネフレームと連続していない場合に、当該関連付けられたフレーム番号のシネフレーム位置にマーカーのみを表示する構成としてもよい。
ステップS37で正常領域を示すシネマーカー番号に関連付けられたフレーム番号のシネフレーム位置には、何も表示されない。但し、これに限定されるものではなく、正常領域を示すシネマーカー番号に関連付けられたフレーム番号のシネフレーム位置に正常領域を示す領域等の表示要素としてのシネマーカーを表示する構成としてもよい。
また、マーカーが、異常候補箇所の他の特徴(異常候補箇所が検出され且つシネフレーム生成時に検査者から操作があった等)に対応付けて異常候補領域の1つのシネフレームに対応する位置に設定されることとしてもよい。
ステップS16のシネ画面情報表示では、例えば、シネ動画データのフレーム番号が先頭のシネフレームから順に所定時間間隔で最終のシネフレームまで順に再生表示されるものとする。このとき、超音波画像部210のシネフレームが順に切り替わり、これに対応してシネスライダー222のノブ222aも右に移動していくものとする。
次いで、図8を参照して、第2のシネ画面情報表示処理を説明する。第2のシネ画面情報表示処理は、シネ動画データの生成及び記憶後に、そのシネフレームから病変等の異常候補箇所を検出し、シネ動画データを、異常候補箇所が存在するシネフレームを示すシネスライダーとともに表示する処理である。ここでも、病変が腫瘤である場合の異常候補箇所を検出する例を説明する。
予め、図3のステップS11,S12と同様の処理の繰り返しの実行により、シネ動画データが生成され、シネ記憶部16に記憶されているものとする。例えば、操作入力部11を介して、被検体の検査者から第2のシネ画面情報表示処理の実行指示が入力されたことをトリガとして、制御部21は、ROMに記憶されている第2のシネ画面情報表示プログラムに従い、各部を制御して、第2のシネ画面情報表示処理を実行する。
図8に示すように、先ず、シネ情報生成部15は、シネ記憶部16からシネ動画データの読み出していないフレーム番号が最小の1つのシネフレームを読み出す(ステップS41)。ステップS42〜S46は、図4のステップS21〜S25と同様であり、異常候補箇所の検出対象のシネフレームがステップS41で読み出されたシネフレームとなる。
そして、シネ情報生成部15は、直前のステップS41で読み出されたシネフレームがシネ動画データの最終フレームであるか否かを判別する(ステップS47)。最終フレームでない場合(ステップS47;NO)、ステップS41に移行される。最終フレームである場合(ステップS47;YES)、シネスライダー生成部18は、ステップS48を実行し、表示合成部19は、ステップS49を実行し、第2のシネ画面情報表示処理を終了する。ステップS48,S49は、図3のステップS15,S16と同様の処理である。
なお、上記第1、第2のシネ画面情報表示処理は、シネフレームから異常候補箇所として腫瘤を検出する構成としたが、これに限定されるものではない。第1、第2のシネ画面情報表示処理において、石灰化、乳管所見、プラーク等、他の病変等の種類の異常候補箇所を検出する構成としてもよく、2種類以上の異常候補箇所を検出する構成としてもよい。
例えば、図4のステップS23では、石灰化、乳管所見、プラークの異常候補箇所が検出される。また、ステップS24,S25では、検出元のシネフレームのフレーム番号に異常候補箇所の種類(プラーク)及び厚さが対応付けられてシネ情報に含められる。
そして、図3のステップS15では、シネ情報の石灰化、乳管所見、プラークの異常候補箇所の種類に応じたマーカー情報により、シネスライダーにシネマーカーが配置される。例えば、異常候補箇所の種類が石灰化である場合は、ステップS35で石灰化の異常候補領域上の何れか1つのシネフレームの位置に、石灰化のシネマーカーを配置することができる。異常候補箇所の種類が乳管所見である場合は、ステップS35で乳管所見の異常候補領域上の先頭のシネフレームの位置に、乳管所見のシネマーカーを配置可能である。異常候補箇所の種類がプラークである場合は、ステップS33でその厚さが算出され、ステップS35でプラークを示す異常候補領域のうちプラークの厚さが最大厚を示す1つのシネフレームの位置に、プラークのシネマーカーを配置することができる。また、これらのシネマーカーの配置は一例であり、これらに限定されるものではない。例えば、腫瘤のシネマーカーが、腫瘤を示す異常候補領域の先頭、中央、最後尾等のシネフレームの位置に配置される構成としてもよい。
また、第1、第2のシネ画面情報表示処理において、シネ動画データのシネフレームの生成時に、検査者から操作入力部11に入力された操作情報に対応して、シネマーカー及び異常候補領域をシネスライダーに表示する構成としてもよい。例えば、図3のステップS11〜S14の1ループ中(1つのシネフレーム生成及び記憶)に操作入力が行われた場合に、図4のステップS24,S25で、直前に生成されたシネフレームのフレーム番号に当該操作入力の操作情報の種類が対応付けられてシネ情報に含められる。
そして、図3のステップS15では、シネ情報の操作情報の種類に応じたマーカー情報により、シネスライダーにシネマーカーが配置される。例えば、操作情報の種類が静止画像保存である場合に、対応するシネフレームの位置に、該当する操作を示すシネマーカーが配置される。例えば、図7のシネ画面200において、操作(静止画像保存)のマーカー225が表示される。操作情報の種類は、静止画像保存に限定されるものではなく、表示中のシネフレームのプリンタ(図示略)への印刷等、他の種類としてもよい。
第2のシネ画面情報表示処理では、超音波画像診断装置100において、予め、シネ動画データの生成及び記憶が実行され、その各フレーム生成時の操作入力に対応する操作情報が取得され、当該シネ動画データと、各フレームの操作情報とがシネ記憶部16に記憶される。ステップS45,S46では、シネ記憶部16に記憶された各フレームの操作情報に応じて、シネ情報が生成され、シネ記憶部16に記憶される。
また、マーカーは、シネスライダー222上の同じ位置に複数ある場合には、マーカー224,225のように、シネスライダー222の長手方向(時系列方向)に対して垂直な方向に並べて表示される。
また、操作情報の種類に応じて、シネスライダー222に、連続する複数のシネフレームに対応する操作領域を表示することとしてもよい。操作領域については、操作のマーカー位置が、操作領域の生成順の先頭のシネフレーム位置の1カ所に設定される構成とするが、これに限定されるものではなく、操作領域の生成順の最後尾、中央等、の1カ所のシネフレームの位置に設定される構成としてもよい。また、異常候補箇所又は操作のマーカーが、異常候補領域又は操作領域上に1カ所配置される構成が好ましいが、複数配置される構成としてもよい。
また、異なる種類のマーカーは、異なる色で表示されることが好ましい。例えば、シネ画面200において、操作(静止画像保存)に対応するマーカー225と、腫瘤の異常候補箇所に対応するマーカー224と、の色が異にされる。また、2種類以上の異常候補箇所の種類に応じて、各種類のマーカーの色が異にされる構成としてもよい。また、2種類以上の操作の種類に応じて、各種類のマーカーの色が異にされる構成としてもよい。
以上、本実施の形態によれば、超音波画像診断装置100は、シネ動画データから各シネフレームの超音波画像内の構造物を抽出し、抽出された構造物から異常候補箇所を検出し、検出された異常候補箇所を検出元のシネフレームに関連付けたシネ情報を生成するシネ情報生成部15を備える。
このため、生成したシネ情報を用いることで、検出した異常候補箇所が存在するシネフレーム位置を表示できるので、シネ動画データの中で異常候補箇所が存在するシネフレームがどこにあるかを読影者が目視により容易に認識でき、またシネ動画データ中の異常候補箇所を自動的に検出でき、読影者及び検査者の負担を低減できる。
また、超音波画像診断装置100は、生成されたシネ情報の異常候補箇所の種類に対応するマーカー情報(マーカー224)を当該異常候補箇所の検出元のフレームの位置に配置して、シネスライダーを生成するシネスライダー生成部18と、シネ動画データを、生成されたシネスライダーとともに表示部20に表示させる表示合成部19と、を備える。このため、検出した異常候補箇所を有するシネフレーム位置をマーカーによりシネスライダーに表示できるので、シネ動画データの中で異常候補箇所が存在するシネフレームがどこにあるかを読影者が目視によりさらに容易に認識できる。
また、シネスライダー生成部18は、シネ動画データのうち、異常候補箇所の種類が同一の連続する複数フレームの領域がある場合に、当該異常候補箇所の異常候補領域を示すマーカー情報(異常候補領域223)を当該異常候補領域に配置してシネスライダーを生成する。このため、異常候補箇所の種類が同一の複数フレームの範囲を読影者が目視により容易に認識できる。
また、シネスライダー生成部18は、異常候補箇所の異常候補領域のうち、当該異常候補箇所の種類に対応するマーカー情報(マーカー224)を表示させるための1つのシネフレームを設定し、設定したシネフレームの位置に当該マーカー情報を配置したシネスライダーを生成する。このため、シネスライダーに異常候補領域のうちの1つのシネフレームに対応する位置にマーカーを表示できるので、異常候補箇所の種類が同一のシネマーカーが複数表示されることによる視認しづらさを防ぐことができる。
また、シネスライダー生成部18は、異常候補箇所のマーカー情報及び異常候補領域に、異常候補箇所の種類に応じて異なる表示色を設定したシネスライダーを生成する。このため、異常候補箇所の種類に応じて異なる色のシネマーカー及び異常候補領域を表示できるので、異常候補箇所の種類の違いを読影者が表示色により視覚的に容易に認識できる。
また、シネ情報生成部15は、シネ動画データの生成中に行われた操作の種類を当該操作の対象となったシネフレームに関連付けた操作情報を含むシネ情報を生成する。このため、生成したシネ情報を用いることで、生成時に操作がなされたシネフレーム位置を表示できるので、シネ動画データの中で生成時に操作がなされたシネフレームがどこにあるかを読影者が目視により容易に認識でき、またシネ動画データ中の操作の対象となった(生成時に操作がなされた)シネフレームを自動的に検出でき、読影者及び検査者の負担を低減できる。
また、シネスライダー生成部18は、生成されたシネ情報の操作の種類に対応するマーカー情報(マーカー225)をシネマーカー記憶部17から取得し、当該操作の対象となったシネフレームの位置に当該操作のマーカーを配置して、シネスライダーを生成する。このため、操作の対象となったシネフレーム位置をマーカーによりシネスライダーに表示できるので、シネ動画データの中で操作の対象となったシネフレームがどこにあるかを読影者が目視によりさらに容易に認識できる。
(変形例)
図9及び図10を参照して、上記実施の形態の変形例を説明する。図9は、超音波画像診断システム1000を示すブロック図である。図10は、第3のシネ画面情報表示処理を示すフローチャートである。
図9に示すように、本変形例の超音波画像診断システム1000は、超音波画像診断装置100Aと、超音波画像処理装置300と、を備える。超音波画像診断装置100Aは、上記実施の形態の超音波画像診断装置100と同様の構成要素(図示略)を備え、さらに、制御部21に接続された通信部22を備える。
通信部22は、ケーブルを用いたLAN(Local Area Network)等の有線通信、又は無線による無線通信等の通信方式の通信ユニットで構成され、超音波画像処理装置300と通信を行う。
超音波画像処理装置300は、制御部31、操作入力部32、記憶部33、表示部34、通信部35を備える。制御部31は、CPU、RAMを有する。制御部31のCPUが、記憶部33に記憶されたプログラムを読み出してRAMに展開し、当該展開されたプログラムと協働で、各種処理を実行する。
操作入力部32は、キーボードや、マウス等のポインティングデバイスにより構成され、操作者の操作入力を受け付け、操作情報を制御部31に出力する。記憶部33は、HDD(Hard Disk Drive)、SSD(Solid State Drive)等により構成され、各種データ及びプログラムを記憶する。記憶部33は、第3のシネ画面情報表示プログラムと、異常候補箇所の種類に対応するマーカー情報と、を記憶しているものとする。
表示部34は、CRTディスプレイ、有機ELディスプレイ、無機ELディスプレイ、プラズマディスプレイ等の表示装置である。通信部35は、通信部22に対応する通信方式の通信ユニットにより構成され、超音波画像診断装置100Aと通信を行う。
次いで、図10を参照して、超音波画像診断システム1000の動作を説明する。ここでは、異常候補箇所に対応するマーカー及び異常候補領域を表示する例を説明する。
予め、超音波画像診断装置100Aにおいて、図3のステップS11、S12と同様の処理の繰り返しの実行により、シネ動画データが生成され、シネ記憶部16に記憶されているものとする。そして、超音波画像処理装置300の制御部31は、操作者から操作入力部32へシネ動画データ取得指示の入力に応じて、通信部35を介して、シネ動画データの要求を超音波画像診断装置100Aに送信する。超音波画像診断装置100Aの制御部21は、通信部22を介して上記要求を受信し、当該要求に対応するシネ動画データをシネ記憶部16から読み出して、通信部22を介して、超音波画像処理装置300に送信する。そして、超音波画像処理装置300の制御部31は、通信部35を介してシネ動画データを超音波画像診断装置100Aから受信して記憶部33に記憶する。
そして、例えば、操作入力部32を介して、操作者から第3のシネ画面情報表示処理の実行指示が入力されたことをトリガとして、制御部31のCPUは、ROMに記憶されている第3のシネ画面情報表示プログラムを読み出してRAMに展開し、展開したプログラムとの協働で、第3のシネ画面情報生成処理を実行する。
図10に示すように、制御部31は、ステップS51〜S59を実行し、第3のシネ画面情報表示処理を終了する。ステップS51〜S59は、それぞれ、図8のステップS41〜S49と同様の処理である。但し、図8でのシネ情報生成部15、シネスライダー生成部18、表示合成部19が行う処理に対応する本変形例の処理は、制御部31で行われるものとし、図8でのシネ記憶部16、シネマーカー記憶部17に記憶される情報に対応する本変形例の情報は、記憶部33に記憶されるものとし、図2の表示部20が、本変形例での表示部34に対応するものとする。
第3のシネ画面情報表示処理により、シネ動画データ及びシネ情報が記憶部33に記憶される。制御部31は、通信部35を介して、記憶部33に記憶されたシネ動画データ及びシネ情報を読み出して超音波画像診断装置100Aに送信することとしてもよい。この場合、超音波画像診断装置100Aの制御部21が、通信部22を介して、シネ動画データ及びシネ情報を超音波画像処理装置300から受信してシネ記憶部16に記憶する。制御部21は、図8の第2のシネ画面情報表示処理のステップS38,S39と同様にして、記憶部33に記憶されたシネ動画データ及びシネ情報からシネ画面情報を生成して表示部20に表示する。また、本変形例においても、上記実施の形態と同様に、操作のマーカー、操作領域を配置したシネスライダーを生成する構成としてもよい。
以上、本変形例によれば、超音波画像処理装置300は、シネ動画データから各シネフレームの超音波画像内の構造物を抽出し、抽出された構造物から異常候補箇所を検出し、検出された異常候補箇所を検出元のシネフレームに関連付けたシネ情報を生成する制御部31を備える。
このため、生成したシネ情報を用いることで、検出した異常候補箇所が存在するシネフレーム位置を表示できるので、シネ動画データの中で異常候補箇所が存在するシネフレームがどこにあるかを読影者が目視により容易に認識でき、またシネ動画データ中の異常候補箇所を自動的に検出でき、読影者及び検査者の負担を低減できる。さらに、第3のシネ画面情報生成処理が超音波画像処理装置300で実行されることにより、超音波診断を行うための超音波画像診断装置100Aの演算量を減らすことができる。
以上の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてROMを使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、フラッシュメモリ等の不揮発性メモリー、CD−ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も本発明に適用される。
なお、上記実施の形態及び変形例における記述は、本発明に係る好適な超音波画像処理装置及びプログラムの一例であり、これに限定されるものではない。
例えば、上記実施の形態及び変形例では、シネ動画データ、シネ情報を別々のデータとしたが、これに限定されるものではない。シネ情報を、タグ情報等の付帯情報としてシネ動画データ(シネフレーム)に含める構成としてもよい。
また、上記実施の形態及び変形例では、図7に示すように、1つの超音波画像の超音波画像部210と、シネスライダー部220と、からなるシネ画面200を表示する構成としたが、これに限定されるものではない。例えば、シネ画面200が、超音波画像部210とは別に、超音波画像部210のシネフレームを基準として生成順(表示順)の前後所定数のシネフレームのサムネイルを含む構成としてもよい。さらに、これらのサムネイルの画像データにシネマーカー、同一種類範囲部が対応する場合には、シネスライダーに加えて、当該サムネイルに対応づけてシネマーカー、同一種類範囲部を表示させる構成としてもよい。
また、上記実施の形態及び変形例では、生成する超音波画像データを、Bモード画像データとしたが、これに限定されるものではない。生成する超音波画像の画像データを、3次元データとしてのボリュームデータ等としてもよい。
また、以上の実施の形態における超音波画像診断装置100、超音波画像診断システム1000を構成する各部の細部構成及び細部動作に関して本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
1000 超音波画像診断システム
100,100A 超音波画像診断装置
1 超音波画像診断装置本体
11 操作入力部
12 送信部
13 受信部
14 画像生成部
15 シネ情報生成部
16 シネ記憶部
17 シネマーカー記憶部
18 シネスライダー生成部
19 表示合成部
20 表示部
21 制御部
22 通信部
2 超音波探触子
2a 振動子
3 ケーブル
300 超音波画像処理装置
31 制御部
32 操作入力部
33 記憶部
34 表示部
35 通信部

Claims (6)

  1. 連続する複数フレームの超音波画像データから各フレームの超音波画像内の構造物を抽出する構造物抽出部と、
    前記抽出された構造物から異常候補箇所を検出する異常候補箇所検出部と、
    前記検出された異常候補箇所を検出元のフレームに関連付けたシネ情報を生成するシネ情報生成部と、
    前記複数フレームの超音波画像データのうち、異常候補箇所の種類が同一の連続する複数フレームがある場合に、前記生成されたシネ情報の異常候補箇所の種類が同一の複数フレームの領域を示す第1のマーカー情報を当該異常候補箇所の領域に配置したシネスライダーを生成するシネスライダー生成部と、を備え
    前記シネ情報生成部は、前記複数フレームの超音波画像データの生成中に行われた超音波画像処理装置に対する操作の種類を当該操作の対象となったフレームに関連付けた操作情報を含む前記シネ情報を生成し、
    前記シネスライダー生成部は、前記生成されたシネ情報の操作の種類に対応する第2のマーカー情報を当該操作の対象となったフレームの位置に配置した前記シネスライダーを生成する超音波画像処理装置。
  2. 前記シネスライダー生成部は、前記生成されたシネ情報の異常候補箇所の種類に対応する第のマーカー情報を当該異常候補箇所の検出元のフレームの位置に配置して、前記複数フレームの超音波画像データのスライド表示用の操作を受け付ける前記シネスライダーを生成し、
    前記複数フレームの超音波画像データを前記生成されたシネスライダーとともに表示部に表示させる表示制御部備える請求項1に記載の超音波画像処理装置。
  3. 前記シネスライダー生成部は、前記異常候補箇所の種類が同一の領域のうち、当該異常候補箇所の種類に対応する第3のマーカー情報を表示させるための1つのフレームを設定し、当該設定したフレームの位置に当該第3のマーカー情報を配置したシネスライダーを生成する請求項2に記載の超音波画像処理装置。
  4. 前記シネスライダー生成部は、前記第3のマーカー情報及び/又は前記異常候補箇所の種類が同一の領域に、異常候補箇所の種類に応じて異なる表示色を設定した前記シネスライダーを生成する請求項2又は3に記載の超音波画像処理装置。
  5. 被検体に向けて超音波を送受信する超音波探触子に、駆動信号を出力する送信部と、
    前記超音波探触子から受信信号を受信する受信部と、
    前記受信された受信信号から前記複数フレームの画像データを順に生成する画像生成部と、を備える請求項1から4のいずれか一項に記載の超音波画像処理装置。
  6. 超音波画像処理装置のコンピューターを、
    連続する複数フレームの超音波画像データから各フレームの超音波画像内の構造物を抽出する構造物抽出部、
    前記抽出された構造物から異常候補箇所を検出する異常候補箇所検出部、
    前記検出された異常候補箇所を検出元のフレームに関連付けたシネ情報を生成するシネ情報生成部、
    前記複数フレームの超音波画像データのうち、異常候補箇所の種類が同一の連続する複数フレームがある場合に、前記生成されたシネ情報の異常候補箇所の種類が同一の複数フレームの領域を示す第1のマーカー情報を当該異常候補箇所の領域に配置したシネスライダーを生成するシネスライダー生成部、として機能させ、
    前記シネ情報生成部は、前記複数フレームの超音波画像データの生成中に行われた前記超音波画像処理装置に対する操作の種類を当該操作の対象となったフレームに関連付けた操作情報を含む前記シネ情報を生成し、
    前記シネスライダー生成部は、前記生成されたシネ情報の操作の種類に対応する第2のマーカー情報を当該操作の対象となったフレームの位置に配置した前記シネスライダーを生成するプログラム
JP2015144139A 2015-07-21 2015-07-21 超音波画像処理装置及びプログラム Active JP6638230B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015144139A JP6638230B2 (ja) 2015-07-21 2015-07-21 超音波画像処理装置及びプログラム
US15/213,623 US10002422B2 (en) 2015-07-21 2016-07-19 Ultrasound image processing apparatus and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015144139A JP6638230B2 (ja) 2015-07-21 2015-07-21 超音波画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2017023347A JP2017023347A (ja) 2017-02-02
JP6638230B2 true JP6638230B2 (ja) 2020-01-29

Family

ID=57837801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015144139A Active JP6638230B2 (ja) 2015-07-21 2015-07-21 超音波画像処理装置及びプログラム

Country Status (2)

Country Link
US (1) US10002422B2 (ja)
JP (1) JP6638230B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102519424B1 (ko) * 2015-09-25 2023-04-10 삼성메디슨 주식회사 초음파 이미지 디스플레이 방법 및 이를 위한 장치
WO2018142950A1 (ja) * 2017-02-01 2018-08-09 富士フイルム株式会社 超音波診断装置、超音波診断装置の制御方法及び超音波診断装置の制御プログラム
JP7149516B2 (ja) * 2018-08-24 2022-10-07 富士通株式会社 検査支援プログラム、検査支援方法および検査支援装置
JP2020028679A (ja) * 2018-08-24 2020-02-27 富士通株式会社 異常判別プログラム、異常判別方法および異常判別装置
CN109493328B (zh) * 2018-08-31 2020-08-04 上海联影智能医疗科技有限公司 医学图像显示方法、查看设备以及计算机设备
WO2020126712A1 (en) 2018-12-17 2020-06-25 Koninklijke Philips N.V. Systems and methods for frame indexing and image review
CN110493809B (zh) * 2019-08-16 2023-07-18 惠州Tcl移动通信有限公司 移动终端及其通信数据异常检测方法、计算机可读介质
JP7348845B2 (ja) * 2020-01-09 2023-09-21 富士フイルムヘルスケア株式会社 超音波診断装置およびプログラム
KR20210120716A (ko) * 2020-03-27 2021-10-07 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작 방법
US20220291823A1 (en) * 2021-03-11 2022-09-15 GE Precision Healthcare LLC Enhanced Visualization And Playback Of Ultrasound Image Loops Using Identification Of Key Frames Within The Image Loops
JP2024001405A (ja) * 2022-06-22 2024-01-10 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040138559A1 (en) * 2001-11-20 2004-07-15 Xiangyong Cheng Diagnosis method and ultrasound information display system therefor
JP5148057B2 (ja) 2004-10-19 2013-02-20 株式会社東芝 超音波診断装置
JP4701397B2 (ja) * 2006-03-24 2011-06-15 国立大学法人岐阜大学 医用動画像による画像診断システム
JP5005981B2 (ja) * 2006-08-03 2012-08-22 オリンパスメディカルシステムズ株式会社 画像表示装置
JP5305616B2 (ja) * 2007-06-07 2013-10-02 株式会社東芝 検査データ処理装置及び検査システム
US9146663B2 (en) * 2008-12-08 2015-09-29 Hologic, Inc. Displaying computer-aided detection information with associated breast tomosynthesis image information
US10251621B2 (en) * 2010-07-19 2019-04-09 Qview Medical, Inc. Automated breast ultrasound equipment and methods using enhanced navigator aids
JP6081242B2 (ja) * 2013-03-13 2017-02-15 東芝メディカルシステムズ株式会社 超音波診断装置及びデータ処理プログラム

Also Published As

Publication number Publication date
JP2017023347A (ja) 2017-02-02
US20170024883A1 (en) 2017-01-26
US10002422B2 (en) 2018-06-19

Similar Documents

Publication Publication Date Title
JP6638230B2 (ja) 超音波画像処理装置及びプログラム
JP6769173B2 (ja) 超音波画像診断装置、超音波画像計測方法及びプログラム
JP6935020B2 (ja) 超音波画像の特徴を識別するシステム及び方法
US9119557B2 (en) Ultrasonic image processing method and device, and ultrasonic image processing program
US10878565B2 (en) Analyzing apparatus and analyzing method
JP6841907B2 (ja) Bラインを自動的に検出し、超音波スキャンの画像をスコア付けすることによる代表超音波画像の向上された視覚化および選択のための方法、システム及び非一時的コンピュータ可読媒体
US20150057544A1 (en) Ultrasound diagnostic apparatus, ultrasound image processing method, and non-transitory computer readable recording medium
US20150164482A1 (en) Ultrasound diagnostic apparatus, ultrasound image recording method, and non-transitory computer readable recording medium
US11844644B2 (en) Systems and methods for determining a heart rate of an imaged heart in an ultrasound image feed
JP2008538720A (ja) 超音波画像を処理するための対象付加利得ツール
JP2024045475A (ja) 自動画像保存を備える超音波イメージングシステム
KR20190080858A (ko) 이미지 선택기를 갖는 초음파 이미징 기구
US20190130564A1 (en) Medical image processing apparatus
JP2023158119A (ja) 解析装置及び解析プログラム
JP2016112285A (ja) 超音波診断装置
JP2010148566A (ja) 超音波診断装置
JP2019181183A (ja) 医用診断装置、医用画像処理装置、及び画像処理プログラム
CN114271850B (zh) 超声检测数据的处理方法及超声检测数据的处理装置
EP4006832A1 (en) Predicting a likelihood that an individual has one or more lesions
JP7346212B2 (ja) 解析装置及び解析プログラム
CN106170254B (zh) 超声波观测装置
JP7159025B2 (ja) 診断装置及び診断方法
JP2008212522A (ja) 超音波診断装置
JP2019013736A (ja) 画像処理装置及び超音波診断装置
US11382595B2 (en) Methods and systems for automated heart rate measurement for ultrasound motion modes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191209

R150 Certificate of patent or registration of utility model

Ref document number: 6638230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150