JP5954806B2 - 超音波画像の中間画像を生成する方法及び超音波診断装置 - Google Patents

超音波画像の中間画像を生成する方法及び超音波診断装置 Download PDF

Info

Publication number
JP5954806B2
JP5954806B2 JP2015098110A JP2015098110A JP5954806B2 JP 5954806 B2 JP5954806 B2 JP 5954806B2 JP 2015098110 A JP2015098110 A JP 2015098110A JP 2015098110 A JP2015098110 A JP 2015098110A JP 5954806 B2 JP5954806 B2 JP 5954806B2
Authority
JP
Japan
Prior art keywords
image
ultrasonic
images
time point
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015098110A
Other languages
English (en)
Other versions
JP2015142832A (ja
Inventor
剛 上瀧
剛 上瀧
宮本 敦
敦 宮本
中平 健治
健治 中平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2015098110A priority Critical patent/JP5954806B2/ja
Publication of JP2015142832A publication Critical patent/JP2015142832A/ja
Application granted granted Critical
Publication of JP5954806B2 publication Critical patent/JP5954806B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/462Displaying means of special interest characterised by constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は,超音波を被検体に送受信して画像を取得する超音波診断装置に係り,取得し
た画像に対して画像処理によって,空間分解能あるいは時間分解能を向上させる処理を施
超音波画像の中間画像を生成する方法び超音波診断装置に関する。
腹部や心臓を含む体内の多くの部位の検査において,超音波診断装置が利用されている。超音波診断装置は,X線検査などと異なり生体への害がないこと,操作が簡便であること,実時間での動画像観察が可能なことなどの利点を有し,幅広く活用されている。超音波診断装置では,超音波プローブから被検体にむけて超音波を放射し,被検体内部の組織からの反射波を上記超音波プローブで受信して,モニタ上に表示する。超音波画像の撮像時においては,特定方向に収束させた超音波を方位方向に対してスキャンすることにより,2次元画像または3次元画像をリアルタイムで取得することができる。
超音波診断装置を用いて医師は超音波画像を観察し,腫瘍などの微小な病変部位の発見や診断を行うため,視認性の高い超音波画像の取得が要求される。特に近年では,ディスプレイモニタの高精細化が進んでおり,これに合わせて超音波画像の高分解能化が求められている。
これに対して,1フレームあたりの超音波プローブのスキャン回数を増やすことで,スキャン方位方向の分解能を向上させて高分解能の超音波を取得することができる。あるいは,特許文献1のように取得した1フレームの画像に対してデコンボリューション処理を施すことで,高分解能の画像を生成することができる。デコンボリューション処理としては,非特許文献1に記載されているような、超音波ビームの収差による画像ぼやけやサンプリングによる画像劣化をモデル化し,取得した超音波画像から前記劣化のない理想的な超音波画像を推定する技術が知られている。
また、特許文献2には、超音波画像を用いて着目対象の撮像面内における体動を計測し、計測した体動分の補正処理を加えながら、時系列画像を積算または減算することにより、着目対象の形状や組織変性などの経時的に変化する情報を画像化して表示することが記載されている。
特開2005−95328号公報 国際公開番号 WO 2006/123742号公報
T.Taxt,R.Jirik:Superresolution of ultrasound images using the first and second harmonic signal, IEEE Trans. Ultrasonics, Ferroelectrics, and Frequency Control, Vol.51, No.2, pp.163-175, 2004
しかしながら,前記のように1フレームあたりのスキャン回数を増やす方式は,高い分解能の超音波画像を得ることができるものの,超音波の伝播時間の増加により1フレームの画像取得に要する時間が増えるため,表示フレームレートが低下するといった問題がある。これは特に心臓等の動きの早い部位の観察においては,フレームレート不足となり診断に支障が生じる。また,前記デコンボリューション処理に関しては,ノイズが多い画像に対して不自然なアーチファクトが発生するなどの問題が知られている。したがって,ノイズが多い超音波画像ではあまり高分解能化の効果が期待できない。
また、引用文献2に記載されている方法では、時系列画像から経時的に変化する情報を抽出・画像化することはできても、高分解能な超音波画像を取得することについては記載されていない。
以上のように,従来技術においてはフレームレートを維持しつつ高分解能な超音波画像を取得することが困難であった。
本発明の目的は、上記した従来技術の課題を解決して、フレームレートを維持しつつ高
分解能な超音波画像を取得することが可能な超音波画像の中間画像を生成する方法び超音波診断装置を提供することにある。
上記した目的を達成するために、本発明では、超音波画像の中間画像を生成する方法を、超音波プローブからの超音波信号で走査されたサンプルからの反射波を受信した信号から所定の間隔で時系列画像を取得する第一の工程と、第一の時点における第一の画像と第1の時点より前の第二の時点における第二の画像との隣接する時系列画像間の第一の変位量を算出する第二の工程と、第一の時点と第二の時点との間のある時点における中間画像を、第一の画像と、第二の画像と、第一の変位量に基づいて算出されたある時点における変位量に基づいて生成する第三の工程と、第二の画像、中間画像、第一の画像を表示する第四の工程とを含み、第一の変位量と第二の変位量は位置の違いによって複数あり、それらはベクトル分布で表現されるようにした
更に、上記目的を達成するために、本発明では、超音波診断装置を、超音波プローブからの超音波信号で走査されたサンプルからの反射波を受信した信号から所定の間隔で時系列画像を取得する画像取得手段と、第一の時点における第一の画像と第1の時点より前の第二の時点における第二の画像との隣接する時系列画像間の第一の変位量を算出する変位量算出部と、第一の時点と第二の時点との間のある時点における中間画像を、第一の画像と、第二の画像と、第一の変位量に基づいて算出されたある時点における変位量に基づいて生成する中間画像生成部と、第二の画像、中間画像、第一の画像を表示する表示部を備え、第一の変位量と第二の変位量は位置の違いによって複数あり、それらはベクトル分布で表現されるように構成した
本発明によれば,複数フレームの画像を用いた画像復元処理を適用することで,フレームレートを低下させることなく超音波画像の高分解能化が実現する。また,画像復元処理に好適な超音波プローブのスキャン方式を適用することで,高分解能化の効果を向上させることができる。これらにより,フレームレートを維持しつつ高分解能の超音波画像を取得することができ,特に動きの早い病変部位の視認性の向上が期待できる。
本発明を実現するための超音波診断装置の構成を示す図である。 本発明を実現するための図1とは別の超音波診断装置の構成を示す図である。 複数フレーム画像と位置ずれ量を用いて画像復元処理を行うフロー図である。 図3のフローにおいて記憶装置を設けた場合のフロー図である。 時刻t−3、t−2、t−1、tのタイミングで取得した超音波画像群を図2に示した構成を用いてスキャンコンバータにより扇型の画像に変換した超音波画像群の正面図である。 超音波画像群502〜505に対して画像復元処理を実行した結果例を示す超音波画像の正面図である。 時刻t−3、t−2、t−1、tのタイミングで取得した超音波画像群に対して図1に示した構成を用いて画像復元処理を実行したスキャンコンバータ前の結果例を示す図である。 超音波画像群507〜510に対して画像復元処理を実行した結果例を示す超音波画像の正面図である。 時刻t−2、t−1、tのタイミングで取得した超音波画像群を図2に示した構成を用いてスキャンコンバータにより扇型の画像に変換した超音波画像群の正面図である。 時刻t−2のタイミングで取得した超音波画像602において位置ずれ量を基に領域分割を行い画像復元処理の重みパラメータを設定した状態を示す図である。 時刻t−1のタイミングで取得した超音波画像603において位置ずれ量を基に領域分割を行い画像復元処理の重みパラメータを設定した状態を示す図である。 時刻tのタイミングで取得した超音波画像604において位置ずれ量を基に領域分割を行い画像復元処理の重みパラメータを設定した状態を示す図である。 超音波画像604と603との位置ずれ量を算出した結果を示す図である。 撮像した画像群から時間軸上での中間フレームの画像を推定するフロー図である。 時刻t−1における超音波画像802と時刻tにおける超音波画像803との位置ずれ量を算出した結果を示す図である。 時刻t−1とtのタイミングで取得した超音波画像群をスキャンコンバータにより扇型の画像に変換した超音波画像群802と803及び図7のフローにより推定した中間フレームの超音波画像804の正面図である。 時刻t−1とtのタイミングで取得した超音波画像群から推定した時刻t−Δtにおける位置ずれ量を示す図である。 フレーム毎にスキャン条件を変更して撮像した超音波画像群から画像復元処理を行うフロー図である。 フレームごとに変えるスキャン方位を示す超音波プローブの断面図である。 図9のフローにおいてフレーム毎にスキャン方位を変更して撮像した画像を合成した例を示すスキャンコンバータ後の超音波画像の正面図である。 図9のフローにおいてフレーム毎にスキャン方位を変更して撮像した画像を合成した例を示すスキャンコンバータ前の超音波画像の正面図である。 3フレームの場合のスキャン方位の変更例を示す超音波プローブの断面図である。 フレーム毎にスキャン範囲を変更する状態を示す超音波プローブの断面図である。 フレーム毎にスキャン範囲を変更して撮像した画像を合成した例を示す超音波画像の正面図である。 フレーム毎にスキャンの焦点距離を変える状態を示す超音波プローブの断面図である。 フレーム毎にスキャンの焦点距離を変えて撮像した画像を合成した例を示す超音波画像の正面図である。 超音波画像上でユーザが指定した密にスキャンする領域の例を示す超音波画像の正面図である。 ユーザが指定した領域を密にスキャンする例を示す超音波プローブの断面図である。 被検体の動きの周期性を利用してスキャン条件をフレーム毎に変更して撮像した超音波画像群から画像復元処理を行うフロー図である。 周期上で同一の時間位相となるフレーム画像を異なるスキャン条件で撮像する例を示す超音波画像群の正面図である。 フレーム毎にスキャン条件を変更して撮像した超音波画像群からの画像復元処理の実行およびパラメータ設定のGUIを示す図である。 ユーザが指定した範囲を高分解能化する処理およびパラメータ設定のGUIを示す図である。 撮像した画像群から時間軸上での中間フレームの画像を推定する処理およびパラメータ設定のGUIを示す図である。 被検体の動きの周期を利用してスキャン条件を変更して撮像した超音波画像群の画像復元処理実行およびパラメータ設定のGUIを示す図である。 本発明を実現するための画像復元処理装置の構成を示すブロック図である。 本発明を実現するための図21とは別の画像復元処理装置の構成を示すブロック図である。 複数フレーム画像を用いた画像復元処理のフロー図である。 取得した超音波画像から時間軸上での中間フレーム画像を生成するフロー図である。
本発明では,以下の処理を含む超音波画像の画像復元方法および前記画像復元処理を搭載した超音波診断装置あるいは画像処理装置により前記課題を解決する。
(1)時系列に沿って取得した複数の超音波画像(超音波画像群)から画像復元処理を用いて1枚の高分解能な超音波画像を生成する。すなわち,1フレームの超音波画像を用いて画像復元処理を行うのではなく,複数フレームの超音波画像を用いて1枚の高分解能な超音波画像を生成することにより,ノイズによる影響を抑えた画像復元処理を実現する。さらに,画像復元処理に複数フレームの画像を用いることによって,各フレームの画像情報を相補的に合成することが可能となり,高分解能化において高い効果を得ることができる。
具体的に本発明では,まず処理対象となる特定の時相における超音波画像(処理対象画像)と画像復元処理に入力する超音波画像群(入力画像群)を抽出する。次に前記処理対象画像と前記入力画像群のそれぞれに対して位置ずれ量を算出し,画像復元処理を用いて前記入力超音波画像群と前記位置ずれ量から,高分解能の処理対象画像を生成する。すなわち,フレーム間での位置ずれ量を算出しておき,これを画像復元処理に用いることで,単純なフレーム平均加算では発生してしまう位置ずれによる画像ぼやけの影響を抑えることができる。さらに,前記処理対象画像の領域分割を行い,分割して得られた領域毎に画像復元処理の重みパラメータを設定することを特徴とする。
前記領域分割は,手動で与えた領域内で行うこともできるし,前記位置ずれ量を基に自動で行うこともできる。ここで,前記重みパラメータが大きな領域の画像ほど画像復元処理の結果に大きく反映されるように処理されることを特徴とする。例えば,位置ずれ量が大きな箇所は,その周辺部位の形状が大きく変形している可能性が高く,前記変形を補正して画像復元処理を行うことが困難である場合がある。そのような場合においては,本発明により位置ずれ補正が困難な領域は前記重みパラメータが小さく設定され,その領域においては前記処理対象画像の画像データが支配的になる。すなわち,本発明により心臓等の動きが早い部位の観察においても画像復元処理の効果が出る領域のみを自動で抽出して高分解能化することができる。
(2)時系列に沿って指定した時間間隔(取得撮像間隔)で撮像して得られる超音波画像群と,(1)と同様の方法で算出した画像間の位置ずれ量を用いて,画像復元処理の対象となる超音波画像(処理対象画像)を撮像したタイミングから前記取得撮像間隔より短い時間だけずれたタイミングで撮像したときに得られる超音波画像を推定することを特徴とする。すなわち,(1)は空間分解能を向上させる処理であったが,本発明は取得したフレーム画像間のフレーム画像を推定することにより時間方向の分解能を向上させる処理である。本発明により1フレームあたりのスキャン回数を低減させることなく(すなわち,画像の空間分解能を低下させることなく),フレームレートを向上させることができる。
(3)(1)で述べたように複数フレームによる画像復元処理は,各フレームの画像情報を相補的に合成する処理であるため,画像復元処理に殆ど同じような画像群を入力しても高分解能化の効果は小さい。それに対して,本発明では超音波プローブを制御してスキャン条件が異なる超音波画像群を取得し,画像復元処理を行うことを特徴とする。すなわち,スキャン条件を変更することにより,超音波画像群に相補的な情報を多分に含ませることが可能となり,画像復元処理による高分解能化の効果を向上させることができる。スキャン条件としては,フレーム毎に偶数番目のスキャン方位のみの取得,および奇数番目のスキャン方位のみの取得を交互に切り替えるインターレース方式を用いることができる。動きが小さな箇所においては前記インターレース方式によって得られた画像を,単純に重ね合わせるだけでも高分解能化できる。
一方,心臓等の被検体の動きが大きな場合においては,画像のつなぎ目でジッタと呼ばれる画像のずれが発生する場合がある。このようなジッタに対しても,前記位置ずれ量を用いて補正処理を行うことでシームレスなフレーム画像の合成処理が可能である。また,本方式は3フレーム以上の場合においても,同様の要領で実現可能である。
また,別のスキャン方式としては,フレーム毎にスキャンの焦点距離を切り替える方式を用いることができる。すなわち,スキャン時に超音波ビームの焦点を特定の位置に絞ると,ビームを絞った箇所は鮮明な画像を取得できるが,それ以外の箇所はぼやけてしまう。そこで,フレーム毎にスキャン焦点距離を変えて取得した超音波画像を合成することで,焦点があった画像領域を増やすことができる。なお,本発明は1フレームあたりのスキャン回数を増やすわけではないため,フレームレートを低下させることなく画像の空間分解能を向上させることが可能である。
(4)観察対象となる部位の動きの周期を取得し,前記周期の2倍以上の時間範囲(撮像時間範囲)を撮像して得られた超音波画像群に対して,画像復元処理を用いて前記撮像時間範囲より短い時間範囲内の超音波画像群を生成することを特徴とする。ここで,前記超音波画像群の各画像(対象画像)と,前記対象画像を撮像するタイミングから前記周期だけ過去にずれたタイミング付近で撮像した画像(過去対象画像)は,それぞれで異なるスキャン条件で撮像されるように超音波プローブを制御することを特徴とする。すなわち,心臓等の部位は周期的な反復運動を行うため,周期上で同一の時間位相となる超音波画像は殆ど同じような画像が得られるが,(3)で述べた理由と同様に,殆ど同じような画像を画像復元処理に多数入力しても高分解能化の効果はあまり望めない。
これに対して,本発明では前記対象画像と前記過去対象画像を撮像する際は,両画像を異なるスキャン条件に変更して撮像することにより,超音波画像群に相補的な情報を多分に含ませることができ,画像復元処理による効果を向上させることができる。前記スキャン条件としては,スキャン方位,スキャン範囲,あるいは,スキャン焦点距離などを変更することを特徴とする。
次に、本発明に係る実施の形態について図面を用いて説明する。
まず,本発明における超音波診断装置の構成について図1および図2を用いて説明する。
図1は,超音波診断装置101の構成の一実施例を表す図である。超音波診断装置101は,超音波信号の送受信を行う超音波プローブ103,超音波プローブ103へ入力するための駆動信号を発生する駆動回路102,受信信号の増幅やA/D変換を行う受信回路104,超音波スキャンの走査線信号列を2次元状に並べた画像を生成する画像生成部105,画像復元処理等の画像処理を行う画像処理部106,走査線信号列で表現された画像の座標変換処理や補間処理を行うスキャンコンバータ112,スキャンコンバータにより生成された画像を表示する表示部113,及びこれら全体を制御すると共にデータを記憶し処理する制御・記憶・処理部120を備えている。
超音波プローブ103では,被検体100に対して駆動信号に基づく超音波信号を送信し,また送信の際に得られる被検体100からの反射波を受信して電気的な受信信号に変換する。超音波プローブ103の種類には,例えば,リニア,コンベックス,セクタ,ラジアルと呼ばれるタイプがある。例えば,超音波プローブ103がコンベックスタイプの場合には,スキャンコンバータ112により長方形状の画像から扇形状の画像に変換される。また,制御・記憶・処理部120は,入力部121,制御部122,記憶部123,および処理部124を備えており,入力部121からは,画像生成開始のタイミングや画像生成に関するパラメータなどが入力される。
制御部122は,駆動回路102,超音波プローブ103,受信回路104,画像処理部106等の動作を制御する。記憶部123では,受信信号や,画像生成部105により生成された画像,画像処理部106で計算された画像,スキャンコンバータ112の出力である表示画像等が記憶される。処理部124では,超音波プローブ103に入力するための電気信号の整形処理や,画像表示の際における明度およびコントラストを調整する処理等を行う。
以上のような構成において,超音波プローブ103は,制御・記憶・処理部120の制御部122で制御された駆動信号に基づく超音波信号を被検体100に対して送信し,この送信により得られる被検体100からの反射信号を受信して電気的な受信信号に変換する。次に電気信号に変換された受信信号を受信回路104で増幅してA/D変換した後,このA/D変換した信号を画像生成部105で処理して画像を生成し,画像処理部106に入力する。画像処理部106において,入力された画像に対して,画像復元処理が行なわれ,高分解能の出力画像が得られる。
更に,この出力画像をスキャンコンバータ112で画像の座標変換処理や補間処理を行なって画像を生成する。なお,本実施例に限定されるものではなく,例えば,図2の超音波診断装置201の構成に示すように、画像処理部106がスキャンコンバータ112の前段に配置されていても良い。
図21および図22は画像処理部106の内部処理を示す図である。画像生成部105より出力された画像データは,まず超音波画像群取得部2101に入力されてフレーム画像を制御・記憶・処理部120の記憶部123に格納すると共に、位置ずれ量算出部2102へ送られる。次にこの送られてきたフレーム画像と記憶部123に格納された過去のフレーム画像群を位置ずれ量算出部2102に入力して位置ずれ量を算出する。
次に,前記記憶部123に格納された過去のフレーム画像群と現在のフレーム画像と前記位置ずれ量を画像復元処理部2103に入力して,高分解能な現在のフレーム画像を出力する。図22は図21とは別の画像処理部106の内部処理例である。本例では,スキャン条件選択部2201により超音波ビームのスキャン方位あるいは焦点距離が設定され,そのスキャン条件で超音波画像を撮像する。その後は図21の処理と同様に画像復元処理が実行される。
本発明における画像復元処理の実施例を図3のフローを用いて示す。まず,超音波プローブ103を用いて被検体100に向けて超音波を放射し、被検体100の内部の組織からの反射波を超音波プローブ103で検出し、検出信号を受信回路部104を経由して画像生成部105へ送って処理することにより、時系列に沿って複数撮像した超音波画像群X[t],X[t-1],X[t-2],…を取得する(S301)。ここで,X[t]は最後に撮像した超音波画像で,X[t-1],X[t-2],…はX[t]よりも過去に撮像した超音波画像である。
この時系列に沿って複数取得された超音波画像群は画像処理部106に送られ、画像処理部106の超音波画像群取得部2101に入力されてフレーム画像ごとに制御・記憶・処理部120の記憶部123に格納される。続いて,位置ずれ量算出部2102において、超音波画像群取得部2101から出力された前記超音波画像群から画像復元処理対象となる超音波画像(処理対象画像)を抽出し、制御・記憶・処理部120の記憶部123に記憶されているフレーム画像の中から画像復元処理に入力する超音波画像群(入力画像群)を抽出する。
例えば,超音波画像群取得部2101から出力されたX[t]を処理対象画像とし,入力画像群を記憶部123に記憶されているX[t],X[t-1],X[t-2]とする。次に,前記処理対象画像と前記入力画像群のそれぞれの画像との位置ずれ量を算出する(S302)。位置ずれ量の算出法としては,例えば,オプティカルフロー法やブロックマッチング法などの一般の位置ずれ量の算出アルゴリズムを用いることができる。続いて,画像復元処理部2103で前記入力画像群と算出された位置ずれ量から高分解能な処理対象画像Y[t]を生成して(S303)、表示部113の画面上に表示する(S304)。
このように,フレーム間での位置ずれ量を算出しておき,これを画像復元処理に用いることで,単純なフレーム平均加算では発生してしまう位置ずれによる画像ぼやけの影響を抑えることができる。複数画像を用いた画像復元処理としては,例えば次に示す数1を最小化することで高分解能画像を推定する再構成型超解像処理を用いることができる。
Figure 0005954806
前記数1のXiはN枚の前記入力画像群のi番目の画像,Yは画像復元処理により生成する高分解能画像,Siはi番目の画像の位置ずれを示す作用,Fiはi番目の画像のぼやけを示す作用で,Dは量子化による作用,Txは画像をx方向に1ピクセルずらす作用,Tyは画像をy方向に1ピクセルずらす作用を示す。
数1の第1項は高分解能な画像Yが様々な画像劣化要因を受けて観測された画像Xiとの誤差を示す項で,第2項は復元する高分解能な画像Yが滑らかな輝度値となるように安定化する項である。安定化項はパラメータγで調整される。このように,1フレームの超音波画像を用いて画像復元処理を行うのではなく,複数フレームの超音波画像を用いて1枚の高分解能な超音波画像を生成することにより,ノイズによる影響を抑えた画像復元処理を実現する。さらに,複数フレームの画像を用いることにより,各フレームの画像情報を相補的に合成することが可能となり,高分解能化において高い効果を得ることができる。
本画像復元処理のフローを図23で説明する。2301は画像復元処理で推定すべき高分解能な超音波画像Yである。2306−1および2306−2はそれぞれ取得した1フレーム目および2フレーム目の超音波画像である。次に,算出した1フレーム目および2フレーム目の位置ずれ量を用いて画像2301に対して位置ずれ作用を施す(S2302−1,S2302−2)。次に,撮像に伴う画像のぼやけの作用を施し(S2303−1,S2303−2),次に画像の量子化の作用を施す(S2304−1,S2304−2)。以上の処理を加えて得たそれぞれの画像DFiSiYと撮像画像Xiとの差分(S2305−1,S2305−2)を計算し,これらを足し合わせて,この値をLn(Y)とする(S2308)。続いて,前記Ln(Y)の値を小さくするように画像Yの更新を行う(S2309)。以上の処理を繰り返して今回求めたLn(Y)の値とその前の回に求めたLn−1(Y)の値との差が一定値以下になるまで行うことで,複数フレームの超音波画像から一枚の高分解能な超音波画像を生成することができる。
なお,図3の処理フローは実際の処理においては図4に示すように画像生成部105で生成した被検体100の超音波画像を制御・記憶・処理部120の記憶部123に格納しておき,格納した超音波画像群X[t],X[t-1],X[t-2]を画像復元処理に用いることもできる。また,記憶部123に蓄積した各画像をオフラインでまとめて高分解能化することで,高分解能な動画データを作成することもできる。
図4に示した処理のフローを説明する。まず、超音波プローブ103を用いて被検体100に向けて超音波を放射し、被検体100の内部の組織からの反射波を超音波プローブ103で検出し、検出信号を受信回路部104を経由して画像生成部105へ送って処理することにより、超音波画像群X[t],X[t-1],X[t-2],…を取得する(S401)。この取得した超音波画像群X[t],X[t-1],X[t-2],…は、制御・記憶・処理部120の記憶部123に格納される。
次に,画像処理部106の超音波画像群取得部2101により記憶部123に格納された超音波画像群X[t],X[t-1],X[t-2],…の中から処理対象画像と入力画像群とがそれぞれ取得され、位置ずれ量算出部2102において、これらの取得した処理対象画像と入力画像群とのそれぞれの画像の位置ずれ量を算出する(S402)。
続いて,画像復元処理部2103で前記入力画像群と算出された位置ずれ量から高分解能な処理対象画像Y[t]を生成して(S403)、表示部113の画面上に表示する(S404)。
この一連の処理を、撮像が終了するまで実行する(S405)。
図4で示した処理フローにより超音波画像を高分解能化した例を図5A〜Dに示す。図5Aにおいて、画像502〜505は時間軸501に沿ってそれぞれ時刻t-3,t-2,t-1,tのタイミングで取得した超音波画像群である。図5Bの506は画像復元処理により図5Aの画像502〜505を用いて時刻tにおける超音波画像505を高分解能化した画像を示す。本例は超音波プローブ103から得られた画像データをスキャンコーバータ112によって扇型の画像に変換した超音波画像群を用いて処理をした例である(つまり,図2に示す装置構成における処理例である)。
一方,図1に示す装置構成においても本実施例を適用することができる。この場合,図5Cに示すようなスキャンコンバータ前の超音波画像群507〜510から、図5Dに示すような高分解能のスキャンコンバータ前の超音波画像511を生成する。すなわち、図5A及びBを用いて説明したのと同様に、図5Cにおいて、画像507〜510は時間軸501に沿ってそれぞれ時刻t-3,t-2,t-1,tのタイミングで取得した超音波画像群である。図5Dの511は画像復元処理により図5Cの画像507〜510を用いて時刻tにおける超音波画像510を高分解能化した画像を示す。この高分解能化した超音波画像510に対してスキャンコンバータ112で座標変換処理や補間処理を行うことにより図5Bの扇形をした画像に変換され、表示部113の画面上に表示することができる。
また,画像間の位置ずれ量を基に超音波画像の領域分割を行い,分割された領域毎に画像復元処理の重みパラメータを設定する実施例を図6A〜Eに示す。ここで,前記重みパラメータが大きな領域の画像ほど画像復元処理の結果に大きく反映されることを特徴とする。例えば,位置ずれ量が大きな箇所は,その周辺部位の形状が大きく変形している可能性が高く,前記変形を補正して画像復元処理を行うことが困難である場合がある。そのような場合においては,本発明により位置ずれ補正が困難な領域は前記重みパラメータが小さく設定され,その領域においては処理対象画像の画像データが支配的になる。すなわち,本発明により心臓等の動きが早い部位の観察においても画像復元処理の効果が出る領域のみを自動で抽出して高分解能化することができる。
図6Aの602〜604は時間軸601に沿って撮像された超音波画像である。この場合,処理対象となる画像を超音波画像604とする。超音波画像604と603との位置ずれ量を算出した結果を図6Eの605に示し,位置ずれの方向と大きさを矢印615で示している。図6Eの606〜608は前記位置ずれ量を基に,3つの領域に分割した結果である。領域607は位置ずれがもっとも大きな領域で,領域606は位置ずれがもっとも小さな領域である。図6Bの609、図6Cの610及び図6Dの611は図6Eに示した領域分割結果606〜608を基に画像復元処理における重みパラメータを設定した結果である。
図6B乃至Dの位置ずれ量が小さな領域612〜614はそれぞれ0.3,0.3,0.4が設定されている。すなわちこのことは,画像復元処理において,図6B乃至Dの領域612〜614の画像はどれも同じように画像復元結果に反映されることを意味する。図6B乃至Dの位置ずれ量が大きな領域615〜617については,図6Dの領域617以外は重みパラメータがゼロと設定されている。すなわち図6Eの領域607の部分に関しては,画像復元処理において図6Dの領域617の画像のみを画像復元結果に反映させることを意味する。同様に,図6B乃至Dの領域618〜620も重みパラメータを設定されている。
ここで,重みパラメータを考慮した画像復元処理は,次に示す数式2を最小化することで行うことができる。
Figure 0005954806
ここで,式中のWiはi番目の画像の重みパラメータをかける作用である。なお,領域分割に関しては上記のように位置ずれ量を基に自動で行うこともできるし,GUI上でユーザが指定した領域を用いても良い。
図17は、本実施例において、フレーム毎にスキャン条件を変更して取得した超音波画像群から画像復元処理を行って高分解能の超音波画像を生成し,それをリアルタイムに表示およびスキャン条件・画像復元処理パラメータを設定するGUIの例である。1701は超音波プローブにより撮像した超音波画像をリアルタイムに表示している。ボックス1702で撮像フレームレートを設定する。実際の撮像フレームレートは1703に表示している。ボックス1704〜1706で画像復元処理のパラメータを設定する。
ボックス1704では画像復元処理後の出力画像のサイズを設定する。ボックス1705では画像復元処理に用いるフレーム画像枚数を指定する。ボックス1706ではスキャン方式を選択する。チェックボックス1707を選択すれば,フレーム毎にスキャン方位をインターレース方式で撮像する。また,チェックボックス1708を選択すれば,フレーム毎に超音波ビームの焦点距離を変化させながら撮像する。
画像復元処理のパラメータを設定のちに,ボタン1709を押すと画像復元処理が実行され,画像復元処理を施して高分解能化した画像および表示フレームレートが1710および1711にリアルタイムに表示される。
本発明における画像復元処理の第2の実施例を図7のフローを用いて示す。
本例では,取得した超音波画像間の時間軸上の中間のフレーム画像を推定して表示することで,フレームレートを向上させる例である。すなわち,実施例1は空間分解能を向上させる処理であったが,本実施例では取得したフレーム画像間のフレーム画像を推定することにより時間方向の分解能を向上させる。これにより1フレームあたりのスキャン回数を低減させることなく(すなわち,画像の空間分解能を低下させることなく),フレームレートを向上させることができる。
まず,本処理フローにおいては,超音波画像の撮像時間の間隔H(取得撮像間隔)を取得する(S701)。取得撮像間隔Hは手動で与えても良いし要求フレームレート値から割り出してもよい。次に,超音波プローブ103を用いて被検体100を時系列に沿って,前記取得撮像間隔で複数撮像した超音波画像群X[t],X[t-1],X[t-2],…を取得する(S702)。取得したフレーム画像は記憶部123に格納される。続いて,実施例1と同様に画像間の位置ずれ量を算出する(S704)。続いて,前記超音波画像群および前記位置ずれ量を基に,前記処理対象画像を撮像したタイミングから前記取得撮像間隔より短い時間だけずれたタイミングで撮像したときに得られる超音波画像(中間フレーム画像)を推定して(S705),画面に出力する(S706)。終了判定(S707)の結果にしたがってS702〜706の処理を繰り返す。
図24に本処理において,出力フレームレートを指定した場合のフローを示す。まず,推定する中間フレーム画像の時間軸上のずれ量Δtをゼロに初期化する(S2400)。次に,超音波画像の撮像時間の間隔Hを取得する(S2401)。前記撮像時間の間隔Hは手動で入力した値を用いても良いし,入力されたフレームレートから割り出してもよい。次に,出力画像の時間間隔Kを取得する(S2402)。前記出力画像の時間間隔Kも前記Hと同様に,手動で入力した値を用いてもよいし,要求フレームレートから割り出しても良い。次に,前記撮像時間の間隔Hで超音波画像X[t]を取得し,時刻t=t+1とする(S2403)。取得した画像は記憶装置2410に格納される。
次に,図7のフローと同様に画像間の位置ずれ量を算出し(S2404),中間フレーム画像X[t-Δt]を前記位置ずれ量および記憶部123に格納された超音波画像群を基に推定する(S2405)。このとき,もしΔt=0もしくはΔt=1の場合は中間フレーム画像を推定せずに,取得した超音波画像を出力することができる。次に,時間軸上のずれ量をΔt←Δt−K/Hと更新する(S2406)。
処理終了判定(S2407)を経て,処理を継続するならば(Nの場合)時間軸上のずれ量Δtの符号を判定する(S2408)。もし,Δtが負の値であるならばΔt←Δt+1と値を更新(S2409)し,超音波画像X[t]取得ステップ(S2403)へ進む。そうでなければ,位置ずれ量算出ステップ(S2404)に進む。
図8A乃至Cに本フローによる処理結果例を示す。図8Bの超音波画像802および803は時間軸801に沿って,取得撮像間隔Hで撮像された超音波画像である。一方、超音波画像804は、超音波画像802および803から,t-Δt(Δt≦1)で撮像した場合に得られる超音波画像を推定した画像である。超音波画像804の内部の805の領域内の線状の部位は,超音波画像802および803間で左上から右下方向に移動しているが,超音波画像804ではその中間の位置に前記部位が配置されるように推定されている。
中間フレーム画像の推定方法としては,図8Aに示すように、まず時刻tと時刻t-1との位置ずれ量を算出する(806)。次に,前記位置ずれ量806から図8Cに示すような中間フレーム画像の時刻における位置ずれ量を推定する(807)。推定方法としては単純に算出した位置ずれ量806を線形補間して求めることができる。最後に,前記推定した位置ずれ量を基に図8Bに示す取得した超音波画像802および803の画素を張り合わせ,あるいは重みつき加算を行うことで中間フレーム画像804を生成することができる。
図19は、本実施例において、撮像した超音波画像において,時間軸上の中間のフレーム画像を推定し,フレームレートを向上させた超音波画像を表示するGUIの例である。1901は超音波プローブにより撮像した超音波画像をリアルタイムに表示している。ボックス1902で撮像フレームレートを設定する。実際の撮像フレームレートは1903に表示している。ボックス1904で出力画像のフレームレートを設定する。ボタン1910を押すと本処理が開始される。1905は最も新しく取得したフレーム画像(tフレーム)で,1906はフレーム画像1905の一つ前に取得した画像(t-1フレーム)を示す。1907は1905および1906から推定した,時間軸上でちょうど中間フレームの画像(t-0.5フレーム)である。前記の処理を行ってフレームレートを向上させた画像を1908にフレームレート1909と共に表示する。
本発明における画像復元処理の第3の実施例を図9のフローを用いて示す。本例では,超音波プローブのスキャン条件をフレーム毎に切り替えることにより,画像復元処理をより効果的に行う例である。すなわち,画像復元処理は複数フレーム間の画像情報を相補的に補間する処理であるため,画像復元処理に殆ど同じような画像群を入力しても高分解能化の効果は小さい。
それに対して,本実施例では超音波プローブを制御してスキャン条件が異なる超音波画像群を取得し,画像復元処理を行うことを特徴とする。つまり,スキャン条件を変更することにより,超音波画像群に相補的な情報を多分に含ませることが可能となり,画像復元処理による高分解能化の効果を向上させることができる。
本処理フローにおいては,まず超音波プローブのスキャン条件を予め用意していたスキャン条件群の中から一つ選択して設定する(S901)。選択可能なスキャン条件としては,フレーム毎に偶数番目のスキャン方位のみの取得,および奇数番目のスキャン方位のみの取得を交互に切り替えるインターレース方式を用いることができる。動きが小さな箇所においては前記インターレース方式で単純に2フレームの画像を重ね合わせるだけでも高分解能化が図れる。
一方,動きが大きな場合ではフレーム間のつなぎ目でジッタと呼ばれる位置ずれが発生する場合がある。このようなジッタに対しても,前記位置ずれ量を用いて補正処理を行うことが可能である。また,本方式は3フレーム以上の場合でのスキャン方位の切り替え,および合成も同様の要領で可能である。
また,別のスキャン方式としては,フレーム毎にスキャンの焦点距離を切り替える方式を用いることができる。すなわち,スキャンにおいて超音波ビームの焦点を特定の位置に絞ると,その箇所は鮮明に画像取得できるが,それ以外の箇所はぼやけてしまう。そこで,フレーム毎にスキャン焦点距離を変えて取得した超音波画像を合成することで,焦点があった画像領域を増やすことができる。
続いて,超音波プローブ103を用いて被検体100を時系列に沿って,選択したスキャン条件で撮像した超音波画像X[t]を取得する(S902)。取得した超音波画像群X[t],X[t-1],…は記憶部123に格納される。続いて,画像復元処理を用いて前記超音波画像群から超音波画像X[t]の高分解能な超音波画像Y[t]を生成して(S904)表示する(S905)。なお,本実施例では1フレームあたりのスキャン回数を増やすわけではないため,フレームレートを低下させることなく画像の空間分解能を向上させることが可能である。
図10A乃至Cにスキャン方位を切り替える例および本処理フローの結果例を示す。本例はスキャン方位の異なる2枚のフレーム画像から1枚のフレーム画像を生成した例である。図10Aのスキャン方位1001−1〜1001−5は1フレーム目の超音波プローブ103から発した超音波ビームのスキャン方位を示し,スキャン方位1002−1〜1002−4は2フレーム目の超音波プローブ103から発した超音波ビームのスキャン方位を示す。図10Bの部分画像1003−1〜1003−5は1フレーム目のスキャンによって得られた画像データを示し,部分画像1004−1〜1004−4は2フレーム目のスキャンによって得られた画像データを示す。このように,両フレームの画像データを統合することで各フレームの画像情報を相補的に合成して方位方向の分解能が向上した超音波画像1007を取得することができる。
超音波画像1007の生成には実施例1と同様に画像間の位置ずれ量を求めて画像復元処理を用いても良いし,単純に加算平均を行って生成してもよい。3フレーム目では1フレーム目と同じく,図10Aの矢印1001−1〜1001−5で示すスキャン方位に超音波ビームを発することで2フレーム目,3フレーム目で得られた画像データを統合して分解能が向上した超音波画像を生成できる。また,図10Bの超音波画像1007は、図2に示したシステム構成でスキャンコンバータ後の超音波画像で本処理を行っているが,図1に示したシステム構成を用いてスキャンコンバータ前の超音波画像で本処理を行っても良い。
図10Cの1008はスキャンコンバータ前の超音波画像で本処理を適用した例である。本例では,1フレーム目に部分画像1005−1〜1005−5の画像データを取得し,2フレーム目に部分画像1006−1〜1006−4の画像データを取得して,両画像データを合成して高分解能な超音波画像1008を生成している。また,本例では2フレームの場合で説明したが,3フレーム以上の場合も同じ要領で行うことができる。
図11に3フレームの例を示す。本例ではスキャン方位1101−1〜1101−3が1フレーム目のスキャン方位で,スキャン方位1102−1〜1102−3が2フレーム目のスキャン方位で,スキャン方位1103−1〜1103−3が3フレーム目のスキャン方位となっている。
また,図10A乃至Cを用いて説明した実施例ではスキャン方位をフレーム毎に変更する場合であったが,フレーム毎にスキャンにおける超音波ビームの焦点距離を変更して超音波画像群を取得する例を、図13A及びBに示す。本例では,図13Aに示すようにスキャン方位1301−1〜1301−5の方位に超音波ビームを発するが,1フレーム目においては丸印1302−1〜1302−5の位置に焦点を合わせて超音波画像を取得し,2フレーム目においては丸印1303−1〜1303−5の位置に焦点を合わせて超音波画像を取得する。
すなわち,図13Bに示すような超音波画像のうち1フレーム目は超音波画像の下側の領域1305が鮮明になるが,上側の領域1306がぼやける。同様に2フレーム目は超音波画像の下側の領域1305がぼやけるが,上側の領域1306が鮮明になる。このように,超音波ビームはどこか一箇所に焦点を合わせると,それ以外がぼやけるという性質があり,通常,この焦点は画像全体が平均的に鮮明になるように中央付近に焦点が設定される。一方,本発明では積極的に焦点位置を変更して超音波画像を取得し,これらの複数の超音波画像を統合することで,画像全体の焦点のあった鮮明な超音波画像の取得が可能となる。
また,図14A及びBに示すように、本処理はユーザが指定した領域に対してのみ適用することも可能である。図14Aの超音波画像1401で,1402はユーザが指定した領域(ROI)である。この場合,図14Bのスキャン方位1403で示すスキャン方位のように,超音波プローブ103を制御して図14AのROI1402にスキャン方位を集中させるように超音波画像を撮像することもできる。
また,本処理は,同時に二つの方位に超音波ビームを照射して信号を受信,あるいは一方の方位に超音波ビームを照射し信号を受信する前にもう一方の方位に超音波ビームを照射するマルチビーム方式と併用して適用することもできる。
図18は、本実施例において、ユーザが指定した領域(ROI)を高分解能化して表示するGUIの例である。1801は超音波プローブにより撮像した超音波画像をリアルタイムに表示している。ボックス1802で撮像フレームレートを設定する。実際の撮像フレームレートは1803に表示している。1804はユーザがマウスクリック等で指定したROIである。ボックス1805〜1807で画像復元処理のパラメータを設定する。ボックス1805では画像復元処理による画像の拡大倍率を設定する。ボックス1806では画像復元処理に用いるフレーム画像枚数を指定する。ボックス1807はスキャン方式を選択する。ボタン1808を押すと1804のROI内のみに画像復元処理が実行され,画像復元処理を施して高分解能化した画像が1809に表示される。なお,指定したROIのみにスキャンを集中させて,ROIの画像のみを高分解能化して表示することもできる。
本発明における画像復元処理の第4の実施例を図15のフローを用いて示す。本例では,例えば心臓等の周期的な動きをおこなう被検体に対して,その周期情報を用いて超音波プローブを制御して超音波画像群を取得し,画像復元処理を用いて2周期以上の超音波画像群から,それよりも短い時間範囲(例えば,1周期分)の高分解能の超音波画像郡を生成する例である。すなわち,心臓等の部位は周期的な反復運動を行うため,周期上で同一の時間位相となる超音波画像は殆ど同じような画像が得られるが,実施例3で述べた理由と同様に,殆ど同じような画像を画像復元処理に多数入力しても高分解能化の効果はあまり望めない。
これに対して,本発明では前記対象画像と前記過去対象画像を撮像する際は,両画像を異なるスキャン条件に変更して撮像することにより,超音波画像群に相補的な情報を多分に含ませることができ,画像復元処理による効果を向上させることができる。
本処理フローにおいては,まず被検体100の動きの周期Tを取得する(S1501)。周期Tは手動で与えても良いし,被検体100をある程度の時間範囲で撮像して得た超音波画像群から自動で算出することもできる。次に,超音波プローブのスキャン条件を予め用意していたスキャン条件群の中から一つ選択して設定する(S1502)。選択可能なスキャン条件としては,実施例3の場合と同様に、スキャン方位,スキャン範囲,スキャン焦点距離などを変更することができる。続いて,超音波プローブ103を用いて被検体100を時系列に沿って,フレーム毎にスキャン条件を変えて2周期以上の超音波画像群を取得する(S1503)。
スキャン条件としては,スキャン方位,スキャン範囲,スキャン焦点距離などを変更することができる。取得した画像は記憶部123に格納される。スキャン条件の変更のタイミングとしては,1周期毎にスキャン条件を変更してもよいし,1周期分だけずれた超音波画像間のスキャン条件が異なるようにしさえすればフレーム毎にスキャン条件を変更してもよい。画像の撮像は終了判定(S1505)によって撮像が終了していない場合には、スキャン条件選択ステップ(S1502)と超音波画像取得ステップ(S1503)をループする。撮像終了後,前記超音波画像群を画像復元処理に入力して高分解能な超音波画像群を生成し(S1506),それを表示する(S1507)。
図16は図15のフローにより,周期的な動きを行う被検体に対して周期毎にスキャン方位を変更した例を示す。超音波画像1601−1は時刻tに取得したフレーム画像で,超音波画像1601−4は超音波画像1601−1より1周期だけ過去に取得したフレーム画像である。超音波画像1601−3及び1601−2はそれぞれ時刻t-T+1,t-T+2に取得したフレーム画像である。スキャン方位1602−1〜1602−4はそれぞれ超音波画像1601−1〜1601−4を取得したときのスキャン方位を示す。
図12Aは図15のフローにより,周期的な動きを行う被検体に対して周期毎にスキャン範囲を変更して画像を取得・合成した例である。スキャン方位1201−1〜1201−3は時刻tのスキャン方位で,スキャン方位1202−1〜1202−3はスキャン方位1201−1〜1201−3よりも1周期だけ過去のスキャン方位で,スキャン方位1203−1〜1203−3はスキャン方位1201−1〜1201−3よりも2周期だけ過去のスキャン方位である。
図12Bの部分画像1204−1はスキャン方位1201−1〜1201−3により得られた超音波画像で,部分画像1204−2はスキャン方位1202−1〜1202−3により得られた超音波画像で,部分画像1204−3はスキャン方位1203−1〜1203−3により得られた超音波画像である。
部分画像1204−1〜1204−3を連結することで,1枚の高分解能な超音波画像1204を生成することができる。この画像の連結においては,各画像が重なる部分は加算平均をとってもよいし,画像の連結部分の境界がシームレスに繋がるように,前記境界付近をぼかしフィルタなどで補正処理を加えてもよい。
図20は、本実施例において、被検体の動きの周期を利用してスキャン条件を変更して撮像した超音波画像群から画像復元処理を行うGUIの例である。本実施例による処理は実施例1乃至3で説明したようなリアルタイム処理ではなく,一定の時間範囲を撮像した超音波画像群(入力超音波動画)から,高分解能の超音波動画をオフラインで生成する例である。
2001は処理対象となる超音波動画を示す。超音波動画2001はツールバー2002で再生,停止,再生位置の変更等を行いプレビューすることができる。2003〜2007は画像復元処理のパラメータを設定する項目である。
ボックス2003で出力画像のサイズを設定する。ボックス2004で被検体の動きの周期を設定する。前記周期は手動で与えても良いし,ボタン2008を押して入力超音波動画から自動で算出してもよい。ボックス2005で画像復元処理の出力画像の時間範囲を設定する。ボックス2006で画像復元処理に用いるフレーム画像の枚数を設定する。
ボックス2007ではスキャン方式を選択する。チェックボックス2008を選択すれば,フレーム毎にスキャン方位をインターレースに切り替えて撮像する。また,チェックボックス2009を選択すれば,フレーム毎にスキャン範囲を変化させながら撮像する。また,チェックボックス2010を選択すれば,フレーム毎に超音波ビームの焦点距離を変化させながら撮像する。画像復元処理のパラメータを設定した後に,ボタン2011を押すと画像復元処理が実行される。
2011は画像復元処理より出力された高分解能な超音波動画である。この動画はツールバー2012で再生,停止,再生位置の変更等を行いプレビューすることができる。また,画像2013〜2015は表示中の出力画像2010に対する画像復元処理への入力超音波画像群である。画像2014は表示中の出力画像2010の1周期だけ過去のフレーム画像で,画像2015は表示中の出力画像2010の2周期だけ過去のフレーム画像である。
以上,本発明の実施例について述べてきたが,本発明は上述の実施例に限定されるものでは無く,変形して実施することが可能である。(付記1)
以上説明したように、本発明は、超音波プローブを用いて超音波信号で試料をスキャンし試料からの反射波を受信した信号から得られる超音波画像を処理して試料の超音波画像を復元する方法であって、撮像して得た超音波画像を構成する一連のフレームの超音波画像の中からある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像を抽出し、この抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像との位置ずれ量を算出し、この算出した位置ずれ量の情報を用いて抽出したある時点のフレームの超音波画像と前記ある時点よりも前の時点におけるフレームの超音波画像との間の位置ずれを補正し、抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像とを合成することにより1フレーム分の合成超音波画像を復元処理することを特徴とする超音波画像の画像復元方法である。(付記2)
また、本発明は、ある時点のフレームの超音波画像と抽出したある時点よりも前の時点におけるフレームの超音波画像とは、超音波プローブを用いて超音波信号で試料をスキャンするときのスキャンの条件が異なる状態で得られたものであることを特徴とする付記1記載の超音波画像の画像復元方法である。(付記3)
更に、本発明は、ある時点のフレームの超音波画像と抽出したある時点よりも前の時点におけるフレームの超音波画像とは、超音波プローブを用いて超音波信号で試料をスキャンするときのスキャンの方位又は焦点距離のうちの少なくとも一方が異なる状態でスキャンして得られたものであることを特徴とする付記1記載の超音波画像の画像復元方法である。(付記4)
更に、本発明は、位置ずれを補正したある時点のフレームの超音波画像と該ある時点よりも前の時点におけるフレームの超音波画像とを合成することを、ある時点のフレームの超音波画像とこのある時点よりも前の時点におけるフレームの超音波画像とをそれぞれ局所的な領域に分割し,この局所的に分割された領域毎に異なる値の重みパラメータを設定し、重みが大きな領域ほど画像復元処理結果を大きく反映させることを特徴とする付記1記載の超音波画像の画像復元方法である。(付記5)
更に、本発明は、位置ずれを補正した抽出したある時点のフレームの超音波画像とある時点よりも前の時点におけるフレームの超音波画像とを合成することによりある時点とある時点よりも前の時点との間の時点における1フレーム分の合成超音波画像を推定して作成することを特徴とする付記1記載の超音波画像の画像復元方法である。(付記6)
更に、本発明は、試料は周期的な動作を行うものであり、撮像して得た画像は試料を周期の2倍以上の時間に亘って周期ごとの異なるスキャン条件でスキャンして得た超音波画像であり、ある時点のフレームの超音波画像とこのある時点よりも前の時点におけるフレームの超音波画像を抽出することが、ある時点のフレームの超音波画像とこのある時点よりも1周期前の時点におけるフレームの超音波画像を抽出することであることを特徴とする付記1記載の超音波画像の画像復元方法である。
本発明は,超音波を被検体に送受信して画像を取得する超音波診断装置に利用でき,特に、取得した画像に対して画像処理によって,空間分解能あるいは時間分解能を向上させる処理を施す超音波画像の画像復元方法を備えた超音波診断装置に利用できる。
100…被検体 101…超音波診断装置 102…駆動回路部 103…超音波プローブ 104…受診回路部 105…画像生成部 106…画像処理部 112…スキャンコンバータ 113…表示部 120…制御・記憶・処理部
121…入力部 122…制御部 123…記憶部 124…処理部。

Claims (14)

  1. 超音波プローブからの超音波信号で走査されたサンプルからの反射波を受信した信号から所定の間隔で時系列画像を取得する画像取得手段と、
    第一の時点における第一の画像と前記第一の時点より前の第二の時点における第二の画像との隣接する時系列画像間の第一の変位量を算出する変位量算出部と、
    前記第一の時点と前記第二の時点との間のある時点における中間画像を、前記第一の画像と、前記第二の画像と、前記第一の変位量に基づいて算出された前記ある時点における変位量に基づいて生成する中間画像生成部と、
    前記第二の画像、前記中間画像、前記第一の画像を表示する表示部を備え、
    前記第一の変位量と前記第二の変位量は位置の違いによって複数あり、それらはベクトル分布で表現されることを特徴とする超音波診断装置
  2. 前記表示部に表示される画像のフレームレートは、前記画像取得部で取得する画像のフレームレートよりも高いことを特徴とする請求項1に記載の超音波診断装置
  3. 前記中間画像が、複数の前記第一の画像と複数の前記第二の画像に基づいて生成され、前記表示部は、複数の前記第二の画像と、前記中間画像と、複数の前記第一の画像を表示することを特徴とする請求項2に記載の超音波診断装置
  4. 前記第二の変位量は、線形補間によって計算されることを特徴とする請求項1に記載の超音波診断装置
  5. 前記中間画像生成部は、前記第一の画像の画素と前記第二の画像の画素とを貼り付けることにより、又は、前記第一の画像の画素と前記第二の画像の画素とを重み付き加算することにより前記中間画像を生成することを特徴とする請求項1に記載の超音波診断装置
  6. 前記ある時点を、手動で設定することができることを特徴とする請求項1に記載の超音波診断装置
  7. 前記ある時点は、前記表示部に表示される画像のフレームレートから計算されることを特徴とする請求項1に記載の超音波診断装置
  8. 超音波プローブからの超音波信号で走査されたサンプルからの反射波を受信した信号から所定の間隔で時系列画像を取得する第一の工程と、
    第一の時点における第一の画像と前記第1の時点より前の第二の時点における第二の画像との隣接する時系列画像間の第一の変位量を算出する第二の工程と、
    前記第一の時点と前記第二の時点との間のある時点における中間画像を、前記第一の画像と、前記第二の画像と、前記第一の変位量に基づいて算出された前記ある時点における変位量に基づいて生成する第三の工程と、
    前記第二の画像、前記中間画像、前記第一の画像を表示する第四の工程とを含み、
    前記第一の変位量と前記第二の変位量は位置の違いによって複数あり、それらはベクトル分布で表現されることを特徴とする超音波画像の中間画像を生成する方法
  9. 前記表示部に表示される画像のフレームレートは、前記第一工程で取得する画像のフレームレートよりも高いことを特徴とする請求項8に記載の超音波画像の中間画像を生成する方法
  10. 前記第三の工程において、前記中間画像は、複数の前記第一の画像と複数の前記第二の画像に基づいて生成され、前記表示部は、複数の前記第二の画像と、中間画像と、複数の前記第一の画像を表示することを特徴とする請求項9に記載の超音波画像の中間画像を生成する方法
  11. 前記第二の変位量は、線形補間によって計算されることを特徴とする請求項8に記載の超音波画像の中間画像を生成する方法
  12. 前記第三の工程において、前記第一の画像の画素と前記第二の画像の画素とを貼り付けることにより、又は、前記第一の画像の画素と前記第二の画像の画素とを重み付き加算することにより前記中間画像を生成することを特徴とする請求項8に記載の超音波画像の中間画像を生成する方法
  13. ある時点では手動で入力することができることを特徴とする請求項8に記載の超音波画像の中間画像を生成する方法
  14. 前記ある時点は、前記表示部に表示される画像のフレームレートから計算されることを特徴とする請求項8に記載の超音波画像の中間画像を生成する方法
JP2015098110A 2010-07-14 2015-05-13 超音波画像の中間画像を生成する方法及び超音波診断装置 Active JP5954806B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015098110A JP5954806B2 (ja) 2010-07-14 2015-05-13 超音波画像の中間画像を生成する方法及び超音波診断装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010159771 2010-07-14
JP2010159771 2010-07-14
JP2015098110A JP5954806B2 (ja) 2010-07-14 2015-05-13 超音波画像の中間画像を生成する方法及び超音波診断装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014085301A Division JP5859595B2 (ja) 2010-07-14 2014-04-17 超音波画像の画像復元方法およびその装置並びに超音波診断装置

Publications (2)

Publication Number Publication Date
JP2015142832A JP2015142832A (ja) 2015-08-06
JP5954806B2 true JP5954806B2 (ja) 2016-07-20

Family

ID=45469228

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2012524480A Expired - Fee Related JP5649083B2 (ja) 2010-07-14 2011-05-18 超音波画像の画像復元方法およびその装置並びに超音波診断装置
JP2014085301A Expired - Fee Related JP5859595B2 (ja) 2010-07-14 2014-04-17 超音波画像の画像復元方法およびその装置並びに超音波診断装置
JP2015098110A Active JP5954806B2 (ja) 2010-07-14 2015-05-13 超音波画像の中間画像を生成する方法及び超音波診断装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2012524480A Expired - Fee Related JP5649083B2 (ja) 2010-07-14 2011-05-18 超音波画像の画像復元方法およびその装置並びに超音波診断装置
JP2014085301A Expired - Fee Related JP5859595B2 (ja) 2010-07-14 2014-04-17 超音波画像の画像復元方法およびその装置並びに超音波診断装置

Country Status (3)

Country Link
US (2) US20130090560A1 (ja)
JP (3) JP5649083B2 (ja)
WO (1) WO2012008217A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111813A1 (ja) * 2012-01-27 2013-08-01 株式会社 東芝 医用画像処理装置
WO2013150917A1 (ja) * 2012-04-02 2013-10-10 日立アロカメディカル株式会社 超音波診断装置及び超音波画像の超解像生成方法
CN105451662B (zh) * 2013-08-09 2019-03-01 皇家飞利浦有限公司 用于医学成像与信息显示的方法和系统
CN105979878A (zh) * 2014-12-19 2016-09-28 奥林巴斯株式会社 超声波观测装置
JP6507731B2 (ja) * 2015-03-10 2019-05-08 富士通株式会社 補間画像生成装置、補間画像生成方法及び補間画像生成用コンピュータプログラム
JP5985007B1 (ja) * 2015-06-02 2016-09-06 株式会社日立製作所 超音波診断装置
US9824442B2 (en) * 2015-08-20 2017-11-21 Siemens Medical Solutions Usa, Inc. View direction adaptive volume ultrasound imaging
JP6597070B2 (ja) * 2015-09-02 2019-10-30 セイコーエプソン株式会社 濃度むら補正方法、及び印刷装置
US10709421B2 (en) * 2016-02-10 2020-07-14 Canon Medical Systems Corporation Ultrasound diagnostic apparatus
WO2018052093A1 (ja) 2016-09-14 2018-03-22 富士フイルム株式会社 光音響画像生成装置
WO2019177773A1 (en) * 2018-03-13 2019-09-19 Verathon Inc. Generalized interlaced scanning with an ultrasound probe
CN114848011A (zh) * 2018-04-13 2022-08-05 深圳迈瑞生物医疗电子股份有限公司 超声成像方法及超声成像设备
CN111182219B (zh) * 2020-01-08 2023-04-07 腾讯科技(深圳)有限公司 一种图像处理方法、装置、服务器及存储介质
US11497479B2 (en) 2020-05-09 2022-11-15 Clarius Mobile Health Corp. Method and system for controlling settings of an ultrasound scanner
WO2022114131A1 (ja) * 2020-11-30 2022-06-02 株式会社Lily MedTech 画像診断装置、画像診断方法、プログラム及び機械学習用訓練データの生成方法
CN113538665B (zh) * 2021-07-21 2024-02-02 无锡艾米特智能医疗科技有限公司 一种器官三维图像重建补偿方法
CN113616945B (zh) * 2021-08-13 2024-03-08 湖北美睦恩医疗设备有限公司 一种基于聚焦超声图像识别的检测方法及美容美体装置
WO2023149515A1 (ja) * 2022-02-04 2023-08-10 アイメジャー株式会社 立体物イメージスキャナ
CN117503203B (zh) * 2024-01-03 2024-03-22 之江实验室 一种用于超声环阵成像的相位畸变校正方法和系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3094238B2 (ja) 1991-02-21 2000-10-03 株式会社日立メディコ 超音波診断装置
JP3264963B2 (ja) 1992-02-12 2002-03-11 ジーイー横河メディカルシステム株式会社 超音波診断装置
JPH08307771A (ja) 1995-05-02 1996-11-22 Toshiba Corp 動き領域検出回路並びにこの動き領域検出回路を用いたノイズ低減フィルタ及びx線透視装置
US6283917B1 (en) * 1998-10-01 2001-09-04 Atl Ultrasound Ultrasonic diagnostic imaging system with blurring corrected spatial compounding
US6117081A (en) * 1998-10-01 2000-09-12 Atl Ultrasound, Inc. Method for correcting blurring of spatially compounded ultrasonic diagnostic images
US6210328B1 (en) 1998-10-01 2001-04-03 Atl Ultrasound Ultrasonic diagnostic imaging system with variable spatial compounding
JP3730147B2 (ja) * 2001-08-30 2005-12-21 アロカ株式会社 超音波診断装置
US20040225221A1 (en) * 2003-05-06 2004-11-11 Olsson Lars Jonas Diagnostic ultrasound imaging system with adaptive persistence
JP4519434B2 (ja) 2003-09-24 2010-08-04 株式会社東芝 超解像処理装置及び医用画像診断装置
US7492967B2 (en) 2003-09-24 2009-02-17 Kabushiki Kaisha Toshiba Super-resolution processor and medical diagnostic imaging apparatus
WO2006123742A1 (ja) 2005-05-20 2006-11-23 Hitachi Medical Corporation 画像診断装置
JP4473779B2 (ja) * 2005-05-23 2010-06-02 株式会社東芝 超音波診断装置及びその画像処理方法
EP1990009B1 (en) 2006-02-22 2015-04-15 Hitachi Medical Corporation Ultrasonic diagnostic equipment
JP5331313B2 (ja) * 2007-05-24 2013-10-30 株式会社日立メディコ 超音波診断装置
JP2009039428A (ja) * 2007-08-10 2009-02-26 Panasonic Corp 超音波診断装置
JP2010057010A (ja) 2008-08-29 2010-03-11 Sharp Corp 画像表示装置
JP5208268B2 (ja) * 2009-04-28 2013-06-12 株式会社日立メディコ 超音波画像の画質改善方法、超音波診断装置、及び画質改善プログラム

Also Published As

Publication number Publication date
WO2012008217A1 (ja) 2012-01-19
JP5649083B2 (ja) 2015-01-07
US20150272552A1 (en) 2015-10-01
JP2014131777A (ja) 2014-07-17
JP2015142832A (ja) 2015-08-06
JPWO2012008217A1 (ja) 2013-09-05
JP5859595B2 (ja) 2016-02-10
US9408591B2 (en) 2016-08-09
US20130090560A1 (en) 2013-04-11

Similar Documents

Publication Publication Date Title
JP5954806B2 (ja) 超音波画像の中間画像を生成する方法及び超音波診断装置
JP4734395B2 (ja) 超音波診断装置
JP4730125B2 (ja) 血流画像表示装置
JP5269427B2 (ja) 超音波診断装置、画像診断装置、及びプログラム
JP4223775B2 (ja) 超音波診断装置
JP3934080B2 (ja) 側面距離相関関数を利用した3次元超音波映像形成装置
JP5417048B2 (ja) 超音波診断装置、及び超音波診断プログラム
JP5231768B2 (ja) 超音波診断装置および超音波診断装置のデータ処理プログラム
JP2014158698A (ja) 超音波診断装置、画像処理装置及び画像処理方法
US9877698B2 (en) Ultrasonic diagnosis apparatus and ultrasonic image processing apparatus
JP2007020908A (ja) 超音波診断装置及び超音波診断装置の制御プログラム
JP7313902B2 (ja) 超音波診断装置
JP5179963B2 (ja) 超音波診断装置及びその作動方法、並びに、画像処理プログラム
JP2007044499A (ja) 超音波診断装置及び超音波画像処理プログラム
JP2008012141A (ja) 超音波診断装置および超音波診断装置の制御プログラム
US20150294457A1 (en) Ultrasound diagnostic apparatus
JP2009131420A (ja) 超音波画像診断装置
KR101348771B1 (ko) 벡터 도플러를 이용하여 파티클의 움직임을 추정하는 초음파 시스템 및 방법
JP4764209B2 (ja) 超音波信号解析装置、超音波信号解析方法、超音波解析プログラム、超音波診断装置、及び超音波診断装置の制御方法
US10722217B2 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
JP2012110527A (ja) 超音波診断装置
JP6385702B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
US8083679B1 (en) Ultrasonic imaging apparatus
JP6518130B2 (ja) 超音波診断装置
JP2009225948A (ja) 超音波診断装置、及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20160603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160608

R150 Certificate of patent or registration of utility model

Ref document number: 5954806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250