JP5065844B2

JP5065844B2 - 超音波画像表示装置

Info

Publication number: JP5065844B2
Application number: JP2007266416A
Authority: JP
Inventors: 昌志中田; 成昭岩間; 智花阪
Original assignee: Hitachi Medical Corp
Current assignee: Hitachi Healthcare Manufacturing Ltd
Priority date: 2007-10-12
Filing date: 2007-10-12
Publication date: 2012-11-07
Anticipated expiration: 2027-10-12
Also published as: JP2009090055A

Description

本発明は、超音波画像の動画記録及び動画再生を行う超音波画像表示装置に関する。

従来、超音波診断装置により撮影された超音波画像は、超音波診断装置が備えるモニタに表示される他、ＤＶＤ規格に準拠して動画記録あるいは動画再生される。日本やＵＳＡ等で採用されているＮＴＳＣ（ＮａｔｉｏｎａｌＴｅｌｅｖｉｓｉｏｎＳｔａｎｄａｒｄｓＣｏｍｍｉｎｔｔｅｅ）方式のＤＶＤ規格では、動画記録情報の各フレームは７２０×４８０の解像度の原画像に復号され、６４０×４８０の解像度の再生画像にリサイズされて動画再生される。尚、ヨーロッパやアジア諸国等で採用されているＰＡＬ（ＰｈａｓｅＡｌｔｅｒｎａｔｉｏｎｂｙＬｉｎｅ）方式のＤＶＤ規格では、原画像の解像度は７２０×５７６であり、再生画像の解像度は７６０×５７６である。このように、超音波画像の動画再生ではリサイズに伴うリサンプリングの処理負荷が生じる。

また、処理負荷を検出して画質処理を切り替えることにより安定した動画再生を行う動画画像再生方法が提案されている（例えば、［特許文献１］参照。）。

特開２００７−１３３１５号公報

しかしながら、動画再生における画質と再生レートとはトレードオフの関係にあり、リサンプリングを要する動画再生では、画質と再生レートとを共に最適化することが困難な場合がある。また、［特許文献１］の動画画像再生方法では、フレーム単位で画質処理の切り替えを行うので、フレームによっては画質が劣化する可能性がある。

本発明は、以上の問題点に鑑みてなされたものであり、画質と再生レートとを共に最適化することを可能とする超音波画像表示装置を提供することを目的とする。

前述した目的を達成するために本発明は、被検体からの反射超音波信号に基づいて構成された超音波画像を取得する手段と、前記取得された超音波画像を表示する表示手段とを備えた超音波画像表示装置であって、前記取得された超音波画像を時系列的に複数のフレームから構成される動画記録情報として記憶装置に記録する動画記録手段と、前記超音波画像の撮影フレームレートと前記動画記録情報の記録フレームレートとを取得するフレームレート取得手段と、前記撮影フレームレートが前記記録フレームレートより小さい場合、前記記録フレームレートと前記撮影フレームレートとの差に応じて前記動画記録情報から前記フレームを間引くフレーム間引き手段と、前記フレームを複数の領域に分割し、該分割された各領域に高画質処理または高速処理のリサンプリング種別を割り当てて領域情報として前記記憶装置に登録する領域登録手段と、前記フレーム間引き手段により前記フレームが間引かれた動画記録情報の各フレームを原画像に復号する復号手段と、前記登録された領域情報が示すリサンプリング種別に基づいて、前記復号された原画像に対して前記フレームの領域毎に前記高画質処理または前記高速処理のリサンプリングを行って再生画像を作成するリサンプリング手段と、前記作成された再生画像を前記表示手段に描画して動画再生する描画手段と、を具備することを特徴とする超音波画像表示装置である。

本発明の超音波画像表示装置は、超音波画像を取得して時系列的に複数のフレームから構成される動画記録情報として記憶装置に記録し、フレームを複数の領域に分割し、フレームの各領域に高画質処理または高速処理のリサンプリング種別を割り当てて領域情報として記憶装置に登録し、動画記録情報のフレームを原画像に復号し、領域情報が示すリサンプリング種別に基づいて、原画像に対してフレームの領域毎に高画質処理または高速処理のリサンプリングを行って再生画像を作成し、作成された再生画像を表示装置に描画して動画再生する。

本発明の超音波画像表示装置は、各フレームを複数の領域に分割し、画質が要求される領域には高画質処理のリサンプリングを行い、画質が要求されない領域には高速処理のリサンプリングを行うので、画質及び再生レートの双方を最適化して動画再生を行うことができる。

また、超音波画像の撮影フレームレートと動画記録情報の記録フレームレートとを比較して、撮影フレームレートが記録フレームレートより小さい場合には、記録フレームレートと撮影フレームレートとの差に応じて動画記録情報からフレームを間引いた上で、上記の復号及びリサンプリング及び描画を行ってもよい。
このように、動画記録情報から変化のない同一画像のフレームを間引くことにより、撮影フレームレートにより得られる動画記録情報の処理時間を増やせるため、所謂コマ落ちを観察者に感じさせずに画質を向上させることができる。

また、復号された原画像から隣接画素間の画素値の差が所定範囲内である領域を抽出し、抽出された領域に高速処理のリサンプリング種別を割り当ててもよい。
このように、原画像の濃淡分布に基づいて領域を抽出し、リサンプリング種別を割り当てることにより、領域情報の登録に係る操作負担を軽減することができる。

本発明によれば、画質と再生レートとを共に最適化することを可能とする超音波画像表示装置を提供することができる。

以下添付図面を参照しながら、本発明に係る超音波診断装置の好適な実施形態について詳細に説明する。尚、以下の説明及び添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。

＜第１実施形態＞
（１．超音波診断装置１の構成）
最初に、図１を参照しながら、本発明の第１実施形態に係る超音波診断装置１の構成について説明する。

図１は、超音波診断装置１の構成図である。
超音波診断装置１は、被検体に超音波を送受波する複数の振動子素子を備える超音波探触子２と、超音波信号を送受信する超音波送受信部３と、受信信号に基づいて２次元超音波画像（Ｂモード画像）や３次元超音波画像を構成する信号処理部４と、超音波画像を表示するＣＲＴモニタや液晶モニタ等の表示装置５と、動画記録処理部６と、記憶装置７と、動画再生処理部８と、を備える。また、上記の各構成要素の動作や各構成要素間のデータ伝送を制御する制御部を備える。制御部は、例えば、ＣＰＵ（中央処理装置）を有する制御用コンピュータである。

動画記録処理部６は、信号処理部４から送られた超音波画像を記録用のフォーマットにして動画記録情報２１として記憶装置７に記録するものである。
記憶装置７は、ハードディスクやメモリ等の記憶装置である。記憶装置７は、動画記録情報２１、領域テーブル２２、原画像２３、再生画像２４を保持する。尚、動画記録情報２１、領域テーブル２２、原画像２３、再生画像２４については後述する。

動画再生処理部８は、記憶装置７に記録される動画記録情報２１に対して復号及びリサンプリングを行い、表示装置５に描画して動画再生するものである。動画再生処理部８は、領域登録手段１０、復号手段１１、フレーム指定手段１２、領域指定手段１３、リサンプリング手段１７、描画手段１６を有する。

領域登録手段１０は、フレームを複数の領域に分割し、フレームの各領域に高画質処理または高速処理のいずれかのリサンプリング種別を割り当て、記憶装置７の領域テーブル２２に登録するものである。
復号手段１１は、記憶装置７から読み出した動画記録情報２１を原画像２３に復号するものである。
フレーム指定手段１２及び領域指定手段１３は、それぞれ、リサンプリングを行うフレーム及び領域を指定するものである。
リサンプリング手段１７は、原画像２３に対してリサンプリングを行って再生画像２４を作成するものである。リサンプリングは、例えば、画像の解像度を変更するリサイズである。リサンプリング手段１７は、画質優先の画像処理を行う高画質処理手段１４及び処理速度優先の画像処理を行う高速処理手段１５を有する。
描画手段１６は、再生画像２４を表示装置５に描画して動画再生するものである。

（２．領域テーブル）
次に、図２を参照しながら、記憶装置７に登録される領域テーブル２２について説明する。
図２は、領域テーブル２２を示す図である。

領域テーブル２２は、フレーム番号３１及び領域番号３２及び領域座標３３及びリサンプリング種別３４の各項目を有する領域情報である。
フレーム番号３１は、フレームを識別するための識別子である。領域番号３２は、フレーム内に割り当てられる領域を識別するための識別子である。領域座標３３は、フレーム内に割り当てられた領域の位置及び範囲を示すものである。領域座標３３には、例えば、矩形領域の対角位置座標が登録される。リサンプリング種別３４は、リサンプリングの種別を示し、画質優先の画像処理である高画質処理、または、処理速度優先の画像処理である高速処理が登録される。

（３．超音波診断装置１の動作）
次に、図３〜図７を参照しながら、超音波診断装置１の動作について説明する。

（３−１．領域登録処理）
図３は、領域登録処理を示すフローチャートである。
図４は、再生画像２４を示す図である。
超音波診断装置１は、操作者の操作指示に基づいて動画再生を行う前に予め、高画質処理を行う高画質処理領域３１を領域テーブル２２に登録し（ステップ１０１）、高速処理を行う高速処理領域３２を領域テーブル２２に登録する（ステップ１０２）。図４の再生画像２４では、３つの領域（領域Ｒ_１、領域Ｒ_２、領域Ｒ_３）に分割され、それぞれ、リサンプリング種別が割り当てられる。領域Ｒ_１及び領域Ｒ_３は、検査日時や被検者名、検査部位等の文字が表示される情報表示領域であり、高画質処理領域３１−１及び高画質処理領域３１−２が割り当てられる。領域Ｒ_２は、超音波画像が表示される領域であり、高速処理領域３２が割り当てられる。尚、原画像２３と再生画像２４との間で各領域が対応付けられるので、原画像２３について領域の分割及びリサンプリング種別の割り当てを行ってもよい。

（３−２．動画再生処理）
図５は、動画再生処理を示すフローチャートである。
図６は、動画再生処理の流れを示す模式図である。

超音波診断装置１は、フレームカウンタｉを初期化する（ステップ２０１）。超音波診断装置１は、動画記録情報２１からフレームＦ_ｉを取得する（ステップ２０２）。図６では、動画記録情報２１は、時系列（時間Ｔ）に沿って、Ｆ_１〜Ｆ_ｎまでのｎ枚のフレームを有する。超音波診断装置１は、フレームＦ_ｉを原画像２３に復号する（ステップ２０３）。

超音波診断装置１は、原画像２３に対してリサンプリング処理としてリサイズを行って再生画像２４を作成する（ステップ２０４）。図６では、原画像２３の解像度は、７２０×４８０であり、再生画像の解像度は、６４０×４８０である。尚、ステップ２０４のリサンプリング処理については、図７を用いて後述する。超音波診断装置１は、再生画像２４を表示装置５に描画する（ステップ２０５）。

超音波診断装置１は、次のフレームがある場合（フレームカウンタｉがフレーム総数ｎに達していない場合：ステップ２０６のＹＥＳ）、フレームカウンタｉを増加・更新させて（ステップ２０７）、ステップ２０２からの処理を繰り返す。尚、再生開始時刻をｔ_０、現在時刻をｔ、フレームレートをｋとすると、ｉ←（ｔ−ｔ_０）×ｋ、として、フレームカウンタｉが更新される。

（３−３．リサンプリング処理）
図７は、リサンプリング処理（図５のステップ２０４）の詳細を示すフローチャートである。

超音波診断装置１は、領域カウンタｊを初期化する（ステップ３０１）。超音波診断装置１は、記憶装置７に登録された領域テーブル２２を参照し、フレームＦ_ｉの領域Ｒ_ｊ及び当該領域Ｒ_ｊに割り当てられたサンプリング種別３４を取得する（ステップ３０２）。
超音波診断装置１は、サンプリング種別３４が「高画質処理」の場合には、フレームＦ_ｊの領域Ｒ_ｊに対してリサンプリング処理として画質優先の高画質処理を行う（ステップ３０４）。高画質処理は、例えばリサイズ処理の場合、Ｂｉ−Ｌｉｎｅａｒ、Ｃｕｂｉｃ−Ｃｏｎｖｏｌｕｔｉｏｎである。
超音波診断装置１は、サンプリング種別３４が「高速処理」の場合には、フレームＦ_ｊの領域Ｒ_ｊに対してリサンプリング処理として処理速度優先の高速処理を行う（ステップ３０５）。高速処理は、例えば、Ｎｅａｒｅｓｔ−Ｎｅｉｇｈｂｏｒである。

超音波診断装置１は、次の領域がある場合（領域カウンタｊが領域総数に達していない場合：ステップ３０６のＹＥＳ）、領域カウンタｊを増加・更新させて（ステップ３０７）、ステップ３０２からの処理を繰り返す。
超音波診断装置１は、次の領域がない場合（領域カウンタｊが領域総数に達した場合：ステップ３０６のＮＯ）、ステップ３０４の高画質処理及びステップ３０５の高速処理の処理結果に基づいて、フレームＦ_ｉに対応する再生画像２４を作成し（ステップ３０８）、図５のステップ２０５の処理に移行する。

（３−４．第１実施形態の効果）
以上の過程を経て、超音波診断装置１は、動画記録情報２１のフレームＦ_ｉを原画像２３に復号し、記憶装置７に登録された領域テーブル２２を参照し、フレームＦ_ｉの領域Ｒ_ｊ及び当該領域Ｒ_ｊに割り当てられたサンプリング種別３４を取得する。超音波診断装置１は、フレームＦ_ｉの領域Ｒ_ｊ毎に割り当てられたリサンプリング種別３４に従って画質優先あるいは処理速度優先のリサンプリングを行って再生画像２４を作成して表示装置５に描画する。超音波診断装置１は、これらの処理を時系列に沿って全てのフレームＦ_ｉに対して行い動画再生を行う。

このように、第１実施形態に係る超音波診断装置１は、各フレームを複数の領域に分割し、画質が要求される領域には高画質処理のリサンプリングを行い、画質が要求されない領域には高速処理のリサンプリングを行うので、画質及び再生レートの双方を最適化して動画再生を行うことができる。
例えば、同一フレームにおいて文字等の情報表示領域と超音波画像表示領域とが存在する場合であっても、情報表示領域に高画質処理のリサンプリングを適用し、超音波画像表示領域に高速処理のリサンプリングを適用することにより、文字のつぶれがなく超音波画像の動きが滑らかな動画再生を行うことができる。

＜第２実施形態＞
（４．フレーム間引き処理）
次に、図８を参照しながら、第２実施形態について説明する。
図８は、フレーム間引き処理を示すフローチャートである。
第１実施形態では、超音波診断装置１は時系列に沿って動画記録情報２１の全てのフレームについて復号及びリサンプリングを行うものとして説明したが、第２実施形態では、超音波診断装置１は変化のない同一画像のフレームを間引いてから復号及びリサンプリングを行う。

超音波診断装置１は、超音波画像の撮影フレームレートと動画記録情報２１の記録フレームレートとを取得する（ステップ４０１）。超音波画像の撮影フレームレートについては、超音波画像の撮影時に記憶装置７に格納し、ステップ４０１の処理時に読み出すようにすればよい。動画記録情報２１の記録フレームレートについては、動画記録情報２１の各フレームデータに記録された記録フレームレートを読み出せばよい。
超音波診断装置１は、超音波画像の撮影フレームレートと動画記録情報２１の記録フレームレートとを比較し（ステップ４０２）、撮影フレームレートが記録フレームレートより小さい場合（ステップ４０３のＹＥＳ）、動画記録情報２１からフレームを間引く（ステップ４０４）。超音波診断装置１は、図５の処理に移行し、フレームが間引かれた動画記録情報２１に対して復号及びリサンプリング及び描画を行う。

例えば、超音波画像の撮影フレームレートが１フレーム／ｓｅｃであり、動画記録情報２１の記録フレームレートが３０フレーム／ｓｅｃである場合、超音波診断装置１は、動画記録情報２１の時系列的に連続する３０枚のフレームは変化がない同一画像のフレームであると判断し、連続する３０枚のフレームのうち２９枚のフレームを間引き、残りの１枚のフレームに対して復号及びリサンプリング及び描画を行う。

このように、第２実施形態では、超音波診断装置１は、動画記録情報２１から変化のない同一画像のフレームを間引いて復号及びリサンプリングを行うことにより、画質と再生レートとを共に最適化することができる。

＜第３実施形態＞
（５．領域認識処理）
次に、図９を参照しながら、第３実施形態について説明する。
図９は、領域認識処理を示すフローチャートである。
第１実施形態では、超音波診断装置１は、操作者の操作指示に基づいて動画再生を行う前に予め、高画質処理領域３１及び高速処理領域３２を領域テーブル２２に登録するものとして説明したが、第３実施形態では、超音波診断装置１は、フレーム内の領域を自動認識してリサンプリング種別を割り当てる。

超音波診断装置１は、図５のステップ２０３の処理の後、動画記録情報２１のフレームを復号して作成された原画像２３から、濃淡の分布が平坦な領域として、隣接画素間の画素値の差が所定範囲内である領域を抽出する（ステップ５０１）。超音波診断装置１は、抽出された領域を高速処理領域として領域テーブル２２に登録する（ステップ５０２）。超音波診断装置１は、抽出されなかった他の領域を高画質処理領域として領域テーブル２２に登録する（ステップ５０３）。超音波診断装置１は、図６の処理に移行する。

このように、第３実施形態では、超音波診断装置１は、原画像の濃淡分布に基づいて領域を抽出し、リサンプリング種別を割り当てることにより、領域テーブル２２の登録に係る操作負担を軽減することができる。

（６．その他）
上述の実施形態では、リサンプリング種別は、画質優先の高画質処理と処理速度優先の高速処理の２種類であるものとして説明したが、３種類以上のリサンプリング種別をフレーム内の各領域に割り当てて登録するようにしてもよい。
また、上述の実施形態では、超音波診断装置１に動画再生処理部８及び記憶装置７が設けられるものとして説明したが、超音波診断装置１とは別個に、動画再生処理部８及び記憶装置７を備える超音波画像表示装置を構成してもよい。

以上、添付図面を参照しながら、本発明に係る超音波診断装置の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

超音波診断装置１の構成図領域テーブル２２を示す図領域登録処理を示すフローチャート再生画像２４を示す図動画再生処理を示すフローチャート動画再生処理の流れを示す模式図リサンプリング処理（図５のステップ２０４）の詳細を示すフローチャートフレーム間引き処理を示すフローチャート領域認識処理を示すフローチャート

符号の説明

１………超音波診断装置
２………探触子
３………超音波送受信部
４………信号処理部
５………表示装置
６………動画記録処理部
７………記憶装置
８………動画再生処理部
１０………領域登録手段
１１………復号手段
１２………フレーム指定手段
１３………領域指定手段
１４………高画質処理手段
１５………高速処理手段
１６………描画手段
１７………リサンプリング手段
２１………動画記録情報
２２………領域テーブル
２３………原画像
２４………再生画像
３１−１、３１−２………高画質処理領域
３２………高速処理領域
Ｆ_１〜Ｆ_ｎ………フレーム
Ｒ_１、Ｒ_２、Ｒ_３………領域

Claims

被検体からの反射超音波信号に基づいて構成された超音波画像を取得する手段と、前記取得された超音波画像を表示する表示手段とを備えた超音波画像表示装置であって、
前記取得された超音波画像を時系列的に複数のフレームから構成される動画記録情報として記憶装置に記録する動画記録手段と、
前記超音波画像の撮影フレームレートと前記動画記録情報の記録フレームレートとを取得するフレームレート取得手段と、
前記撮影フレームレートが前記記録フレームレートより小さい場合、前記記録フレームレートと前記撮影フレームレートとの差に応じて前記動画記録情報から前記フレームを間引くフレーム間引き手段と、
前記フレームを複数の領域に分割し、該分割された各領域に高画質処理または高速処理のリサンプリング種別を割り当てて領域情報として前記記憶装置に登録する領域登録手段と、
前記フレーム間引き手段により前記フレームが間引かれた動画記録情報の各フレームを原画像に復号する復号手段と、
前記登録された領域情報が示すリサンプリング種別に基づいて、前記復号された原画像に対して前記フレームの領域毎に前記高画質処理または前記高速処理のリサンプリングを行って再生画像を作成するリサンプリング手段と、
前記作成された再生画像を前記表示手段に描画して動画再生する描画手段と、
を具備することを特徴とする超音波画像表示装置。
前記復号された原画像から隣接画素間の画素値の差が所定範囲内である領域を抽出する領域抽出手段を具備し、
前記領域登録手段は、前記抽出された領域に前記高速処理のリサンプリング種別を割り当てることを特徴とする請求項１に記載の超音波画像表示装置。