JP6125256B2 - 超音波診断装置、画像処理装置及び画像処理プログラム - Google Patents

Description

本発明の実施の形態は、超音波診断装置、画像処理装置及び画像処理プログラムに関する。

従来、超音波診断装置においては、２Ｄアレイプローブ（two dimensional array probe）や、メカニカル４Ｄプローブ（mechanical four dimensional probe）を用いて３次元データ（ボリュームデータ）を収集し、収集したボリュームデータを用いて種々の診断が行われている。

例えば、超音波診断装置では、胎児のボリュームデータを収集し、収集したボリュームデータをボリュームレンダリング（Volume Rendering：ＶＲ）を実行することで、胎児の顔を３次元的に描出したレンダリング画像を表示させたりする。観察者は、このようなレンダリング画像により胎児の状態を観察する。ここで、このようなレンダリング画像においては、観察しやすくするために、ボリュームレンダリングを実行するボリュームデータの向きや、レンダリング時の光源などについての種々の設定が行われる。しかしながら、上述した従来の技術では、観察しやすいレンダリング画像を表示させるために、手間がかかる場合があった。

特開２０１０−１４８８２８号公報 特開２００３−２１６９７２号公報

本発明が解決しようとする課題は、観察しやすいレンダリング画像を表示させるための手間を軽減させることができる超音波診断装置、画像処理装置及び画像処理プログラムを提供することである。

実施の形態の超音波診断装置は、設定手段と、画像生成手段と、表示制御手段とを備える。設定手段は、超音波プローブによって収集された３次元画像データに基づいて、前記３次元画像データに含まれる胎児の顔の正面方向を特定し、前記正面方向に応じたレンダリング方向を設定する。画像生成手段は、前記レンダリング方向に従って前記３次元画像データをレンダリングすることにより、前記胎児の顔を描出したレンダリング画像を生成する。表示制御手段は、前記レンダリング画像を表示部にて表示するように制御する。

図１は、第１の実施形態に係る超音波診断装置の全体構成を説明するための図である。 図２Ａは、従来技術に係る課題の一例を説明するための図である。 図２Ｂは、第１の実施形態に係る超音波診断装置の概要を説明するための図である。 図３は、第１の実施形態に係る制御部の構成の一例を示す図である。 図４は、第１の実施形態に係る画像認識部による処理の一例を説明するための図である。 図５は、第１の実施形態に係る画像認識部によって実行される画像認識の処理の一例を説明するための図である。 図６は、第１の実施形態に係る光源設定部による処理の一例を説明するための図である。 図７は、第１の実施形態に係る超音波診断装置による処理の手順を示すフローチャートである。 図８は、第２の実施形態に係る内部記憶部にて記憶されるユーザ情報の一例を示す図である。 図９は、第３の実施形態に係るタッチコマンドスクリーンにて表示されるレンダリング画像の一例を示す図である。 図１０は、第３の実施形態に係るレンダリング制御部による処理の一例を説明するための図である。

（第１の実施形態）
まず、本実施形態に係る超音波診断装置の構成について説明する。図１は、本実施形態に係る超音波診断装置１の構成を説明するための図である。図１に示すように、第１の実施形態に係る超音波診断装置１は、超音波プローブ１１と、入力装置１２と、モニタ１３と、装置本体１００とを有する。

超音波プローブ１１は、複数の圧電振動子を有し、これら複数の圧電振動子は、後述する装置本体１００が有する送受信部１１０から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ１１は、被検体Ｐからの反射波を受信して電気信号に変換する。また、超音波プローブ１１は、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材などを有する。なお、超音波プローブ１１は、装置本体１００と着脱自在に接続される。

超音波プローブ１１から被検体Ｐに超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ１１が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁などの表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。

ここで、本実施形態に係る超音波プローブ１１は、超音波により被検体Ｐを２次元で走査するとともに、被検体Ｐを３次元で走査することが可能な超音波プローブである。具体的には、本実施形態に係る超音波プローブ１１は、被検体Ｐを２次元で走査する複数の超音波振動子を所定の角度（揺動角度）で揺動させることで、被検体Ｐを３次元で走査するメカニカルスキャンプローブである。

或いは、超音波プローブ１１は、複数の超音波振動子がマトリックス状に配置されることで、被検体Ｐを３次元で超音波走査することが可能な２次元超音波プローブである。なお、２次元超音波プローブは、超音波を集束して送信することで、被検体Ｐを２次元で走査することが可能である。

入力装置１２は、図１に示すように、トラックボール１２ａ、スイッチ１２ｂ、ボタン１２ｃ、タッチコマンドスクリーン１２ｄなどを有し、後述するインターフェース部１８０を介して装置本体１００と接続される。入力装置１２は、超音波診断装置の操作者からの各種設定要求を受け付け、装置本体１００に対して受け付けた各種設定要求を転送する。

例えば、タッチコマンドスクリーン１２ｄは、後述する画像生成部１４０によって生成された複数のレンダリング画像を表示するとともに、当該複数のレンダリング画像の中から観察者が所望するレンダリング画像を選択するための選択操作を受付ける。

モニタ１３は、超音波診断装置の操作者が入力装置１２を用いて各種設定要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、装置本体１００において生成された超音波画像などを表示したりする。例えば、モニタ１３は、後述する画像生成部１４０の処理によって生成されたレンダリング画像を表示する。なお、画像生成部１４０の処理によって生成されるレンダリング画像については、後に詳述する。

装置本体１００は、超音波プローブ１１が受信した反射波に基づいて超音波画像を生成する装置である。具体的には、本実施形態に係る装置本体１００は、超音波プローブ１１が受信した３次元の反射波データに基づいて３次元超音波画像（ボリュームデータ）を生成可能な装置である。装置本体１００は、図１に示すように、送受信部１１０と、Ｂモード処理部１２０と、ドプラ処理部１３０と、画像生成部１４０と、画像メモリ１５０と、内部記憶部１６０と、制御部１７０と、インターフェース部１８０とを有する。

送受信部１１０は、トリガ発生回路、遅延回路およびパルサ回路などを有し、超音波プローブ１１に駆動信号を供給する。パルサ回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、遅延回路は、超音波プローブ１１から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルサ回路が発生する各レートパルスに対し与える。また、トリガ発生回路は、レートパルスに基づくタイミングで、超音波プローブ１１に駆動信号（駆動パルス）を印加する。すなわち、遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面からの送信方向を任意に調整する。

なお、送受信部１１０は、後述する制御部１７０の指示に基づいて、所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧などを瞬時に変更可能な機能を有している。特に、送信駆動電圧の変更は、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、または、複数の電源ユニットを電気的に切り替える機構によって実現される。

また、送受信部１１０は、アンプ回路、Ａ／Ｄ変換器、加算器などを有し、超音波プローブ１１が受信した反射波信号に対して各種処理を行なって反射波データを生成する。アンプ回路は、反射波信号をチャンネルごとに増幅してゲイン補正処理を行なう。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をＡ／Ｄ変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、Ａ／Ｄ変換器によって処理された反射波信号の加算処理を行なって反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。

このように、送受信部１１０は、超音波の送受信における送信指向性と受信指向性とを制御する。ここで、本実施形態に係る送受信部１１０は、超音波プローブ１１から被検体Ｐに対して３次元の超音波ビームを送信させ、超音波プローブ１１が受信した３次元の反射波信号から３次元の反射波データを生成する。

Ｂモード処理部１２０は、送受信部１１０から反射波データを受信し、対数増幅、包絡線検波処理などを行なって、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。

ここで、Ｂモード処理部１２０は、検波周波数を変化させることで、映像化する周波数帯域を変えることができる。また、Ｂモード処理部１２０は、一つの反射波データに対して、二つの検波周波数による検波処理を並列して行うことができる。

このＢモード処理部１２０の機能を用いることにより、コントラストハーモニックイメージング（ＣＨＩ：Contrast Harmonic Imaging）において、造影剤が注入された被検体Ｐの反射波データから、造影剤（微小気泡、バブル）を反射源とする反射波データ（高調波データ又は分周波データ）と、被検体Ｐ内の組織を反射源とする反射波データ（基本波データ）とを分離することができる。すなわち、Ｂモード処理部１２０は、組織画像を生成するためのＢモードデータとともに、造影画像を生成するためのＢモードデータを生成することができる。

また、このＢモード処理部１２０の機能を用いることにより、ティッシュハーモニックイメージング（ＴＨＩ：Tissue Harmonic Imaging）において、被検体Ｐの反射波データから、高調波データ又は分周波データを分離することで、ノイズ成分を除去した組織画像を生成するためのＢモードデータを生成することができる。

ドプラ処理部１３０は、送受信部１１０から受信した反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワーなどの移動体情報を多点について抽出したデータ（ドプラデータ）を生成する。

なお、本実施形態に係るＢモード処理部１２０およびドプラ処理部１３０は、２次元の反射波データおよび３次元の反射波データの両方について処理可能である。すなわち、本実施形態に係るＢモード処理部１２０は、３次元の反射波データから３次元のＢモードデータを生成することができる。具体的には、本実施形態に係るＢモード処理部１２０は、通常のＢモード撮影時や、コントラストハーモニックイメージング、ティッシュハーモニックイメージングにおいて、３次元のＢモードデータを生成することができる。また、本実施形態に係るドプラ処理部１３０は、３次元の反射波データから３次元のドプラデータを生成することができる。

画像生成部１４０は、Ｂモード処理部１２０及びドプラ処理部１３０が生成したデータから超音波画像を生成する。すなわち、画像生成部１４０は、Ｂモード処理部１２０が生成したＢモードデータから反射波の強度を輝度にて表したＢモード画像を生成する。具体的には、画像生成部１４０は、Ｂモード処理部１２０が生成した３次元のＢモードデータから、３次元のＢモード画像を生成する。

また、画像生成部１４０は、ドプラ処理部１３０が生成したドプラデータから移動体情報を表す平均速度画像、分散画像、パワー画像、又は、これらの組み合わせ画像としてのカラードプラ画像を生成する。具体的には、画像生成部１４０は、ドプラ処理部１３０が生成した３次元のドプラデータから、３次元のカラードプラ画像を生成する。

なお、以下では、画像生成部１４０が生成した３次元のＢモード画像及び３次元のカラードプラ画像をまとめて「ボリュームデータ」と記載する。

また、画像生成部１４０は、生成したボリュームデータをモニタ１３や、タッチコマンドスクリーン１２ｄにて表示するための各種画像を生成することができる。具体的には、画像生成部１４０は、ボリュームデータからレンダリング画像などを生成することができる。なお、画像生成部１４０は、超音波画像に、種々のパラメータの文字情報、目盛り、ボディーマークなどを合成した合成画像を生成することもできる。

画像メモリ１５０は、画像生成部１４０によって生成された画像を記憶するメモリである。また、画像メモリ１５０は、Ｂモード処理部１２０やドプラ処理部１３０が生成したデータを記憶することも可能である。

内部記憶部１６０は、超音波送受信、画像処理及び表示処理を行なうための制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見など）や、診断プロトコルや各種ボディーマークなどの各種データを記憶する。また、内部記憶部１６０は、必要に応じて、画像メモリ１５０が記憶する画像の保管などにも使用される。

制御部１７０は、情報処理装置（計算機）としての機能を実現する制御プロセッサ（ＣＰＵ：Central Processing Unit）であり、超音波診断装置の処理全体を制御する。具体的には、制御部１７０は、入力装置１２を介して操作者から入力された各種設定要求や、内部記憶部１６０から読込んだ各種制御プログラム及び各種データに基づき、送受信部１１０、Ｂモード処理部１２０、ドプラ処理部１３０及び画像生成部１４０の処理を制御する。また、制御部１７０は、画像メモリ１５０が記憶する画像や、内部記憶部１６０が記憶する各種画像、又は、画像生成部１４０による処理を行なうためのＧＵＩ、画像生成部１４０の処理結果などをモニタ１３や、タッチコマンドスクリーン１２ｄにて表示するように制御する。

インターフェース部１８０は、入力装置１２に対するインターフェースである。入力装置１２が受け付けた操作者からの各種設定情報及び各種指示は、インターフェース部１８０により制御部１７０に転送される。

以上、第１の実施形態に係る超音波診断装置１の全体構成について説明した。かかる構成のもと、第１の実施形態に係る超音波診断装置１は、以下、詳細に説明する制御部１７０の処理により、観察しやすいレンダリング画像を表示させるための手間を軽減させることができるように構成される。

ここで、従来技術における観察しやすいレンダリング画像を表示させるための手間と、本実施形態における観察しやすいレンダリング画像を表示させるための手間の軽減について、図２Ａ及び図２Ｂを用いて説明する。図２Ａは、従来技術に係る課題の一例を説明するための図である。また、図２Ｂは、第１の実施形態に係る超音波診断装置の概要を説明するための図である。上述したように、超音波診断装置による診断においては、収集したボリュームデータに対してボリュームレンダリングを実行することで、例えば、胎児の顔などの関心部位を３次元的に描出したレンダリング画像が観察される。

ここで、従来技術においては、例えば、図２Ａに示すように、レンダリングを実行する際の関心部位の向きや、外部光源のＬｉｇｈｔ Ｐａｒａｍｅｔｅｒをマニュアルで調整するため、それに係る手間が生じる場合がある。例えば、従来の超音波診断装置においては、図２Ａの上側に示すように、まず、超音波によって３Ｄ／４ＤのＲａｗデータが収集される。そして、従来の超音波診断装置においては、収集された３Ｄ／４Ｄのデータに対してボリュームレンダリング（Ｖｏｌｕｍｅ Ｒｅｎｄｅｒｉｎｇ）が実行されて、レンダリング画像が表示される。

ここで、従来の超音波診断装置においては、表示されたレンダリング画像を観察した観察者が入力装置を介したマニュアル調整により関心部位の向きを調整する。その後、従来の超音波診断装置では、調整された関心部位の向きで、描出対象の光屈折率・反射率・透過率を考慮した外部光源つきボリュームレンダリングが実行されたレンダリング画像が表示される。そして、従来の超音波診断装置においては、観察者が表示された外部光源つきのレンダリング画像を観察しながらＬｉｇｈｔ Ｐａｒａｍｅｔｅｒを、入力装置を介して調整することで、観察しやすいレンダリング画像（ＧＩ画面）が表示（或いは、更新）される。

また、例えば、従来の超音波診断装置においては、図２Ａの下側に示すように、収集された３Ｄ／４Ｄのデータに対して外部光源つきレンダリングが実行されたレンダリング画像が表示される。そして、従来の超音波診断装置においては、表示された外部光源つきのレンダリング画像を観察した観察者が入力装置を介したマニュアル調整により関心部位の向きを調整する。

このように、従来技術に係る超音波診断装置においては、レンダリングを実行する際の関心部位の向きや、外部光源のＬｉｇｈｔ Ｐａｒａｍｅｔｅｒをマニュアルで調整するため、それに係る手間が生じる場合がある。

そこで、本実施形態では、以下に詳細に記載する制御部１７０の制御により、観察しやすいレンダリング画像を表示させるための手間を軽減させることを可能にする。例えば、第１の実施形態に係る超音波診断装置１においては、図２Ｂに示すように、ボリュームレンダリング（ＶＲ）の学習画像を用いて、関心部位（例えば、胎児の顔）を認識して自動で向きを調整したり、外部光源のＬｉｇｈｔ Ｐａｒａｍｅｔｅｒを自動で調整したりすることで、観察しやすいレンダリング画像を表示させるための手間を軽減させることを可能にする。

図３は、第１の実施形態に係る制御部１７０の構成の一例を示す図である。図３に示すように、第１の実施形態に係る制御部１７０は、画像認識部１７１と、光源設定部１７２と、レンダリング制御部１７３と、表示制御部１７４とを有し、モニタ１３及びタッチコマンドスクリーン１２ｄが接続される。

画像認識部１７１は、超音波プローブ１１によって収集された３次元画像データに含まれる関心部位を識別する。具体的には、画像認識部１７１は、ボリュームデータにおける関心部位の位置を特定する。例えば、画像認識部１７１は、学習画像を用いたパターンマッチングによりボリュームデータにおける関心部位の位置を特定する。一例を挙げると、画像認識部１７１は、胎児の顔のレンダリング画像を学習画像として、ボリュームデータにおける胎児の顔の位置を特定する。ここで、画像認識部１７１は、診断開始時に入力される診断部位などを取得することによって抽出するレンダリング画像を決定する。

図４は、第１の実施形態に係る画像認識部１７１による処理の一例を説明するための図である。ここで、図４においては、ボリュームデータに含まれる胎児の顔を特定して、顔の向き（顔の正面画像）を識別する場合について説明する。例えば、画像認識部１７１は、後述するレンダリング制御部１７３の制御のもと画像生成部１４０によって生成されたレンダリング画像を用いて胎児の顔を識別する。すなわち、画像認識部１７１による処理においては、後述するレンダリング制御部１７３の制御のもと、例えば、図４の（Ａ）に示す胎児に対して走査されて生成されたボリュームデータ２０から図４の（Ｂ）に示すような胎児のレンダリング画像が生成される。

ここで、レンダリング制御部１７３は、図４の（Ｂ）に示すように、種々の方向から胎児を見た場合のレンダリング画像（ボリュームデータに対して種々の方向から投影したレンダリング画像）を画像生成部１４０に生成させる。そして、画像認識部１７１は、図４の（Ｃ）に示すように、画像生成部１４０によって生成された種々のレンダリング画像の中から胎児の顔を正面から描出するレンダリング画像を抽出する。

ここで、画像認識部１７１は、例えば、学習画像を用いたパターンマッチングにより、胎児の顔を正面から描出するレンダリング画像を抽出する。図５は、第１の実施形態に係る画像認識部１７１によって実行される画像認識の処理の一例を説明するための図である。例えば、画像認識部１７１は、図５に示すように、まず、学習画像から特徴量を抽出して、パラメータ化することでパターンマッチングするための学習を実行する。ここで、学習画像は、例えば、胎児の顔を正面から描出したレンダリング画像などであり、関心部位ごとに学習が実行される。

なお、学習画像として利用されるレンダリング画像は、単純な関心部位が描出されたレンダリング画像であってもよく、或いは、関心部位が描出され、さらに、Ｌｉｇｈｔ Ｐａｒａｍｅｔｅｒが調整されたレンダリング画像であってもよい。例えば、胎児の顔を正面から描出したレンダリング画像であってもよいし、或いは、胎児の顔を正面から描出し、さらに、光源の光が調整されたレンダリング画像であってもよい。

そして、画像認識部１７１は、図５に示すように、認識対象となる入力画像（レンダリング画像）からそれぞれ特徴量を抽出して、パラメータ化する。そして、画像認識部１７１は、パラメータ化した入力画像の特徴量と、学習画像を用いてパラメータ化した特徴量とのパターンマッチングを実行することで、画像認識を実行する。例えば、画像認識部１７１は、胎児の顔を正面から描出した学習画像（レンダリング画像）を用いて学習した特徴量と、入力画像（ボリュームデータに対して種々の方向から投影した複数のレンダリング画像）それぞれから抽出した特徴量とのパターンマッチング（画像認識）をそれぞれ実行して識別結果を取得し、識別結果においてマッチング率が最大となるレンダリング画像を、胎児の顔が正面から描出されたレンダリング画像として抽出する。

そして、画像認識部１７１は、抽出したレンダリング画像が生成された生成条件を光源設定部１７２に通知する。例えば、画像認識部１７１は、抽出したレンダリング画像が生成された際の視点の位置及び視線方向や、投影面、或いは、光源のＬｉｇｈｔ Ｐａｒａｍｅｔｅｒの情報などを光源設定部１７２に通知する。

画像認識部１７１は、ボリュームデータが経時的に収集された場合には、上述した画像識別にかかる一連の処理を経時的に収集されたボリュームデータごとにそれぞれ実行する。

なお、上述した例においては、胎児の顔が正面から描出されたレンダリング画像を抽出する場合について説明したが、これはあくまでも一例であり、例えば、胎児の顔が横から描出されたレンダリング画像や、胎児の目、鼻、口などがそれぞれ描出されたレンダリング画像、胎児以外の心臓等の臓器が描出されたレンダリング画像を抽出する場合であってもよい。また、上述した画像認識部１７１による画像識別においては、学習画像を用いたパターンマッチングを実行する場合について説明したが、実施形態はこれに限定されるものではなく、画像における関心部位を特定することができる手段であれば、どのような手段を用いる場合であってもよい。

図３に戻って、光源設定部１７２は、超音波プローブ１１によって収集された３次元画像データに含まれる関心部位の形状に基づいて、当該関心部位を描出する方向を設定する。具体的には、光源設定部１７２は、関心部位ごとに設定される観察しやすい方向から当該関心部位のレンダリング画像が生成されるように光源を設定する。より具体的には、光源設定部１７２は、関心部位に対する光源の位置及び向きを含む光源パラメータを設定する。

図６は、第１の実施形態に係る光源設定部１７２による処理の一例を説明するための図である。例えば、光源設定部１７２は、図６に示すように、胎児の顔が右側から描出されたレンダリング画像が生成されるように、光源の位置及び向きを設定する。なお、胎児の顔を表示する際には、一般的に胎児の右顔を表示することが観察しやすい画像と言われる。かかる場合には、光源設定部１７２は、画像認識部１７１によって通知された胎児の顔が正面から描出されたレンダリング画像の視点の位置及び視線方向の情報に基づいて、胎児の右顔を表示させるための視点の位置及び視線方向を算出する。

ここで、胎児の顔を描出する向きについては、顔のパーツがより明瞭に描出された向きにすることも可能である。かかる場合には、例えば、画像認識部１７１は、正面画像に加えて、斜め左側の顔の学習画像と、斜め右側の顔の学習画像とをさらに学習して、ボリュームデータに含まれる胎児において、マッチング率が高い方向に抽出する。すなわち、画像認識部１７１は、ボリュームデータに含まれる胎児の状態で、右側から描出したほうがいいか、或いは、左側から描出したほうがいいかを判定する。これにより、例えば、手の位置などにより顔が見やすくなっている方向などを考慮して、胎児の顔を描出させることができる。

そして、光源設定部１７２は、関心部位が観察しやすいと観察者によって判定された画像に基づいて、光源の位置及び向きを設定する。例えば、光源設定部１７２は、胎児の右顔を表示させたレンダリング画像において観察しやすいと判定されたレンダリング画像と同様の光源の位置及び向きを設定する。なお、関心部位が観察しやすいと観察者によって判定された画像に関する情報は、予め内部記憶部１６０に記憶され、それらが参照される場合であってもよく、或いは、学習画像として観察しやすいと判定されたレンダリング画像が用いられた場合には、それらから取得する場合であってもよい。

また、さらに、光源設定部１７２は、光源パラメータとして、光源から発する光の強さ又は色のうち少なくとも一方をさらに設定する。例えば、光源設定部１７２は、胎児の右顔を描出するレンダリング画像において、目のくぼみや、鼻下の堀、唇のふくらみがより明瞭に表示されるように光の強さや色を設定する。一例を挙げると、光源設定部１７２は、胎児の正面側の斜め上方に光源を設定する。なお、関心部位が明瞭に表示されるための光の強さや色などに関する情報は、関心部位の表示される向きごとに予め内部記憶部１６０に記憶され、それらが参照される場合であってもよく、或いは、学習画像として用いられたレンダリング画像から取得する場合であってもよい。また、光源パラメータは上記した例に限定されるものではなく、例えば、光源の形状などが含まれる場合であってもよい。

また、光源設定部１７２は、カルテ情報などから人種の情報を取得して、取得した人種の情報に基づいて、人種による肌の色の違いを表現するように光の色を設定することも可能である。例えば、光源設定部１７２は、両親が黄色人種である胎児の肌の色が薄橙色になるように光の色を設定する。

光源設定部１７２は、ボリュームデータが経時的に収集された場合には、上述した光源の設定にかかる一連の処理を経時的に収集されたボリュームデータごとにそれぞれ実行する。ここで、光源設定部１７２は、ボリュームデータが経時的に収集された場合に、光源パラメータを経時的に変化させるように設定することも可能である。例えば、光源設定部１７２は、フレームごとに光の強さ、色などの光源パラメータを変化させる。すなわち、光源設定部１７２は、後述するレンダリング制御部１７３によって生成される動画像があたかも自然光によって照らされているようにすることができる。

ここで、光源設定部１７２は、レンダリング画像を生成させる場合に、局所的に光を当ててレンダリングを行う場合であってもよく、或いは、光の減衰や反射など、現実世界における光の伝播を考慮して、よりリアルなイメージを得るレンダリングを行う場合であってもよい。

図３に戻って、レンダリング制御部１７３は、光源設定部１７２によって設定された方向で関心部位を描出したレンダリング画像を生成するように画像生成部１４０を制御する。例えば、レンダリング制御部１７３は、胎児の右顔を、観察しやすい光源の位置、向き、光の強さ、色について、減衰や反射など、現実世界における光の伝播を考慮してレンダリングされるように、画像生成部１４０を制御する。

また、レンダリング制御部１７３は、光源パラメータを経時的に変化させるように設定された場合に、設定に応じて光源パラメータを変化させたレンダリング画像をそれぞれ生成するように画像生成部１４０を制御する。例えば、レンダリング制御部１７３は、フレームごとに光の強さや色を変化させたレンダリング画像を生成するように画像生成部１４０を制御する。

表示制御部１７４は、画像生成部１４０によって生成されたレンダリング画像をモニタ１３又はタッチコマンドスクリーン１２ｄにて表示するように制御する。例えば、表示制御部１７４は、胎児の右顔を、観察しやすい光源の位置、向き、光の強さ、色について、減衰や反射など、現実世界における光の伝播を考慮してレンダリングされたレンダリング画像をモニタ１３又はタッチコマンドスクリーン１２ｄにて表示させる。或いは、表示制御部１７４は、フレームごとに生成されたレンダリング画像を連続的に表示させることでモニタ１３又はタッチコマンドスクリーン１２ｄに動画像を表示させる。また、例えば、表示制御部１７４は、フレームごとに光の強さや色を変化させて生成された経時的なレンダリング画像を連続的に表示させることでモニタ１３又はタッチコマンドスクリーン１２ｄに自然光が照射されているように表現した動画像を表示させる。

次に、図７を用いて、第１の実施形態に係る超音波診断装置１の処理について説明する。図７は、第１の実施形態に係る超音波診断装置１による処理の手順を示すフローチャートである。なお、図７においては、胎児の顔を観察しやすいレンダリング画像を表示する場合について示す。図７に示すように、第１の実施形態に係る超音波診断装置１においては、画像データを取得すると（ステップＳ１０１）、画像認識部１７１は、画像の自動表示モードであるか否かを判定する（ステップＳ１０２）。

ここで、画像の自動表示モードであると判定した場合には（ステップＳ１０２肯定）、レンダリング制御部１７３の制御のもと、画像生成部１４０がボリュームレンダリングを実行する（ステップＳ１０３）。そして、画像認識部１７１は、ボリュームレンダリングが実行されたレンダリング画像の特徴量を抽出して、抽出した特徴量と学習結果とを比較してボリュームデータごとに顔の位置を特定することで、顔の向きを認識する（ステップＳ１０４）。

その後、光源設定部１７２が、画像認識部１７１によって識別された顔の情報に基づいて、所定の顔の向きで観察しやすい光源パラメータを設定し、レンダリング制御部１７３が、光源設定部１７２によって設定された設定条件のもと所定の顔の向きで、外部光源つきボリュームレンダリングを実行させる（ステップＳ１０５）。そして、表示制御部１７４は、レンダリング制御部１７３の制御によって生成されたレンダリング画像をモニタ１３又はタッチコマンドスクリーン１２ｄにて表示させる（ステップＳ１０６）。

一方、ステップＳ１０２において、自動表示モードではない場合には（ステップＳ１０２否定）、入力装置１２が、顔の向き及び光に係る各光源パラメータに入力を受付けて、ボリュームレンダリングを実行して（ステップＳ１０７）、レンダリング画像を生成する。そして、表示制御部１７４が、生成されたレンダリング画像をモニタ１３又はタッチコマンドスクリーン１２ｄにて表示させる（ステップＳ１０６）。

上述したように、第１の実施形態によれば、光源設定部１７２は、超音波プローブ１１によって収集されたボリュームデータに含まれる関心部位の形状に基づいて、当該関心部位を描出する方向を設定する。そして、レンダリング制御部１７３は、光源設定部１７２によって設定された方向で関心部位を描出したレンダリング画像を生成するように制御する。そして、表示制御部１７４は、レンダリング画像をモニタ１３又はタッチコマンドスクリーン１２ｄにて表示するように制御する。従って、第１の実施形態に係る超音波診断装置１は、関心領域の表示させる向きを関心領域の形状に基づいて自動で設定することができ、観察しやすいレンダリング画像を表示させるための手間を軽減させることを可能にする。

また、第１の実施形態によれば、光源設定部１７２は、関心部位の形状に基づいて、当該関心部位に対する光源の位置及び向きを含む光源パラメータを設定する。従って、第１の実施形態に係る超音波診断装置１は、関心部位の形状に合わせた光源の位置及び向きを自動で設定することができ、より観察しやすいレンダリング画像を表示させるための手間を軽減させることを可能にする。

また、第１の実施形態によれば、光源設定部１７２は、光源パラメータとして、光源から発する光の強さ又は色のうち少なくとも一方をさらに設定する。従って、第１の実施形態に係る超音波診断装置１は、関心部位の細部をより明瞭に表示させることを可能にする。

また、第１の実施形態によれば、光源設定部１７２は、関心部位における学習画像を用いたパターンマッチングにより当該関心部位を描出する方向を設定する。従って、第１の実施形態に係る超音波診断装置１は、既存技術を用いて、簡易に精度よく関心部位の設定を実行することを可能にする。

また、第１の実施形態によれば、光源設定部１７２は、ボリュームデータに含まれる胎児の顔におけるパターンマッチングにより胎児の顔の正面方向を検出し、胎児の顔が右側から描出されるように描出する方向を設定する。従って、第１の実施形態に係る超音波診断装置１は、観察しやすい向きで胎児の顔を描出させることができ、観察者により観察しやすい画像を表示することができる。

また、第１の実施形態によれば、光源設定部１７２は、ボリュームデータが経時的に収集された場合に、光源パラメータを経時的に変化させるように設定する。そして、レンダリング制御部１７３は、経時的に変化するように設定された光源パラメータに基づいて、レンダリング画像を生成するように制御する。従って、第１の実施形態に係る超音波診断装置１は、関心部位を自然光で照射したように表示することができ、観察者により観察しやすい画像を表示することができる。

（第２の実施形態）
上述した第１の実施形態では、関心部位に応じて種々の設定を実行する場合について説明した。第２の実施形態では、ユーザごとに上述した設定を実行する場合について説明する。第２の実施形態では、内部記憶部１６０によって記憶される情報、及び、光源設定部１７２による処理内容が第１の実施形態とは異なる。以下、これらを中心に説明する。

第２の実施形態に係る光源設定部１７２は、ユーザごとに、関心部位を描出する方向及び光源パラメータのうち少なくとも一方をユーザの設定状況に応じて設定する。具体的には、光源設定部１７２は、ユーザごとに予め設定された情報に基づいて、関心部位を描出する方向及び光源パラメータのうち少なくとも一方を設定する。例えば、光源設定部１７２は、内部記憶部１６０にて記憶されたユーザ情報に基づいて、各設定を実行する。

図８は、第２の実施形態に係る内部記憶部１６０にて記憶されるユーザ情報の一例を示す図である。例えば、第２の実施形態に係る内部記憶部１６０は、図８に示すように、ユーザごとに、対象、向き、光源パラメータが対応付けられたユーザ情報を記憶する。ここで、図８に示す「対象」とは、関心部位を示す。また、図８に示す「向き」とは、対応する関心部位を表示する際の向きを意味する。また、光源パラメータとは、対応する関心部位が対応する向きで表示される場合の光源パラメータを示す。

ここで、光源パラメータとしては、例えば、図８に示すように、「位置」、「形状」、「向き」、「強さ」、「色」などが含まれる。例えば、内部記憶部１６０は、図８に示すように、「ユーザ：Ａ」に対応付けて、「対象：胎児：顔」、「向き：右４５°」と光源パラメータが対応付けられたユーザ情報を記憶する。ここで、上記した情報は、「ユーザＡ」が「胎児」の「顔」を観察する場合には、「右４５°」から観察し、各光源パラメータが設定されることを意味する。

同様に、内部記憶部１６０は、ユーザＡについて、その他の関心部位（「対象」）についてさらに対応付けて記憶する。また、内部記憶部１６０は、図８に示すように、ユーザＢについても同様に、対象、向き、光源パラメータが対応付けられたユーザ情報を記憶する。

第２の実施形態に係る光源設定部１７２は、画像データが取得されて、自動表示モードがＯＮであった場合には、診断開始時に入力される「ユーザ名（ユーザＩＤなど）」と、診断部位などを取得する。そして、光源設定部１７２は、取得した情報に対応するユーザ情報を参照して、各種設定を実行する。

上述したように、第２の実施形態によれば、光源設定部１７２は、ユーザごとに、関心部位を描出する方向及び光源パラメータのうち少なくとも一方をユーザの設定状況に応じて設定する。従って、第２の実施形態に係る超音波診断装置１は、ユーザごとにきめ細かい設定を行うことができ、ユーザごとに観察しやすい画像を提供することを可能にする。

（第３の実施形態）
さて、これまで第１及び第２の実施形態について説明したが、上述した第１及び第２の実施形態以外にも、種々の異なる形態にて実施されてよいものである。

上述した第１及び第２の実施形態では、単一の条件で生成された単一のレンダリング画像を表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、複数の条件で生成された複数のレンダリング画像を表示して、ユーザが所望するレンダリング画像を選択する場合であってもよい。

図９は、第３の実施形態に係るタッチコマンドスクリーン１２ｄにて表示されるレンダリング画像の一例を示す図である。例えば、表示制御部１７４は、図９に示すように、胎児の右顔をそれぞれ異なる光の強さで示した４枚のレンダリング画像と、胎児の左顔をそれぞれ異なる光の強さで示した４枚のレンダリング画像とをタッチコマンドスクリーン１２ｄにて表示させる。

かかる場合には、第３の実施形態に係る光源設定部１７２は、関心部位を描出する方向及び光源パラメータのうち少なくとも一方について、複数条件で設定する。例えば、光源設定部１７２は、ユーザごとに、同一の関心部位（図８中の同一の対象）にさらに複数の向きや複数の光源パラメータを対応付けたユーザ情報を参照して、同一のボリュームデータに対してそれぞれの設定でレンダリングが実行されるように各ユーザ情報をレンダリング制御部１７３に通知する。

第３の実施形態に係るレンダリング制御部１７３は、通知された複数条件で複数のレンダリング画像をそれぞれ生成するように第３の実施形態に係る画像生成部１４０を制御する。第３の実施形態に係る表示制御部１７４は、複数のレンダリング画像をタッチコマンドスクリーン１２ｄにて表示するように制御する。そして、第３の実施形態に係るタッチコマンドスクリーン１２ｄは、表示された複数のレンダリング画像に対するユーザによる選択操作を受け付ける。

これにより、第３の実施形態に係る超音波診断装置１は、ユーザに対してレンダリング画像の複数の候補を提示することができ、ユーザはその時点で観察しやすいと判断するレンダリング画像を容易に選択することが可能になる。

また、上述した第１及び第２の実施形態では、関心部位ごとに観察しやすいと判定された画像に基づいて、レンダリングの際の関心部位の向きを設定する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、ボリュームデータにおける解像度の違いを考慮して、向きが設定される場合であってもよい。

図１０は、第３の実施形態に係るレンダリング制御部１７３による処理の一例を説明するための図である。例えば、超音波プローブ１１によって収集されるボリュームデータは、図１０の（Ａ）に示すように、「Ｒａｎｇｅ方向」及び「Ａｚｉｍｕｔｈ方向」の「分解能」が高く、「Ｅｌｅｖａｔｉｏｎ方向（Ｓｗｅｅｐ方向）」の「分解能」が低い。

そこで、第３の実施形態に係るレンダリング制御部１７３は、「Ｅｌｅｖａｔｉｏｎ方向（Ｓｗｅｅｐ方向）」と同一の方向でレンダリングを実行させることで、解像度が高いレンダリング画像を生成するように制御する。すなわち、「Ｅｌｅｖａｔｉｏｎ方向（Ｓｗｅｅｐ方向）」においてはボクセルデータが少ないため、この方向と交わるように（平行ではない方向で）レンダリングした場合には、画像が荒くなる場合がある。したがって、レンダリング制御部１７３は、図１０の（Ａ）に示すように、「Ｅｌｅｖａｔｉｏｎ方向（Ｓｗｅｅｐ方向）」と平行となる方向でレンダリングを実行させることで、解像度が高いレンダリング画像を生成させることができる。

例えば、レンダリング制御部１７３は、胎児の顔のレンダリング画像を生成する場合に、まず、図１０の（Ｂ）に示す胎児のボリュームデータ２０の「Ｅｌｅｖａｔｉｏｎ方向（Ｓｗｅｅｐ方向）」と平行となる方向でレンダリングを実行させる。これにより、第３の実施形態に係る超音波診断装置１は、ユーザに対して、まず、解像度の高いレンダリング画像を表示させることを可能にする。その結果、ユーザは、まず最初にきめ細かいレンダリング画像を観察することができる。

上述した第１〜２の実施形態では、表示させるレンダリング画像の各種設定を自動で実行する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、自動で設定して表示したレンダリング画像に対して、ユーザが微調整を行うことも可能である。

かかる場合には、入力装置１２は、関心部位の向きや、光源パラメータを調整するための操作をユーザから受付ける。レンダリング制御部１７３は、入力装置１２によって受け付けられた調整に応じたレンダリング画像を生成するように画像生成部１４０を制御する。そして、表示制御部１７４は、生成されたレンダリング画像をモニタ１３や、タッチコマンドスクリーン１２ｄにて表示するように制御する。

上述した第１及び第２の実施形態では、関心部位として、胎児の顔を一例に挙げて説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、胎児の顔以外の部位や、心臓などの臓器などに適用される場合であってもよい。

上記した第１及び第２の実施形態では、超音波診断装置１がレンダリング画像を生成して表示する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、画像処理装置がレンダリング画像を生成して表示する場合であってもよい。かかる場合には、例えば、画像処理装置は、超音波プローブによって収集された３次元画像データに含まれる関心部位の形状に基づいて、当該関心部位を描出する方向を設定する。そして、画像処理装置は、設定した方向で関心部位を描出したレンダリング画像を生成するように制御する。そして、画像処理装置は、レンダリング画像を表示部にて表示するように制御する。

また、上述した第１の実施形態における超音波診断装置１の構成はあくまでも一例であり、各部の統合及び分離は適宜行うことができる。例えば、画像認識部１７１と光源設定部１７２とを統合したり、画像認識部１７１を、画像を取得する画像取得部と、取得した画像を識別する認識部に分離したりすることが可能である。

また、第１の実施形態から第３の実施形態において説明した画像認識部１７１、光源設定部１７２、レンダリング制御部１７３及び表示制御部１７４の機能は、ソフトウェアによって実現することもできる。例えば、画像認識部１７１、光源設定部１７２、レンダリング制御部１７３及び表示制御部１７４の機能は、上記の実施形態において画像認識部１７１、光源設定部１７２、レンダリング制御部１７３及び表示制御部１７４が行うものとして説明した処理の手順を規定した医用情報処理プログラムをコンピュータに実行させることで、実現される。この医用情報処理プログラムは、例えば、ハードディスクや半導体メモリ素子等に記憶され、ＣＰＵやＭＰＵ等のプロセッサによって読み出されて実行される。また、この医用情報処理プログラムは、ＣＤ−ＲＯＭ（Compact Disc − Read Only Memory）やＭＯ（Magnetic Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータ読取り可能な記録媒体に記録されて、配布され得る。

以上説明したとおり、第１〜第３の実施形態によれば、本実施形態の超音波診断装置、画像処理装置及び画像処理プログラムは、観察しやすいレンダリング画像を表示させるための手間を軽減させることを可能にする。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 超音波診断装置
１１ 超音波プローブ
１２ 入力装置
１３ モニタ
１４ 位置情報取得装置
１４０ 画像生成部
１５０ 画像メモリ
１７０ 制御部
１７１ 画像認識部
１７２ 光源設定部
１７３ レンダリング制御部
１７４ 表示制御部

Claims (13)

1. 超音波プローブによって収集された３次元画像データに基づいて、前記３次元画像データに含まれる胎児の顔の正面方向を特定し、前記正面方向に応じたレンダリング方向を設定する設定手段と、
   前記レンダリング方向に従って前記３次元画像データをレンダリングすることにより、前記胎児の顔を描出したレンダリング画像を生成する画像生成手段と、
   前記レンダリング画像を表示部にて表示するように制御する表示制御手段と、
   を備えたことを特徴とする超音波診断装置。
2. 前記設定手段は、前記正面方向に基づいて、前記胎児の顔に対する光源の位置及び向きのうち少なくとも一方を含む光源パラメータを設定することを特徴とする請求項１に記載の超音波診断装置。
3. 前記設定手段は、前記光源パラメータとして、前記光源から発する光の強さ及び色のうち少なくとも一方をさらに設定することを特徴とする請求項２に記載の超音波診断装置。
4. 前記設定手段は、前記胎児の顔に関する学習画像を用いたパターンマッチングにより、前記レンダリング方向を設定することを特徴とする請求項１〜３のいずれか一つに記載の超音波診断装置。
5. 前記設定手段は、前記パターンマッチングにより前記正面方向を検出し、前記胎児の顔が右側から描出されるように描出する前記レンダリング方向を設定することを特徴とする請求項４に記載の超音波診断装置。
6. 前記設定手段は、ユーザごとに、前記レンダリング方向及び前記光源パラメータのうち少なくとも一方を設定することを特徴とする請求項１〜５のいずれか一つに記載の超音波診断装置。
7. ユーザによる所定の操作を受け付ける受付手段をさらに備え、
   前記設定手段は、前記レンダリング方向及び前記光源パラメータのうち少なくとも一方について、複数条件で設定し、
   前記画像生成手段は、前記複数条件で複数のレンダリング画像をそれぞれ生成するように制御し、
   前記表示制御手段は、前記複数のレンダリング画像を前記表示部にて表示するように制御し、
   前記受付手段は、前記表示部にて表示された複数のレンダリング画像に対する当該ユーザによる選択操作を受け付けることを特徴とする請求項１〜６のいずれか一つに記載の超音波診断装置。
8. 前記設定手段は、前記超音波プローブによって経時的に収集された複数の３次元画像データそれぞれについて、前記胎児の顔の前記正面方向を特定し、前記正面方向に応じた前記レンダリング方向を設定し、
   前記画像生成手段は、前記複数の３次元画像データを、それぞれについて設定された前記レンダリング方向に従ってレンダリングすることにより、複数のレンダリング画像を生成し、
   前記表示制御手段は、前記複数のレンダリング画像を表示部にて連続的に表示するように制御することを特徴とする請求項１に記載の超音波診断装置。
9. 前記設定手段は、前記複数の３次元画像データそれぞれについて、前記正面方向に基づいて、前記胎児の顔に対する光源の位置及び向きのうち少なくとも一方を含む光源パラメータを設定し、
   前記画像生成手段は、前記複数の３次元画像データを、それぞれについて設定された前記光源パラメータに従ってレンダリングすることにより、前記複数のレンダリング画像を生成することを特徴とする請求項８に記載の超音波診断装置。
10. 前記設定手段は、前記正面方向とは異なる方向を、前記レンダリング方向として設定し、
    前記画像生成手段は、前記レンダリング方向に従って前記３次元画像データをレンダリングすることにより、前記胎児の顔を前記正面方向とは異なる方向から描出した前記レンダリング画像を生成することを特徴とする請求項１に記載の超音波診断装置。
11. 前記画像生成手段は、前記レンダリング方向に従って前記３次元画像データをレンダリングすることにより、前記胎児の顔を右側又は左側から描出した前記レンダリング画像を生成することを特徴とする、請求項１０に記載の超音波診断装置。
12. 超音波プローブによって収集された３次元画像データに基づいて、前記３次元画像データに含まれる胎児の顔の正面方向を特定し、前記正面方向に応じたレンダリング方向を設定する設定手段と、
    前記レンダリング方向に従って前記３次元画像データをレンダリングすることにより、前記胎児の顔を描出したレンダリング画像を生成する画像生成手段と、
    前記レンダリング画像を表示部にて表示するように制御する表示制御手段と、
    を備えたことを特徴とする画像処理装置。
13. 超音波プローブによって収集された３次元画像データに基づいて、前記３次元画像データに含まれる胎児の顔の正面方向を特定し、前記正面方向に応じたレンダリング方向を設定する設定手順と、
    前記レンダリング方向に従って前記３次元画像データをレンダリングすることにより、前記胎児の顔を描出したレンダリング画像を生成する画像生成手順と、
    前記レンダリング画像を表示部にて表示するように制御する表示制御手順と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。

Images