以下、図面を参照して、実施形態に係る情報処理装置、超音波診断装置及び画像処理プログラムを説明する。なお、実施形態は、以下の実施形態に限られるものではない。また、一つの実施形態に記載した内容は、原則として他の実施形態にも同様に適用される。
(第1の実施形態)
図1は、第1の実施形態に係る超音波診断装置1の構成例を示すブロック図である。図1に示すように、第1の実施形態に係る超音波診断装置1は、装置本体100と、超音波プローブ101と、入力装置102と、ディスプレイ103とを備える。超音波プローブ101、入力装置102、およびディスプレイ103は、それぞれ装置本体100に接続される。
超音波プローブ101は、被検体Pの体表面に接触され、超音波の送受信(超音波走査)を行う。例えば、超音波プローブ101は、所定方向に1次元で配列された複数の圧電振動子を有する1Dアレイプローブ(探触子)である。これら複数の圧電振動子は、後述する装置本体100が有する送受信回路110から供給される駆動信号に基づいて、超音波を発生させる。発生した超音波は、被検体P内の音響インピーダンスの不整合面で反射され、組織内の散乱体によって散乱された成分等を含む反射波信号として複数の圧電振動子にて受信される。超音波プローブ101は、複数の圧電振動子にて受信した反射波信号を、送受信回路110へ送る。
なお、本実施形態では、超音波プローブ101として1Dアレイプローブを用いる場合を説明するが、これに限定されるものではない。例えば、超音波プローブ101としては、複数の圧電振動子が格子状に2次元で配置された2Dアレイプローブや、1次元で配列された複数の圧電振動子が機械的に揺動することで3次元領域を走査するメカニカル4Dプローブなど、如何なる形態の超音波プローブが用いられてもよい。
入力装置102は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等を有し、超音波診断装置1の操作者からの各種設定要求を受け付け、装置本体100に対して受け付けた各種設定要求を転送する。
ディスプレイ103は、超音波診断装置1の操作者が入力装置102を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したり、装置本体100において生成された超音波画像データ等を表示したりする。
装置本体100は、超音波プローブ101が受信した反射波信号に基づいて、超音波画像データを生成する装置である。図1に示す装置本体100により生成される超音波画像データは、2次元の反射波信号に基づいて生成される2次元の超音波画像データであっても、3次元の反射波信号に基づいて生成される3次元の超音波画像データであってもよい。
図1に示すように、装置本体100は、例えば、送受信回路110と、Bモード処理回路120と、ドプラ処理回路130と、画像処理回路140と、画像メモリ150と、記憶回路160と、制御回路170とを有する。送受信回路110、Bモード処理回路120、ドプラ処理回路130、画像処理回路140、画像メモリ150、記憶回路160、および制御回路170は、通信可能に互いに接続される。
送受信回路110は、超音波プローブ101による超音波の送信を制御する。例えば、送受信回路110は、後述する制御回路170の指示に基づいて、振動子ごとに所定の送信遅延時間が付与されたタイミングで超音波プローブ101に駆動信号(駆動パルス)を印加する。これにより、送受信回路110は、超音波がビーム状に集束された超音波ビームを送信させる。
また、送受信回路110は、送信超音波が体内組織で反射された反射波信号の受信を制御する。例えば、送受信回路110は、後述する制御回路170の指示に基づいて、超音波プローブ101が受信した反射波信号に所定の遅延時間を与えて加算処理を行う。これにより、反射波信号の受信指向性に応じた方向からの反射成分が強調される。そして、送受信回路110は、加算処理後の反射波信号をベースバンド帯域の同相信号(I信号、I:In-phase)と直交信号(Q信号、Q:Quadrature-phase)とに変換する。そして、送受信回路110は、I信号及びQ信号(以下、IQ信号と記載する)を反射波データとして、Bモード処理回路120及びドプラ処理回路130へ送る。なお、送受信回路110は、加算処理後の反射波信号を、RF(Radio Frequency)信号に変換した上で、Bモード処理回路120及びドプラ処理回路130へ送ってもよい。IQ信号や、RF信号は、位相情報が含まれる信号(反射波データ)となる。
Bモード処理回路120は、送受信回路110が反射波信号から生成した反射波データに対して各種の信号処理を行う。Bモード処理回路120は、送受信回路110から受信した反射波データに対して、対数増幅、包絡線検波処理等を行って、サンプル点(観測点)ごとの信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。Bモード処理回路120は、生成したBモードデータを画像処理回路140へ送る。
また、Bモード処理回路120は、高調波成分を映像化するハーモニックイメージングを行なうための信号処理を行なう。ハーモニックイメージングとしては、コントラストハーモニックイメージング(CHI:Contrast Harmonic Imaging)や組織ハーモニックイメージング(THI:Tissue Harmonic Imaging)が知られている。また、コントラストハーモニックイメージングや組織ハーモニックイメージングには、スキャン方式として、振幅変調(AM:Amplitude Modulation)、「Pulse Subtraction法」や「Pulse Inversion法」と呼ばれる位相変調(PM:Phase Modulation)、AMとPMとを組み合わせることで、AMの効果及びPMの効果の双方が得られるAMPMが知られている。
ドプラ処理回路130は、送受信回路110が反射波信号から生成した反射波データより、移動体のドプラ効果に基づく運動情報を、走査領域内の各サンプル点で抽出したデータ(ドプラデータ)を生成する。具体的には、ドプラ処理回路130は、移動体の運動情報として、平均速度、分散値、パワー値等を各サンプル点で抽出したドプラデータを生成する。ここで、移動体とは、例えば、血流や、心壁等の組織、造影剤である。ドプラ処理回路130は、生成したドプラデータを画像処理回路140へ送る。
画像処理回路140は、画像データ(超音波画像データ)の生成処理や、画像データに対する各種の画像処理等を行う。例えば、画像処理回路140は、Bモード処理回路120が生成した2次元のBモードデータから反射波の強度を輝度で表した2次元Bモード画像データを生成する。また、画像処理回路140は、ドプラ処理回路130が生成した2次元のドプラデータから血流情報が映像化された2次元ドプラ画像データを生成する。2次元ドプラ画像データは、速度画像データ、分散画像データ、パワー画像データ、又は、これらを組み合わせた画像データである。画像処理回路140は、ドプラ画像データとして、血流情報がカラーで表示されるカラードプラ画像データを生成したり、1つの血流情報がグレースケールで表示されるドプラ画像データを生成したりする。
ここで、画像処理回路140は、一般的には、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換(スキャンコンバート)し、表示用の超音波画像データを生成する。具体的には、画像処理回路140は、超音波プローブ101による超音波の走査形態に応じて座標変換を行うことで、表示用の超音波画像データを生成する。また、画像処理回路140は、スキャンコンバート以外に、種々の画像処理として、例えば、スキャンコンバート後の複数の画像フレームを用いて、輝度の平均値画像を再生成する画像処理(平滑化処理)や、画像内で微分フィルタを用いる画像処理(エッジ強調処理)等を行う。また、画像処理回路140は、超音波画像データに、種々のパラメータの文字情報、目盛り、ボディーマーク等を合成する。
すなわち、Bモードデータ及びドプラデータは、スキャンコンバート処理前の超音波画像データであり、画像処理回路140が生成するデータは、スキャンコンバート処理後の表示用の超音波画像データである。なお、Bモードデータ及びドプラデータは、生データ(Raw Data)とも呼ばれる。画像処理回路140は、スキャンコンバート処理前の2次元超音波画像データから、表示用の2次元超音波画像データを生成する。
更に、画像処理回路140は、Bモード処理回路120が生成した3次元のBモードデータに対して座標変換を行うことで、3次元Bモード画像データを生成する。また、画像処理回路140は、ドプラ処理回路130が生成した3次元のドプラデータに対して座標変換を行うことで、3次元ドプラ画像データを生成する。
更に、画像処理回路140は、ボリュームデータをディスプレイ103にて表示するための各種の2次元画像データを生成するために、ボリュームデータに対してレンダリング処理を行う。画像処理回路140が行うレンダリング処理としては、例えば、断面再構成法(MPR:Multi Planer Reconstruction)を行ってボリュームデータからMPR画像データを生成する処理がある。また、画像処理回路140が行うレンダリング処理としては、例えば、3次元画像の情報を反映した2次元画像データを生成するボリュームレンダリング(VR:Volume Rendering)処理がある。また、画像処理回路140が行うレンダリング処理としては、例えば、3次元画像の表面情報のみを抽出した2次元画像データを生成するサーフェスレンダリング(SR:Surface Rendering)処理がある。
画像処理回路140は、生成した画像データや、各種の画像処理を行った画像データを、画像メモリ150に格納する。なお、画像処理回路140は、各画像データの表示位置を示す情報、超音波診断装置1の操作を補助するための各種情報、患者情報等の診断に関する付帯情報についても画像データとともに生成し、画像メモリ150に格納してもよい。
また、第1の実施形態に係る画像処理回路140は、画像取得機能141と、領域設定機能142と、成分設定機能143と、画像生成機能144とを実行する。ここで、画像取得機能141と、領域設定機能142と、成分設定機能143と、画像生成機能144とが実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で記憶回路160に記録されている。画像処理回路140は、各プログラムを記憶回路160から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。すなわち、画像取得機能141は、画像処理回路140が画像取得機能141に対応するプログラムを記憶回路160から読み出し実行することで、実現される機能である。また、領域設定機能142は、画像処理回路140が領域設定機能142に対応するプログラムを記憶回路160から読み出し実行することで、実現される機能である。また、成分設定機能143は、画像処理回路140が成分設定機能143に対応するプログラムを記憶回路160から読み出し実行することで、実現される機能である。また、画像生成機能144は、画像処理回路140が画像生成機能144に対応するプログラムを記憶回路160から読み出し実行することで、実現される機能である。換言すると、各プログラムを読み出した状態の画像処理回路140は、図1の画像処理回路140内に示された各機能を有することとなる。画像取得機能141、領域設定機能142、成分設定機能143、及び画像生成機能144の各機能については、後述する。
なお、図1においては単一の画像処理回路140にて画像取得機能141、領域設定機能142、成分設定機能143、及び画像生成機能144にて行われる処理機能が実現されるものとして説明するが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC))、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路160に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路160にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
画像メモリ150は、画像処理回路140が生成したBモード画像データやドプラ画像データ等を記憶するメモリである。また、画像メモリ150は、Bモード処理回路120が生成したBモードデータやドプラ処理回路130が生成したドプラデータを記憶することも可能である。画像メモリ150が記憶するBモードデータおよびドプラデータは、例えば、診断の後に操作者が呼び出すことが可能となっており、画像処理回路140を経由して表示用の超音波画像データとなる。
記憶回路160は、超音波送受信、画像処理および表示処理を行うための制御プログラムや、診断情報(例えば、患者ID、医師の所見等)や、診断プロトコルや各種ボディーマーク等の各種データを記憶する。また、記憶回路160は、必要に応じて、画像メモリ150が記憶する画像データの保管等にも使用される。また、記憶回路160が記憶するデータは、図示しないインタフェース部を介して、外部装置へ転送することができる。
制御回路170は、超音波診断装置1の処理全体を制御する。具体的には、制御回路170は、入力装置102を介して操作者から入力された各種設定要求や、記憶回路160から読み込んだ各種制御プログラムおよび各種データに基づき、送受信回路110、Bモード処理回路120、ドプラ処理回路130、画像処理回路140等の処理を制御する。また、制御回路170は、画像メモリ150が記憶する超音波画像データをディスプレイ103に表示させる。
なお、装置本体100に内蔵される送受信回路110、Bモード処理回路120、ドプラ処理回路130、画像処理回路140、および制御回路170等は、プロセッサ(CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、集積回路等)のハードウェアにより構成されることもあるが、ソフトウェア的にモジュール化されたプログラムにより構成される場合もある。
このように構成される超音波診断装置1は、例えば、子宮内の胎児の3次元画像の撮影に用いられる。ところで、妊娠24週ごろの胎児には、眉毛や睫毛が形成されることが知られている。また、瞼が分かれ、胎内で瞬きをすることもある。このため、眉毛や睫毛、瞳等を再現することが出来れば、よりリアルな胎児像を生成できる。
しかしながら、例えば、輪郭線画像や文字などのラベル画像を、指定した位置に重畳する従来の技術では、顔のパーツの質感を再現できず、リアリティを向上させることは困難である。また、例えば、胎児の肌色を決定する従来の技術では、眉毛や睫毛などの質感までは再現できず、リアリティを向上させることは困難である。
このようなことから、第1の実施形態に係る超音波診断装置1では、画像処理回路140が画像取得機能141、領域設定機能142、成分設定機能143、及び画像生成機能144を画像処理方法として実行することにより、胎児の眉毛や睫毛、瞳などを再現し、リアリティを向上させた胎児像を生成する。以下では、図2から図5を用いて、画像処理回路140が実行する画像取得機能141、領域設定機能142、成分設定機能143、及び画像生成機能144の各機能について説明する。図2は、第1の実施形態に係る超音波診断装置1による処理手順を示すフローチャートであり、図3から図5は、第1の実施形態を説明するための図である。
図2では、超音波診断装置1全体の動作を説明するフローチャートを示し、各構成要素がフローチャートのどのステップに対応するかを説明する。なお、図2に示す例では、子宮内の胎児の3次元画像を撮影する場合について説明する。
ステップS101は、超音波プローブ101により実現されるステップである。ステップS101では、超音波プローブ101は、妊娠女性の腹部をスキャンし、胎児を含む領域の反射波信号を収集する。
ステップS102は、画像取得機能141に対応するステップである。画像処理回路140が記憶回路160から画像取得機能141に対応する所定のプログラムを呼び出し実行することにより、画像取得機能141が実現されるステップである。ステップS102では、画像取得機能141は、超音波プローブ101により得られた反射波信号に基づく超音波画像データを取得する。ここで、画像取得機能141は、胎児の少なくとも一部を含む超音波画像データを取得する。画像取得機能141は、Bモード処理回路120により生成されたBモードデータを用いてBモード画像データを生成することで超音波画像データを取得してもよいし、記憶回路160が記憶する超音波画像データを取得してもよい。
ここで、画像取得機能141は、超音波画像データとして、図3に示すような3次元のボリュームデータを取得する。図3では、胎児を含むボリュームデータの一例を模式的に示す。図3に示す例では、3次元のボリュームデータは、3次元にボクセルを配列したデータであり、連続する3次元座標(x,y,z)に対応して画素値I(x,y,z)が格納される。画素値I(x,y,z)の値は、反射波信号から計算される。なお、第1の実施形態では、超音波画像データは、3次元のボリュームデータ(ボクセルデータ)であるものとして説明するが、実施形態はこれに限定されるものではない。例えば、超音波画像データは、3次元にボクセルを配列したデータではなく、3次元座標(x,y,z)と画素値I(x,y,z)の値とを対応付けたリスト構造のデータであっても良い。また、例えば、超音波画像データは、ボリュームデータの各画素を3次元空間中の点群で表現するポイントクラウド形式でも良いし、点群を頂点とする三角形や四角形等の多角形の組み合わせで表現するポリゴン形式であってもよい。また、例えば、超音波画像データは、3次元の配列、リスト構造、ポイントクラウド、及びポリゴンを適宜組み合わせて使用しても良い。
ステップS103は、領域設定機能142に対応するステップである。画像処理回路140が記憶回路160から領域設定機能142に対応する所定のプログラムを呼び出し実行することにより、領域設定機能142が実現されるステップである。ステップS103では、領域設定機能142は、超音波画像データに胎児の対象部位を含む領域を設定する。ここで言う対象部位は、胎児の顔に含まれる部位であり、胎児の顔の大部分を占める肌とは異なる質感を持つ部位のことである。より具体的には、毛髪により質感が変化する眉毛や睫毛の領域、瞳と強膜(眼球の白い部分)といった肌とは異なる色を有する眼の領域などは、肌領域とは異なる質感を持つ。また、肌に比べ皮膜が薄い唇領域でも同様である。更に、瞼や頬も肌領域とは異なる質感を持つ。すなわち、領域設定機能142は、例えば、眉毛、睫毛、眼、瞳、瞼、頬及び唇の少なくともいずれか一つを対象部位として含む領域を設定する。言い換えると、対象部位は、眉毛、睫毛、眼、瞳、瞼、頬及び唇の少なくともいずれか一つである。なお、領域設定機能142は、例えば、爪を含む領域を設定するようにしてもよい。
本実施形態では、対象部位が眉毛である場合の領域の設定方法の一例を説明する。図4に示すように、領域設定機能142は、超音波画像データ(ボリュームデータ座標)の座標(x,y,z)に対応する領域情報をR(x,y,z)とあらわす。そして、領域設定機能142は、(x,y,z)が眉毛を含む領域である場合、R(x,y,z)=L_EyeBlowとし、(x,y,z)が眉毛を含む領域以外である場合、R(x,y,z)=L_Noneとする。ここで、L_EyeBlow、L_Noneは、領域をあらわすラベルである。より具体的には、L_None=0,L_EyeBlow=1などの定数としても良い。なお、領域設定機能142は、領域の位置と範囲とが特定できる形式であれば、ラベルの形式以外で領域情報をあらわしても良い。例えば、領域設定機能142は、複数の座標を結ぶ閉曲線の頂点のリストを領域情報としても良い。この場合、閉曲線の内側が対象部位の領域となる。
領域設定機能142は、3次元のボリュームデータの各座標(x,y,z)が対象部位を含む領域であるか否かを、超音波画像データを用いて決定する。例えば、ボリュームデータにおける、眉毛を含む領域に固有な特徴を予め学習しておき、超音波画像データから固有な特徴を検出することで、眉毛を含む領域を決定する。より具体的には、領域設定機能142は、ボクセルデータを局所的に切り出して一列に並べたものをベクトルとみなし、このベクトルが予め定めた条件を満たすか否かを判定することにより、対象部位を含む領域か否かを判定する。ここで、眉毛を含む領域に対応するベクトルが満たすべき条件及び眉毛を含む領域以外の位置のベクトルが満たすべき条件は、多数の超音波画像データから抽出された、眉毛を含む領域に対応するベクトルと、眉毛を含む領域以外の位置のベクトルとを用いて機械学習により決定される。すなわち、眉毛を含む領域と眉毛を含む領域以外の領域とを分類する条件は、機械学習により決定される。
なお、領域情報の設定方法はこれに限らず、超音波画像データを用いて決定した領域情報を初期値として、操作者に位置、形状等を調整させてもよい。例えば、領域設定機能142は、眉毛を含む領域の位置や太さ、長さなどの調整を操作者から受付けてもよい。また、領域設定機能142は、領域情報の設定を操作者から手動操作で受け付けても良い。なお、領域を手動操作で設定すると作業量が多くなるので、操作者から受付ける手動操作を一部のみとする事が望ましい。例えば、領域設定機能142は、形状のみを設定し、領域の位置の設定を操作者から手動操作で受け付ける。なお、作業量が多くても許容される場合には、全ての設定を操作者から手動操作で受け付けても良い。
ステップS104は、成分設定機能143に対応するステップである。画像処理回路140が記憶回路160から成分設定機能143に対応する所定のプログラムを呼び出し実行することにより、成分設定機能143が実現されるステップである。ステップS104では、成分設定機能143は、領域に対応した成分を設定する。言い換えると、成分設定機能143は、領域に対象部位の質感を再現する成分を設定する。例えば、成分設定機能143は、領域情報を基に座標(x,y,z)に成分を割り当てる。ここで成分とは、CG(Computer Graphics)技術を用いて、3次元像を生成する際に、その物体の質感を再現するために使うパラメータの事を指す。例えば、成分とは、物体表面の拡散反射色や光源の反射強度、透過度、凹凸等の情報である。成分設定機能143は、拡散反射色や光源の反射強度、透過度等を成分として設定することで、例えば眉毛の領域の色をコントロールする。また、成分設定機能143は、凹凸や色を成分として設定することで、例えば眉毛の領域の模様をコントロールする。このように、成分設定機能143は、色又は凹凸の少なくとも一つに基づく成分を領域に設定する。なお、成分設定機能143は、物体表面に予め用意した画像を張り付けることで物体表面の模様を再現する方法(テクスチャマッピング)や、物体表面の陰影を再現することで凹凸を疑似的に再現する方法(バンプマッピング)等を使用してもよい。
本実施形態では成分として拡散反射色、すなわち物体の色を設定する。例えば、成分設定機能143は、対象部位を眉毛とするとき、R(x,y,z)=L_EyeBlowの場合、(x,y,z)に予め定めた眉毛の拡散反射色を設定する。例えば、成分設定機能143は、体毛に典型的な黒や茶、あるいは金色等に見える色を、対象部位を含む領域に設定する。また、成分設定機能143は、R(x,y,z)=L_Noneの場合、成分を設定しない。
ステップS105は、画像生成機能144に対応するステップである。画像処理回路140が記憶回路160から画像生成機能144に対応する所定のプログラムを呼び出し実行することにより、画像生成機能144が実現されるステップである。ステップS105では、画像生成機能144は、成分が設定された超音波画像データから表示画像を生成する。本実施形態では、画像生成機能144は、サーフェスレンダリングにより、3次元の超音波画像データから胎児の3次元像を描出した2次元画像データを生成する。サーフェスレンダリングでは、胎児の表面を抽出し、その表面を三角形ポリゴンで表現することで3次元像を描出した2次元画像データを生成する。なお、全てのポリゴンに予め定めた1色を肌の色として割り当てることで、胎児の3次元像に色を付ける公知の技術がある。本実施形態では、画像生成機能144は、各ポリゴンに割り当てられる成分を、成分設定機能143を参照して切り替える。例えば、画像生成機能144は、ポリゴンを成す頂点の座標を(xp,yp,zp)とすると、R(xp,yp,zp)により、頂点の属する領域の領域ラベルを判定する。本実施例では、画像生成機能144は、R(xp,yp,zp)=L_EyeBlowの場合、この頂点に、眉毛の成分を設定する。なお、画像生成機能144は、成分を頂点ではなく、ポリゴンの各面に割り当てても良い。
また、R(xp,yp,zp)=L_Noneの場合は、成分設定機能143は対象部位に関する成分を設定しない。この場合、画像生成機能144は、予め定められた肌の色を成分として設定する。例えば、肌の色の標準的な色、セピア色、または、ゴールデンイエロー色等である。最後に、画像生成機能144は、全ての頂点に成分を割り当てた状態でレンダリングを行う。
図5を用いて、画像生成機能144が生成する表示画像の一例について説明する。図5の右図では、対象部位である眉毛を含む領域に成分を設定した場合の表示画像の一例を模式的に図示し、図5の左図では、対比用として、対象部位である眉毛を含む領域に成分を設定しない場合の表示画像の一例を模式的に図示する。例えば、対象部位である眉毛を含む領域に成分を設定した場合、レンダリング後の画像には、眉毛の成分5a及び5bが設定された胎児の3次元像が描出される。なお、対象部位である眉毛を含む領域に成分を設定しない場合、図5の左図に示すように、レンダリング後の画像には胎児の3次元像のみが描出される。
なお、画像生成機能144は、サーフェスレンダリング以外の方法で3次元像のレンダリングを行っても良い。例えば、画像生成機能144は、ボクセルの値を参照することで3次元画像をレンダリングするボリュームレンダリングを用いてもよい。なお、かかる場合、成分設定機能143は、各ボクセルに対して、成分として、例えば拡散反射色を設定すれば良い。
ステップS106は、制御回路170により実現されるステップである。ステップS106では、制御回路170は、画像生成機能144により生成された表示画像をディスプレイ103に表示させる。
上述したように、第1の実施形態では、超音波画像データから胎児の対象部位を含む領域を設定し、対象部位の質感を再現する成分を領域に設定する。この結果、第1の実施形態によれば、リアリティを向上させた胎児像を得ることが可能になる。
なお、上述した第1の実施形態では、対象部位が眉毛である場合について説明したが、実施形態はこれに限定されるものではない。例えば、対象部位が、睫毛、眼、瞳、瞼、頬及び唇のいずれかであっても、上述した第1の実施形態を適用可能である。
(第1の実施形態の変形例)
また、上述した第1の実施形態では、対象部位が1つである場合について説明したが、実施形態はこれに限定されるものではない。例えば、対象部位を含む領域を複数設定し、領域ごとに成分を設定してもよい。図6を用いて、対象部位を含む領域を複数設定し、領域ごとに成分を設定する場合について説明する。なお、かかる場合の超音波診断装置の全体構成は、画像処理回路140の一部の構成が異なる点を除いて、図1に示した構成例と同様である。このため、画像処理回路以外の構成については、ここでは説明を省略する。
図6は、第1の実施形態の変形例に係る画像処理回路240の構成例を示すブロック図である。なお、図6に示す画像処理回路240において、図1に示す画像処理回路140と同様の機能を有する各部については、同一の符号を付与し、詳細な説明を省略する。図6に示すように、第1の実施形態の変形例に係る画像処理回路240は、画像取得機能141と、領域設定機能242と、成分設定機能243と、画像生成機能144とを実行する。
領域設定機能242は、複数の対象部位ごとに領域を設定する。すなわち、領域設定機能242は、眉毛領域設定機能242aと、睫毛領域設定機能242bと、眼領域設定機能242cと、唇領域設定機能242dと、頬領域設定機能242eとを更に実行し、各対象部位に対応する領域を設定する。例えば、上述したように、超音波画像データ(ボリュームデータ座標)の座標(x,y,z)に対応する領域情報をR(x,y,z)とあらわすものとする。この場合、R(x,y,z)に対し、{L_None、L_EyeBlow、L_Eyelash、L_Eye、L_Lip、L_Cheek}のいずれかを割り当てることで領域を設定する。
より具体的には、眉毛領域設定機能242aは、眉毛を対象部位として含む領域を設定する。例えば、眉毛領域設定機能242aは、(x,y,z)が眉毛を含む領域である場合、R(x,y,z)=L_EyeBlowとする。
また、睫毛領域設定機能242bは、睫毛を対象部位として含む領域を設定する。例えば、睫毛領域設定機能242bは、(x,y,z)が睫毛を含む領域である場合、R(x,y,z)=L_Eyelashとする。
眼領域設定機能242cは、瞳や強膜等の眼を対象部位として含む領域を設定する。例えば、眼領域設定機能242cは、(x,y,z)が眼を含む領域である場合、R(x,y,z)=L_Eyeとする。
唇領域設定機能242dは、唇を対象部位として含む領域を設定する。例えば、唇領域設定機能242dは、(x,y,z)が唇を含む領域である場合、R(x,y,z)=L_Lipとする。
頬領域設定機能242eは、頬を対象部位として含む領域を設定する。例えば、頬領域設定機能242eは、(x,y,z)が頬を含む領域である場合、R(x,y,z)=L_Cheekとする。
なお、領域設定機能242は、(x,y,z)がL_EyeBlow、L_Eyelash、L_Eye、L_Lip、L_Cheekのいずれにも設定されない場合、R(x,y,z)=L_Noneとする。
成分設定機能243は、各領域に成分を設定する。すなわち、成分設定機能243は、眉毛成分設定機能243aと、睫毛成分設定機能243bと、眼成分設定機能243cと、唇成分設定機能243dと、頬成分設定機能243eとを更に実行し、各対象部位に対応する成分を設定する。ここで、各成分設定機能は、それぞれ異なる方法で成分を設定して良い。
より具体的には、眉毛成分設定機能243aは、眉毛を対象部位として含む領域に、眉毛の質感を再現する成分を設定する。例えば、眉毛成分設定機能243aは、毛髪により質感が変化する眉毛では、拡散反射色や、毛髪の模様を成分として与える。ここで、バンプマッピングを応用したファーシェーディングを用いれば、よりリアルな毛髪の表現が可能となる。
睫毛成分設定機能243bは、睫毛を対象部位として含む領域に、睫毛の質感を再現する成分を設定する。例えば、睫毛成分設定機能243bは、毛髪により質感が変化する睫毛では、拡散反射色や、毛髪の模様を成分として与える。ここで、バンプマッピングを応用したファーシェーディングを用いれば、よりリアルな毛髪の表現が可能となる。
眼成分設定機能243cは、眼を対象部位として含む領域に、眼の質感を再現する成分を設定する。例えば、眼成分設定機能243cは、拡散反射色を設定すると共に、反射強度や透過度を設定することで、光沢や透明感を再現する。
唇成分設定機能243dは、唇を対象部位として含む領域に、唇の質感を再現する成分を設定する。例えば、唇成分設定機能243dは、拡散反射色を設定すると共に、反射強度や透過度を設定することで、光沢や透明感を再現する。
頬成分設定機能243eは、頬を対象部位として含む領域に、頬の質感を再現する成分を設定する。例えば、頬成分設定機能243eは、頬の領域を、予め設定した肌の色に比べて赤くさせることで、胎児の顔を血色良く見せる。
第1の実施形態の変形例によれば、胎児の肌色だけでなく、眉毛・睫毛・眼・唇・頬等の胎児の各部位の質感を再現した、よりリアルな胎児の3次元像を生成できる。また、第1の実施形態の変形例によれば、領域設定機能242を設けることで、対象部位の領域を簡便に設定することができる。
なお、上述した第1の実施形態の変形例では、対象部位が眉毛・睫毛・眼・唇・頬の5種類である構成について説明したが、実施形態はこれに限定されるものではない。例えば、眉毛・睫毛・眼・唇・頬以外の対象部位を適宜追加しても良い。或いは、眉毛・睫毛・眼・唇・頬から任意に選択した対象部位であってもよい。すなわち、領域設定機能242は、眉毛、睫毛、眼、瞳、瞼、頬及び唇の少なくともいずれか一つを対象部位として含む領域を設定する。
(第2の実施形態)
第1の実施形態では、領域設定機能142は、機械学習により対象部位を含む領域を直接的に設定するものとして説明した。ところで、対象部位は、直接的に設定するのではなく、例えば、対象部位よりも設定が容易である部位を参照部位として設定し、この参照部位の位置を利用して間接的に設定するようにしてもよい。
そこで、第2の実施形態では、対象部位の領域を直接設定する代わりに参照部位の位置を設定し、参照部位の位置を利用して対象部位の領域を間接的に設定する画像処理方法について説明する。なお、第2の実施形態に係る超音波診断装置の全体構成は、画像処理回路140の一部の構成が異なる点を除いて、図1に示した構成例と同様である。このため、画像処理回路以外の構成については、ここでは説明を省略する。
図7は、第2の実施形態に係る画像処理回路340の構成例を示すブロック図である。なお、図7に示す画像処理回路340において、図1に示す画像処理回路140と同様の機能を有する各部については、同一の符号を付与し、詳細な説明を省略する。図7に示すように、第2の実施形態に係る画像処理回路340は、画像取得機能141と、参照部位設定機能341と、領域設定機能142と、成分設定機能143と、画像生成機能144とを実行する。以下では、図8及び図9を用いて、画像処理回路340が実行する画像取得機能141、参照部位設定機能341、領域設定機能142、成分設定機能143、及び画像生成機能144の各機能について説明する。図8は、第2の実施形態に係る超音波診断装置1による処理手順を示すフローチャートであり、図9は、第2の実施形態を説明するための図である。
図8では、超音波診断装置1全体の動作を説明するフローチャートを示し、各構成要素がフローチャートのどのステップに対応するかを説明する。なお、図8において、図2に示す各ステップと同様の処理を実行するステップについては、同一の符号を付与し、詳細な説明を省略する。すなわち、図8に示すステップS201からステップS202の処理は、図2に示すステップS101からステップS102の処理に対応する。また、図8に示すステップS205からステップS207の処理は、図2に示すステップS104からステップS106の処理に対応する。
ステップS203は、参照部位設定機能341に対応するステップである。画像処理回路340が記憶回路160から参照部位設定機能341に対応する所定のプログラムを呼び出し実行することにより、参照部位設定機能341が実現されるステップである。ステップS203では、参照部位設定機能341は、参照部位の位置を設定する。例えば、参照部位設定機能341は、超音波画像データから、頭部に含まれる参照部位の位置を設定する。
ここで、参照部位設定機能341により設定される参照部位は、対象部位よりも設定が容易である部位が望ましい。例えば、超音波画像中で高輝度の画素値を持つ頭蓋骨や、比較的高輝度で凸形状である鼻、比較的低輝度で球形の眼窩などは、超音波画像中において、位置設定が容易である。そこで、参照部位設定機能341は、頭蓋骨の輪郭線、鼻の中心や先端、眼窩の輪郭や重心位置などを参照部位の位置として使用する。ここで、参照部位設定機能341は、対象部位と相関関係が強い部位を参照部位として設定する。なお、参照部位設定機能341は、参照部位の位置を自動で検出しても良い。例えば、参照部位設定機能341は、予め用意したテンプレートとの類似度によって、参照部位の位置を検出するテンプレートマッチング法を用いることで、参照部位の位置を検出する。或いは、参照部位設定機能341は、参照部位が頭蓋骨や眼窩である場合には、単純な画素値の閾値処理により参照部位を検出してもよい。
また、参照部位設定機能341は、操作者から参照部位の位置の設定を受け付けても良い。例えば、操作者が頭蓋骨の輪郭線をなぞることで、参照部位設定機能341は、なぞられた輪郭線を参照部位の位置として設定しても良い。或いは、参照部位設定機能341は、眼窩の重心位置の座標を参照部位の位置として設定しても良い。
ステップS204は、領域設定機能142に対応するステップである。画像処理回路340が記憶回路160から領域設定機能142に対応する所定のプログラムを呼び出し実行することにより、領域設定機能142が実現されるステップである。ステップS204では、領域設定機能142は、参照部位の位置と超音波画像データを基に、対象部位の領域を設定する。言い換えると、領域設定機能142は、参照部位の位置に基づいて対象部位を含む領域を設定する。
より具体的には、領域設定機能142は、図9に図示するように、眼窩9a及び9cの位置と鼻9bの位置とを参照部位として、眉毛の領域9dを設定する。ここで、例えば、領域設定機能142は、機械学習によって決定された、参照部位の位置と対象部位の相対位置関係を示す情報を保持する。より具体的には、領域設定機能142は、眼窩9a及び9cの位置と鼻9bの位置とに対する、眉毛の領域9dの相対位置を、事前に保持しておくことで、眉毛の領域9dの位置を設定する。
ここで、領域設定機能142は、参照部位の位置に基づいて、対象部位を含む領域の位置と範囲とを設定してもよい。或いは、領域設定機能142は、参照部位と第1の実施形態と同様の機械学習とを組み合わせて対象部位を含む領域の位置と範囲とを設定してもよい。例えば、領域設定機能142は、参照部位の位置に基づいて、対象部位を含む領域の重心の位置を設定し、設定した重心と機械学習で設定した領域の重心とが一致するように対象部位を含む領域の位置と範囲とを設定する。
また、領域設定機能142は、参照部位を利用する他の例として、頭蓋骨の一部である眉骨を参照部位として眉毛領域を設定しても良い。また、領域設定機能142は、参照部位を眼窩として瞳領域を設定しても良い。また、領域設定機能142は、参照部位を眼窩として、眼窩に近いエッジ構造を睫毛領域として設定しても良い。また、領域設定機能142は、鼻と顎の端点を参照部位として、唇領域の領域を設定しても良い。
上述したように、第2の実施形態によれば、対象部位よりも設定が容易であり対象部位と相関関係が強い部位を参照部位として設定し、参照部位との相対位置に基づいて対象部位を含む領域を設定する。これにより、第2の実施形態では、対象部位を含む領域を直接設定する場合に比べ、領域設定が簡便になる。また、参照部位を設定する方法と、対象部位を機械学習で設定する方法とを組み合わせる場合には、省処理化や高精度化が見込める。また、参照部位を設定する方法と、手動で領域を設定する方法とを組み合わせる場合には、操作者の手間を省くことが出来る。
(第3の実施形態)
上述した実施形態では、超音波診断装置によって領域と成分とを設定する場合について説明した。ところで、操作者によって所望の領域や成分を選択することが可能になれば、サービスとしての付加価値が高まる。そこで、第3の実施形態では、操作者によって所望の領域や成分の選択を受付けて、選択された領域に選択された成分を設定する画像処理方法について説明する。
なお、第3の実施形態に係る超音波診断装置の全体構成は、画像処理回路140の一部の構成が異なる点を除いて、図1に示した構成例と同様である。このため、画像処理回路以外の構成については、ここでは説明を省略する。
図10は、第3の実施形態に係る画像処理回路440の構成例を示すブロック図である。なお、図10に示す画像処理回路440において、図1に示す画像処理回路140と同様の機能を有する各部については、同一の符号を付与し、詳細な説明を省略する。図10に示すように、第3の実施形態に係る画像処理回路440は、画像取得機能141と、領域設定機能142と、成分設定機能143と、画像生成機能144と、選択機能441とを実行する。なお、画像取得機能141、領域設定機能142、成分設定機能143、画像生成機能144、及び選択機能441の各機能については、図11を用いて後述する。
また、図10に示すように、記憶回路160は、領域データDB(Data Base)160aと、成分データDB160bとを有する。領域データDB160aは、対象部位の領域情報を複数保持する。例えば、領域データDB160aは、対象部位に対し、形状の異なる複数の領域情報を保持する。より具体的には、領域データDB160aは、眉毛領域の場合、太さや長さの異なる領域情報を格納する。領域データDB160aは、その他の対象部位を含む領域に対しても、例えば、睫毛領域の睫毛の長さや眼領域の瞳の直径、唇領域の太さや長さの異なる領域情報を格納する。
成分データDB160bは、対象部位の成分情報を複数保持する。例えば、成分データDB160bは、対象部位に対し、パラメータの異なる複数の成分情報を保持する。より具体的には、成分データDB160bは、眉毛領域の場合、黒、茶、金など、標準的な体毛の拡散反射色を持つ成分情報を保持する。また、成分データDB160bは、睫毛領域の場合も同様に、黒、茶、金など、標準的な体毛の拡散反射色を持つ成分情報を保持する。また、成分データDB160bは、眼領域の場合は、黒、茶、青など、標準的な瞳の色の拡散反射色、もしくは成分マップを成分情報として保持する。
以下では、図11から図14を用いて、画像処理回路440が実行する画像取得機能141、領域設定機能142、成分設定機能143、画像生成機能144、及び選択機能441の各機能について説明する。図11は、第3の実施形態に係る超音波診断装置1による処理手順を示すフローチャートであり、図12から図14は、第3の実施形態を説明するための図である。
図11では、超音波診断装置1全体の動作を説明するフローチャートを示し、各構成要素がフローチャートのどのステップに対応するかを説明する。なお、図11において、図2に示す各ステップと同様の処理を実行するステップについては、同一の符号を付与し、詳細な説明を省略する。すなわち、図11に示すステップS301からステップS302の処理は、図2に示すステップS101からステップS102の処理に対応する。また、図11に示すステップS309からステップS312の処理は、図2に示すステップS103からステップS106の処理に対応する。
ステップS303からステップS308は、選択機能441に対応するステップである。画像処理回路440が記憶回路160から選択機能441に対応する所定のプログラムを呼び出し実行することにより、選択機能441が実現されるステップである。ステップS303では、選択機能441は、対象部位の種類の選択を受付ける。例えば、選択機能441は、対象部位の種類をディスプレイ103に表示させ、表示させた対象部位の種類の中からいずれかの対象部位の選択を操作者から受け付ける。図12を用いて、選択機能441によるステップS303の処理について説明する。
図12に示す例では、対象部位の種類が「眉毛」、「睫毛」、「眼」、「唇」及び「頬」である場合の表示画面について説明する。選択機能441は、図12に示すように、対象部位として眉毛を選択するためのソフトウェアボタン12a、睫毛を選択するためのソフトウェアボタン12b、眼を選択するためのソフトウェアボタン12c、唇を選択するためのソフトウェアボタン12d、頬を選択するためのソフトウェアボタン12eをディスプレイ103に表示させる。また、選択機能441は、対象部位の選択処理の終了を操作者から受付けるためのソフトウェアボタン12fをディスプレイ103に表示させる。そして、選択機能441は、ソフトウェアボタン12aから12fのいずれか一つの選択を受付ける。例えば、選択機能441は、ソフトウェアボタン12aの選択を受付けた場合、対象部位として眉毛の選択を受付けたと判定する。
ステップS304では、選択機能441は、領域情報の候補を提示する。例えば、選択機能441は、領域データDB160aが保持する複数の候補をディスプレイ103に表示させる。図13を用いて、選択機能441によるステップS304の処理について説明する。
図13に示す例では、領域情報の候補が「領域情報A」、「領域情報B」、及び「領域情報C」である場合の表示画面について説明する。選択機能441は、図13に示すように、領域情報Aを選択するためのソフトウェアボタン13a、領域情報Bを選択するためのソフトウェアボタン13b、領域情報Cを選択するためのソフトウェアボタン13cをディスプレイ103に表示させる。
そして、ステップS305では、選択機能441は、操作者から所望の領域情報の選択を受付ける。言い換えると、選択機能441は、領域の候補の選択を利用者から受付ける。例えば、選択機能441は、複数の候補の中から領域を選択する操作を利用者から受付ける。より具体的には、選択機能441は、図13に示す例において、ソフトウェアボタン13aから13cのいずれか一つの選択を受付ける。例えば、選択機能441は、ソフトウェアボタン13aの選択を受付けた場合、領域情報Aの選択を受付けたと判定する。
ステップS306では、選択機能441は、成分情報の候補を提示する。例えば、選択機能441は、成分データDB160bが保持する複数の候補をディスプレイ103に表示させる。図14を用いて、選択機能441によるステップS306の処理について説明する。
図14に示す例では、成分情報の候補が「成分情報A」、「成分情報B」、「成分情報C」、「成分情報D」、「成分情報E」及び「成分情報F」である場合の表示画面について説明する。選択機能441は、図14に示すように、成分情報Aを選択するためのソフトウェアボタン14a、成分情報Bを選択するためのソフトウェアボタン14b、成分情報Cを選択するためのソフトウェアボタン14c、成分情報Dを選択するためのソフトウェアボタン14d、成分情報Eを選択するためのソフトウェアボタン14e、成分情報Fを選択するためのソフトウェアボタン14fをディスプレイ103に表示させる。
ステップS307では、選択機能441は、操作者から所望の成分情報の選択を受付ける。言い換えると、選択機能441は、成分の候補の選択を利用者から受付ける。例えば、選択機能441は、複数の候補の中から成分を選択する操作を利用者から受付ける。より具体的には、選択機能441は、図14に示す例において、ソフトウェアボタン14aから14fのいずれか一つの選択を受付ける。例えば、選択機能441は、ソフトウェアボタン14aの選択を受付けた場合、成分情報Aの選択を受付けたと判定する。なお、ステップS307の終了後、選択機能441は、図12に示す表示画面に表示を切り替える。
ステップS308では、選択機能441は、全ての対象部位で選択が終了したか否かを判定する。例えば、選択機能441は、図12に示す表示画面において、対象部位の選択処理の終了を操作者から受付けるためのソフトウェアボタン12fが選択されたか否かを判定する。ここで、選択機能441は、ソフトウェアボタン12fが選択されたと判定した場合に、全ての対象部位で選択が終了したと判定し(ステップS308、Yes)、ステップS309に移行する。一方、選択機能441は、図12に示す表示画面において、ソフトウェアボタン12fが選択されたと判定しなかった場合に、全ての対象部位で選択が終了していないと判定し(ステップS308、No)、ステップS303に移行する。
なお、ステップS309では、領域設定機能142は、少なくとも一つ以上の領域の候補の中から選択された領域の候補を用いて領域を設定する。例えば、領域設定機能142は、複数の候補の中から領域を選択し、設定する。ここで、例えば、領域設定機能142は、機械学習により対象部位を含む領域の重心を設定し、設定した重心の位置に、ステップS305で選択を受付けた領域情報の重心が一致するように設定する。言い換えると、領域設定機能142は、利用者から選択を受付けた領域の候補を用いて領域を設定する。そして、ステップS310では、成分設定機能143は、少なくとも一つ以上の成分の候補の中から選択された成分の候補を領域に設定する。例えば、成分設定機能143は、複数の候補の中から成分を選択し、選択された成分を領域に設定する。一例をあげると、成分設定機能143は、ステップS307で選択を受付けた成分情報を、ステップS309で設定した領域に設定する。言い換えると、成分設定機能143は、利用者から選択を受付けた成分の候補を領域に設定する。
このように、第3の実施形態によれば、所望の領域情報、成分情報を、操作者が簡便に設定することができる。なお、上述した第3の実施形態では、選択機能441は、領域情報の選択を受付けた後に、成分情報の選択を受付ける場合について説明したが、実施形態はこれに限定されるものではない。例えば、選択機能441は、成分情報の選択を受付けた後に、領域情報の選択を受付けてもよい。
また、選択機能441は、複数の対象部位に対してデータを選択する場合には、領域情報、成分情報を、まとめて選択させても良い。例えば、眉毛と睫毛の色はほぼ同じであることが予想されるため、眉毛と睫毛の成分を連動させて選択させることで、操作者の手間を省くことができる。
また、選択機能441は、領域データDB160aが保持する領域情報の中から複数の領域の候補を絞り込み、絞り込んだ領域の候補の中から操作者による選択を受付けるようにしてもよい。より具体的には、選択機能441は、設定された胎児の肌の色に応じて、提示する候補を一部に限定しても良い。例えば、選択機能441は、胎児の肌の色に応じて、複数の候補を決定する。かかる場合、領域設定機能142は、胎児の肌の色に応じた領域の候補を用いて領域を設定する。例えば、領域設定機能142は、胎児の肌の色に応じて決定された、複数の候補の中から領域を選択し、設定する。
また、選択機能441は、成分データDB160bが保持する成分情報の中から複数の成分の候補を絞り込み、絞り込んだ成分の候補の中から操作者による選択を受付けるようにしてもよい。より具体的には、選択機能441は、設定された胎児の肌の色に応じて、提示する候補を一部に限定しても良い。例えば、肌の色と体毛や瞳の色には相関があることが予想されるため、選択機能441は、瞳の成分情報の候補として、設定された肌の色と相関の高い成分情報のみを表示する。例えば、選択機能441は、胎児の肌の色に応じて、複数の候補を決定する。かかる場合、成分設定機能143は、胎児の肌の色に応じた成分の候補を領域に設定する。例えば、成分設定機能143は、胎児の肌の色に応じて決定された、複数の候補の中から成分を選択し、選択された成分を領域に設定する。この結果、操作者の負担を軽減することができる。また、選択機能441は、選択可能な成分情報を限定するのではなく、提示する順序を変更しても良い。
また、上述した第3の実施形態では、領域情報及び成分情報が設定された後に、表示画像を生成して、ディスプレイ103に表示させる場合について説明したが、実施形態はこれに限定されるものではない。例えば、画像処理回路440の画像生成機能144は、操作者から領域情報や成分情報が選択されるごとに、操作者が選択した領域情報と成分情報とを反映させた胎児の3次元像をリアルタイムにディスプレイ103に表示させてもよい。これにより、操作者は、領域情報や成分情報を選択するごとに、選択した領域情報や成分情報を反映した胎児の3次元像を確認することができる。この結果、操作者は、ディスプレイ103を見ながら所望する領域情報と成分情報を選択することが可能になる。
また、第3の実施形態に係る画像処理回路440は、参照部位設定機能341を更に備えるようにしてもよい。かかる場合、領域設定機能142は、参照部位の位置に基づいて、対象部位を含む領域の重心の位置を設定し、設定した重心の位置に、ステップS305で選択を受付けた領域情報の重心が一致するように設定する。
(第4の実施形態)
第3の実施形態では、記憶回路160が記憶する領域データDB160a及び成分データDB160bの中から操作者による選択を受付ける場合について説明した。ところで、胎児の対象部位の質感は、遺伝的要因の影響を受ける可能性が高い。すなわち、親と胎児との間において、顔の対象部位の形状や色等は、ある程度似通っていることが予想される。このため、胎児の対象部位の領域情報、成分情報を、親の顔の特徴に似せて設定するようにしてもよいものである。
そこで、第4の実施形態では、胎児の対象部位の領域情報及び成分情報を、胎児の遺伝的要因に基づいて設定する画像処理方法について説明する。より具体的には、第4の実施形態では、胎児の対象部位の領域情報及び成分情報を、胎児の親の情報を基に設定する。なお、第4の実施形態に係る超音波診断装置の全体構成は、画像処理回路140の一部の機能が異なる点を除いて、図1に示した構成例と同様である。このため、画像処理回路以外の構成については、ここでは説明を省略する。また、以下では、対象領域を眉毛とする場合を例に説明する。
なお、第4の実施形態に係る記憶回路160は、親の顔写真を記憶する。例えば、記憶回路160は、事前に取得した、胎児の父親及び母親の顔写真を記憶する。ここで、記憶回路160は、対象部位として眉毛、睫毛、眼、瞳、瞼、頬及び唇の全てを含む顔写真を記憶してもよく、眉毛、睫毛、眼、瞳、瞼、頬及び唇のうち一部の対象部位を含む顔写真を記憶してもよい。例えば、記憶回路160は、一部の対象部位を含む顔写真を記憶する場合、眉毛、睫毛、眼、瞳及び瞼を含む顔写真と、頬を含む顔写真と、唇を含む顔写真とを記憶する。
領域設定機能142は、顔写真から抽出された領域の候補の中から選択された領域の候補を用いて領域を設定する。例えば、領域設定機能142は、顔写真から抽出された複数の候補の中から領域を選択し、設定する。ここで、例えば、領域設定機能142は、既存の顔認識アルゴリズムを用いて、写真から領域情報を抽出する。より具体的には、領域設定機能142は、父親の顔写真から眉毛を対象部位として含む領域情報を抽出し、母親の顔写真から眉毛を対象部位として含む領域情報を抽出する。なお、領域設定機能142は、対象部位を含む領域の位置と形状とを領域情報として抽出する。
そして、領域設定機能142は、眉毛の領域情報のうち、位置と形状を親の眉毛と類似するように設定する。ここで例えば、領域設定機能142は、父親と母親の両者から取得した領域情報を、一定の割合でブレンドして使用する。言い換えると、領域設定機能142は、領域の候補を所定の割合で混合した領域を設定する。例えば、領域設定機能142は、2以上の候補を混合することにより、領域を設定する。より具体的には、領域設定機能142は、父親の顔写真から眉毛の位置と形状を取得し、母親の顔写真から眉毛の位置と形状を取得する。そして、領域設定機能142は、父親と母親の眉毛の位置の平均値と、父親と母親の眉毛の形状の平均値とを求め、求めた位置の平均値と形状の平均値とを領域情報とする。また、領域設定機能142は、例えば、機械学習により対象部位を含んだ領域を決定する。ここで、領域設定機能142は、領域の重心の位置を決定する。そして、領域設定機能142は、設定した重心の位置に、領域情報の重心が一致するように設定する。これにより、画像生成機能144は、例えば、眉毛の位置と形状が父親と母親との平均となる胎児3次元像を生成する。なお、領域情報を混合する所定の割合は、操作者によって任意に設定可能である。
或いは、領域設定機能142は、対象部位ごとに、父親の顔写真から取得した領域情報と、母親の顔写真から取得した領域情報とを使い分けても良い。かかる場合、領域設定機能142は、例えば、眼の位置と形状は父親の顔写真から取得した領域情報を設定し、眉毛の位置と形状は母親の顔写真から取得した領域情報を設定する。これにより、画像生成機能144は、例えば、眼の位置と形状は父親似、眉毛の位置と形状は母親似となる胎児3次元像を生成する。
また、領域設定機能142は、全ての対象部位の領域を父親の情報で設定しても良いし、全ての対象部位の領域を母親の情報で設定しても良い。これにより、画像生成機能144は、例えば、全ての対象部位に対応する領域が父親似となる胎児3次元像や全ての対象部位に対応する領域が母親似となる胎児3次元像を生成する。このように、領域設定機能142は、父親及び母親の少なくとも一方から抽出した領域情報を設定するようにすればよい。
成分設定機能143は、顔写真から抽出された成分の候補の中から選択された成分の候補を領域に設定する。例えば、成分設定機能143は、顔写真から抽出された複数の候補の中から成分を選択し、選択された成分を領域に設定する。ここで、例えば、成分設定機能143は、既存の顔認識アルゴリズムを用いて、写真から成分情報を抽出する。より具体的には、成分設定機能143は、父親の顔写真から眉毛の成分情報を抽出し、母親の顔写真から眉毛の成分情報を抽出する。なお、成分設定機能143は、対象部位の質感を再現する成分を成分情報として抽出する。一例をあげると、成分設定機能143は、対象部位の色又は凹凸の少なくとも一つに基づく成分情報を抽出する。
そして、成分設定機能143は、例えば、眉毛を含む領域に、親の眉毛もしくは体毛の色と類似する成分を設定する。ここで、成分設定機能143は、例えば、成分の候補を所定の割合で混合した成分を領域に設定する。例えば、成分設定機能143は、複数の候補を混合することにより、成分を領域に設定する。より具体的には、成分設定機能143は、父親の眉毛の色と母親の眉毛の色との中間色を成分として設定する。これにより、画像生成機能144は、例えば、眉毛の質感が父親と母親との平均となる胎児3次元像を生成する。なお、成分情報を混合する所定の割合は、操作者によって任意に設定可能である。
或いは、成分設定機能143は、対象部位ごとに、父親の顔写真から取得した成分情報と、母親の顔写真から取得した成分情報とを使い分けても良い。この場合、成分設定機能143は、例えば、眼の色は父親似、眉毛の色は母親似となる胎児3次元像を生成する。これにより、画像生成機能144は、例えば、眼の質感は父親似、眉毛の質感は母親似となる胎児3次元像を生成する。
また、成分設定機能143は、全ての領域に、父親の顔写真から取得した成分情報を設定しても良いし、全ての領域に、母親の顔写真から取得した成分情報を設定しても良い。これにより、画像生成機能144は、例えば、全ての対象部位に対応する領域の質感が父親似となる胎児3次元像や全ての対象部位に対応する領域の質感が母親似となる胎児3次元像を生成する。このように、成分設定機能143は、父親及び母親の少なくとも一方から抽出した成分情報を親の情報として設定するようにすれば良い。
なお、領域設定機能142と成分設定機能143とは、それぞれ独立に設定処理を実行すればよい。一例として眉毛を含む領域と眉毛を含む領域の質感を設定する場合について説明する。かかる場合、眉毛を含む領域と眉毛を含む領域の質感とが、父親の情報、母親の情報、父親及び母親の中間の情報とを任意に組み合わせて設定される。より具体的には、領域設定機能142は、父親の領域情報を設定し、成分設定機能143は、母親の成分情報を設定してもよい。或いは、領域設定機能142は、父親の領域情報を設定し、成分設定機能143は、父親の成分情報を設定してもよい。また、領域設定機能142は、母親の領域情報を設定し、成分設定機能143は、母親の成分情報を設定してもよい。
なお、画像生成機能144は、上述した実施形態と同様にして、対象部位に対応する成分を有する領域を含む表示画像を、超音波画像データから生成する。ここで、例えば、第4の実施形態に係る画像生成機能144は、眼の位置及び形状と眼の質感とが父親似、眉毛の位置及び形状と眉毛の質感とが母親似となる胎児3次元像を生成する。
このように第4の実施形態によれば、眉毛・睫毛・眼・唇といった、胎児の各部位の成分を再現する場合に、各対象部位の位置及び形状や各対象部位の質感を遺伝的要因に基づいて設定することが可能になる。この結果、両親の対象部位や対象部位の成分と類似した胎児の3次元像を生成できる。
また、第4の実施形態に係る画像処理回路が実行する画像処理方法では、各対象部位の位置及び形状や各対象部位の質感を設定して表示画像を生成する際に、領域情報及び成分情報の組み合わせパターンが異なる表示画像を複数生成するようにしてもよい。また、かかる場合、制御回路170は、画像生成機能144により生成された複数の表示画像を並べてディスプレイ103に表示させてもよい。
一例をあげると、制御回路170は、画像生成機能144により生成された、全ての対象部位の領域と各領域に対応する成分とを父親の情報で設定した胎児3次元像と、全ての対象部位の領域と各領域に対応する成分とを母親の情報で設定した胎児3次元像とを並べてディスプレイ103に表示させる。また、かかる場合、制御回路170は、親の顔写真をディスプレイ103に並べて表示しても良い。
なお、上述した第4の実施形態では、記憶回路160は、親の顔写真を記憶するものとして説明したが、実施形態はこれに限定されるものではない。例えば、第4の実施形態に係る超音波診断装置は、例えばカメラを有し、このカメラで親の顔を撮影して画像を取得するようにしてもよい。かかる場合、領域設定機能142は、既存の顔認識アルゴリズムを用いて、取得した写真から領域情報を抽出し、成分設定機能143は、既存の顔認識アルゴリズムを用いて、取得した写真から成分情報を抽出する。
また、上述した第4の実施形態では、記憶回路160は、親の顔写真を記憶するものとして説明したが、実施形態はこれに限定されるものではない。例えば、記憶回路160は、親の顔写真を記憶する代わりに、親の顔写真から抽出された領域情報や成分情報を記憶するようにしてもよい。かかる場合、記憶回路160は、領域データDB160aとして、親の顔写真から抽出された複数の領域情報を保持する。また、記憶回路160は、成分データDB160bとして、親の顔写真から抽出された複数の成分情報を保持する。
また、記憶回路160が、親の顔写真から抽出された領域情報や成分情報を記憶する場合、第4の実施形態に係る画像処理回路は、選択機能441を更に備えるようにしてもよい。かかる場合、選択機能441は、例えば、親の顔写真から抽出された領域情報や成分情報を記憶回路160から読み出してディスプレイ103に表示させ、操作者から領域情報や成分情報の選択を受付ける。領域設定機能142は、操作者から選択された領域を設定し、成分設定機能143は、操作者から選択された成分を設定する。かかる場合も画像生成機能144は、操作者から領域情報や成分情報が選択されるごとに、操作者が選択した領域情報と成分情報とを反映させた胎児の3次元像をリアルタイムにディスプレイ103に表示させてもよい。
また、記憶回路160が記憶する親の顔写真は、胎児の親が新生児の時に撮影された画像であってもよい。また、記憶回路160は、胎児の親以外にも胎児の祖父母等胎児と血縁関係のある人物の顔写真を記憶するようにしてもよい。
また、上述した第4の実施形態では、遺伝的要因に基づいて領域情報や成分情報を設定する場合について説明したが、実施形態はこれに限定されるものではない。例えば、記憶回路160は、胎児とは血縁関係のない人の顔写真を記憶するようにしてもよい。
また、第4の実施形態に係る画像処理回路は、参照部位設定機能341を更に備えるようにしてもよい。かかる場合、領域設定機能142は、参照部位の位置に基づいて、対象部位を含む領域の重心の位置を設定し、設定した重心と選択された領域情報の重心とが一致するように対象部位を含む領域の位置と範囲とを設定する。
(その他の実施形態)
実施形態は、上述した実施形態に限られるものではない。
上述した実施形態では、領域情報及び成分情報を設定した後に、サーフェスレンダリング処理を行うことで、胎児の3次元像を描出した2次元画像データを生成するものとして説明したが、実施形態はこれに限定されるものではない。例えば、サーフェスレンダリングした胎児の3次元像に領域情報と成分情報とを設定するようにしてもよい。言い換えると、上述した画像処理方法は、サーフェスレンダリング後の2次元画像データに対して、領域情報と成分情報とを設定するようにしてもよい。
(情報処理装置)
また、上述した実施形態において説明した処理は、携帯電話端末、タブレット端末及びPC(Personal Computer)端末等の情報処理装置において実行されてもよい。図15は、その他の実施形態に係る情報処理装置500の構成例を示すブロック図である。
図15に示すように、情報処理装置500は、入力装置501と、ディスプレイ502と、記憶回路510と、処理回路520とを備える。入力装置501は、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等を有し、情報処理装置500の操作者からの各種設定要求を受け付け、受け付けた各種設定要求を各処理部へ転送する。
ディスプレイ502は、情報処理装置500の操作者が入力装置501を用いて各種設定要求を入力するためのGUIを表示したり、情報処理装置500において生成された情報等を表示したりする。
記憶回路510は、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等の不揮発性の記憶装置である。
処理回路520は、ASICやFPGA等の集積回路や、CPUやMPU等の電子回路であり、情報処理装置500の処理全体を制御する。
また、処理回路520は、上述した実施形態では説明した画像処理方法を実行する。ここでは、処理回路520が、第1の実施形態で説明した画像処理方法を実行する場合について説明する。すなわち、処理回路520は、画像取得機能521と、領域設定機能522と、成分設定機能523と、画像生成機能524とを画像処理方法として実行する。ここで、画像取得機能521と、領域設定機能522と、成分設定機能523と、画像生成機能524とが実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で記憶回路510に記録されている。処理回路520は、各プログラムを記憶回路510から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。すなわち、画像取得機能521は、処理回路520が画像取得機能521に対応するプログラムを記憶回路510から読み出し実行することで、実現される機能である。また、領域設定機能522は、処理回路520が領域設定機能522に対応するプログラムを記憶回路510から読み出し実行することで、実現される機能である。また、成分設定機能523は、処理回路520が成分設定機能523に対応するプログラムを記憶回路510から読み出し実行することで、実現される機能である。また、画像生成機能524は、処理回路520が画像生成機能524に対応するプログラムを記憶回路510から読み出し実行することで、実現される機能である。換言すると、各プログラムを読み出した状態の処理回路520は、図15の処理回路520内に示された各機能を有することとなる。
なお、画像取得機能521、領域設定機能522、成分設定機能523、及び画像生成機能524は、上記の実施形態にて説明した画像取得機能141、領域設定機能142、成分設定機能143、及び画像生成機能144とそれぞれ同様の機能を備える。
すなわち、画像取得機能521は、胎児の少なくとも一部を含む超音波画像データを取得する。領域設定機能522は、超音波画像データから胎児の対象部位を含む領域を設定する。成分設定機能523は、領域に対象部位の質感を再現する成分を設定する。画像生成機能524は、成分が設定された超音波画像データから表示画像を生成する。
なお、処理回路520が、第1の実施形態に係る画像処理方法を実行する場合について説明したが、処理回路520は、上述した第1の実施形態から第4の実施形態で説明した画像処理方法のうちいずれの画像処理方法でも実行することが可能である。
また、上述した実施形態では、情報処理装置500は、記憶回路510に記録されたプログラムを読み出して、画像取得機能521と、領域設定機能522と、成分設定機能523と、画像生成機能524とを実行するものとして説明したが、実施形態はこれに限定されるものではない。例えば、情報処理装置500は、インターネット等のネットワークを経由してアプリケーションをダウンロードすることで、画像取得機能521と、領域設定機能522と、成分設定機能523と、画像生成機能524とを実行するようにしてもよい。
また、この情報処理装置500は、超音波プローブを接続可能に構成されてもよい。そして、超音波プローブが接続された情報処理装置500は、超音波診断装置1と同様に、被検体Pの超音波走査を実行する。なお、かかる場合、送受信回路110と同様の機能を有する送受信回路が、情報処理装置500に備わるようにしても良いし、超音波プローブ内に備わるようにしても良い。また、情報処理装置500は、Bモード処理回路120と同様の機能を有するBモード処理回路や画像処理回路140と同様の機能を有する画像処理回路を備え、受信した反射波信号から3次元の超音波画像データを生成する。或いは、情報処理装置500は、Bモード処理回路120及び画像処理回路140と同様の機能を有する他装置に、受信した反射波信号を送信し、この他装置により生成された3次元の超音波画像データを取得するようにしてもよい。
また、情報処理装置500において、上述した画像処理方法を実行する場合、情報処理装置500は、全ての処理を実行する必要はなく、負荷に応じていずれかの処理を、クラウド環境下にある情報処理サーバ等の他装置に分散させて処理させるようにしてもよい。例えば、情報処理装置500は、画像取得機能521と、領域設定機能522と、成分設定機能523とを実行し、他装置に画像生成機能524を実行させてもよい。かかる場合、情報処理装置500は、他装置により生成された胎児の3次元像を描出した2次元画像データを取得してディスプレイ502に表示させる。
上記の実施形態の説明において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上記の実施形態で説明した制御方法は、予め用意された制御プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この制御プログラムは、インターネット等のネットワークを介して配布することができる。また、この制御プログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上説明した少なくとも一つの実施形態によれば、リアリティを向上させた胎児像を得ることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。