JP7014044B2 - 超音波診断装置 - Google Patents

超音波診断装置 Download PDF

Info

Publication number
JP7014044B2
JP7014044B2 JP2018094034A JP2018094034A JP7014044B2 JP 7014044 B2 JP7014044 B2 JP 7014044B2 JP 2018094034 A JP2018094034 A JP 2018094034A JP 2018094034 A JP2018094034 A JP 2018094034A JP 7014044 B2 JP7014044 B2 JP 7014044B2
Authority
JP
Japan
Prior art keywords
image
ultrasonic
unit
transmission
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018094034A
Other languages
English (en)
Other versions
JP2019198429A (ja
Inventor
義浩 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018094034A priority Critical patent/JP7014044B2/ja
Priority to US16/377,408 priority patent/US11744525B2/en
Publication of JP2019198429A publication Critical patent/JP2019198429A/ja
Application granted granted Critical
Publication of JP7014044B2 publication Critical patent/JP7014044B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本開示は、超音波診断装置に関する。
複数の超音波振動子を用いて、被検体内の組織部を撮像する超音波診断装置が知られている。
この種の超音波診断装置においては、複数の超音波振動子から送信される超音波によって被検体内を走査し、被検体内部において反射された超音波エコーを受信して、当該超音波エコーの強度に基づいて、被検体内の組織部（例えば、内臓や病変組織等）に関する画像情報（以下、超音波画像と称する）を得る。
特開２００８－１０００６８号公報 特開２０１０－０２２８１７号公報
Chao Dong, et al. "Image Super-Resolution Using Deep Convolutional Networks", arXiv:1501.00092v3 [cs.CV], 31 Jul 2015, ("URL:https://arxiv.org/pdf/1501.00092.pdf") Yaniv Romano, et al. "RAISR: Rapid and Accurate Image Super Resolution", arXiv:1606.01299v3 [cs.CV], 4 Oct 2016, ("URL:https://arxiv.org/abs/1606.01299")
ところで、この種の超音波診断装置においては、組織部の構造及び動きの両方を詳細に観察するため、表示部が表示する超音波画像の高解像度化と、当該超音波画像を生成するフレームレート（単位時間当たりに生成する超音波画像のフレーム数を表す。以下同じ）の向上の両立が求められている。
図１は、１フレームの超音波画像を生成する際の走査態様の一例を示す図である。
この種の超音波診断装置は、図１に示すように、超音波プローブＴ内に、アジマス方向に沿って配設された複数の超音波振動子Ｔ１を有している。そして、当該複数の超音波振動子Ｔ１を、アジマス方向に沿って一方側から他方側に向かって、一個単位又はグループ単位で順番に駆動させ、被検体内を走査するように、超音波の送受信を実行することによって、１フレームの超音波画像を生成する。
この種の超音波診断装置において超音波画像の解像度を向上させる際には、通常、１フレームの超音波画像を生成するためのスキャンラインの本数を多くする制御、即ち、スキャンラインの密度を高める制御が行われる。しかしながら、スキャンライン密度が高くなるに伴って、通常、フレームレートが低くなるという問題が生じる。
一方、この種の超音波診断装置において超音波画像を生成するフレームレートを向上させる際には、通常、スキャンラインの本数を減少させる制御、即ち、１フレームの超音波画像を生成するためのスキャンラインの密度を低下させる制御が行われる。しかしながら、スキャンライン密度が減少するに伴って、通常、生成される超音波画像の解像度が低下するという問題が生じる。
このような背景から、フレームレートを低下させることなく、表示部が表示する超音波画像の解像度を高める技術の要請がある。
例えば、特許文献１には、撮像対象等に応じて、時間分解能に優れた撮像方式と空間分解能に優れた撮像方式とを使い分けることが記載されている。しかしながら、特許文献１に係る従来技術では、フレームレートを低下させることなく、超音波画像の解像度を高めることができない。
又、特許文献２には、第１のタイミングにおいてスキャンラインが高密度な条件で撮像した超音波画像に対して、第２のタイミングにおいてスキャンラインが低密度な条件で撮像した超音波画像を、画像合成することが記載されている。しかしながら、特許文献２に係る従来技術では、画像合成に必要な複数の超音波画像を生成する必要があるため、実効的なフレームレート向上の効果は小さい。又、特許文献２に係る従来技術では、フレームレート自体が高まる訳ではないため、組織部の動きに起因して、合成された超音波画像内に不鮮明領域が含まれてしまう。
本開示は、上記の問題点に鑑みてなされたもので、フレームレートを低下させることなく、表示部が表示する超音波画像の解像度を高めることを可能とする超音波診断装置を提供することを目的とする。
前述した課題を解決する主たる本開示は、
超音波診断装置であって、
被検体内を走査するように、超音波プローブに設けられた複数の超音波振動子それぞれに対して順番に駆動信号を供給すると共に、前記複数の超音波振動子それぞれから出力される受信信号を受信処理する送受信部と、
前記受信信号に基づいて生成される前記被検体内の各位置のサンプリングデータを画素値に変換して、第１の超音波画像を生成する画像生成部と、
所定のサンプル数増加倍率に従って前記第１の超音波画像をアップスケーリングした後、高解像度化処理を施すことで第２の超音波画像を生成する高解像度化処理部と、
前記第２の超音波画像を、表示部に表示させる表示画像に変換するデジタルスキャンコンバータと、
前記表示画像の画像サイズ及び前記サンプル数増加倍率に基づいて、前記第２の超音波画像の画像サイズが前記表示画像の画像サイズ付近となるように、前記送受信部の送受信条件を制御する送受信制御部と、
を備える超音波診断装置である。
本開示に係る超音波診断装置によれば、フレームレートを低下させることなく、表示部が表示する超音波画像の解像度を高めることが可能である。
１フレームの超音波画像を生成する際の走査態様の一例を示す図 第１の実施形態に係る超音波診断装置の外観を示す図 第１の実施形態に係る超音波診断装置の全体構成の一例を示すブロック図 第１の実施形態に係る超音波プローブが有する超音波振動子の配列構造の一例を示す図 第１の実施形態に係る超音波診断装置の画像生成部、高解像度化処理部、デジタルスキャンコンバータ、送受信制御部、モード設定部、及び学習処理部のハードウェア構成の一例を示す図 第１の実施形態に係る高解像度化処理部の構成の一例を示す図 第１の実施形態に係る高解像度化処理部の処理を模式的に示す図 第１の実施形態に係る送受信制御部の動作の一例を示すフローチャート 第１の実施形態に係る学習処理部の動作の一例を示すフローチャート 第２の実施形態に係る高解像度化処理部の構成の一例を示す図 第２の実施形態に係る分割部の処理について説明する図 第２の実施形態に係る高解像度化処理部の処理の一例を示すフローチャート 第２の実施形態に係る学習処理部の処理の一例を示すフローチャート 第３の実施形態に係る高解像度化処理部の構成の一例を示す図 第３の実施形態に係る画像拡大部の処理について説明する図
以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。
（第１の実施形態）
［超音波診断装置１の全体構成］
以下、図２～図４を参照して、本実施形態に係る超音波診断装置１の全体構成の一例について説明する。
尚、以下では、本実施形態に係る超音波診断装置１がＢモード画像を生成する際の制御の一例について説明する。
図２は、本実施形態に係る超音波診断装置１の外観を示す図である。図３は、本実施形態に係る超音波診断装置１の全体構成の一例を示すブロック図である。図４は、本実施形態に係る超音波プローブ２０が有する超音波振動子２１の配列構造の一例を示す図である。
本実施形態に係る超音波診断装置１は、超音波診断装置１の本体１０（以下、「本体１０」と略称する）に超音波プローブ２０が取り付けられて構成されている。尚、本体１０と超音波プローブ２０とは、ケーブルＣを介して電気的に接続されている。
超音波診断装置１の本体１０は、送受信部１１、画像生成部１２、高解像度化処理部１３、デジタルスキャンコンバータ１４、表示部１５、送受信制御部１６、モード設定部１７、及び、学習処理部１８を備えている。又、本体１０は、高解像度化処理部１３が参照する畳み込みニューラルネットワーク（Convolutional Neural Network）のモデルデータＤｍ（以下、「ＣＮＮモデルＤｍ」と称する）を備えている。
図３において、Ｄ１は送受信部１１で生成される受信信号に係るデータを表し、Ｄ２は画像生成部１２で生成される超音波画像に係るデータ（以下、「第１の超音波画像」と称する）を表し、Ｄ３は高解像度化処理部１３で生成される超音波画像に係るデータ（以下、「第２の超音波画像」と称する）を表し、Ｄ４はデジタルスキャンコンバータ１４で生成される表示部１５に表示させる画像に係るデータ（以下、「表示画像」と称する）を表す。
尚、以下では、１フレームの画像内に含まれる画素数を「画像サイズ」と称して説明する。画像サイズは、典型的には、１フレームの画像内の走査方向における画素数と深度方向における画素数に基づいて規定される。
超音波プローブ２０は、超音波と電気信号との相互変換を行う複数の超音波振動子２１（例えば、圧電素子）を含んで構成される。そして、当該複数の超音波振動子２１が、個別に、送受信部１１で発生された電圧パルスを超音波ビームに変換して被検体内へ送信すると共に、当該超音波ビームが被検体内で反射して発生する超音波エコーを受信して電気信号に変換して送受信部１１へ出力する。
複数の超音波振動子２１は、アジマス方向及びエレベーション方向に沿って、マトリクス状に配設されている（図４を参照）。本実施形態においては、例えば、二次元面内でアジマス方向とエレベーション方向にマトリクス状に８１８個×３個の超音波振動子２１が配列されている。
尚、複数の超音波振動子２１の駆動状態のオンオフは、送受信部１１により、個別に又はブロック単位で、アジマス方向に沿って順番に切り替え制御される。これによって、超音波プローブ２０において、被検体内を走査するように、超音波の送受信が実行される。
送受信部１１は、超音波プローブ２０の超音波振動子２１に対して、超音波の送受信を実行させる送受信回路である。
送受信部１１は、電圧パルス（以下、「駆動信号」と称する）を生成して超音波振動子２１に対して送出する送信回路と、超音波振動子２１で生成された超音波エコーに係る電気信号（以下、「受信信号」と称する）を受信処理する受信回路とを有している。そして、送信回路及び受信回路は、それぞれ、送受信制御部１６の制御のもと、超音波振動子２１に対して、超音波の送受信を行わせる動作を実行する。
尚、送受信部１１の送信回路は、例えば、超音波振動子２１毎に設けられた高周波パルス発振器及びパルス設定部等を含んで構成される。当該送信回路は、高周波パルス発振器が生成した電圧パルスを、パルス設定部に設定された電圧振幅、パルス幅及びタイミングに調整して、超音波振動子２１に送出する。
又、送受信部１１の受信回路は、例えば、プリアンプ、ＡＤコンバータ、及び、受信ビームフォーマを含んで構成される。プリアンプとＡＤコンバータは、超音波振動子２１毎に設けられ、微弱な受信信号を増幅すると共に、増幅した受信信号（アナログ信号）を、デジタル信号に変換する。受信ビームフォーマは、各超音波振動子２１の受信信号（デジタル信号）を整相加算することで複数の超音波振動子２１の受信信号Ｄ１を１つにまとめて、画像生成部１２に出力する。
送受信制御部１６は、送受信部１１を制御する。送受信制御部１６は、複数の超音波振動子２１が走査方向に沿って順に駆動するように、送受信部１１を制御する。送受信制御部１６は、例えば、８１８個の超音波振動子２１のうち、互いに隣接する５０個の超音波振動子２１のグループを同時に駆動し、アジマス方向に１個ずつ又は複数個ずつシフトしながら被検体内を走査する。そして、送受信制御部１６は、８１８個の超音波振動子２１の一方側から他方側まで、順に、駆動対象とする５０個の超音波振動子２１のグループをシフトすることによって、１フレーム分の走査を終了する。
送受信制御部１６は、超音波画像を連続的に生成するために、１フレーム分の走査が終了する度に、初期走査位置に戻って、再度、同様の処理を実行する。
送受信制御部１６は、モード設定部１７に設定される超音波プローブ２０の種類、被検体内の撮像対象の深度、又は、動作モード（例えば、Ｂモード、Ｃモード、又は、Ｅモード）等に基づいて、送受信部１１の送受信条件を決定する。
尚、「送受信条件」とは、１フレームの超音波画像を生成する際の走査時のスキャンライン密度、１スキャンライン中でサンプリングを実行する頻度を規定するサンプリング周波数、及び、深度等である。本実施形態に係る送受信制御部１６は、第２の超音波画像の画像サイズが、表示画像Ｄ４の画像サイズ以上となり、且つ、第１の超音波画像Ｄ２が生成されるフレームレートが可能な限り大きくなるように、「送受信条件」を決定する（図８を参照して後述）。
モード設定部１７は、ユーザの操作入力に基づいて、超音波診断装置１を動作させるモードを設定する。モード設定部１７は、例えば、ユーザの操作入力に基づいて、超音波プローブ２０の種類、被検体内の撮像対象の深度、又は、撮像モード（例えば、Ｂモード、Ｃモード、又は、Ｅモード）等を設定する。又、モード設定部１７は、例えば、ユーザの操作入力に基づいて、表示画像Ｄ４の画像サイズ及び画像形状を設定可能に構成されてもよい。
画像生成部１２は、送受信部１１から受信信号Ｄ１を取得して、送受信部１１から出力される各走査位置における受信信号Ｄ１をラインメモリに順次蓄積し、フレーム単位となる二次元データを生成する。尚、当該二次元データは、走査方向と深度方向に沿った被検体の断面内の各位置における信号強度情報等によって構成される。
そして、画像生成部１２は、当該二次元データに基づいて、第１の超音波画像Ｄ２を生成する。画像生成部１２は、例えば、走査方向と深度方向に沿った断面内の各位置におけるサンプリングデータ（例えば、受信信号の信号強度）を画素値に変換して、１フレームのＢモード表示用の第１の超音波画像Ｄ２を生成する。そして、画像生成部１２は、例えば、送受信部１１が被検体内を走査する度に、かかる第１の超音波画像Ｄ２を生成する。
尚、画像生成部１２は、更に、送受信部１１から入力される受信信号に対して、対数増幅、フィルタリング（例えば、低域透過又はスムージング等）、強調処理、又は、ダイナミックレンジの調整等を行ってもよい。
高解像度化処理部１３は、画像生成部１２から第１の超音波画像Ｄ２を取得し、第１の超音波画像Ｄ２の画像サイズをアップスケーリングすると共に、学習済みのＣＮＮモデルＤｍを用いて、アップスケーリングした第１の超音波画像Ｄ２に対して画像解析処理（例えば、ＣＮＮの順伝搬処理）を施す（図７を参照して後述）。換言すると、高解像度化処理部１３は、第１の超音波画像Ｄ２を高解像度化した第２の超音波画像Ｄ３を生成する。
尚、ＣＮＮモデルＤｍは、例えば、畳み込みニューラルネットワークの構造データ、及び畳み込みニューラルネットワークのネットワークパラメータ等に関するデータを含んで構成される。
デジタルスキャンコンバータ１４（Digital Scan Converter）は、高解像度化処理部１３から第２の超音波画像Ｄ３を取得し、当該第２の超音波画像Ｄ３の画像データを、表示部１５のテレビジョン信号の走査方式に従う表示用の画像データ（即ち、表示画像Ｄ４）に変換する。又、デジタルスキャンコンバータ１４は、表示部１５が超音波画像を表示する表示サイズにあわせて、第２の超音波画像Ｄ３から所定領域を切り出してもよい。又、デジタルスキャンコンバータ１４は、更に、第２の超音波画像Ｄ３に対して、画素毎の縦横比の調整処理、又は階調処理等を行ってもよい。
尚、表示画像Ｄ４の画像サイズ及び画像形状は、表示部１５に設定された表示レイアウト、使用する超音波プローブ２０の種類、及び、撮像対象領域の深度設定等によって設定される。
表示部１５は、例えば、ＬＣＤ（Liquid Crystal Display）等のディスプレイである。表示部１５は、デジタルスキャンコンバータ１４から表示画像Ｄ４に係る画像データを取得して、当該画像データを表示する。
学習処理部１８は、学習データを用いてＣＮＮモデルＤｍに対して学習処理を施す（図９を参照して後述）。
図５は、本実施形態に係る超音波診断装置１の画像生成部１２、高解像度化処理部１３、デジタルスキャンコンバータ１４、送受信制御部１６、モード設定部１７、及び学習処理部１８のハードウェア構成の一例を示す図である。
尚、画像生成部１２、高解像度化処理部１３、デジタルスキャンコンバータ１４、送受信制御部１６、モード設定部１７、及び学習処理部１８は、例えば、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置１０４、及び、通信ＩＦ１０５等によって構成される。そして、上記した各機能は、ＣＰＵ１０１がＲＯＭ１０２やＲＡＭ１０３に格納された制御プログラムや各種データを参照することによって実現される。但し、上記した各機能の一部又は全部は、ソフトウェアによる処理に限られず、専用のハードウェア回路、又はこれらの組み合わせによっても実現できることは勿論である。又、上記した各機能の一部又は全部は、ＤＳＰ（Digital Signal Processor）等のデジタル演算処理回路によって構成されてもよい。
［高解像度化処理部の構成］
以下、図６、図７を参照して、高解像度化処理部１３の構成の詳細について、説明する。
図６は、高解像度化処理部１３の構成の一例を示す図である。図７は、高解像度化処理部１３の処理を模式的に示す図である。
高解像度化処理部１３は、例えば、画像拡大部１３ａ、及びＣＮＮ処理部１３ｂを含んで構成される。
画像拡大部１３ａは、汎用的な画像補間処理（例えば、Bicubic法、又はBilinear法）によって、第１の超音波画像Ｄ２の画素間を補間するようにして、第１の超音波画像Ｄ２の画像サイズを所定倍にアップスケーリングする（図６中のＤ２ａは、アップスケーリング後の画像を表す）。尚、Bilinear法では、例えば、求めたい画素の周辺の画素の輝度値を参照し、当該周辺の画素の輝度値が直線的に変化するように、当該求めたい画素の輝度値を算出する。
画像拡大部１３ａが第１の超音波画像Ｄ２を拡大する倍率（以下、「サンプル数増加倍率」と称する）は、走査方向および深度方向それぞれについて予め設定されており、例えば、２×２倍、３×３倍、又は４×４倍等の整数に設定されている。サンプル数増加倍率は、ＣＮＮモデルＤｍの学習効率等の観点から、２以上の整数であることが望ましい。
尚、サンプル数増加倍率は、より好適には、モード設定部１７で設定された被検体内の撮像対象の深度が深いほど、大きくなるように設定される。当該設定は、例えば、コンベックスプローブ又はセクタプローブ、およびリニアプローブにおける台形走査のように放射状にスキャンを行うような場合、深度が深い位置ほど受信ビームの横方向の間隔が広くなるため、効果的である。
他方、サンプル数増加倍率は、操作者の入力操作に基づいて設定可能としてもよい。
ＣＮＮ処理部１３ｂは、学習済みのＣＮＮモデルＤｍに対して、画像拡大部１３ａでアップスケーリングされた第１の超音波画像Ｄ２ａを入力して、当該ＣＮＮモデルＤｍの順伝搬処理を行うことで、アップスケーリングされた第１の超音波画像Ｄ２ａを再構成した第２の超音波画像Ｄ３を生成する。
尚、学習済みのＣＮＮモデルＤｍを通すことは、アップスケーリングされた第１の超音波画像Ｄ２ａ内の高周波成分を推定することと等価である。つまり、高解像度化処理部１３は、第１の超音波画像Ｄ２を生成した際のサンプリング数から規定されるナイキスト周波数ｆｎｂｅａｍを、表示画像Ｄ４が表現し得るナイキスト周波数ｆｎｄｉｓｐ（表示画像Ｄ４で表現できる細かさであり、解像度に相当する）以上の周波数ｆｎｂｅａｍ’まで引き上げる（図７を参照）。
ＣＮＮモデルＤｍは、例えば、階層的に接続された複数のフィルター層Ｎａ１、Ｎａ２、Ｎａ３（ここでは、３層のみを示す）を含んで構成される。
第１層目のフィルター層Ｎａ１は、入力される画像を、ラスタスキャンにより所定サイズ毎に走査する。そして、第１層目のフィルター層Ｎａ１は、走査したデータに対して、畳み込み層等による特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。第１層目のフィルター層Ｎａ１は、例えば、水平方向に延びる線状の特徴量や斜め方向に延びる線状の特徴量等の比較的シンプルな単独の特徴量を抽出する。
第２層目のフィルター層Ｎａ２は、前階層のフィルター層Ｎａ１から入力される画像（以下、「特徴マップ」とも称する）群を、例えば、ラスタスキャンにより所定サイズ毎に走査する。そして、第２層目のフィルター層Ｎａ２は、走査したデータに対して、同様に、畳み込み層等による特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。尚、第２層目のフィルター層Ｎａ２は、第１層目のフィルター層Ｎａ１が抽出された複数の特徴量の位置関係などを考慮しながら統合させることで、より高次元の複合的な特徴量を抽出する。
各フィルター層Ｎａ１、Ｎａ２において、畳み込み層は、走査した所定サイズの画像の各画素値に対して、重み係数及びバイアスが設定されたカーネルを用いて畳み込み演算を行い、順にマッピングしていく。そして、畳み込み層は、前階層から入力される画像のそれぞれに対して、当該カーネルを用いて畳み込み演算を行い、処理対象の画像領域に対応するマッピング位置に加算していくことによって、一の特徴マップを生成する。
尚、各フィルター層Ｎａ１、Ｎａ２は、典型的には、畳み込み層（Convolution layer）の後段に活性化層（Activation layer）及びプーリング層（Pooling layer）を有している。そして、畳み込み層が生成した特徴マップは、当該活性化層及びプーリング層を通して後段のフィルター層に出力される。
フィルター層Ｎａ１、Ｎａ２は、畳み込み層、活性化層及びプーリング層の一連の処理によって、次階層に出力する特徴マップを生成する。そして、フィルター層Ｎａ１、Ｎａ２は、重みパターンが異なる複数のカーネルを用いて、上記の処理を実行し、当該複数のカーネルの数分の特徴マップ（図５中のｎ１、ｎ２は、生成された特徴マップを表す）を生成する。
このように、階層的に接続された複数のフィルター層Ｎａ１、Ｎａ２による特徴抽出処理を繰り返すことで、画像内の被写体の種々の特徴量を高次元に抽出していく。
最終層のフィルター層Ｎａ３は、フィルター層Ｎａ１、Ｎａ２によって生成された特徴マップ群から、入力される画像を高解像度化した画像を生成する逆畳み込み層（Deconvolution layer）として機能する。フィルター層Ｎａ３は、例えば、重み係数及びバイアスが設定された一枚の畳み込み層のカーネルを有し、フィルター層Ｎａ１、Ｎａ２吐同様に、前階層から入力される特徴マップを、ラスタスキャンにより所定サイズ毎に走査する。そして、フィルター層Ｎａ３は、特徴マップ内の走査したデータに対して、当該カーネルを用いて畳み込み演算を行い、順にマッピングしていく。そして、最終層のフィルター層Ｎａ３は、前階層から入力される特徴マップ群のそれぞれに対して、当該畳み込み層のカーネルを用いて畳み込み演算を行い、処理対象の画像領域に対応するマッピング位置に加算していくことによって、第２の超音波画像Ｄ３を生成する。
最終層のフィルター層Ｎａ３の出力は、典型的には、第２の超音波画像Ｄ３がアップスケーリングされた第１の超音波画像Ｄ２ａと同一の画像サイズとなるように、設定されている。このようにして、アップスケーリングした第１の超音波画像Ｄ２ａを高解像度化した第２の超音波画像Ｄ３が生成される。尚、第２の超音波画像Ｄ３の各画素には、例えば、第１の超音波画像Ｄ２と同様の階調域（例えば、０～２５５）で表現された画素値が出力される。
ＣＮＮモデルＤｍは、学習処理部１８により学習処理が施されることによって、ネットワークパラメータ（例えば、畳み込み層の重み係数及びバイアス）が調整され、上記のように機能する。
尚、このように、ＣＮＮモデルＤｍを用いて、入力画像から高解像度化する画像処理については、例えば、非特許文献１を参照されたい。
本実施形態に係るＣＮＮモデルＤｍのネットワークパラメータは、例えば、学習段階では、第１の超音波画像Ｄ２の原画像と、当該第１の超音波画像Ｄ２をBilinear法で縮小した後に再び拡大したボケ画像とを用いて、ボケ画像を入力画像、原画像を正解画像として扱い、最適化されている（詳細は後述）。
尚、本実施形態に係るＣＮＮモデルＤｍは、少なくとも１回の畳み込み演算を行うニューラルネットワークであれば、種々の構造に変更可能である。ＣＮＮモデルＤｍは、例えば、多層パーセプトロンや前処理層を含んで構成されてもよい。又、再帰型ニューラルネットワークを含んで構成されてもよい。
［送受信制御部の構成］
送受信制御部１６は、表示画像Ｄ４の画像サイズ及びサンプル数増加倍率に基づいて、第２の超音波画像Ｄ３の画像サイズが表示画像Ｄ４の画像サイズ付近となるように、送受信部１１の送受信条件を制御する。
ここで、「送受信条件」としては、第１の超音波画像Ｄ２を生成する際のスキャンラインの本数又はスキャンラインの密度（即ち、１フレームの超音波画像を生成する際の走査方向におけるサンプリング数を表す）、及び、一本のスキャンライン中でサンプリングを行うサンプリング周波数（即ち、深度方向におけるサンプリング数を表す）が含まれる。
当該「送受信条件」によって、第１の超音波画像Ｄ２の画像サイズ、及び、第１の超音波画像Ｄ２が生成されるフレームレートが規定されることになる。例えば、８１８個の超音波振動子２１のうち、同時に駆動する５０個の超音波振動子２１のグループをアジマス方向に１個ずつシフトした場合、走査方向におけるサンプリング数（即ち画素数）は、７６８個となる。又、８１８個の超音波振動子２１のうち、同時に駆動する５０個の超音波振動子２１のグループをアジマス方向に３個ずつシフトした場合、走査方向におけるサンプリング数（即ち画素数）は、２５６個となる。
ここで、表示画像Ｄ４は、第２の超音波画像Ｄ３から生成されるため、当該表示画像Ｄ４の解像度は、第２の超音波画像Ｄ３の画像サイズに依拠する。つまり、第２の超音波画像Ｄ３の画像サイズを大きくするほど、表示画像Ｄ４の解像度を高くすることができる。
但し、表示画像Ｄ４において表現し得る画像サイズは、表示部１５自体の画像サイズ（画素数）による制約がある。そのため、第２の超音波画像Ｄ３の画像サイズを必要以上に大きくしても、当該表示画像Ｄ４の解像度としては、ナイキストの定理によって当該表示画像Ｄ４の画像サイズに律速し、加えて、スキャンラインの本数が多くなるために第１の超音波画像Ｄ２が生成されるフレームレートを低下させることにつながるだけである。
そこで、本実施形態に係る送受信制御部１６は、モード設定部１７の設定内容及び高解像度化処理部１３（画像拡大部１３ａ）に設定されたサンプル数増加倍率に基づいて、超音波の送受信条件を設定する。具体的には、送受信制御部１６は、第２の超音波画像Ｄ３の画像サイズが、表示画像Ｄ４の画像サイズ以上となり、且つ、第１の超音波画像Ｄ２が生成されるフレームレートが可能な限り大きくなるように、超音波の送受信条件を決定する。換言すると、送受信制御部１６は、第２の超音波画像Ｄ３の画像サイズが表示画像Ｄ４の画像サイズ付近となるように、送受信部１１の送受信条件を制御する。これによって、表示画像Ｄ４の高解像度化と、当該表示画像Ｄ４を生成するフレームレートの向上の両立を図ることができる。
送受信制御部１６は、例えば、ＲＯＭ１０２等に予め格納された送受信条件の候補（例えば、図８の送受信条件の候補に係るデータテーブルＤＤ）から、第２の超音波画像Ｄ３の画像サイズが表示画像Ｄ４の画像サイズ付近となるいずれかを選択することによって、上記の条件を充足する超音波の送受信条件を決定する。
尚、「第２の超音波画像Ｄ３の画像サイズが表示画像Ｄ４の画像サイズ付近である状態」としては、理想的には、第２の超音波画像Ｄ３の画像サイズと表示画像Ｄ４の画像サイズとが合致する状態である。しかしながら、実際には、実施可能な送受信条件の制約があるため、送受信制御部１６は、予め格納された送受信条件の候補の中で、第２の超音波画像Ｄ３の画像サイズが、表示画像Ｄ４の画像サイズよりも大きくなる側又は小さくなる側において、表示画像Ｄ４の画像サイズと最も近くなるように、送受信条件を選択する。この際、より好適には、送受信制御部１６は、予め格納された送受信条件の候補のうち、第２の超音波画像Ｄ３の画像サイズが表示画像Ｄ４の画像サイズ以上で、且つ、第１の超音波画像Ｄ２が生成されるフレームレートが最大となる送受信条件の候補を選択する。但し、送受信制御部１６は、フレームレートへの影響が大きい走査方向に係る送受信条件のみを上記条件を充足するように決定してもよい。
尚、「送受信条件」は、通常、モード設定部１７に設定された超音波プローブ２０の種類、被検体内の撮像対象の深度の設定、及び、動作モード（例えば、Ｂモード、Ｃモード、又は、Ｅモード等）等に応じて異なる条件に設定される。
図８は、送受信制御部１６の動作の一例を示すフローチャートである。尚、図８には、理解を容易にするため、各フローで設定される設定値の一例を示している。
ステップＳ１において、送受信制御部１６は、まず、モード設定部１７の設定内容から規定される表示画像Ｄ４の画像サイズ、及び高解像度化処理部１３におけるサンプル数増加倍率を取得する。尚、ここでは、例えば、表示画像Ｄ４の画像サイズが（Ｘ，Ｙ）＝（５００，６００）（但し、Ｘは走査方向の画素数、Ｙは深度方向の画素数を表す）と設定され、高解像度化処理部１３の画像拡大部１３ａにおけるサンプル数増加倍率が（Ｒｘ，Ｒｙ）＝（２，２）（但し、Ｒｘは走査方向のサンプル数増加倍率、Ｒｙは深度方向のサンプル数増加倍率を表す）と設定されているものとする。
ステップＳ２において、送受信制御部１６は、第２の超音波画像Ｄ３の画素サイズを、表示画像Ｄ４の画素サイズ以上とするために、第１の超音波画像Ｄ２として必要な画像サイズ（即ち、サンプル数）を算出する。ここでは、第１の超音波画像Ｄ２として必要な画素サイズとしては、（ｘ，ｙ）＝（Ｘ／Ｒｘ＝２５０，Ｙ／Ｒｙ＝３００）（但し、ｘは走査方向のサンプル数、ｙは深度方向のサンプル数を表す）と算出される。
ステップＳ３において、送受信制御部１６は、予め装置本体１０のＲＯＭ１０２等に記憶されている送受信条件候補（図８の送受信条件候補に係るデータテーブルＤＤ）のうち、必要なサンプル数（ｘ，ｙ）を超え、且つ、フレームレートが最大となる送受信条件候補を、適用する送受信条件として選択する。尚、ここでは、装置本体１０には、超音波の送受信条件として、走査方向のサンプル数（ｘ’）としては、１２８、２５６、５１２、７６８の４通りの送受信条件が記憶され、深度方向のサンプル数（ｙ’）としては、１２８、２５６、５１２、７６８の４通りの送受信条件が記憶されているものとする。
この場合には、送受信制御部１６は、ステップＳ２で算出した必要なサンプル数（ｘ，ｙ）＝（Ｘ／Ｒｘ＝２５０，Ｙ／Ｒｙ＝３００）を超え、且つ、フレームレートが可能な限り大きくなるように、送受信条件候補に係るデータテーブルＤＤから、（ｘ’，ｙ’）＝（２５６，５１２）（但し、ｘ’は走査方向のサンプル数、ｙ’は深度方向のサンプル数を表す）の送受信条件を選択する。尚、当該送受信条件は、超音波の送受信が１フレームの第１の超音波画像Ｄ２を生成する際に２５６回実行される条件であり、例えば、８１８個の超音波振動子２１のうち、駆動対象とする５０個の超音波振動子２１のグループをアジマス方向に３個ずつシフトするように、被検体内を走査する条件である。又、当該送受信条件は、１スキャンライン内でのサンプリング回数が５１２回となるようなサンプリング周波数で超音波の送受信を実行する条件である。
ステップＳ４において、送受信制御部１６は、ステップＳ３で設定された送受信条件にて、送受信部１１を制御する。これによって、画像生成部１２において、ステップＳ３で設定された画像サイズの第１の超音波画像Ｄ２が生成される。尚、ここでは、例えば、（ｘ’，ｙ’）＝（２５６、５１２）の画像サイズの第１の超音波画像Ｄ２が生成されることになる。
ステップＳ５において、高解像度化処理部１３は、画像生成部１２により生成された第１の超音波画像Ｄ２に対して、図６を参照して説明した画像拡大処理及びＣＮＮによる順伝搬処理を施して、第２の超音波画像Ｄ３を生成する。尚、ここでは、例えば、（Ｘ’，Ｙ’）＝（ｘ’×Ｒｘ＝５１２，ｙ’×Ｒｙ＝１０２４）（但し、Ｘ’は走査方向の画素数、Ｙ’は深度方向の画素数を表す）の画像サイズの第２の超音波画像Ｄ３が生成されることになる。
ステップＳ６において、デジタルスキャンコンバータ１４は、高解像度化処理部１３により生成された第２の超音波画像Ｄ３から表示画像Ｄ４を生成する。尚、ここでは、デジタルスキャンコンバータ１４は、例えば、（Ｘ’，Ｙ’）＝（ｘ’×Ｒｘ＝５１２，ｙ’×Ｒｙ＝１０２４）の画像サイズの第２の超音波画像Ｄ３からサイズ変換や座標変換、画像の切り出し等を行って、（Ｘ、Ｙ）＝（５００、６００）の表示画像Ｄ４を生成する。そして、ステップＳ６の後には、再度、ステップＳ４に戻って、第１の超音波画像Ｄ２、第２の超音波画像Ｄ３、及び表示画像Ｄ４を生成する処理が繰り返し実行されることになる。
本実施形態に係る超音波診断装置１は、以上のような一連の処理によって、フレームレートを低下させることなく、高解像度の表示画像Ｄ４を生成する。
［学習処理部の構成］
学習処理部１８は、例えば、画像生成部１２によって生成された第１の超音波画像Ｄ２から学習データを生成すると共に、当該学習データを用いてＣＮＮモデルＤｍに対して学習処理を施す。
学習データは、例えば、画像生成部１２により生成された第１の超音波画像Ｄ２の原画像を出力側の正解値（図６の出力画像Ｄ３に相当）とし、当該第１の超音波画像Ｄ２をBilinear法でサンプル数増加倍率の逆数に従って縮小した後に、再び拡大したボケ画像を入力値（図６の入力画像Ｄ２ａに相当）とするデータセットである。
学習データとして用いる第１の超音波画像Ｄ２としては、できるだけ高解像度のものが望ましく、例えば、表示画像Ｄ４の画像サイズ以上の画像サイズとなる条件下で撮像されたものが用いられる。これによって、第１の超音波画像Ｄ２の原画像を、そのまま、ＣＮＮモデルＤｍに設定する正解値とすることができる。
又、学習データとして用いる第１の超音波画像Ｄ２としては、操作者が保存対象としたものであるのが望ましい。例えば、学習データは、操作者が表示画像Ｄ４を画像保存する操作を行ったタイミングにおいて生成された第１の超音波画像Ｄ２に基づいて生成される。これによって、比較的鮮明な超音波画像を学習データとすることが可能であり、学習済みのＣＮＮモデルＤｍの識別精度を向上させることが可能である。
図９は、学習処理部１８の動作の一例を示すフローチャートである。尚、図９のフローチャートは、画像生成部１２によって、連続的に、第１の超音波画像Ｄ２が生成されている際に実行する処理である。
ステップＳ１１において、学習処理部１８は、操作者によって表示画像Ｄ４の保存操作が行われたか否かを判定する。このステップＳ１１において、表示画像Ｄ４の保存操作が行われた場合（Ｓ１１：ＹＥＳ）、ステップＳ１２に処理を進める。一方、このステップＳ１１において、表示画像Ｄ４の保存操作が行われていない場合（Ｓ１１：ＮＯ）、特に処理を実行することなく、一連のフローを終了する。
次に、ステップＳ１２において、学習処理部１８は、保存対象となった表示画像Ｄ４に対応する第１の超音波画像Ｄ２を、画像生成部１２から取得する。そして、ステップＳ１３において、学習処理部１８は、当該第１の超音波画像Ｄ２の原画像を、学習データの正解値として保存する。
次に、ステップＳ１４において、ステップＳ１３と並列に、学習処理部１８は、サンプル数増加倍率の逆数に従って、Bilinear法を用いて、ステップＳ１２で取得した第１の超音波画像Ｄ２を縮小する。そして、ステップＳ１５において、学習処理部１８は、サンプル数増加倍率に従って、Bilinear法を用いて、ステップＳ１４で縮小した第１の超音波画像Ｄ２を拡大する。そして、ステップＳ１６において、学習処理部１８は、ステップＳ１４、Ｓ１５により生成された原画像と同一の画像サイズを有する第１の超音波画像Ｄ２のボケ画像を、学習データの入力値として保存する。
次に、ステップＳ１７において、学習処理部１８は、ステップＳ１２～Ｓ１６で生成された学習データ（正解値及び入力値）を用いて、ＣＮＮモデルＤｍに対して学習処理を施す。尚、このステップＳ１７においては、学習処理部１８は、例えば、二乗誤差を損失関数として用いて、公知の誤差逆伝播法等によって、損失関数が最小化するように、ＣＮＮモデルＤｍのネットワークパラメータ（重み係数、及びバイアス等）の最適化を行う。かかる学習処理は、公知の処理と同様であるため、ここでの詳細な説明は省略する。
以上のような一連の処理によって、ＣＮＮモデルＤｍのネットワークパラメータを最適化する。
尚、上記フローチャートでは、学習データが生成される度に、ＣＮＮモデルＤｍに対して学習処理を施す態様を示した。但し、学習処理部１６の処理を実行するタイミングは、好適には、非スキャン状態の時とする。これによって、学習処理部１６の処理と高解像度化処理部１３の処理のバッティングを防止することができる。
［効果］
以上のように、本実施形態に係る超音波診断装置１においては、送受信部１１が、被検体内を走査するように、超音波プローブ２０に設けられた複数の超音波振動子２１それぞれに対して順番に駆動信号を供給すると共に、複数の超音波振動子２１それぞれから出力される受信信号Ｄ１を受信処理する。そして、画像生成部１２が、受信信号Ｄ１に基づいて生成される被検体の断面内の各位置のサンプリングデータを画素値に変換して、第１の超音波画像Ｄ２を生成する。そして、高解像度化処理部１３が、所定のサンプル数増加倍率に従って第１の超音波画像Ｄ２の画像サイズをアップスケーリングすると共に、アップスケーリングした第１の超音波画像Ｄ２に対して学習済みの畳み込みニューラルネットワークＤｍを用いた画像処理を施して、アップスケーリングした第１の超音波画像Ｄ２を高解像度化した第２の超音波画像Ｄ３を生成する。そして、デジタルスキャンコンバータ１４が、第２の超音波画像Ｄ３を、表示部１５に表示させる表示画像Ｄ４に変換する。そして、送受信制御部１６が、表示画像Ｄ４の画像サイズ及びサンプル数増加倍率に基づいて、第２の超音波画像Ｄ３の画像サイズが表示画像Ｄ４の画像サイズ付近となるように、送受信部１１の送受信条件を制御する。
従って、本実施形態に係る超音波診断装置１によれば、１フレームを生成するためのスキャンラインの密度（本数）等を低下させた条件下で第１の超音波画像Ｄ２を生成しつつ、高解像度な表示画像Ｄ４を生成することができる。これによって、高いフレームレートで超音波画像を生成しつつ、高解像度の超音波画像を表示部１５に表示することができる。
特に、本実施形態に係る超音波診断装置１によれば、モード設定部１７に設定される内容（例えば、超音波プローブ２０の種類、被検体内の撮像対象の深度の設定、動作モード、又は、表示画像Ｄ４の画像サイズ）が変更された場合であっても、送受信部１１の送受信条件を、当該設定内容に対応させつつ、表示画像Ｄ４の高フレームレート化及び高解像度化を実現できる点で、有用である。
（第２の実施形態）
次に、図１０～図１２を参照して、第２の実施形態に係る超音波診断装置１について説明する。本実施形態に係る超音波診断装置１は、高解像度化処理部１３の構成の点で、第１の実施形態と相違する。尚、第１の実施形態と共通する構成については、説明を省略する。
図１０は、本実施形態に係る高解像度化処理部１３の構成の一例を示す図である。図１１は、本実施形態に係る分割部１３ｃの処理について説明する図である。
本実施形態に係る高解像度化処理部１３は、画像拡大部１３ａ、分割部１３ｃ、テクスチャー分類部１３ｄ、及びＣＮＮ処理部１３ｂを備えている。尚、図１０中の矢印は、データの流れを表す。
画像拡大部１３ａは、設定されたサンプリング増加倍率に従って、汎用的な補間処理（例えば、Bicubic法、又はBilinear法）を用いて、第１の超音波画像の画像サイズを拡大する。画像拡大部１３ａが画像サイズを拡大する手法は、第１の実施形態に係る画像拡大部と同様である。
分割部１３ｃは、画像拡大部１３ａによってアップスケーリングされた第１の超音波画像Ｄ２ａを、複数（ここでは、３６個）の小画像領域Ｒ１～Ｒ３６に分割する（図１１を参照）。分割部１３ｃが設定する小画像領域Ｒ１～Ｒ３６の画像サイズは、本発明では特に限定されないが、ＣＮＮ処理部１３ｂによって処理を行う際に適したサイズとなるように、例えば、１１画素×１１画素の画素領域に設定される。
テクスチャー分類部１３ｄは、分割部１３ｃによって分割された複数の小画像領域Ｒ１～Ｒ３６それぞれに対して、テクスチャー分類処理を施す。テクスチャー分類部１３ｄは、例えば、複数の小画像領域Ｒ１～Ｒ３６それぞれに対して公知の勾配推定処理、エッジ検出処理等を施すことによって、複数の小画像領域Ｒ１～Ｒ３６それぞれのテクスチャー（例えば、輝度情報や勾配情報）を抽出する。そして、テクスチャー分類部１３ｄは、当該小画像領域のテクスチャーに応じて、複数の小画像領域Ｒ１～Ｒ３６それぞれに対して、テクスチャー分類符号を付与する。尚、分類対象のテクスチャーは、例えば、予めＲＯＭ１０２等に記憶されている。
尚、テクスチャー分類部１３ｄが小画像領域のテクスチャーを分類する手法は、ルールベースであってもよいし、主成分分析、判別分析器、サポートベクトルマシン、ニューラルネット、又は汎用的なヘシアン行列を用いた分類器等を用いたものであってもよい。
このように、本実施形態に係る高解像度化処理部１３は、テクスチャー分類部１３ｄにより、ＣＮＮモデルＤｍによる処理を行う対象の画像領域（分割部１３ｃで分割された小画像領域Ｒ１～Ｒ３６）を、予め、当該画像領域のテクスチャーに応じて分類する。そして、本実施形態に係る高解像度化処理部１３は、後段のＣＮＮ処理部１３ｂにより、当該画像領域のテクスチャー毎に異なるＣＮＮモデルＤｍを用いて画像解析処理を施す。これによって、個々のＣＮＮモデルＤｍの小規模化（例えば、フィルター層数の低減）を図ることが可能であり、ＣＮＮ処理の高速化を図ることができる。
このような構成を実現するため、本実施形態に係るＣＮＮモデルＤｍは、テクスチャー分類符号と関連付けて、複数設けられている。換言すると、本実施形態に係る超音波診断装置１には、テクスチャー分類符号毎に、別個のＣＮＮモデルＤｍが設けられている。
ＣＮＮ処理部１３ｂは、分割部１３ｃで分割された小画像領域Ｒ１～Ｒ３６毎に、ＣＮＮを用いた処理を実行する。但し、本実施形態に係るＣＮＮ処理部１３ｂは、小画像領域Ｒ１～Ｒ３６に付されたテクスチャー分類符号に基づいて、対応するＣＮＮモデルＤｍを用いて、当該小画像領域Ｒ１～Ｒ３６の画像処理を実行する。尚、ＣＮＮ処理部１３ｂで実行されるＣＮＮモデルＤｍを用いた画像処理自体は、第１の実施形態と同様である。
そして、ＣＮＮ処理部１３ｂは、複数の小画像領域Ｒ１～Ｒ３６それぞれを高解像度化した画像を、複数の小画像領域Ｒ１～Ｒ３６それぞれに対応する位置にマッピングしていく。これによって、第２の超音波画像Ｄ３が生成されることになる。
尚、テクスチャー分類に応じた高解像度化処理の手法自体は、公知の手法と同様であるため、ここでの詳細な説明は省略する（例えば、非特許文献２を参照）。
図１２は、本実施形態に係る高解像度化処理部１３の処理の一例を示すフローチャートである。図１２のフローチャートは、例えば、画像生成部１２が第１の超音波画像Ｄ２を生成している際に、所定間隔（例えば、第１の超音波画像Ｄ２が生成されるフレームレートの間隔）で、高解像度化処理部１３がコンピュータプログラムに従って実行する処理である。
ステップＳ２１において、高解像度化処理部１３は、第１の超音波画像Ｄ２を取得する。
ステップＳ２２において、高解像度化処理部１３（画像拡大部１３ａ）は、汎用補間処理によって第１の超音波画像Ｄ２をアップスケーリングする。
ステップＳ２３において、高解像度化処理部１３（分割部１３ｃ）は、図１１を参照して説明したように、拡大した第１の超音波画像Ｄ２を複数の小画像領域Ｒ１～Ｒ３６に分割するように、拡大した第１の超音波画像Ｄ２に対して小画像領域Ｒ１～Ｒ３６を設定する。
ステップＳ２４において、高解像度化処理部１３（テクスチャー分類部１３ｄ）は、ステップＳ２３において設定された小画像領域のテクスチャー分類を決定する。尚、この際、高解像度化処理部１３（テクスチャー分類部１３ｄ）は、小画像領域に対して公知の勾配推定処理、エッジ検出処理等を施すことによって、当該小画像領域のテクスチャーを抽出し、当該小画像領域に対して当該小画像領域のテクスチャーに応じたテクスチャー分類符号を付与する。
ステップＳ２５において、高解像度化処理部１３（ＣＮＮ処理部１３ｂ）は、テクスチャー分類符号と関連付けて記憶された複数のＣＮＮモデルＤｍから、ステップＳ２３において設定した小画像領域の画像に対して適用するＣＮＮモデルＤｍを選択する。
ステップＳ２６において、高解像度化処理部１３（ＣＮＮ処理部１３ｂ）は、ステップＳ２３において設定した小画像領域の画像に対して、ステップＳ２５において選択したＣＮＮモデルＤｍを用いた高解像度化処理を実施する。
ステップＳ２７において、高解像度化処理部１３（分割部１３ｃ）は、アップスケーリングした第１の超音波画像Ｄ２ａの全領域の処理が終了したか否かを判定する。全領域の処理が終了した場合（Ｓ２７：ＹＥＳ）、高解像度化処理部１３（分割部１３ｃ）は、続くステップ２８に処理を進める。一方、全領域の処理が終了していない場合（Ｓ２７：ＮＯ）、高解像度化処理部１３（分割部１３ｃ）は、再度、ステップＳ２３に戻って、拡大した第1の超音波画像内において、現在設定している小画像領域からシフトして、続く処理対象の小画像領域の画像領域を設定する。
このように、ステップＳ２３～Ｓ２７を繰り返し実行することで、高解像度化処理部１３は、拡大した第１の超音波画像Ｄ２の全領域をラスタスキャンするように、処理対象の小画像領域を順番に設定していく。そして、高解像度化処理部１３は、複数の小画像領域Ｒ１～Ｒ３６それぞれを高解像度化した画像を、複数の小画像領域Ｒ１～Ｒ３６それぞれに対応する位置にマッピングしていく。これによって、第２の超音波画像Ｄ３が生成されることになる。
図１３は、本実施形態に係る学習処理部１８の処理の一例を示すフローチャートである。尚、図１３のフローチャートは、画像生成部１２によって、連続的に、第１の超音波画像Ｄ２が生成されている際に実行する処理である。
図１３のフローチャートにおいて、学習データを生成するための処理（Ｓ３１、Ｓ３２、Ｓ３５、Ｓ３６）は、図９のフローチャートで説明した内容（Ｓ１１、Ｓ１２、Ｓ１４、Ｓ１５）と同様である。
但し、本実施形態に係るＣＮＮモデルのデータＤｍは、テクスチャー分類符号と関連付けて、複数設けられている。そこで、本実施形態に係る学習処理部１８は、複数のＣＮＮモデルのデータＤｍそれぞれに対して、各別に、学習処理を実行する。
ステップＳ３１において、学習処理部１８は、操作者によって表示画像Ｄ４の保存操作が行われたか否かを判定する。このステップＳ３１において、表示画像Ｄ４の保存操作が行われた場合（Ｓ３１：ＹＥＳ）、ステップＳ３２に処理を進める。一方、このステップＳ１１において、表示画像Ｄ４の保存操作が行われてない場合（Ｓ３１：ＮＯ）、特に処理を実行することなく、一連のフローを終了する。
ステップＳ３２において、学習処理部１８は、保存対象となった表示画像Ｄ４に対応する第１の超音波画像Ｄ２を、画像生成部１２から取得する。
ステップＳ３３において、学習処理部１８は、当該第１の超音波画像Ｄ２の原画像に小画像領域Ｒ１～Ｒ３６を設定する。つまり、学習処理部１８は、上記した分割部１３ｃと同様に、当該第１の超音波画像Ｄ２の原画像を複数の小画像領域Ｒ１～Ｒ３６に分割する。そして、ステップＳ３４において、学習処理部１８は、ステップＳ３３で設定した小画像領域Ｒ１～Ｒ３６と関連付けて、当該第１の超音波画像Ｄ２の原画像を学習データの正解値として保存する。
ステップＳ３５において、ステップＳ３３と並列に、学習処理部１８は、サンプル数増加倍率の逆数に従って、Bilinear法を用いて、ステップＳ３２で取得した第１の超音波画像Ｄ２を縮小する。そして、ステップＳ３６において、学習処理部１８は、サンプル数増加倍率に従って、Bilinear法を用いて、ステップＳ３５で縮小した第１の超音波画像Ｄ２を拡大して、当該第１の超音波画像Ｄ２のボケ画像を生成する。
ステップＳ３７において、学習処理部１８は、ステップＳ３３と同様に、第１の超音波画像Ｄ２のボケ画像に小画像領域を設定する。ステップＳ３８において、学習処理部１８は、ステップＳ３７で設定した小画像領域と関連付けて、当該第１の超音波画像Ｄ２のボケ画像を学習データの入力値として保存する。
ステップＳ３９において、学習処理部１８は、ステップＳ３７で設定した小画像領域の画像それぞれに対して、テクスチャー分類処理を施して、小画像領域の画像にテクスチャー分類符号を付与する。尚、当該テクスチャー分類処理は、高解像度化処理部１３のテクスチャー分類部１３ｄと同様の処理である。そして、ステップＳ４０において、学習処理部１８は、ステップＳ３９で付与したテクスチャー分類符号に基づいて、複数のＣＮＮモデルＤｍのうち、学習対象のＣＮＮモデルＤｍを選択する。
ステップＳ４１において、学習処理部１８は、ステップＳ３４及びステップＳ３８で生成された学習データ（正解値及び入力値）を用いて、ステップＳ４０で選択されたＣＮＮモデルＤｍに対して学習処理を施す。尚、このステップＳ４１においては、学習処理部１８は、例えば、二乗誤差を損失関数として用いて、公知の誤差逆伝播法等によって、損失関数が最小化するように、ＣＮＮモデルＤｍのネットワークパラメータ（重み係数、及びバイアス等）の最適化を行う。
以上のような一連の処理によって、ＣＮＮモデルＤｍのネットワークパラメータを、それぞれ最適化する。
以上のように、本実施形態に係る超音波診断装置１によれば、テクスチャー毎に学習済みのＣＮＮモデルＤｍを用意しておき、第２の超音波画像Ｄ３を生成する際には、当該テクスチャーに応じたＣＮＮモデルＤｍを用いて畳み込み処理を実行する。従って、より短時間で、且つ、高精度な超解像度処理を実現することができる。
（第３の実施形態）
次に、図１４～図１５を参照して、第３の実施形態に係る超音波診断装置１について説明する。本実施形態に係る超音波診断装置１は、高解像度化処理部１３の構成の点で、第２の実施形態と相違する。
図１４は、本実施形態に係る高解像度化処理部１３の構成の一例を示す図である。図１５は、本実施形態に係る画像拡大部１３ａの処理について説明する図である。
本実施形態に係る高解像度化処理部１３は、画像拡大部１３ａ、分割部１３ｃ、テクスチャー分類部１３ｄ、ＣＮＮ処理部１３ｂ、及び統合処理部１３ｅを備えている。尚、図１４中の矢印は、データの流れを表す。
画像拡大部１３ａが画像サイズを拡大する手法は、第１の実施形態に係る画像拡大部と同様である。
本実施形態に係る画像拡大部１３ａは、第１の超音波画像Ｄ２の画像サイズを拡大した際、拡大して生成された各画素に対して、生成された位置に対応する位置識別符号を付与する（図１５を参照）。図１５は、画像拡大部１３ａが、第１の超音波画像Ｄ２の画像サイズを２×２倍に拡大した際に各画素に付与する位置識別符号を示している。画像拡大部１３ａは、例えば、拡大前の１画素を２×２倍に拡大して生成された４画素の画素領域のうち、左上の画素にはＰ１の位置識別符号を付し、左下の画素にはＰ２の位置識別符号を付し、右上の画素にはＰ３の位置識別符号を付し、右下の画素にはＰ４の位置識別符号を付すことを表している。図１５では、１画素についてのみ示しているが、画像拡大部１３ａは、同様のルールに従って、かかる位置識別符号Ｐ１～Ｐ４を全画素に対して付与する。つまり、第１の超音波画像Ｄ２をアップスケーリングして生成した複数の画素それぞれには、自身を生成する際に参照された画素との位置関係に基づいて識別符号が設定されている。
分割部１３ｃ、テクスチャー分類部１３ｄの構成は、第２の実施形態と同様である。
かかる構成とするため、本実施形態に係るＣＮＮモデルＤｍは、位置識別符号Ｐ１～Ｐ４及びテクスチャー分類符号と関連付けて、複数設けられている。換言すると、本実施形態に係る超音波診断装置１は、位置識別符号及びテクスチャー分類符号毎に、異なるＣＮＮモデルのデータＤｍが設けられている。
つまり、ＣＮＮモデルのデータＤｍとしては、位置識別符号Ｐ１が付与された画像のみを処理対象とする第１のＣＮＮモデルＤｍ、位置識別符号Ｐ２が付与された画像のみを処理対象とする第２のＣＮＮモデルＤｍ、位置識別符号Ｐ３が付与された画像のみを処理対象とする第３のＣＮＮモデルＤｍ、及び、位置識別符号Ｐ４が付与された画像のみを処理対象とする第４のＣＮＮモデルＤｍを有している。そして、第１乃至第４のＣＮＮモデルＤｍは、それぞれ、テクスチャー分類符号毎に、異なるＣＮＮモデルＤｍを有している。
ＣＮＮ処理部１３ｂは、第１のＣＮＮ処理部１３ｂ１、第２のＣＮＮ処理部１３ｂ２、第３のＣＮＮ処理部１３ｂ３、及び第４のＣＮＮ処理部１３ｂ４を有している。
ここで、第１のＣＮＮ処理部１３ｂ１は、位置識別符号Ｐ１が付与された画像に対して、位置識別符号Ｐ１が関連付けられたＣＮＮモデルＤｍを用いた高解像度化処理を実行して、第１の高解像度画像を生成する。又、第２のＣＮＮ処理部１３ｂ２は、位置識別符号Ｐ２が付与された画像に対して、位置識別符号Ｐ２が関連付けられたＣＮＮモデルＤｍを用いた高解像度化処理を実行して、第２の高解像度画像を生成する。又、第３のＣＮＮ処理部１３ｂ３は、位置識別符号Ｐ３が付与された画像に対して、ＣＮＮモデルＤｍを用いた高解像度化処理を実行して、第３の高解像度画像を生成する。又、第４のＣＮＮ処理部１３ｂ４は、位置識別符号Ｐ４が付与された画像に対して、位置識別符号Ｐ４が関連付けられたＣＮＮモデルＤｍを用いた高解像度化処理を実行して、第４の高解像度画像を生成する。
つまり、本実施形態に係るＣＮＮ処理部１３ｂは、位置識別符号Ｐ１が付与された位置の画像、位置識別符号Ｐ２が付与された位置の画像、位置識別符号Ｐ３が付与された位置の画像、及び位置識別符号Ｐ４が付与された位置の画像の４枚に分割して、第１のＣＮＮ処理部１３ｂ１、第２のＣＮＮ処理部１３ｂ２、第３のＣＮＮ処理部１３ｂ３、及び第４のＣＮＮ処理部１３ｂ４それぞれに入力する。
そして、第１のＣＮＮ処理部１３ｂ１において、位置識別符号Ｐ１が付与された位置の画像に対して、小画像領域Ｒ１～Ｒ３６毎に、ＣＮＮモデルＤｍを用いた処理を実行する。第２のＣＮＮ処理部１３ｂ２において、位置識別符号Ｐ２が付与された位置の画像に対して、小画像領域Ｒ１～Ｒ３６毎に、ＣＮＮモデルＤｍを用いた処理を実行する。第３のＣＮＮ処理部１３ｂ３において、位置識別符号Ｐ３が付与された位置の画像に対して、小画像領域Ｒ１～Ｒ３６毎に、ＣＮＮモデルＤｍを用いた処理を実行する。第４のＣＮＮ処理部１３ｂ４において、位置識別符号Ｐ４が付与された位置の画像に対して、小画像領域Ｒ１～Ｒ３６毎に、ＣＮＮモデルＤｍを用いた処理を実行する。
尚、第１のＣＮＮ処理部１３ｂ１、第２のＣＮＮ処理部１３ｂ２、第３のＣＮＮ処理部１３ｂ３、及び第４のＣＮＮ処理部１３ｂ４それぞれで実行されるＣＮＮモデルＤｍを用いた画像処理自体は、第１の実施形態と同様である。
統合処理部１３ｅは、ＣＮＮ処理部１３ｂにより生成された第１乃至第４の高解像度画像を、統合する。ここでは、第１乃至第４の高解像度画像は、それぞれ、入力される画像と同一の画像サイズの画像である。統合処理部１３ｅは、例えば、第１の高解像度画像を位置識別符号Ｐ１が付与される画素の位置に対応するようにマッピングし、第２の高解像度画像を位置識別符号Ｐ２が付与される画素の位置に対応するようにマッピングし、第３の高解像度画像を位置識別符号Ｐ３が付与される画素の位置に対応するようにマッピングし、第４の高解像度画像を位置識別符号Ｐ４が付与される画素の位置に対応するようにマッピングする。これによって、第１乃至第４の高解像度画像が統合され、第２の超音波画像Ｄ３が生成される。
尚、当該高解像度化処理の手法自体は、公知の手法と同様であるため、ここでの詳細な説明は省略する（例えば、非特許文献２を参照）。
以上のように、本実施形態に係る高解像度化処理部１３によれば、第１の超音波画像Ｄ２をアップスケーリングして生成された画素の位置毎に、異なるＣＮＮモデルＤｍを用いた画像処理を実行する。従って、より高精度な超解像度処理を実現することができる。
（その他の実施形態）
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。
上記実施形態では、高解像度化処理部１３の一例として、異なる超音波プローブ２０の種類又は撮像モードに対して、同一のＣＮＮモデルＤｍを適用する態様を示した。しかしながら、第１の超音波画像Ｄ２のテクスチャーは、超音波プローブ２０の種類又は撮像モード（例えば、Ｂモード、Ｃモード、又は、Ｅモード）に応じて、大きく変化する。かかる観点から、高解像度化処理部１３は、超音波プローブ２０の種類又は撮像モードに応じて、異なるＣＮＮモデルＤｍを用いてもよい。
又、上記実施形態では、送受信制御部１６の一例として、互いに隣接する５０個の超音波振動子２１のグループにおいて同時に超音波の送受信を実行させる態様を示した。但し、送受信制御部１６が超音波振動子２１を駆動させる態様は、任意であり、例えば、駆動対象とする一群の超音波振動子２１から同時に送信される超音波の位相をずらして超音波ビームを形成してもよいし、駆動対象とする一群の超音波振動子２１から同時に送信される超音波の位相を揃えるように超音波ビームを形成してもよい。又、送受信制御部１６は、アジマス方向に沿って配設された複数の超音波振動子２１を一個ずつ駆動させてもよい。
又、上記実施形態では、超音波診断装置１の構成の一例として、画像生成部１２、高解像度化処理部１３、デジタルスキャンコンバータ１４、送受信制御部１６、モード設定部１７、及び学習処理部１８が一のコンピュータによって実現されるものとして記載した。しかしながら、これらの構成は、複数のコンピュータによって実現されてもよいのは勿論である。
又、上記実施形態では、超音波診断装置１の動作の一例として、画像生成部１２、高解像度化処理部１３及びデジタルスキャンコンバータ１４が一連のフローの中で実行されるものとして示したが、これらの処理の一部又は全部が並列で実行されるものとしてもよいのは勿論である。
又、上記実施形態では、超音波診断装置１の一例として、Ｂモード画像を生成する態様を示した。しかしながら、本発明に係る超音波診断装置１は、カラードプラ画像、弾性画像、三次元超音波画像、又はＭモード画像等を生成するものであってよい。又、同様に、超音波プローブ２０としては、コンベックスプローブ、リニアプローブ、セクタプローブ、又は三次元プローブ等の任意のものを用いることができる。
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
本開示に係る超音波診断装置によれば、フレームレートを低下させることなく、表示部が表示する超音波画像の解像度を高めることが可能である。
１ 超音波診断装置
１１ 送受信部
１２ 画像生成部
１３ 高解像度化処理部
１４ デジタルスキャンコンバータ
１５ 表示部
１６ 送受信制御部
１７ モード設定部
１８ 学習処理部
２０ 超音波プローブ
２１ 超音波振動子
Ｄ１ 受信信号
Ｄ２ 第１の超音波画像
Ｄ３ 第２の超音波画像
Ｄ４ 表示画像
Ｄｍ 畳み込みニューラルネットワークのモデルデータ

Claims (13)

  1. 超音波診断装置であって、
    被検体内を走査するように、超音波プローブに設けられた複数の超音波振動子それぞれに対して順番に駆動信号を供給すると共に、複数の前記超音波振動子それぞれから出力される受信信号を受信処理する送受信部と、
    前記受信信号に基づいて生成される前記被検体内の各位置のサンプリングデータを画素値に変換して、第１の超音波画像を生成する画像生成部と、
    所定のサンプル数増加倍率に従って前記第１の超音波画像をアップスケーリングした後、高解像度化処理を施すことで第２の超音波画像を生成する高解像度化処理部と、
    前記第２の超音波画像を、表示部に表示させる表示画像に変換するデジタルスキャンコンバータと、
    前記表示画像の画像サイズ及び前記サンプル数増加倍率に基づいて、前記第２の超音波画像の画像サイズが前記表示画像の画像サイズ付近となるように、前記送受信部の送受信条件を制御する送受信制御部と、
    を備える超音波診断装置。
  2. 前記高解像度化処理は、学習済みの畳み込みニューラルネットワークを用いた画像処理である
    請求項１に記載の超音波診断装置。
  3. 前記送受信条件は、前記第１の超音波画像を生成する際のスキャンラインの本数又は密度、及び、一本のスキャンライン中でサンプリングを行う頻度を規定するサンプリング周波数を含む
    請求項１又は２に記載の超音波診断装置。
  4. 前記送受信制御部は、予め設定された複数の前記送受信条件の候補のうち、前記第２の超音波画像の画像サイズが前記表示画像の画像サイズ以上で、且つ、前記第１の超音波画像が生成されるフレームレートが最大となる前記送受信条件の候補の条件となるように、前記送受信部の前記送受信条件を制御する
    請求項３に記載の超音波診断装置。
  5. 前記表示画像の画像サイズは、前記超音波プローブの種類、前記被検体内の撮像対象の深度、又は、超音波画像の撮像モードに基づいて設定される
    請求項１乃至４のいずれか一項に記載の超音波診断装置。
  6. 前記畳み込みニューラルネットワークは、
    前記画像生成部により生成された前記第１の超音波画像を正解値とし、当該第１の超音波画像に対して前記サンプル数増加倍率の逆数に従って縮小処理を施した後、再度、前記サンプル数増加倍率に従って拡大処理を施した画像を入力値とする学習データを用いて、学習処理が施されている
    請求項２に記載の超音波診断装置。
  7. 前記学習データは、操作者によって画像保存操作がなされた際に生成された前記第１の超音波画像である
    請求項６に記載の超音波診断装置。
  8. 前記学習処理は、前記第１の超音波画像が生成されていない時に実行される
    請求項６又は７に記載の超音波診断装置。
  9. 前記高解像度化処理部は、
    画像補間処理により、前記サンプル数増加倍率に従って前記第１の超音波画像の画像サイズをアップスケーリングする画像拡大部と、
    アップスケーリングした前記第１の超音波画像を複数の画像領域に分割する分割部と、
    複数の前記画像領域それぞれのテクスチャーを抽出し、複数の前記画像領域それぞれを、当該画像領域のテクスチャーに基づいて分類するテクスチャー分類部と、
    複数の前記画像領域それぞれに対して、予め準備された複数の学習済みの前記畳み込みニューラルネットワークのうち、当該画像領域のテクスチャーに応じた学習済みの前記畳み込みニューラルネットワークを用いて画像処理を施して、前記第２の超音波画像を生成するＣＮＮ処理部と、を有する
    請求項６乃至８のいずれか一項に記載の超音波診断装置。
  10. 前記テクスチャー分類部が基準とする前記画像領域のテクスチャーは、前記画像領域の輝度情報又は勾配情報を含む
    請求項９に記載の超音波診断装置。
  11. 前記サンプル数増加倍率は、前記被検体内の撮像対象の深度が深いほど、大きくなるように設定される
    請求項１乃至１０のいずれか一項に記載の超音波診断装置。
  12. 前記サンプル数増加倍率は、操作者の入力操作に基づいて設定される
    請求項１乃至１１のいずれか一項に記載の超音波診断装置。
  13. 前記サンプル数増加倍率は、２以上の整数である
    請求項１乃至１２のいずれか一項に記載の超音波診断装置。
JP2018094034A 2018-05-15 2018-05-15 超音波診断装置 Active JP7014044B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018094034A JP7014044B2 (ja) 2018-05-15 2018-05-15 超音波診断装置
US16/377,408 US11744525B2 (en) 2018-05-15 2019-04-08 Ultrasound diagnosis apparatus with enhanced image resolution

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018094034A JP7014044B2 (ja) 2018-05-15 2018-05-15 超音波診断装置

Publications (2)

Publication Number Publication Date
JP2019198429A JP2019198429A (ja) 2019-11-21
JP7014044B2 true JP7014044B2 (ja) 2022-02-01

Family

ID=68534578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018094034A Active JP7014044B2 (ja) 2018-05-15 2018-05-15 超音波診断装置

Country Status (2)

Country Link
US (1) US11744525B2 (ja)
JP (1) JP7014044B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200142883A (ko) * 2019-06-13 2020-12-23 엘지이노텍 주식회사 카메라 장치 및 카메라 장치의 이미지 생성 방법
US11544815B2 (en) 2019-11-18 2023-01-03 Advanced Micro Devices, Inc. Gaming super resolution
JP7346314B2 (ja) * 2020-01-24 2023-09-19 キヤノン株式会社 超音波診断装置、学習装置、画像処理方法及びプログラム
CN112699948A (zh) * 2020-12-31 2021-04-23 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008016918A (ja) 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理システムおよび画像処理方法
JP2010022817A (ja) 2008-06-17 2010-02-04 Fujifilm Corp 超音波診断装置、並びに、超音波撮像方法及びプログラム
US20170345130A1 (en) 2015-02-19 2017-11-30 Magic Pony Technology Limited Enhancing Visual Data Using And Augmenting Model Libraries
WO2018048507A1 (en) 2016-09-06 2018-03-15 Han Xiao Neural network for generating synthetic medical images

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100949059B1 (ko) 2006-10-17 2010-03-25 주식회사 메디슨 초음파 영상을 형성하는 초음파 시스템 및 방법
JP5831000B2 (ja) * 2011-07-21 2015-12-09 ソニー株式会社 信号処理装置、制御方法、並びに信号処理システムおよび方法
US10052083B2 (en) * 2012-03-28 2018-08-21 University Of Western Ontario Actuator for moving an ultrasound probe
KR101656776B1 (ko) * 2013-09-03 2016-09-12 삼성전자주식회사 초음파 진단 장치 및 초음파 진단 장치의 동작 방법
CN106061400B (zh) * 2014-12-02 2019-10-01 奥林巴斯株式会社 医疗用观测装置以及医疗用观测装置的工作方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008016918A (ja) 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理システムおよび画像処理方法
JP2010022817A (ja) 2008-06-17 2010-02-04 Fujifilm Corp 超音波診断装置、並びに、超音波撮像方法及びプログラム
US20170345130A1 (en) 2015-02-19 2017-11-30 Magic Pony Technology Limited Enhancing Visual Data Using And Augmenting Model Libraries
WO2018048507A1 (en) 2016-09-06 2018-03-15 Han Xiao Neural network for generating synthetic medical images
JP2019534763A (ja) 2016-09-06 2019-12-05 エレクタ、インク.Elekta, Inc. 合成医療画像を生成するためのニューラルネットワーク

Also Published As

Publication number Publication date
US20190350533A1 (en) 2019-11-21
US11744525B2 (en) 2023-09-05
JP2019198429A (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
JP7014044B2 (ja) 超音波診断装置
JP5587743B2 (ja) 超音波画像処理装置
JP5002397B2 (ja) 超音波診断装置及びプログラム
JP4632685B2 (ja) 超音波診断装置及び画像データ処理装置
CN106097427A (zh) 子容积的连续定向的增强超声成像
JP7199972B2 (ja) 情報処理装置、情報処理方法、プログラム
WO2014069558A1 (ja) 超音波診断装置
JP2010017557A (ja) 超音波データを処理する超音波システム及び方法
KR20060050509A (ko) 초음파 화상 디스플레이 방법 및 초음파 진단 장치
JP5390645B2 (ja) 超音波診断装置
JP2021133123A (ja) 超音波診断装置、学習装置、画像処理方法およびプログラム
US10846569B2 (en) Method and systems for scan conversion with higher resolution
JP4732086B2 (ja) 超音波診断装置
JP5058638B2 (ja) 超音波診断装置
JP2006212054A (ja) 超音波観測装置、画像処理装置、及び、画像処理プログラム
JP2006280520A (ja) 超音波撮像装置、超音波画像処理方法、及び、超音波画像処理プログラム
US11896435B2 (en) Ultrasound diagnostic apparatus and examination method
JP4982393B2 (ja) 画像フィルタリング装置、画像フィルタリングプログラム、画像フィルタリング方法及び超音波診断装置
JP4601413B2 (ja) 超音波診断装置
JP7192404B2 (ja) 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム
JP7455696B2 (ja) 超音波診断装置、学習装置、画像処理方法およびプログラム
JP2016019554A (ja) 超音波診断装置
JP2021074207A (ja) 超音波診断装置、超音波診断装置の制御方法、及び、超音波診断装置の制御プログラム
US20210228177A1 (en) Ultrasonic diagnostic apparatus, learning apparatus, and image processing method
JP7449879B2 (ja) 超音波診断装置及びその制御方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190708

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191016

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220103