JP6667676B2 - 超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム - Google Patents

超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム Download PDF

Info

Publication number
JP6667676B2
JP6667676B2 JP2018563216A JP2018563216A JP6667676B2 JP 6667676 B2 JP6667676 B2 JP 6667676B2 JP 2018563216 A JP2018563216 A JP 2018563216A JP 2018563216 A JP2018563216 A JP 2018563216A JP 6667676 B2 JP6667676 B2 JP 6667676B2
Authority
JP
Japan
Prior art keywords
ultrasonic
image
probe
positions
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018563216A
Other languages
English (en)
Other versions
JPWO2018135188A1 (ja
Inventor
悟史 中村
悟史 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Publication of JPWO2018135188A1 publication Critical patent/JPWO2018135188A1/ja
Application granted granted Critical
Publication of JP6667676B2 publication Critical patent/JP6667676B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • G01S15/8918Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array the array being linear
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/895Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques characterised by the transmitted frequency spectrum
    • G01S15/8952Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques characterised by the transmitted frequency spectrum using discrete, multiple frequencies
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8995Combining images from different aspect angles, e.g. spatial compounding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/5206Two-dimensional coordinated display of distance and direction; B-scan display
    • G01S7/52065Compound scan display, e.g. panoramic imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52079Constructional features

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Acoustics & Sound (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、人体等の被検体の内部に超音波を送信し、反射した超音波を受信することによって被検体の内部を撮像する超音波撮像システム、超音波撮像装置、超音波撮像方法、及びコンピュータに超音波画像の合成を行わせるための画像合成プログラムに関する。
超音波を送受するプローブを被検体の表面に当てた状態で移動させることで、被検体の複数箇所において超音波撮像を行い、得られた複数の画像を合成してパノラマ画像を生成する超音波撮像装置がある。かかる画像合成を正確に行うためには、各画像間における位置関係(平行移動量及び回転角度)を正確に求める必要がある。
特許文献1には、合成対象とする第1画像と第2画像のうち、第1画像から2つの基準点を選択し、基準点の周辺領域の画像パターンと最もよく適合する画像パターンを持つ点をパターンマッチングによって第2画像から探索し、2つの基準点の移動ベクトルから位置関係(平行移動量及び回転角度)を計算する装置が開示されている。また、特許文献2には、合成対象とする2つの超音波画像のそれぞれについて水平方向及び垂直方向の投影分布を計算し、投影分布の相関を求めることで位置関係を計算する装置が開示されている。
特許第4704630号公報 特許第4785105号公報
プローブの幅が大きければ、そのプローブ幅に応じた大きい撮像範囲を確保できるが、人体の下肢又は上肢のような比較的曲率が大きい部位を超音波撮像する場合は、プローブ幅が大きすぎると被検体の表面に沿わないという問題がある。この場合、プローブを被検体表面に押し付けたり、スタンドオフを使用したりすると被検体を変形させる要因となり、合成画像に悪影響を及ぼす。一方、プローブの幅を小さくすると、上記のような被検体の変形の問題は解消されるが、例えばリニアスキャンのような撮像範囲が小さいスキャン方式では得られる超音波画像の幅が小さく、2つの画像間の位置関係を正確に計算するのが困難となる。また、例えばセクタスキャンのような広角なスキャン方式では、プローブ幅が小さくても大きい撮像領域を確保できるが、その一方でプローブの駆動周波数が低く、得られる超音波画像の分解能が低くなる場合がある。低分解能の画像からは正確な位置関係を求めることが難しい。2つの画像間の位置関係が正確に求められなければ、正確な合成画像を得ることはできない。
本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、表面の曲率が大きい被検体であっても、正確な合成画像を得ることができる超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラムを提供することにある。
上述した課題を解決するために、本発明の一の態様の超音波撮像システムは、互いに異なる第1及び第2超音波のそれぞれを被検体の表面から内部に送信し、前記被検体の内部において反射した前記第1及び第2超音波のそれぞれを受信するプローブと、前記プローブによって受信された前記第1超音波に基づいて第1超音波画像を生成し、前記プローブによって受信された前記第2超音波に基づいて第2超音波画像を生成する画像生成部と、前記被検体の表面の互いに異なる2つの位置のそれぞれにおいて前記プローブによって受信された前記第1超音波に基づいて前記画像生成部によって生成された2つの第1超音波画像と、前記2つの位置のそれぞれにおいて前記プローブによって受信された前記第2超音波に基づいて前記画像生成部によって生成された2つの第2超音波画像とに基づいて、前記2つの位置の関係を算出する位置関係算出部と、前記位置関係算出部によって算出された前記2つの位置の関係に基づいて、前記2つの位置のうちの一方の位置における前記第1又は第2超音波画像と、他方の位置における前記第1又は第2超音波画像とを合成する画像合成部とを備える。
上記態様において、前記プローブは、互いに異なる走査方式により前記第1及び第2超音波のそれぞれを送信してもよい。
上記態様において、前記プローブは、互いに異なる周波数により前記第1及び第2超音波のそれぞれを送信してもよい。
また、本発明の他の態様の超音波撮像装置は、互いに異なる第1及び第2超音波のそれぞれを被検体の表面から内部に送信し、前記被検体の内部において反射した前記第1及び第2超音波のそれぞれを受信するプローブによって受信された前記第1超音波に基づいて第1超音波画像を生成し、前記プローブによって受信された前記第2超音波に基づいて第2超音波画像を生成する画像生成部と、前記被検体の表面の互いに異なる2つの位置のそれぞれにおいて前記プローブによって受信された前記第1超音波に基づいて前記画像生成部によって生成された2つの第1超音波画像と、前記2つの位置のそれぞれにおいて前記プローブによって受信された前記第2超音波に基づいて前記画像生成部によって生成された2つの第2超音波画像とに基づいて、前記2つの位置の関係を算出する位置関係算出部と、前記位置関係算出部によって算出された前記2つの位置の関係に基づいて、前記2つの位置のうちの一方の位置における前記第1又は第2超音波画像と、他方の位置における前記第1又は第2超音波画像とを合成する画像合成部とを備える。
上記態様において、前記画像生成部は、前記第1超音波画像と、前記第1超音波画像よりも撮像範囲が狭く、且つ、分解能が高い前記第2超音波画像とを生成してもよい。
また、上記態様において、前記画像生成部は、被検体の表面に沿って移動しつつ前記第1及び第2超音波を前記被検体の内部に繰り返し送信し、前記被検体の内部において反射した前記第1及び第2超音波を繰り返し受信する前記プローブによって連続して受信された前記第1及び第2超音波のそれぞれに基づいて、1フレームの前記第1及び第2超音波画像を生成し、前記位置関係算出部は、連続する第1及び第2フレームのそれぞれにおける2つの前記第1超音波画像及び2つの前記第2超音波画像に基づいて前記2つの位置の関係を算出してもよい。
また、上記態様において、前記位置関係算出部は、互いに交差する2方向についての前記2つの位置の距離を含む前記2つの位置の関係を算出してもよい。
また、上記態様において、前記位置関係算出部は、前記2方向を含む平面内における回転角度をさらに含む前記2つの位置の関係を算出してもよい。
また、上記態様において、前記超音波撮像装置は、前記プローブが向く方向を検出するセンサによって前記2つの位置のそれぞれにおいて検出された角度に基づいて、前記2つの位置における前記プローブの前記2方向を含む平面内での回転角度を算出する回転角度算出部をさらに備え、前記画像合成部は、前記位置関係算出部によって算出された前記距離と、前記回転角度算出部によって算出された前記回転角度とに基づいて、前記2つの位置のうちの一方の位置における前記第1又は第2超音波画像と、他方の位置における前記第1又は第2超音波画像とを合成してもよい。
また、上記態様において、前記位置関係算出部は、前記2つの第1超音波画像に基づいて、前記2つの位置の関係の推定値である第1関係量を算出する位置関係推定部と、前記2つの第2超音波画像に基づいて、前記位置関係推定部によって算出された前記第1関係量を修正した第2関係量を算出する位置関係修正部とを含み、前記画像合成部は、前記位置関係修正部によって算出された前記第2関係量に基づいて、前記2つの位置のうちの一方の位置における前記第1又は第2超音波画像と、他方の位置における前記第1又は第2超音波画像とを合成してもよい。
また、上記態様において、前記位置関係推定部は、互いに交差する2方向についての前記2つの位置の距離を含む前記第1関係量を算出し、前記位置関係修正部は、前記位置関係推定部によって算出された前記距離を修正した前記第2関係量を算出してもよい。
また、上記態様において、前記位置関係推定部は、前記2つの第1超音波画像のそれぞれの特徴点を抽出し、前記2つの第1超音波画像間における前記特徴点の対応関係を決定することにより、前記第1関係量を算出してもよい。
また、上記態様において、前記位置関係修正部は、前記2つの第2超音波画像の輝度分布の相関に基づいて、前記第2関係量を算出してもよい。
また、上記態様において、前記画像生成部は、前記プローブが前記被検体の内部に向けて扇形に前記第1超音波を送信したときに受信した前記第1超音波に基づいてセクタスキャン画像である前記第1超音波画像を生成し、前記プローブが前記被検体の内部に向けて帯状に延びる範囲に前記第2超音波を送信したときに受信した前記第2超音波に基づいてリニアスキャン画像である前記第2超音波画像を生成してもよい。
また、本発明の他の態様の超音波撮像方法は、超音波を送受するプローブによって、互いに異なる第1及び第2超音波のそれぞれを被検体の表面の互いに異なる2つの位置のそれぞれから前記被検体の内部に送信し、前記被検体の内部において反射した前記第1及び第2超音波のそれぞれを前記2つの位置のそれぞれにおいて受信するステップと、前記2つの位置のそれぞれにおいて前記プローブで受信された前記第1超音波のそれぞれに基づいて2つの第1超音波画像を生成するステップと、前記2つの位置のそれぞれにおいて前記プローブで受信された前記第2超音波のそれぞれに基づいて2つの第2超音波画像を生成するステップと、前記2つの第1超音波画像と前記2つの第2超音波画像とに基づいて、前記2つの位置の関係を算出するステップと、算出された前記2つの位置の関係に基づいて、前記2つの位置のうちの一方の位置における前記第1又は第2超音波画像と、他方の位置における前記第1又は第2超音波画像とを合成するステップとを有する。
また、本発明の他の態様の画像合成プログラムは、被検体の内部を撮像して得られた複数の超音波画像を合成する処理をコンピュータに実行させる画像合成プログラムであって、前記コンピュータに、互いに異なる第1及び第2超音波のそれぞれを被検体の前記表面から内部に送信し、前記被検体の内部において反射した前記第1及び第2超音波のそれぞれを受信するプローブによって前記被検体の表面の互いに異なる2つの位置のそれぞれにおいて受信された前記第1超音波に基づいて生成された2つの第1超音波画像と、前記2つの位置のそれぞれにおいて前記プローブによって受信された前記第2超音波に基づいて生成された2つの第2超音波画像とに基づいて、前記2つの位置の関係を算出するステップと、算出された前記2つの位置の関係に基づいて、前記2つの位置のうちの一方の位置における前記第1又は第2超音波画像と、他方の位置における前記第1又は第2超音波画像とを合成するステップとを実行させる。
本発明によれば、表面の曲率が大きい被検体であっても、正確な合成画像を得ることができる。
実施の形態1に係る超音波撮像システムの構成を示す模式図。 実施の形態1に係る超音波撮像システムのプローブ及び制御装置の構成を示す模式図。 セクタスキャンモードで大腿部の断面を撮像する場合のプローブの動作を説明するための概念図。 リニアスキャンモードで大腿部の断面を撮像する場合のプローブの動作を説明するための概念図。 第1超音波画像の一例を示す図。 第2超音波画像の一例を示す図。 画像合成装置の構成を示すブロック図。 実施の形態1に係る超音波撮像システムの動作手順を示すフローチャート。 スキャン動作の手順を示すフローチャート。 実施の形態1に係る超音波撮像システムにおけるフレームを説明するための模式図。 特徴点マッチング処理を説明するための概念図。 外れ値を除いた対応特徴点を示す図。 位置関係算出処理の手順を示すフローチャート。 位置関係修正処理を説明するための概念図。 実施の形態2に係る超音波撮像システムのプローブ及び制御装置の構成を示す模式図。 実施の形態2に係る超音波撮像システムの動作手順を示すフローチャート。 スキャン動作の手順を示すフローチャート。 第1超音波画像と第2超音波画像との合成の一例を示す図。 複数のプローブによるスキャンの一例を示す図。
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。
(実施の形態1)
本実施の形態では、プローブによってセクタスキャンとリニアスキャンとを交互に繰り返し、2つの位置における2回のセクタスキャンによって得られた2つのセクタスキャン画像から2つの位置の関係の推定値である第1関係量(平行移動量及び回転角度)を算出し、2回のセクタスキャンそれぞれの直後に実行される2回のリニアスキャンによって得られた2つのリニアスキャン画像に基づいて第1関係量を修正した第2関係量を算出し、セクタスキャン画像及びリニアスキャン画像を第2関係量に基づいて合成する。
<超音波撮像システムの構成>
図1は、本実施の形態に係る超音波撮像システムの構成を示す模式図である。図1に示すように、超音波撮像システム100は、プローブ200と、超音波撮像装置300とを含んでいる。また、超音波撮像装置300は、制御装置400と、画像合成装置500とを含んでいる。プローブ200は制御装置400を介して画像合成装置500に接続されている。
図2は、プローブ200及び制御装置400の構成を示す模式図である。プローブ200は、オペレータが把持できる形状をなしている。かかるプローブ200の先端面には超音波送受面201が設けられている。他方、プローブ200の基端からはケーブルが延びており、当該ケーブルが制御装置400に接続されている。
超音波送受面201には、複数の超音波振動子202を一列に並べて構成された超音波アレイセンサ203が配置されている。超音波アレイセンサ203は、制御装置400に接続され、制御装置400から与えられる制御信号により超音波を送信し、また、反射された超音波を受信する。超音波アレイセンサ203からは、受信された超音波を示す電気信号が制御装置400へ出力される。
制御装置400は、CPU及びメモリからなる制御部401と、通信部402及び403と、画像生成部404とを含んでいる。通信部402は、プローブ200に接続され、プローブ200との間で通信を行う。通信部403は、画像合成装置500に接続され、画像合成装置500との間で通信を行う。画像生成部404は、超音波アレイセンサ203から出力された電気信号から画像を生成する。
制御部401は、画像合成装置500から与えられる指示にしたがって、通信部402,403及び画像生成部404を制御する。また、制御部401は、画像合成装置500から与えられる指示に応じて、通信部402を通じてプローブ200に制御信号を送信する。この制御部401の制御により、プローブ200は、セクタスキャンモードとリニアスキャンモードとを交互に切り替えながら動作する。このように、制御装置400は画像合成装置500によって制御される。
プローブ200の動作モードについて説明する。プローブ200は、セクタスキャンモードで動作できる。図3Aは、セクタスキャンモードで大腿部600の断面を撮像する場合のプローブ200の動作を説明するための概念図である。セクタスキャンモードの場合、制御装置400は、所定の位相差を持たせて各超音波振動子202を振動させることで、プローブ200から送信される超音波ビームを扇形に形成する。セクタスキャンモードにおける超音波アレイセンサ203の駆動周波数は、例えば約3MHzとされる。以下、セクタスキャンモードにおいてプローブ200から送信される超音波を「第1超音波」という。第1超音波は、被検体である大腿部600の内部において反射され、その反射波が超音波アレイセンサ203によって受信される。このとき超音波アレイセンサ203が出力する電気信号は、画像生成部404に与えられ、画像生成部404が当該電気信号をセクタスキャンモードにおける超音波画像(以下、「第1超音波画像」という)に変換する。図4Aは、第1超音波画像の一例を示す図である。図4Aに示すように、第1超音波画像701は、扇形の撮像範囲601(図3A参照)を写した断面画像である。
また、プローブ200は、リニアスキャンモードでも動作できる。図3Bは、リニアスキャンモードで大腿部600の断面を撮像する場合のプローブ200の動作を説明するための概念図である。リニアスキャンモードの場合、制御装置400は、位相を揃えて各超音波振動子202を振動させることで、プローブ200から送信される超音波ビームを超音波送受面201に直交する方向に延びた帯状に形成する。リニアスキャンモードにおける超音波アレイセンサ203の駆動周波数は、例えば約6MHzとされる。以下、リニアスキャンモードにおいてプローブ200から送信される超音波を「第2超音波」という。第2超音波は、被検体である大腿部600の内部において反射され、その反射波が超音波アレイセンサ203によって受信される。このとき超音波アレイセンサ203が出力する電気信号は、画像生成部404に与えられ、画像生成部404が当該電気信号をリニアスキャンモードにおける超音波画像(以下、「第2超音波画像」という)に変換する。図4Bは、第2超音波画像の一例を示す図である。図4Bに示すように、第2超音波画像702は、帯状の撮像範囲602(図3B参照)を写した断面画像である。
上記のように、リニアスキャンモードにおける帯状の撮像範囲602は、プローブ幅、つまり、超音波アレイセンサ203の長さと同程度の幅しかない。これに対してセクタスキャンモードにおける撮像範囲601は、超音波アレイセンサ203から扇状に広がっている(図3A及び図3B参照)。このように、第2超音波画像702の撮像範囲602は、第1超音波画像701の撮像範囲601よりも小さい。また、セクタスキャンでは、比較的低い駆動周波数(中心周波数が2〜7MHz)で超音波ビームの走査が行われ、リニアスキャンよりも超音波の到達距離が長く、深部まで超音波が到達する。リニアスキャンでは、比較的高い駆動周波数(中心周波数が2.5〜12MHz)で超音波ビームの走査が行われ、セクタスキャンよりも超音波の到達距離が短い。つまり、深さ方向についても、セクタスキャンの撮像範囲601はリニアスキャンの撮像範囲602よりも大きい。一方、画像の分解能についていえば、リニアスキャンモードにおける超音波アレイセンサ203の駆動周波数の方が、セクタスキャンモードにおける駆動周波数よりも大きいため、第2超音波画像702の分解能は第1超音波画像701の分解能よりも高い。
次に、画像合成装置500の構成について説明する。図5は、画像合成装置500の構成を示すブロック図である。画像合成装置500は、コンピュータ510によって実現される。図5に示すように、コンピュータ510は、本体520と、入力部530と、表示部540とを備えている。本体520は、CPU521、ROM522、RAM523、読出装置524、ハードディスク525、入出力インタフェース526、通信インタフェース527、及び画像出力インタフェース528を備えており、CPU521、ROM522、RAM523、読出装置524、ハードディスク525、入出力インタフェース526、通信インタフェース527、及び画像出力インタフェース528は、バスによって接続されている。
CPU521は、RAM523にロードされたコンピュータプログラムを実行する。そして、超音波撮像用のコンピュータプログラムである画像合成プログラム550を当該CPU521が実行することにより、コンピュータ510が画像合成装置500として機能し、制御装置400と組み合わされることにより超音波撮像装置300として機能する。
ROM522には、CPU521に実行されるコンピュータプログラム及びこれに用いるデータ等が記録されている。RAM523は、ハードディスク525に記録されている画像合成プログラム550の読み出しに用いられる。また、RAM523は、CPU521がコンピュータプログラムを実行するときに、CPU521の作業領域として利用される。
ハードディスク525は、オペレーティングシステム及びアプリケーションプログラム等、CPU521に実行させるための種々のコンピュータプログラム及び当該コンピュータプログラムの実行に用いられるデータがインストールされている。画像合成プログラム550も、このハードディスク525にインストールされている。
入出力インタフェース526には、例えばキーボード及びマウスからなる入力部530が接続されている。
通信インタフェース527には、制御装置400が接続されており、通信インタフェース527がCPU521からの制御信号を制御装置400へ送信し、制御装置400から第1及び第2超音波画像701,702を受信するようになっている。また、RAM523は、セクタ画像フレームメモリ531と、リニア画像フレームメモリ532とを含んでいる。受信された第1超音波画像701はセクタ画像フレームメモリ531に格納され、第2超音波画像702はリニア画像フレームメモリ532に格納される。
画像出力インタフェース528は、例えばLCDまたはCRT等で構成された表示部540に接続されており、CPU521から与えられた画像データに応じた映像信号を表示部540に出力するようになっている。表示部540は、入力された映像信号にしたがって、画像(画面)を表示する。
<超音波撮像システムの動作>
次に、本実施の形態に係る超音波撮像システムの動作について説明する。図6は、本実施の形態に係る超音波撮像システムの動作手順を示すフローチャートである。画像合成装置500のCPU521は、制御装置400に対してスキャン開始を指示し、これに応じて制御装置400の制御部401がプローブ200にスキャン動作を実行させる(ステップS101)。このスキャン動作中に、オペレータは、超音波送受面201を被検体の表面に当てた状態で、プローブ200を被検体の表面に沿って移動させる。
スキャン動作では、制御部401がセクタスキャンモードとリニアスキャンモードとを交互に切り替えながらプローブ200を駆動する。以下、スキャン動作についてさらに詳しく説明する。図7は、スキャン動作の手順を示すフローチャートである。まず制御部401は、フレーム番号nに初期値(0)を割り当てる(ステップS151)。次に制御部401は、セクタスキャンモードでプローブ200を駆動し、セクタスキャンを実行させる(ステップS152)。セクタスキャンでは、プローブ200が、被検体の表面から垂直方向(被検体の深さ方向)へ向けて扇形のビーム形状で第1超音波を送信し、被検体の内部で反射した第1超音波を受信する。
プローブ200は、受信した第1超音波を示す電気信号を制御装置400へ送信し、制御装置400の通信部402がこれを受信する。画像生成部404が電気信号から第1超音波画像701を生成する(ステップS153)。
制御部401は、プローブ200にセクタスキャンを実行させた後、リニアスキャンモードでプローブ200を駆動し、リニアスキャンを実行させる(ステップS154)。リニアスキャンでは、プローブ200が、被検体の表面から垂直方向へ向けて帯状(矩形)のビーム形状で第2超音波を送信し、被検体の内部で反射した第2超音波を受信する。
プローブ200は、受信した第2超音波を示す電気信号を制御装置400へ送信し、制御装置400の通信部402がこれを受信する。画像生成部404が電気信号から第2超音波画像702を生成する(ステップS155)。制御部401は、生成された第1及び第2超音波画像701,702をフレーム番号nと共に通信部403から画像合成装置500へと送信する。1フレーム分の第1及び第2超音波画像701,702は、フレーム番号と共にセクタ画像フレームメモリ531及びリニア画像フレームメモリ532のそれぞれに格納される。
上記のようなスキャン動作を終了する場合、CPU521が制御装置400に対してスキャン終了を指示する。制御部401は、スキャン終了の指示を受け付けたか否かを判定し(ステップS156)、スキャン終了の指示を受け付けた場合は(ステップS156においてYES)、スキャン動作を終了する。他方、スキャン終了の指示を受け付けていない場合は(ステップS156においてNO)、制御部401は、フレーム番号nをインクリメントし(ステップS157)、ステップS152へ処理を戻し、プローブ200に再度セクタスキャン及びリニアスキャンを実行させる。
上記のように、スキャン動作における1つのサイクルは、1回のセクタスキャンと1回のリニアスキャンとを含み、プローブ200は、かかるサイクルを複数回実行する。この1回のサイクルが1フレームに対応する。図8は、本実施の形態に係る超音波撮像システムにおけるフレームを説明するための模式図である。1フレームには、1つの第1超音波画像と1つの第2超音波画像とが含まれる。1サイクルにおけるセクタスキャンとリニアスキャンとの時間間隔は極めて微少であるため、セクタスキャン及びリニアスキャンが同一位置にて実行されたものとみなす。つまり、1フレームに含まれる第1及び第2超音波画像は、同一位置を撮像した画像として取り扱う。以下、第n−1フレームにおける第1超音波画像を701n−1と、第nフレームにおける第1超音波画像を701として表記し、第n−1フレームにおける第2超音波画像を702n−1と、第nフレームにおける第1超音波画像を702として表記する。
再度図6を参照する。上記のようなスキャン動作が終了すると、画像合成装置500のCPU521は、フレーム番号nに初期値(0)をセットし(ステップS102)、第nフレームにおける第1超音波画像701から特徴点を抽出する(ステップS103)。この特徴点抽出処理では、SIFT(Scale-Invariant Feature Transform)、SURF(Speeded Up Robust Features)、ORB(Oriented FAST and Rotated BRIEF)等の回転不変性を備えた局所特徴量抽出アルゴリズム、つまり、画像を回転させたとしても同じ局所特徴量を抽出できるアルゴリズムが用いられる。
次に、CPU521は、特徴点抽出処理を実行した対象が、最初のフレームの第1超音波画像であるか否か、即ち、その時点でのnの値が「0」であるか否かを判定する(ステップS104)。特徴点抽出処理を実行した対象が最初のフレームの第1超音波画像である場合(ステップS104においてYES)、CPU521は、抽出した特徴点の情報をハードディスク525に記憶した上で、ステップS109へ移行し、次のフレーム(フレーム番号「1」)における特徴点抽出処理に移る。
他方、特徴点抽出処理を実行した対象が最初のフレームの第1超音波画像でない、つまり、その時点でのnの値が「0」でない場合(ステップS104においてNO)、CPU521は、第n−1フレームの第1超音波画像701n−1の特徴点と、第nフレームの第1超音波画像701の特徴点とのマッチングを行い、各特徴点の対応関係を決定する(ステップS105)。図9は、ステップS105の処理(以下、「特徴点マッチング処理」という)を説明するための概念図である。特徴点マッチング処理では、第n−1フレームの第1超音波画像701n−1の特徴点と、第nフレームの第1超音波画像701の特徴点との間で、最も近い特徴量を持つ特徴点同士を対応付ける。特徴量の近さの算出には、特徴点抽出手法に応じて、ユークリッド距離、ハミング距離などが利用される。図9において、第n−1フレームの第1超音波画像701n−1と、第nフレームの第1超音波画像701とに示される同じマークは対応する特徴点である。図9は簡略化して示しているが、1つの第1超音波画像について数百個の特徴点が抽出される。
再び図6を参照する。次にCPU521は、位置関係算出処理を実行し(ステップS106)、第n−1及び第nフレーム間におけるプローブ200の位置関係を算出する。位置関係算出処理は、位置関係推定処理(ステップS107)と位置関係修正処理(ステップS108)とを含む。
位置関係推定処理では、ステップS105において決定された特徴点の対応関係から、第n−1及び第nフレーム間におけるプローブ200の位置関係の推定値として、第n−1及び第nフレーム間における第1超音波画像の移動量(位置パラメータ)である第1関係量を算出する。算出される第1関係量は、互いに直行する2方向x,yそれぞれについての距離である平行移動量Δx,Δy及び回転角度Δθである。
以下、位置関係推定処理について詳しく説明する。第n−1フレームの第1超音波画像701n−1上の特徴点(x,y)と第nフレームの第1超音波画像701上の特徴点(x',y')との間には、理想的には次式(1)で示す関係が成り立つ。ここで、kは対応付けられた特徴点の番号である。
しかし、多数の特徴点の対応関係を、対応する特徴点から求めた一組の位置関係で満足することはできない。これは、特徴点の座標には誤差が含まれており、また、ノイズの影響により決定された対応関係自体に誤りが含まれるためである。したがって、計算に悪影響を及ぼす外れ値を除外しつつ、第1関係量を計算する。外れ値の除外にはRANSACアルゴリズムを、位置関係の計算にはガウス・ニュートン法、レーベンバーグ・マーカート法等の非線形最小二乗法を利用できる。図10は、外れ値を除いた対応特徴点を示す図である。外れ値を除外することにより、正確に対応付けられた特徴点を用いて第1関係量を正確に算出できる。
図11は、位置関係推定処理の手順を示すフローチャートである。位置関係推定処理において、まずCPU521は、全ての対応する特徴点から、無作為に2組を選択し(ステップS171)、得られた2組の特徴点から、第n−1及び第nフレーム間におけるプローブ200の位置関係(移動量)の候補値である関係量候補を算出する(ステップS172)。
次にCPU521は、算出された関係量候補を用いて、全ての対応する特徴点(以下、「対応特徴点」という)で二乗誤差を計算し、誤差が所定の閾値以下となる対応特徴点は関係量候補を支持するものとして、この数をカウントする(ステップS173)。二乗誤差eの計算には、次式(2)が使用される。
CPU521は、繰り返し回数が所定数に達したか否かを判定し(ステップS174)、繰り返し回数が所定数に達していなければ(ステップS174においてNO)、ステップS171に処理を戻す。これにより、ステップS171〜S173の処理が繰り返し実行され、複数の関係量候補が得られる。
繰り返し回数が所定数に達した場合(ステップS174においてYES)、CPU521は、全ての関係量候補のうち、支持数が最大のものを選択する(ステップS175)。
次にCPU521は、ステップS175で選択された関係量候補を支持する対応特徴点を用いて、最終的な第1関係量を計算し(ステップS176)、位置関係推定処理を終了する。
ステップS172及びS176では、複数組(組数をKとする)の対応特徴点を使用して第1関係量(又は関係量候補)を算出する。このような第1関係量(又は関係量候補)の算出には、次式(3)で定義される誤差関数が使用される。
式(3)に示される誤差関数を最小化する第1関係量(又は関係量候補)を、ガウス・ニュートン法、レーベンバーグ・マーカート法等の非線形最小二乗法によって求める。式(1)から2つの方程式が得られるため、2組以上の対応特徴点があれば第1関係量(又は関係量候補)を算出できる。ステップS172では対応特徴点の組数K=2であり、ステップS176ではK≧2である。
セクタスキャン画像である第1超音波画像を用いた特徴点に基づく第1関係量の算出には、次のような利点がある。
(1)プローブ幅が小さいプローブ200を使用するとリニアスキャンにおける撮像範囲が小さくなり、リニアスキャン画像(第2超音波画像)を用いた位置関係の算出では正確な回転角度Δθの算出が困難となる。この点、撮像範囲が大きいセクタスキャン画像を使用することで、精度よくΔθを算出できる。
(2)局所特徴点のマッチングでは、座標ではなく、特徴量の類似度に基づいてマッチングするため、第n−1及び第nフレームの撮像位置を考慮することなく、両者の位置関係を算出できる。
以上の位置関係推定処理によって、第n−1フレームと第nフレームの間におけるプローブ200の位置関係の推定値である第1関係量が求められる。第1関係量が大きい場合、つまり、第n−1フレームにおけるプローブ200の位置と第nフレームにおけるプローブ200の位置との間の距離が大きい場合、セクタスキャン画像である第1超音波画像では十分な重畳領域を確保できても、リニアスキャン画像である第2超音波画像では十分な重畳領域を確保できず、後の第2超音波画像の相関値算出及び画像合成を正確に行うことができない場合がある。よって、このような場合には、処理エラーとしたり、合成精度を落として画像相関の処理をスキップし、位置関係推定処理によって得られた第1関係量をそのまま使用して画像合成を行ったりすることができる。
再び図6を参照する。位置関係推定処理の後、CPU521は、位置関係修正処理を実行する(ステップS108)。位置関係修正処理では、第n−1及び第nフレーム間における第2超音波画像702n−1,702の画像相関により、位置関係推定処理で算出された第1関係量を修正した第2関係量を算出する。本実施形態では、位置関係修正処理において、第1関係量のうち平行移動量Δx,Δyを修正する。
以下、位置関係修正処理について詳しく説明する。CPU521は、位置関係推定処理によって算出された第1関係量(平行移動量Δx,Δy及び回転角度Δθ)を用いて、第nフレームの第2超音波画像702に対し平行移動及び回転処理を施す。以下、この移動後の第2超音波画像を、第n'フレーム画像という。
図12は、位置関係修正処理を説明するための概念図である。次に、CPU521は、第n'フレーム画像702n'を、x軸又はy軸方向にΔx',Δy'だけ移動させ、移動後の画像と第n−1フレームの第2超音波画像702n−1とを比較し、輝度値に基づく画像相関値を算出する。相関値の算出には、SAD(Sum of Absolute Difference),ZNCC(Zero-mean Nomalized Cross-Correlation)等を利用できる。CPU521は、第n'フレーム画像の移動と画像相関値の算出を繰り返し実行し、x軸及びy軸の両方について所定の探索範囲(例えば±20ピクセル)を探索し、各位置における画像相関値を得る。CPU521は、各位置における画像相関値を算出すると、画像相関値が最大となる位置を最終的な平行移動量Δx,Δyとして決定する。
リニアスキャン画像はセクタスキャン画像に比べて分解能が高く、スペックルが少ないため、リニアスキャン画像を用いることにより精度よく平行移動量を修正できる。以上の位置関係修正処理により算出された第2関係量(Δx,Δy,Δθ)は、フレーム番号nと共にハードディスク525に記憶される。
再び図6を参照する。次にCPU521は、nの値が最終フレーム番号Nと一致するか否かを判定する(ステップS109)。nが最大値Nと一致しない場合(ステップS109においてNO)、CPU521は、nをインクリメントし(ステップS110)、ステップS103に処理を戻す。
nが最大値Nと一致する場合(ステップS109においてYES)、CPU521は、第2関係量を用いて第n−1及び第nフレームの第1超音波画像701n−1,701を合成し(ステップS111)、同様に第2関係量を用いて第n−1及び第nフレームの第2超音波画像702n−1,702を合成する(ステップS112)。CPU521は、合成された第1超音波画像及び合成された第2超音波画像を表示部に表示させ(ステップS113)、処理を終了する。
以上のように構成したことで、広角な撮像方式であるセクタスキャンによって大きい撮像範囲の第1超音波画像を取得し、これを用いて第1関係量を算出するため、人体の下肢又は上肢のような曲率が大きい部位を幅が小さいプローブを使用して超音波撮像する場合においても、確実に第1関係量を算出できる。また、高分解能なリニアスキャンによって得られる第2超音波画像を使用して、第1関係量を修正した第2関係量を算出するため、正確な第2関係量を得ることができる。
(実施の形態2)
本実施の形態では、プローブに角度センサを設け、この角度センサによってプローブが向く方向を取得し、2回のセクタスキャンの間のプローブの回転角度を算出する。プローブによってセクタスキャンとリニアスキャンとを交互に繰り返し、2つの位置における2回のセクタスキャンによって得られた2つのセクタスキャン画像から2つの位置間の距離(平行移動量)である第1関係量を算出し、2つの位置における2回のリニアスキャンによって得られた2つのリニアスキャン画像に基づいて第1関係量を修正した第2関係量(平行移動量)を算出し、セクタスキャン画像又はリニアスキャン画像を第2関係量及び角度センサから得られた回転角度に基づいて合成する。
<超音波撮像システムの構成>
図13は、プローブ250及び制御装置400の構成を示す模式図である。プローブ250は、角度センサ251を含んでいる。角度センサ251は、プローブ250の鉛直方向からの傾き、即ち、超音波送受面201が向く方向を検出する。本実施の形態に係る超音波撮像システムのその他の構成は、実施の形態1に係る超音波撮像システム100の構成と同様であるので、同一構成要素については同一符号を付し、その説明を省略する。
<超音波撮像システムの動作>
次に、本実施の形態に係る超音波撮像システムの動作について説明する。図14は、本実施の形態に係る超音波撮像システムの動作手順を示すフローチャートである。画像合成装置500のCPU521は、制御装置400に対してスキャン開始を指示し、これに応じて制御装置400の制御部401がプローブ250にスキャン動作を実行させる(ステップS201)。このスキャン動作中に、オペレータは、超音波送受面201を被検体の表面に当てた状態で、プローブ250を被検体の表面に沿って移動させる。
スキャン動作では、制御部401がセクタスキャンモードとリニアスキャンモードとを交互に切り替えながらプローブ250を駆動する。以下、スキャン動作についてさらに詳しく説明する。図15は、スキャン動作の手順を示すフローチャートである。まず制御部401は、フレーム番号nに初期値(0)を割り当てる(ステップS251)。次に制御部401は、セクタスキャンモードでプローブ250を駆動し、セクタスキャンを実行させる(ステップS252)。セクタスキャンでは、プローブ250が、被検体の表面から垂直方向へ向けて扇形にビームを走査して第1超音波を送信し、被検体の内部で反射した第1超音波を受信する。また、角度センサ251が、セクタスキャン時におけるプローブ250の鉛直方向からの傾斜角度を検出する(ステップS253)。
プローブ250は、受信した第1超音波を示す電気信号と、傾斜角度を示す電気信号とを制御装置400へ送信し、制御装置400の通信部402がこれらの電気信号を受信する。画像生成部404が電気信号から第1超音波画像701を生成する(ステップS254)。
制御部401は、プローブ250にセクタスキャンを実行させた後、リニアスキャンモードでプローブ250を駆動し、リニアスキャンを実行させる(ステップS255)。リニアスキャンでは、プローブ250が、被検体の表面から垂直方向へ向けて帯状(矩形)のビーム形状で第2超音波を送信し、被検体の内部で反射した第2超音波を受信する。
プローブ250は、受信した第2超音波を示す電気信号を制御装置400へ送信し、制御装置400の通信部402がこれを受信する。画像生成部404が電気信号から第2超音波画像702を生成する(ステップS256)。制御部401は、生成された第1及び第2超音波画像701,702をフレーム番号n及び傾斜角度と共に通信部403から画像合成装置500へと送信する。1フレーム分の第1及び第2超音波画像701,702は、フレーム番号と共にセクタ画像フレームメモリ531及びリニア画像フレームメモリ532のそれぞれに格納される。また、ハードディスク525には、フレーム番号と共に傾斜角度が記憶される。
上記のようなスキャン動作を終了する場合、CPU521が制御装置400に対してスキャン終了を指示する。制御部401は、スキャン終了の指示を受け付けたか否かを判定し(ステップS257)、スキャン終了の指示を受け付けた場合は(ステップS257においてYES)、スキャン動作を終了する。他方、スキャン終了の指示を受け付けていない場合は(ステップS257においてNO)、制御部401は、フレーム番号nをインクリメントし(ステップS258)、ステップS252へ処理を戻し、プローブ250に再度セクタスキャン及びリニアスキャンを実行させる。
上記のように、スキャン動作における1つのサイクルは、1回のセクタスキャンと1回のリニアスキャンとを含み、プローブ250は、かかるサイクルを複数回実行する。この1回のサイクルが1フレームに対応する。1フレームには、1つの第1超音波画像701と1つの第2超音波画像702とが含まれる。1サイクルにおけるセクタスキャンとリニアスキャンとの時間間隔は極めて微少であるため、セクタスキャン及びリニアスキャンが同一位置にて実行されたものとみなす。つまり、1フレームに含まれる第1及び第2超音波画像701,702は、同一位置を撮像した画像として取り扱う。
再度図14を参照する。ステップS202乃至S205の処理は、実施の形態1で説明したステップS102乃至S105の処理と同様であるので、その説明を省略する。
CPU521は、角度センサ251によって検出された傾斜角度から回転角度Δθを算出する(ステップS206)。回転角度Δθは、第n−1及び第nフレーム間の傾斜角度の差として計算される。なお、角度センサ251に代えて、地磁気によって方位を検出する方位センサをプローブ250に設け、第n−1及び第nフレームのそれぞれにおいて方位センサによって検出された方位に基づいて回転角度Δθを算出してもよい。
次にCPU521は、位置関係算出処理を実行する(ステップS207)。位置関係算出処理は、位置関係推定処理(ステップS208)と位置関係修正処理(ステップS209)とを含む。本実施の形態では、位置関係推定処理において回転角度を除く位置パラメータΔx,Δyを第1関係量として第1超音波画像から算出する。平行移動量Δx,Δyの算出方法は、実施の形態1で説明したものと同様である。
ステップS209乃至S214の処理は、実施の形態1で説明したステップS108乃至S113の処理と同様であるので、その説明を省略する。
以上のように構成したことで、角度センサ251によって検出された傾斜角度を用いてプローブ250の回転角度を精度よく求めることができ、正確な画像合成を行うことができる。また、画像処理によって回転角度を算出する必要がなく、計算量が軽減される。
(その他の実施の形態)
上述した実施の形態1及び2においては、第2超音波画像を使用して第1関係量を修正したが、これに限定されるものではない。第1超音波画像から算出された第1関係量を修正することなく、画像合成に使用する構成とすることもできる。また、第1関係量のうち修正する対象を平行移動量Δx,Δyとしたが、これに限定されるものではなく、回転角度Δθも修正対象としてもよい。
また、上述した実施の形態1及び2においては、各フレームにおいて、セクタスキャンを先に、リニアスキャンを後に実行し、第n−1及び第nフレームのそれぞれにおいて先に得られた第1超音波画像を用いて第1関係量を算出し、第n−1及び第nフレームのそれぞれにおいて後に得られた第2超音波画像を用いて第1関係量を修正した第2関係量を算出する構成について述べたが、これに限定されるものではない。各フレームにおいて、リニアスキャンを先に、セクタスキャンを後に実行し、第n−1及び第nフレームのそれぞれにおいて後に得られた第1超音波画像を用いて第1関係量を算出し、第n−1及び第nフレームのそれぞれにおいて先に得られた第2超音波画像を用いて第1関係量を修正した第2関係量を算出する構成とすることもできる。
また、1回のサイクルにおいてセクタスキャン及びリニアスキャンを実行するだけでなく、他のスキャンを実行してもよい。この場合、1フレームに第1及び第2超音波画像に加え、他の超音波画像が含まれる。但し、画像合成を行うためには画像にサイクルを跨いで重畳する領域が含まれる必要があるが、このようにすると1回のサイクルにかかる時間が大きくなるため、重畳する領域を十分に確保できなくなる虞がある。このため、1サイクルにかかる時間を考慮してプローブの移動速度を制限することが好ましい。例えば、1回のサイクルにかかる時間中にプローブ幅の半分以上移動する速度となれば、エラーを通知する構成とすることができる。
また、実施の形態1及び2においては、連続する2つのフレーム間における画像を合成する構成について述べたが、これに限定されるものではない。異なる2つのフレームであれば、連続していなくてもよい。例えば、第n−2及び第nフレーム間の超音波画像を合成する構成とすることもできる。この場合、第n−2及び第nフレームの第1及び第2超音波画像に基づいて第n−2及び第nフレームにおけるプローブの位置関係(第2関係量)を算出し、算出された位置関係に基づいて、第n−2及び第nフレームの第1及び第2超音波画像の少なくとも一方を合成するものとなる。但し、この場合にも異なる2つのフレームの画像に重畳する領域を確保する必要がある。そのため、この2つのフレーム間の時間中にプローブ幅の半分未満移動する速度となるように移動速度を制限する構成とすることもできる。
また、実施の形態1及び2においては、第1及び第2超音波画像の両方を合成する構成について述べたが、これに限定されるものではない。第1及び第2超音波画像のうちの一方を合成する構成としてもよい。例えば、オペレータが合成する対象を第1及び第2超音波画像から選択し、選択された画像を合成する構成とすることもできる。
また、実施の形態1及び2においては、第1の超音波画像同士または第2の超音波画像同士を合成する構成について述べたが、第1の超音波画像と第2の超音波画像を合成する構成としてもよい。例えば、図16に示すように、第n−1フレームの第1超音波画像701n−1と第nフレームの第2超音波画像702とを合成することで、第1超音波画像の撮像範囲を維持しつつ、第2超音波画像の撮像範囲において画質を向上することができる。
また、実施の形態1及び2においては、扇状の撮像範囲のセクタスキャンと、帯状の撮像範囲のリニアスキャンとを実行する構成について述べたが、これに限定されるものではない。一方の画像が撮像範囲が大きく且つ低分解能であり、他方の画像が撮像範囲が小さく且つ高分解能であれば、セクタスキャン画像及びリニアスキャン画像以外であってもよい。撮像する角度範囲を変更可能な走査方式であれば、この走査方式に固定したまま撮像する角度範囲を切り替えて、2種類のスキャンを実行する構成としてもよい。例えばセクタスキャンに走査方式を固定し、また駆動周波数を固定して、角度範囲(撮像範囲)を切り替える構成とすることができる。このようにすると、角度範囲が大きいスキャンでは、撮像範囲が大きく且つ低分解能のセクタスキャン画像(第1超音波画像)が得られ、角度範囲が小さいスキャンでは、撮像範囲が小さく且つ高分解能のセクタスキャン画像(第2超音波画像)が得られる。つまり、走査方式と駆動周波数とを固定し、撮像範囲を切り替えて第1超音波のスキャンと第2超音波のスキャンとのそれぞれを実行する構成とすることができる。また、走査方式を固定したまま、撮像範囲を大きく且つ駆動周波数を低くして第1超音波のスキャンを実行し、撮像範囲を小さく且つ駆動周波数を高くして第2超音波のスキャンを実行しても、撮像範囲が大きく且つ低分解能の第1超音波画像と、撮像範囲が大きく且つ高分解能の第2超音波画像を得ることができる。さらに、駆動周波数を固定したまま、走査方式を切り替えて、2種類のスキャンを行うこともできる。例えば、駆動周波数を固定したまま、セクタスキャンとリニアスキャンとのそれぞれを実行することで、撮像範囲が大きく且つ低分解能のセクタスキャン画像(第1超音波画像)と、撮像範囲が小さく且つ高分解能のリニアスキャン画像(第2超音波画像)を得ることができる。また、コンベックス型のプローブを用いて2種類の超音波スキャンを実行する構成としてもよい。
また、実施の形態1及び2においては、特徴点マッチングによって第1関係量を算出し、画像相関によって第1関係量を修正した第2関係量を算出する構成について述べたが、これに限定されるものではない。特徴点マッチング以外のパターンマッチング、例えば画像相関によって第1関係量を算出する構成としてもよく、画像相関以外のパターンマッチング、例えば特徴点マッチングによって第2関係量を算出する構成としてもよい。
また、実施の形態1及び2においては、超音波撮像装置300を制御装置400と画像合成装置500とで構成したが、これに限定されるものではない。制御装置400及び画像合成装置500の両方の機能を備えた1台の超音波撮像装置を構成することもできる。また、位置関係の算出及び画像合成をソフトウェアにより実現する構成としたが、これに限定されるものではない。これらの処理を画像処理プロセッサによって実行する構成とすることもできる。
また、実施の形態1及び2においては、プローブを移動させて測定する方法について述べたが、2つのフレームを異なる位置で撮影していれば、プローブの数が1つでなくともよい。例えば、図17に示すように複数のプローブを使用する構成としてもよい。この場合、例えばプローブ271によってセクタスキャンとリニアスキャンとを実行し、プローブ272によってセクタスキャンとリニアスキャンとを実行する。プローブ271,272のそれぞれによって得られた2つのセクタスキャン画像(第1超音波画像)と、2つのリニアスキャン画像(第2超音波画像)とに基づいて、プローブ271,272の撮像位置の関係を算出し、この位置関係に基づいて、プローブ271で得られた第1又は第2超音波画像と、プローブ272で得られた第1又は第2超音波画像とを合成する。
本発明の超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラムは、人体等の被検体の内部に超音波を送信し、反射した超音波を受信することによって被検体の内部を撮像する超音波撮像システム、超音波撮像装置、超音波撮像方法、及びコンピュータに超音波画像の合成を行わせるための画像合成プログラムとして有用である。
100 超音波撮像システム
200 プローブ
203 超音波アレイセンサ
300 超音波撮像装置
400 制御装置
401 制御部
404 画像生成部
500 画像合成装置
510 コンピュータ
521 CPU
540 表示部
550 画像合成プログラム
701 第1超音波画像
702 第2超音波画像

Claims (16)

  1. 互いに異なる第1及び第2超音波のそれぞれを被検体の表面から内部に送信し、前記被検体の内部において反射した前記第1及び第2超音波のそれぞれを受信するプローブと、
    前記プローブによって受信された前記第1超音波に基づいて第1超音波画像を生成し、前記プローブによって受信された前記第2超音波に基づいて第2超音波画像を生成する画像生成部と、
    前記被検体の表面の互いに異なる2つの位置のそれぞれにおいて前記プローブによって受信された前記第1超音波に基づいて前記画像生成部によって生成された2つの第1超音波画像と、前記2つの位置のそれぞれにおいて前記プローブによって受信された前記第2超音波に基づいて前記画像生成部によって生成された2つの第2超音波画像とに基づいて、前記2つの位置の関係を算出する位置関係算出部と、
    前記位置関係算出部によって算出された前記2つの位置の関係に基づいて、前記2つの位置のうちの一方の位置における前記第1又は第2超音波画像と、他方の位置における前記第1又は第2超音波画像とを合成する画像合成部と
    を備える、
    超音波撮像システム。
  2. 前記プローブは、互いに異なる走査方式により前記第1及び第2超音波のそれぞれを送信する、
    請求項1に記載の超音波撮像システム。
  3. 前記プローブは、互いに異なる周波数により前記第1及び第2超音波のそれぞれを送信する、
    請求項1又は2に記載の超音波撮像システム。
  4. 互いに異なる第1及び第2超音波のそれぞれを被検体の表面から内部に送信し、前記被検体の内部において反射した前記第1及び第2超音波のそれぞれを受信するプローブによって受信された前記第1超音波に基づいて第1超音波画像を生成し、前記プローブによって受信された前記第2超音波に基づいて第2超音波画像を生成する画像生成部と、
    前記被検体の表面の互いに異なる2つの位置のそれぞれにおいて前記プローブによって受信された前記第1超音波に基づいて前記画像生成部によって生成された2つの第1超音波画像と、前記2つの位置のそれぞれにおいて前記プローブによって受信された前記第2超音波に基づいて前記画像生成部によって生成された2つの第2超音波画像とに基づいて、前記2つの位置の関係を算出する位置関係算出部と、
    前記位置関係算出部によって算出された前記2つの位置の関係に基づいて、前記2つの位置のうちの一方の位置における前記第1又は第2超音波画像と、他方の位置における前記第1又は第2超音波画像とを合成する画像合成部と
    を備える、
    超音波撮像装置。
  5. 前記画像生成部は、前記第1超音波画像と、前記第1超音波画像よりも撮像範囲が狭く、且つ、分解能が高い前記第2超音波画像とを生成する、
    請求項4に記載の超音波撮像装置。
  6. 前記画像生成部は、被検体の表面に沿って移動しつつ前記第1及び第2超音波を前記被検体の内部に繰り返し送信し、前記被検体の内部において反射した前記第1及び第2超音波を繰り返し受信する前記プローブによって連続して受信された前記第1及び第2超音波のそれぞれに基づいて、1フレームの前記第1及び第2超音波画像を生成し、
    前記位置関係算出部は、連続する第1及び第2フレームのそれぞれにおける2つの前記第1超音波画像及び2つの前記第2超音波画像に基づいて前記2つの位置の関係を算出する、
    請求項4又は5に記載の超音波撮像装置。
  7. 前記位置関係算出部は、互いに交差する2方向についての前記2つの位置の距離を含む前記2つの位置の関係を算出する、
    請求項4乃至6の何れかに記載の超音波撮像装置。
  8. 前記位置関係算出部は、前記2方向を含む平面内における回転角度をさらに含む前記2つの位置の関係を算出する、
    請求項7に記載の超音波撮像装置。
  9. 前記プローブが向く方向を検出するセンサによって前記2つの位置のそれぞれにおいて検出された角度に基づいて、前記2つの位置における前記プローブの前記2方向を含む平面内での回転角度を算出する回転角度算出部をさらに備え、
    前記画像合成部は、前記位置関係算出部によって算出された前記距離と、前記回転角度算出部によって算出された前記回転角度とに基づいて、前記2つの位置のうちの一方の位置における前記第1又は第2超音波画像と、他方の位置における前記第1又は第2超音波画像とを合成する、
    請求項7に記載の超音波撮像装置。
  10. 前記位置関係算出部は、
    前記2つの第1超音波画像に基づいて、前記2つの位置の関係の推定値である第1関係量を算出する位置関係推定部と、
    前記2つの第2超音波画像に基づいて、前記位置関係推定部によって算出された前記第1関係量を修正した第2関係量を算出する位置関係修正部と
    を含み、
    前記画像合成部は、前記位置関係修正部によって算出された前記第2関係量に基づいて、前記2つの位置のうちの一方の位置における前記第1又は第2超音波画像と、他方の位置における前記第1又は第2超音波画像とを合成する、
    請求項4乃至9の何れかに記載の超音波撮像装置。
  11. 前記位置関係推定部は、互いに交差する2方向についての前記2つの位置の距離を含む前記第1関係量を算出し、
    前記位置関係修正部は、前記位置関係推定部によって算出された前記距離を修正した前記第2関係量を算出する、
    請求項10に記載の超音波撮像装置。
  12. 前記位置関係推定部は、前記2つの第1超音波画像のそれぞれの特徴点を抽出し、前記2つの第1超音波画像間における前記特徴点の対応関係を決定することにより、前記第1関係量を算出する、
    請求項10又は11に記載の超音波撮像装置。
  13. 前記位置関係修正部は、前記2つの第2超音波画像の輝度分布の相関に基づいて、前記第2関係量を算出する、
    請求項10乃至12の何れかに記載の超音波撮像装置。
  14. 前記画像生成部は、前記プローブが前記被検体の内部に向けて扇形に前記第1超音波を送信したときに受信した前記第1超音波に基づいてセクタスキャン画像である前記第1超音波画像を生成し、前記プローブが前記被検体の内部に向けて帯状に延びる範囲に前記第2超音波を送信したときに受信した前記第2超音波に基づいてリニアスキャン画像である前記第2超音波画像を生成する、
    請求項4乃至13の何れかに記載の超音波撮像装置。
  15. 超音波を送受するプローブによって、互いに異なる第1及び第2超音波のそれぞれを被検体の表面の互いに異なる2つの位置のそれぞれから前記被検体の内部に送信し、前記被検体の内部において反射した前記第1及び第2超音波のそれぞれを前記2つの位置のそれぞれにおいて受信するステップと、
    前記2つの位置のそれぞれにおいて前記プローブで受信された前記第1超音波のそれぞれに基づいて2つの第1超音波画像を生成するステップと、
    前記2つの位置のそれぞれにおいて前記プローブで受信された前記第2超音波のそれぞれに基づいて2つの第2超音波画像を生成するステップと、
    前記2つの第1超音波画像と前記2つの第2超音波画像とに基づいて、前記2つの位置の関係を算出するステップと、
    算出された前記2つの位置の関係に基づいて、前記2つの位置のうちの一方の位置における前記第1又は第2超音波画像と、他方の位置における前記第1又は第2超音波画像とを合成するステップと
    を有する、
    超音波撮像方法。
  16. 被検体の内部を撮像して得られた複数の超音波画像を合成する処理をコンピュータに実行させる画像合成プログラムであって、
    前記コンピュータに、
    互いに異なる第1及び第2超音波のそれぞれを被検体の前記表面から内部に送信し、前記被検体の内部において反射した前記第1及び第2超音波のそれぞれを受信するプローブによって前記被検体の表面の互いに異なる2つの位置のそれぞれにおいて受信された前記第1超音波に基づいて生成された2つの第1超音波画像と、前記2つの位置のそれぞれにおいて前記プローブによって受信された前記第2超音波に基づいて生成された2つの第2超音波画像とに基づいて、前記2つの位置の関係を算出するステップと、
    算出された前記2つの位置の関係に基づいて、前記2つの位置のうちの一方の位置における前記第1又は第2超音波画像と、他方の位置における前記第1又は第2超音波画像とを合成するステップと
    を実行させる、
    画像合成プログラム。
JP2018563216A 2017-01-18 2017-12-12 超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム Active JP6667676B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017006912 2017-01-18
JP2017006912 2017-01-18
PCT/JP2017/044544 WO2018135188A1 (ja) 2017-01-18 2017-12-12 超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム

Publications (2)

Publication Number Publication Date
JPWO2018135188A1 JPWO2018135188A1 (ja) 2019-11-07
JP6667676B2 true JP6667676B2 (ja) 2020-03-18

Family

ID=62908299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018563216A Active JP6667676B2 (ja) 2017-01-18 2017-12-12 超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム

Country Status (5)

Country Link
US (1) US11382604B2 (ja)
EP (1) EP3572000B1 (ja)
JP (1) JP6667676B2 (ja)
CN (1) CN110114001B (ja)
WO (1) WO2018135188A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109124685A (zh) * 2018-10-30 2019-01-04 成都汇声科技有限公司 一种实现多种扫描方式的超声仪及其控制方法
CN117119968A (zh) * 2021-05-11 2023-11-24 古野电气株式会社 超声波拍摄装置、超声波拍摄方法、超声波拍摄系统及超声波拍摄程序

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05192337A (ja) * 1992-01-24 1993-08-03 Toshiba Corp 超音波診断装置
JP4282144B2 (ja) * 1999-04-26 2009-06-17 株式会社東芝 超音波診断装置
US6685644B2 (en) * 2001-04-24 2004-02-03 Kabushiki Kaisha Toshiba Ultrasound diagnostic apparatus
JP4785105B2 (ja) 2001-08-03 2011-10-05 株式会社日立メディコ 超音波画像処理装置
JP4704630B2 (ja) 2001-09-14 2011-06-15 アロカ株式会社 超音波パノラマ画像形成装置
US6733453B2 (en) 2002-09-03 2004-05-11 Siemens Medical Solutions Usa, Inc. Elevation compounding for ultrasound imaging
US20040077946A1 (en) 2002-10-15 2004-04-22 Jun Ohmiya Image processing apparatus, method and program
WO2005013829A1 (ja) * 2003-08-06 2005-02-17 Hitachi Medical Corporation 超音波撮像装置および超音波撮像方法
US8123691B2 (en) * 2003-08-19 2012-02-28 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus for fixedly displaying a puncture probe during 2D imaging
US20070219448A1 (en) * 2004-05-06 2007-09-20 Focus Surgery, Inc. Method and Apparatus for Selective Treatment of Tissue
WO2006068103A1 (ja) * 2004-12-20 2006-06-29 Hitachi Medical Corporation 超音波診断システム及びその方法
JP2006255083A (ja) * 2005-03-16 2006-09-28 Ge Medical Systems Global Technology Co Llc 超音波画像生成方法および超音波診断装置
US8551004B2 (en) * 2007-09-04 2013-10-08 Koninklijke Philips Electronics N.V. Dual mode ultrasound transducer
JP5376877B2 (ja) * 2008-09-17 2013-12-25 株式会社東芝 超音波診断装置および画像表示プログラム
JP5596940B2 (ja) * 2009-06-30 2014-09-24 株式会社東芝 超音波診断装置
JP2012196308A (ja) 2011-03-22 2012-10-18 Fujifilm Corp 光音響画像生成装置及び方法
JP6000569B2 (ja) * 2011-04-01 2016-09-28 東芝メディカルシステムズ株式会社 超音波診断装置及び制御プログラム
JP5935344B2 (ja) * 2011-05-13 2016-06-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム、記録媒体、および、画像処理システム
WO2013150917A1 (ja) * 2012-04-02 2013-10-10 日立アロカメディカル株式会社 超音波診断装置及び超音波画像の超解像生成方法
JP2015144623A (ja) * 2012-05-14 2015-08-13 日立アロカメディカル株式会社 超音波診断装置および画像評価表示方法
CN103732152B (zh) * 2012-06-25 2016-04-27 株式会社东芝 超声波诊断装置及图像处理方法
JP2015077393A (ja) * 2013-09-10 2015-04-23 セイコーエプソン株式会社 超音波測定装置、超音波画像装置、及び超音波測定方法
EP2884462A1 (en) * 2013-12-11 2015-06-17 Konica Minolta, Inc. Ultrasound diagnostic device, ultrasound image processing method, and non-transitory computer-readable recording medium
EP3097859A4 (en) * 2014-01-24 2017-11-29 Olympus Corporation Ultrasonic observation device, operating method for ultrasonic observation device, and operating program for ultrasonic observation device
JP6415937B2 (ja) 2014-11-13 2018-10-31 キヤノンメディカルシステムズ株式会社 医用画像処理装置、超音波診断装置、医用画像処理方法および医用画像処理プログラム
JP6744141B2 (ja) * 2015-06-16 2020-08-19 キヤノンメディカルシステムズ株式会社 超音波診断装置及び画像処理装置
US20180140277A1 (en) * 2016-11-18 2018-05-24 Clarius Mobile Health Corp. Transducer adapters for allowing multiple modes of ultrasound imaging using a single ultrasound transducer

Also Published As

Publication number Publication date
EP3572000B1 (en) 2022-08-24
US11382604B2 (en) 2022-07-12
US20190365358A1 (en) 2019-12-05
EP3572000A4 (en) 2020-10-28
WO2018135188A1 (ja) 2018-07-26
JPWO2018135188A1 (ja) 2019-11-07
EP3572000A1 (en) 2019-11-27
CN110114001A (zh) 2019-08-09
CN110114001B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
JP4426530B2 (ja) 超音波撮像装置および超音波撮像方法
US20120121150A1 (en) Ultrasonic image processing apparatus
US10722217B2 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
EP3936055B1 (en) Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device
JP6637610B2 (ja) 超音波診断装置及び超音波診断装置の制御方法
WO2020008746A1 (ja) 音響波診断装置および音響波診断装置の制御方法
JP5102475B2 (ja) 超音波診断装置
JP6744141B2 (ja) 超音波診断装置及び画像処理装置
JP6667676B2 (ja) 超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム
KR101656127B1 (ko) 계측 장치 및 그 제어 프로그램
JP2004008271A (ja) 超音波診断装置
JP7071898B2 (ja) 超音波診断装置、プログラムおよび超音波診断装置の動作方法
JP2003126089A (ja) 走査ヘッドの動きによる歪みのための拡大視野画像の補正
JP5820129B2 (ja) 超音波診断装置
US10667708B2 (en) Ultrasound diagnostic device
JP4761999B2 (ja) 超音波診断装置およびその画像処理方法、その画像処理プログラム
JP5999935B2 (ja) 超音波診断装置
JP2003079620A (ja) 超音波パノラマ画像形成装置
JP5409719B2 (ja) 超音波画像処理装置
JP6663029B2 (ja) 超音波診断装置及び超音波診断装置の制御方法
JP5829008B2 (ja) 超音波診断装置
JP7373045B2 (ja) 超音波撮像方法、超音波撮像装置、超音波撮像システムおよび超音波撮像プログラム
JP5746926B2 (ja) 超音波画像処理装置
US20240000434A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
JP6591199B2 (ja) 超音波診断装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R150 Certificate of patent or registration of utility model

Ref document number: 6667676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250