JP7328156B2 - Ultrasound diagnostic equipment, medical image processing equipment, and medical image processing program - Google Patents

Ultrasound diagnostic equipment, medical image processing equipment, and medical image processing program Download PDF

Info

Publication number
JP7328156B2
JP7328156B2 JP2020008628A JP2020008628A JP7328156B2 JP 7328156 B2 JP7328156 B2 JP 7328156B2 JP 2020008628 A JP2020008628 A JP 2020008628A JP 2020008628 A JP2020008628 A JP 2020008628A JP 7328156 B2 JP7328156 B2 JP 7328156B2
Authority
JP
Japan
Prior art keywords
image
heart
function
left ventricle
diagnostic apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020008628A
Other languages
Japanese (ja)
Other versions
JP2021115114A (en
Inventor
康彦 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2020008628A priority Critical patent/JP7328156B2/en
Priority to US17/151,727 priority patent/US20210219940A1/en
Priority to CN202110072468.1A priority patent/CN113143323B/en
Publication of JP2021115114A publication Critical patent/JP2021115114A/en
Application granted granted Critical
Publication of JP7328156B2 publication Critical patent/JP7328156B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow
    • A61B8/065Measuring blood flow to determine blood output from the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Description

本明細書および図面に開示の実施形態は、超音波診断装置、医用画像処理装置、および医用画像処理プログラムに関する。 The embodiments disclosed in this specification and drawings relate to an ultrasonic diagnostic apparatus, a medical image processing apparatus, and a medical image processing program.

超音波診断装置による心エコー検査では、2次元(2D)走査にもとづく2D動画像や3次元(3D)走査にもとづく3D動画像などの心臓動画像を心機能解析技術や心筋壁運動追跡技術により解析して機能指標値が求められ、これらの機能指標値を用いた心機能評価が行われる。2D動画像としては、たとえば2D走査でA4C像(心尖部4腔像)やA2C像(心尖部2腔像)の心尖長軸像を描出して得られた動画像が用いられる。さらに、近年では、心臓腔のそれぞれに固有の多種の機能指標値が取得可能となってきている。 In echocardiography using ultrasonic diagnostic equipment, cardiac motion images such as 2D moving images based on two-dimensional (2D) scanning and 3D moving images based on three-dimensional (3D) scanning are processed using cardiac function analysis technology and myocardial wall motion tracking technology. Functional index values are obtained by analysis, and cardiac function evaluation is performed using these functional index values. As the 2D moving image, for example, a moving image obtained by depicting an apical long-axis image of an A4C image (apical 4-chamber image) or an A2C image (apical 2-chamber image) by 2D scanning is used. Furthermore, in recent years, it has become possible to acquire various functional index values specific to each heart chamber.

しかし、複数の心臓腔の機能指標値を画面上に同時に表示してしまうと、表示画像が煩雑となり、ユーザは所望の機能指標値や心機能の状態を把握することが難しくなってしまう。たとえば、左心室と左心房の双方について、容積変化率(EF)と長軸方向グローバルストレイン(GLS)の情報と腔のサイズ情報とを同時に表示する場合、多数の数値が画面上に羅列されてしまい、画面表示の把握が困難となる。 However, if the functional index values of a plurality of heart chambers are displayed on the screen at the same time, the displayed image becomes complicated, making it difficult for the user to grasp the desired functional index value and heart function state. For example, when simultaneously displaying volumetric rate (EF) and longitudinal global strain (GLS) information and chamber size information for both the left ventricle and the left atrium, a large number of numerical values are displayed on the screen. This makes it difficult to grasp the screen display.

また、心房には心時相によってEFやGLSが複数定義存在するため、心室のEFやGLSよりも出力情報が増える。このため、心房の複数定義のEFやGLSを表示する場合、煩雑な表示となってしまうとともに、機能指標値にもとづく心機能の評価や理解が困難になってしまう。 In addition, since there are multiple definitions of EF and GLS in the atrium depending on the cardiac time phase, output information is greater than that of the EF and GLS of the ventricle. For this reason, when displaying the EF and GLS with multiple definitions of the atrium, the display becomes complicated, and it becomes difficult to evaluate and understand the cardiac function based on the function index value.

特開2017-121520号公報JP 2017-121520 A

本明細書および図面に開示の実施形態が解決しようとする課題の一つは、複数の心臓腔の機能指標値を含みユーザが容易かつ直感的に心機能状態を把握可能な画像を提供することである。ただし、本明細書および図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。 One of the problems to be solved by the embodiments disclosed in the present specification and drawings is to provide an image that includes functional index values of a plurality of heart chambers and allows the user to easily and intuitively grasp the heart function state. is. However, the problems to be solved by the embodiments disclosed in this specification and drawings are not limited to the above problems. A problem corresponding to each effect of each configuration shown in the embodiments described later can be positioned as another problem.

実施形態に係る超音波診断装置は、取得部と、画像生成部とを備える。取得部は、心臓の動画像に含まれる左心室を含む2つの心臓腔について、それぞれの心臓腔の機能指標値を取得する。画像生成部は、それぞれの心臓腔の機能指標値を心臓腔別に表示次元に割り付ける。また、画像生成部は、左心室の機能指標値を出力として定義した2次元の座標空間に対して、左心室の機能指標値についてあらかじめ定めた正常と異常の範囲に対応づけてカラー変換した範囲示唆画像を重畳した画像を生成する。 An ultrasonic diagnostic apparatus according to an embodiment includes an acquisition unit and an image generation unit. The acquiring unit acquires the functional index value of each of the two heart chambers including the left ventricle included in the moving image of the heart. The image generator allocates the functional index values of the respective heart chambers to display dimensions for each heart chamber. In addition, the image generation unit performs color conversion on a two-dimensional coordinate space in which the function index values of the left ventricle are defined as outputs in association with predetermined normal and abnormal ranges of the function index values of the left ventricle. An image is generated by superimposing the suggestive image.

一実施形態に係る超音波診断装置の一構成例を示すブロック図。FIG. 1 is a block diagram showing a configuration example of an ultrasound diagnostic apparatus according to an embodiment; 処理回路のプロセッサによる実現機能例を示すブロック図。FIG. 3 is a block diagram showing an example of a function realized by a processor of a processing circuit; 左心室に固有の複数の機能指標値を示す一覧画像の一例を示す説明図。FIG. 4 is an explanatory diagram showing an example of a list image showing a plurality of function index values unique to the left ventricle; 従来の技術において生成される複数の心臓腔の機能指標値を含む画像であって表示項目を限定した一覧画像およびの一例を示す説明図。FIG. 10 is an explanatory diagram showing an example of a list image with limited display items, which is an image including functional index values of a plurality of heart chambers generated in the conventional technique; 本実施形態に係る2D心機能画像の一例を示す説明図。An explanatory diagram showing an example of a 2D cardiac function image according to the present embodiment. 2D心機能画像の変形例画像の一例を示す説明図。Explanatory drawing which shows an example of the modified example image of a 2D cardiac function image. 本実施形態に係る3D心機能画像の一例を示す説明図。Explanatory drawing showing an example of a 3D cardiac function image according to the present embodiment. 軸を中心軸として3D心機能画像を回転させる場合に、遷移画像として表示される2D心機能画像の例を示す説明図。FIG. 4 is an explanatory diagram showing an example of a 2D cardiac function image displayed as a transition image when the 3D cardiac function image is rotated around an axis. 3D心機能画像の変形例画像の一例を示す説明図。Explanatory drawing which shows an example of the modification image of a 3D cardiac function image. 本実施形態に係る時系列画像の一例を示す説明図。Explanatory drawing which shows an example of the time-series image which concerns on this embodiment.

以下、図面を参照しながら、超音波診断装置、医用画像処理装置、および医用画像処理プログラムの実施形態について詳細に説明する。 Hereinafter, embodiments of an ultrasonic diagnostic apparatus, a medical image processing apparatus, and a medical image processing program will be described in detail with reference to the drawings.

(全体構成)
図1は、一実施形態に係る超音波診断装置10の一構成例を示すブロック図である。超音波診断装置10は、超音波プローブ20、入力インターフェース21、およびディスプレイ22と接続されて用いることができる。なお、超音波診断装置10は、超音波プローブ20、入力インターフェース21、およびディスプレイ22の少なくとも1つを備えてもよい。超音波診断装置10は、タブレット型やスマートフォン型であってもよい。
(overall structure)
FIG. 1 is a block diagram showing a configuration example of an ultrasonic diagnostic apparatus 10 according to one embodiment. The ultrasonic diagnostic apparatus 10 can be used by being connected to an ultrasonic probe 20 , an input interface 21 and a display 22 . Note that the ultrasound diagnostic apparatus 10 may include at least one of the ultrasound probe 20 , the input interface 21 and the display 22 . The ultrasonic diagnostic apparatus 10 may be tablet type or smart phone type.

超音波診断装置10は、図1に示すように、送受信回路11、Bモード処理回路12、ドプラ処理回路13、画像生成回路14、画像メモリ15、記憶回路16、ネットワーク接続回路17、および処理回路18を有する。 As shown in FIG. 1, the ultrasonic diagnostic apparatus 10 includes a transmission/reception circuit 11, a B-mode processing circuit 12, a Doppler processing circuit 13, an image generation circuit 14, an image memory 15, a storage circuit 16, a network connection circuit 17, and processing circuits. 18.

送受信回路11は、送信回路および受信回路を有する。送受信回路11は、処理回路18に制御されて、超音波の送受信における送信指向性と受信指向性とを制御する。なお、図1には送受信回路11が超音波診断装置10に設けられる場合の例について示したが、送受信回路11は超音波プローブ20に設けられてもよいし、超音波診断装置10と超音波プローブ20の両方に設けられてもよい。 The transmission/reception circuit 11 has a transmission circuit and a reception circuit. The transmission/reception circuit 11 is controlled by the processing circuit 18 to control transmission directivity and reception directivity in transmission/reception of ultrasonic waves. Although FIG. 1 shows an example in which the transmitting/receiving circuit 11 is provided in the ultrasonic diagnostic apparatus 10, the transmitting/receiving circuit 11 may be provided in the ultrasonic probe 20. Both probes 20 may be provided.

送信回路は、パルス発生器、送信遅延回路およびパルサ回路などを有し、超音波振動子に駆動信号を供給する。パルス発生器は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。送信遅延回路は、超音波振動子から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子ごとの遅延時間を、パルス発生器が発生する各レートパルスに対し与える。また、パルサ回路は、レートパルスにもとづくタイミングで、超音波振動子に駆動パルスを印加する。送信遅延回路は、各レートパルスに対し与える遅延時間を変化させることで、圧電振動子面から送信される超音波ビームの送信方向を任意に調整する。 The transmission circuit has a pulse generator, a transmission delay circuit, a pulser circuit, and the like, and supplies drive signals to the ultrasonic transducers. A pulse generator repeatedly generates rate pulses at a predetermined rate frequency to form a transmitted ultrasound wave. The transmission delay circuit adjusts the delay time for each piezoelectric transducer necessary to focus the ultrasonic waves generated from the ultrasonic transducers into a beam and determine the transmission directivity by adjusting each rate pulse generated by the pulse generator. give to Also, the pulsar circuit applies a drive pulse to the ultrasonic transducer at a timing based on the rate pulse. The transmission delay circuit arbitrarily adjusts the transmission direction of the ultrasonic beam transmitted from the piezoelectric transducer surface by changing the delay time given to each rate pulse.

受信回路は、アンプ回路、A/D変換器、加算器などを有し、超音波振動子が受信したエコー信号を受け、このエコー信号に対して各種処理を行なってエコーデータを生成する。アンプ回路は、エコー信号をチャンネルごとに増幅してゲイン補正処理を行なう。A/D変換器は、ゲイン補正されたエコー信号をA/D変換し、デジタルデータに受信指向性を決定するのに必要な遅延時間を与える。加算器は、A/D変換器によって処理されたエコー信号の加算処理を行なってエコーデータを生成する。加算器の加算処理により、エコー信号の受信指向性に応じた方向からの反射成分が強調される。 The receiving circuit has an amplifier circuit, an A/D converter, an adder, etc., receives echo signals received by the ultrasonic transducers, and performs various processes on the echo signals to generate echo data. The amplifier circuit amplifies the echo signal for each channel and performs gain correction processing. The A/D converter A/D-converts the gain-corrected echo signal and gives the digital data a delay time necessary to determine the reception directivity. The adder adds the echo signals processed by the A/D converter to generate echo data. The addition processing of the adder emphasizes the reflection component from the direction corresponding to the reception directivity of the echo signal.

Bモード処理回路12は、受信回路からエコーデータを受信し、対数増幅、包絡線検波処理などを行なって、信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。ドプラ処理回路13は、受信回路から受信したエコーデータから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワーなどの移動態情報を多点について抽出したデータ(ドプラデータ)を生成する。 The B-mode processing circuit 12 receives the echo data from the receiving circuit, performs logarithmic amplification, envelope detection processing, etc., and generates data (B-mode data) in which the signal intensity is represented by brightness. The Doppler processing circuit 13 frequency-analyzes the velocity information from the echo data received from the receiving circuit, extracts the blood flow, tissue, and contrast agent echo components due to the Doppler effect, and collects the moving state information such as the average velocity, dispersion, and power. Generate extracted data (Doppler data) for the points.

画像生成回路14は、超音波プローブ20が受信したエコー信号にもとづいて超音波画像データを生成する。たとえば、画像生成回路14は、Bモード処理回路12が生成した2次元のBモードデータから反射波の強度を輝度にて表した2次元Bモード画像データを生成する。また、画像生成回路14は、ドプラ処理回路13が生成した2次元のドプラデータから移動態情報を表す平均速度画像、分散画像、パワー画像、または、これらの組み合わせ画像としての2次元のカラードプラ画像の画像データを生成する。 The image generating circuit 14 generates ultrasonic image data based on echo signals received by the ultrasonic probe 20 . For example, the image generating circuit 14 generates, from the two-dimensional B-mode data generated by the B-mode processing circuit 12, two-dimensional B-mode image data representing the intensity of the reflected wave in luminance. In addition, the image generation circuit 14 converts the two-dimensional Doppler data generated by the Doppler processing circuit 13 into a two-dimensional color Doppler image as an average velocity image, a variance image, a power image, or a combination of these images representing movement state information. image data.

画像メモリ15は、処理回路18が生成した画像を記憶するメモリである。記憶回路16は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録媒体を含んだ構成を有する。記憶回路16の記憶媒体内のプログラムおよびデータの一部または全部はネットワークNを介した通信によりダウンロードされてもよいし、光ディスクなどの可搬型記憶媒体を介して記憶回路16に与えられてもよい。なお、記憶回路16に記憶される情報の一部または全部は、外部の記憶回路や超音波プローブ20の図示しない記憶回路などの記憶媒体の少なくとも1つに分散されて記憶され、あるいは複製されて記憶されてもよい。 The image memory 15 is a memory for storing images generated by the processing circuit 18 . The storage circuit 16 has a configuration including a processor-readable recording medium such as a magnetic or optical recording medium or a semiconductor memory. A part or all of the program and data in the storage medium of the storage circuit 16 may be downloaded by communication via the network N, or may be provided to the storage circuit 16 via a portable storage medium such as an optical disc. . Some or all of the information stored in the storage circuit 16 is distributed and stored in at least one storage medium such as an external storage circuit or a storage circuit (not shown) of the ultrasound probe 20, or is replicated. may be stored.

ネットワーク接続回路17は、ネットワークNの形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続回路17は、この各種プロトコルに従って超音波診断装置10と他の電気機器とを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、病院基幹LAN(Local Area Network)などの無線/有線LANやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。 The network connection circuit 17 implements various information communication protocols according to the form of the network N. FIG. The network connection circuit 17 connects the ultrasonic diagnostic apparatus 10 and other electric devices according to these various protocols. An electrical connection via an electronic network or the like can be applied to this connection. Here, the electronic network means all information communication networks using telecommunication technology, including wireless/wired LAN such as hospital backbone LAN (Local Area Network), Internet network, telephone communication line network, optical fiber communication network. , including cable and satellite communications networks.

処理回路18は、超音波診断装置10を統括制御する機能を実現する。また、処理回路18は、記憶回路16に記憶された医用画像処理プログラムを読み出して実行することにより、複数の心臓腔の機能指標値を含みユーザが容易かつ直感的に心機能状態を把握可能な画像を提供するための処理を実行するプロセッサである。 The processing circuit 18 implements a function of centrally controlling the ultrasonic diagnostic apparatus 10 . In addition, the processing circuit 18 reads out and executes the medical image processing program stored in the storage circuit 16, thereby allowing the user to easily and intuitively grasp the cardiac function state including the functional index values of a plurality of heart chambers. A processor that executes processing for providing an image.

超音波プローブ20は、超音波診断装置10とケーブルを介して着脱自在に接続される。なお、超音波プローブ20は超音波診断装置10と無線接続されてもよい。 The ultrasonic probe 20 is detachably connected to the ultrasonic diagnostic apparatus 10 via a cable. Note that the ultrasonic probe 20 may be wirelessly connected to the ultrasonic diagnostic apparatus 10 .

超音波プローブ20としては、スキャン方向(アジマス方向)に複数の超音波振動子が配列されるとともにレンズ方向(エレベーション方向)にも複数の素子が配列された2次元アレイプローブを用いることができる。この種の2次元アレイプローブとしては、たとえば1.5Dアレイプローブ、1.75Dアレイプローブや、2Dアレイプローブなどを用いることができる。 As the ultrasonic probe 20, a two-dimensional array probe in which a plurality of ultrasonic transducers are arranged in the scanning direction (azimuth direction) and a plurality of elements are arranged in the lens direction (elevation direction) can be used. . For example, a 1.5D array probe, a 1.75D array probe, a 2D array probe, or the like can be used as this type of two-dimensional array probe.

なお、超音波プローブ20は、ボリュームデータを取得可能に構成されてもよい。この場合、2次元アレイプローブである超音波プローブ20により被検体を3次元でスキャンしてもよいし、複数の圧電振動子が一列で配置された1次元超音波プローブである超音波プローブ20により被検体を2次元でスキャンするか、あるいはこれら複数の超音波振動子を回転させることで被検体を3次元でスキャンしてもよいし、1次元超音波プローブの複数の圧電振動子を機械的に揺動してもよい。 Note that the ultrasonic probe 20 may be configured to be able to acquire volume data. In this case, the subject may be scanned three-dimensionally by the ultrasonic probe 20, which is a two-dimensional array probe, or by the ultrasonic probe 20, which is a one-dimensional ultrasonic probe in which a plurality of piezoelectric transducers are arranged in a line. The subject may be scanned two-dimensionally, or the subject may be scanned three-dimensionally by rotating the plurality of ultrasonic transducers. may oscillate to

超音波プローブ20がボリュームデータを取得可能な場合、ユーザは、複数の2次元超音波画像のいずれかをリアルタイムな動画としてまたは静止画として表示させる2次元表示モード(2Dモード)と、リアルタイムに取得されている3次元超音波画像を動画として表示させる4次元表示モード(4Dモード)とのいずれかのモードを選択可能である。 When the ultrasound probe 20 can acquire volume data, the user can select a two-dimensional display mode (2D mode) for displaying any of a plurality of two-dimensional ultrasound images as a real-time moving image or a still image, and real-time acquisition. A four-dimensional display mode (4D mode) in which a three-dimensional ultrasound image is displayed as a moving image can be selected.

入力インターフェース21は、たとえばトラックボール、スイッチ、ボタン、マウス、キーボード、操作面へ触れることで入力操作を行なうタッチパッド、光学センサを用いた非接触入力回路、および音声入力回路等などの一般的な入力装置により実現され、ユーザの操作に対応した操作入力信号を処理回路18に出力する。入力インターフェース21は、操作パネルとして構成されてもよい。この場合、操作パネルは、タッチコマンドスクリーンとして機能し、たとえばディスプレイと、このディスプレイの近傍に設けられたタッチ入力回路と、ハードキーとを有する。 The input interface 21 includes, for example, a trackball, a switch, a button, a mouse, a keyboard, a touch pad that performs input operations by touching an operation surface, a non-contact input circuit using an optical sensor, a voice input circuit, and the like. It is implemented by an input device and outputs an operation input signal corresponding to a user's operation to the processing circuit 18 . The input interface 21 may be configured as an operation panel. In this case, the operation panel functions as a touch command screen and has, for example, a display, a touch input circuit provided near the display, and hard keys.

ディスプレイ22は、たとえば液晶ディスプレイやOLED(Organic Light Emitting Diode)ディスプレイなどの一般的な表示出力装置により構成され、処理回路18の制御に従って各種情報を表示する。なお、超音波診断装置10は、および入力インターフェース21およびディスプレイ22の少なくとも一方を備えずともよい。 The display 22 is composed of a general display output device such as a liquid crystal display or an OLED (Organic Light Emitting Diode) display, and displays various information under the control of the processing circuit 18 . Note that the ultrasonic diagnostic apparatus 10 may not include at least one of the input interface 21 and the display 22 .

なお、たとえば超音波診断装置10が据え置き型の装置であって入力インターフェース21およびディスプレイ22を備える場合、入力インターフェース21はタッチコマンドスクリーンとして機能してもよい。また、超音波診断装置10がタブレット型やスマートフォン型の超音波診断装置10である場合は、入力インターフェース21とディスプレイ22とが一体としてタッチパネルを構成してもよい。 Note that, for example, when the ultrasonic diagnostic apparatus 10 is a stationary apparatus and includes the input interface 21 and the display 22, the input interface 21 may function as a touch command screen. Further, when the ultrasonic diagnostic apparatus 10 is a tablet-type or smartphone-type ultrasonic diagnostic apparatus 10, the input interface 21 and the display 22 may be integrated to form a touch panel.

また、超音波診断装置10は、医用画像処理装置30および画像サーバ40とネットワークNを介して互いにデータ送受信可能に接続されてもよい。 Further, the ultrasonic diagnostic apparatus 10 may be connected to the medical image processing apparatus 30 and the image server 40 via the network N so that data can be exchanged with each other.

図2は、処理回路18のプロセッサによる実現機能例を示すブロック図である。図2に示すように、処理回路18のプロセッサは、解析機能51、指標取得機能52、範囲設定機能53、および画像生成機能54を実現する。これらの各機能51-54は、それぞれプログラムの形態で記憶回路16に記憶されている。 FIG. 2 is a block diagram showing an example of functions realized by the processor of the processing circuit 18. As shown in FIG. As shown in FIG. 2, the processor of processing circuit 18 implements analysis function 51 , index acquisition function 52 , range setting function 53 , and image generation function 54 . Each of these functions 51-54 is stored in the memory circuit 16 in the form of a program.

解析機能51は、被検体の心臓の連続する複数フレームの画像(以下、心臓動画像という)を解析することにより、左心室を含む2以上の心臓腔のそれぞれについて、各心臓腔に固有の機能指標値を求める。 The analysis function 51 analyzes a plurality of consecutive frame images (hereinafter referred to as cardiac motion images) of the subject's heart to determine functions specific to each heart chamber for each of two or more heart chambers including the left ventricle. Find the index value.

なお、心臓動画像は、Bモード処理回路12やドプラ処理回路13により生成されたデータにもとづいて超音波診断装置10が生成したものをリアルタイムまたはポストプロセスで用いてもよい。また、心臓動画像は、図示しないX線CT(Computed Tomography)装置やMRI(Magnet Resonance Imaging)装置などの他のモダリティで被検体が撮影されて生成されたものであってもよい。他のモダリティで生成された心臓動画像は、ネットワークNを介して当該他のモダリティから直接または画像サーバ40を介して間接的に取得されたものであってもよい。 Cardiac moving images generated by the ultrasonic diagnostic apparatus 10 based on data generated by the B-mode processing circuit 12 and the Doppler processing circuit 13 may be used in real time or post-process. In addition, the cardiac motion image may be generated by imaging the subject with other modalities such as an X-ray CT (Computed Tomography) device or an MRI (Magnet Resonance Imaging) device (not shown). Cardiac motion images generated by other modalities may be acquired directly from the other modalities via network N or indirectly via image server 40 .

また、機能指標値は、ワークステーションや医用画像処理装置30などの情報処理装置、あるいは他の超音波診断装置や他のモダリティが心臓動画像を解析することによって求めたものであってもよい。この場合、超音波診断装置10は解析機能51を備えずともよい。 Also, the function index value may be obtained by analyzing a cardiac motion image by an information processing device such as a workstation or the medical image processing device 30, another ultrasonic diagnostic device, or another modality. In this case, the ultrasonic diagnostic apparatus 10 may not have the analysis function 51 .

超音波診断装置10が解析機能51を備える場合、解析機能51はまず、たとえば自装置によって被検体の少なくとも1心周期以上にわたる心臓腔を含む2D動画像または3D動画像を取得する。つづいて、解析機能51は心臓動画像の少なくとも1つ以上の初期時相において、左心室を含む心臓腔の関心領域を複数抽出する。そして、解析機能51は、抽出した心臓腔の関心領域のそれぞれについて1心周期における位置を同定し、所定の心時相における心臓腔の関心領域の位置からグローバルな心機能指標を求める。 When the ultrasonic diagnostic apparatus 10 has the analysis function 51, the analysis function 51 first acquires, for example, a 2D moving image or a 3D moving image including a heart cavity over at least one cardiac cycle of the subject. Subsequently, the analysis function 51 extracts a plurality of regions of interest of the heart cavity including the left ventricle in at least one or more initial time phases of the cardiac motion image. Then, the analysis function 51 identifies the position in one cardiac cycle for each of the extracted regions of interest of the heart cavity, and obtains a global cardiac function index from the position of the region of interest of the heart cavity in a predetermined cardiac phase.

位置の同定方法としては2Dまたは3Dのspeckle-tracking echocardiography(STE)法が好適である。また、グローバルな心機能指標としては、内腔容積の心周期内変化率であるEF(左心室においてはEjection Fraction、左心房においてはEmptying Fraction)や、心筋ストレイン情報である長軸方向グローバルストレイン(global longitudinal strain(GLS))が好適である。また、3D動画像を用いる場合は、内膜や中層の境界面に関する面積変化率(global area change ratio(GAC))を定義することもできる。 A 2D or 3D speckle-tracking echocardiography (STE) method is suitable as a localization method. In addition, as a global cardiac function index, EF (Ejection Fraction in the left ventricle, Emptying Fraction in the left atrium), which is the intracardiac cycle change rate of lumen volume, and longitudinal global strain ( global longitudinal strain (GLS) is preferred. Also, when using a 3D moving image, it is also possible to define a global area change ratio (GAC) for the interface between the endocardium and the middle layer.

指標取得機能52は、画像生成機能54によって制御されて、心臓の動画像に含まれる複数の心臓腔について、それぞれの心臓腔の機能指標値を取得する。以下の説明では、指標取得機能52が心臓の動画像に含まれる左心室を含む少なくとも2つの心臓腔について、それぞれの心臓腔の機能指標値を取得する場合の例を示す。指標取得機能52は、取得部の一例である。 The index acquisition function 52 is controlled by the image generation function 54 to acquire functional index values for each of a plurality of heart chambers included in the moving image of the heart. In the following description, an example is shown in which the index acquisition function 52 acquires the functional index values of at least two heart chambers including the left ventricle included in the moving image of the heart. The index acquisition function 52 is an example of an acquisition unit.

範囲設定機能53は、機能指標値についてあらかじめ定められた正常と異常の範囲を設定する。機能指標値の正常の範囲と異常の範囲は、あらかじめ記憶回路16に記憶されてもよいし、ユーザにより入力インターフェース21を介して与えられてもよい。 The range setting function 53 sets a predetermined normal and abnormal range for the function index value. The normal range and the abnormal range of function index values may be stored in the storage circuit 16 in advance, or may be provided by the user via the input interface 21 .

画像生成機能54は、複数の心臓腔の機能指標値を心臓腔別に各次元に割り付けた多次元の座標空間に対して、複数の心臓腔のうち所定の心臓腔の機能指標についてあらかじめ定めた正常と異常の範囲に対応づけてカラー変換した範囲示唆画像を重畳した画像を生成する。たとえば、画像生成機能54は、まず、それぞれの心臓腔の機能指標値を心臓腔別に表示次元に割り付け、左心室の機能指標値を出力として定義した2次元の座標空間を設定する。そして、画像生成機能54は、2次元の座標空間に対して、左心室の機能指標値についてあらかじめ定めた正常と異常の範囲に対応づけてカラー変換した範囲示唆画像を重畳した画像を生成し、ディスプレイ22に表示させる。画像生成機能54は、画像生成部の一例である。 The image generation function 54 calculates a predetermined normality of a predetermined heart chamber function index among the plurality of heart chambers in a multi-dimensional coordinate space in which the function index values of a plurality of heart chambers are assigned to each dimension for each heart chamber. and the abnormal range, and the color-converted range suggestive image is superimposed. For example, the image generating function 54 first assigns the functional index values of the respective heart chambers to display dimensions for each heart chamber, and sets a two-dimensional coordinate space in which the functional index values of the left ventricle are defined as outputs. Then, the image generating function 54 generates an image by superimposing the range-indicative image obtained by color-converting the left ventricular function index value in association with the predetermined range of normality and abnormality in the two-dimensional coordinate space, display on the display 22. The image generation function 54 is an example of an image generation section.

なお、処理回路18の各機能52-54は、医用画像処理装置30に備えられてもよい。また、医用画像処理装置30は、解析機能51を備えてもよい。解析機能51を備える場合は、医用画像処理装置30は、超音波診断装置10、画像サーバ40、または他のモダリティから、ネットワークNを介して被検体の心臓動画像を取得して機能評価値を求める。医用画像処理装置30は、2次元の座標空間に対して範囲示唆画像を重畳した画像を生成して、ディスプレイ22や医用画像処理装置30のディスプレイなどの画像表示装置に表示させる。 Note that each function 52 - 54 of the processing circuit 18 may be provided in the medical image processing apparatus 30 . The medical image processing apparatus 30 may also have an analysis function 51 . When the analysis function 51 is provided, the medical image processing apparatus 30 acquires cardiac motion images of the subject from the ultrasonic diagnostic apparatus 10, the image server 40, or other modalities via the network N and obtains a functional evaluation value. demand. The medical image processing apparatus 30 generates an image in which the range suggestive image is superimposed on the two-dimensional coordinate space, and displays it on an image display device such as the display 22 or the display of the medical image processing apparatus 30 .

(文字列の一覧画像例)
ここで、従来の技術において生成される複数の心臓腔の機能指標値を含む画像について説明する。
(Example of list image of character strings)
An image containing functional index values of a plurality of heart chambers generated in the conventional technique will now be described.

図3は、左心室に固有の複数の機能指標値を示す一覧画像101の一例を示す説明図である。 FIG. 3 is an explanatory diagram showing an example of a list image 101 showing a plurality of function index values unique to the left ventricle.

上述の通り、超音波診断装置による心エコー検査では、2D動画像や3D動画像などの心臓動画像を解析して得られる機能指標値を用いて心機能評価が行われる。機能指標値には、modified-Simpson法による左心室(Left Ventricular:LV)の容積情報(End Diastolic Volume:EDV、 End Systolic Volume:ESV、 Ejection Fraction:EF)や、speckle-tracking echocardiography(STE)法で得られたglobal longitudinal strain(GLS)情報をなどが含まれる。EFやGLS情報は、たとえば全自動化されたAuto-EFアプリケーションによって取得可能であることが知られている(図3参照)。 As described above, in echocardiography using an ultrasonic diagnostic apparatus, cardiac function evaluation is performed using function index values obtained by analyzing cardiac moving images such as 2D moving images and 3D moving images. The functional index values include volume information (End Diastolic Volume: EDV, End Systolic Volume: ESV, Ejection Fraction: EF) of the left ventricle (Left Ventricular: LV) by the modified-Simpson method, and speckle-tracking echocardiography (STE) method. including global longitudinal strain (GLS) information obtained in . It is known that EF and GLS information can be obtained by, for example, a fully automated Auto-EF application (see FIG. 3).

また、左心室以外であっても、たとえば左心房(Left Atrium:LA)についても、2D動画像を用いた2D-STE法による容積変化率(Emptying Fraction:EF)情報やGLS情報の取得や解析が可能である。左心室については、3D動画像を用いた3次元的なEFや、GLSおよびglobal area change ratio(GAC)といったストレイン情報の取得が3D-STE法により可能であることが知られている。 In addition to the left ventricle, for example, the left atrium (LA), the volume change rate (Emptying Fraction: EF) information and GLS information acquisition and analysis by 2D-STE method using 2D moving images is possible. As for the left ventricle, it is known that the 3D-STE method can acquire strain information such as three-dimensional EF using 3D moving images and GLS and global area change ratio (GAC).

また、近年では、右心室(Right Ventricular:RV)や右心房(Right Atrium:RA)の3次元的なEFによる心機能解析機能も提供されている。また、2D-STE法によるGLSの取得は、A4C像を用いることでLV、LA、RVおよびRAの4腔で可能となっている。さらには、EFを用いた複数心臓腔の同時解析も行われるようになってきている。 Moreover, in recent years, a cardiac function analysis function based on three-dimensional EF of the right ventricle (RV) and right atrium (RA) has also been provided. In addition, acquisition of GLS by the 2D-STE method is possible in four cavities, LV, LA, RV and RA, by using A4C images. Furthermore, simultaneous analysis of multiple heart chambers using EF has also come to be performed.

しかし、複数の心臓腔の機能指標値を画面上に同時に表示してしまうと、表示画像が煩雑となり、ユーザは所望の機能指標値や心機能の状態を把握することが難しくなってしまう。たとえば、左心室と左心房の双方について、EFとGLSの情報と腔のサイズ情報とを同時に表示する場合を考える。この場合、図3に示す左心室の機能指標値のみからなる一覧画像101と同様の左心房の一覧画像が一覧画像101と同時に画面上に並列表示されてしまう。このため、ユーザは多数の文字列の羅列にさらされてしまい、被検体の心機能状態を把握することが難しい。 However, if the functional index values of a plurality of heart chambers are displayed on the screen at the same time, the displayed image becomes complicated, making it difficult for the user to grasp the desired functional index value and heart function state. For example, consider displaying EF and GLS information and chamber size information simultaneously for both the left ventricle and the left atrium. In this case, a list image of the left atrium similar to the list image 101 shown in FIG. For this reason, the user is exposed to a list of many character strings, and it is difficult to grasp the heart function state of the subject.

また、心房には心時相によってEFやGLSが複数定義存在するため、心室のEFやGLSよりも出力情報が増える。たとえば、左心房に関するEF(容積変化率)には、total EF、active EF、およびpassive EFの3つの種別がある。このため、心房の複数種別のEFやGLSを表示する場合、煩雑な表示となってしまうとともに、機能指標値にもとづく心機能の評価や理解が困難となってしまう。 In addition, since there are multiple definitions of EF and GLS in the atrium depending on the cardiac time phase, output information is greater than that of the EF and GLS of the ventricle. For example, there are three types of EF (fractional volume change) for the left atrium: total EF, active EF, and passive EF. Therefore, when multiple types of EF and GLS of the atrium are displayed, the display becomes complicated, and it becomes difficult to evaluate and understand the cardiac function based on the function index value.

複数の心臓腔の機能指標値を画面上に同時に表示する際のこの種の煩雑さを避ける方法として、表示項目を限定して同時に表示させる方法が考えられる。 As a method of avoiding this kind of complication when simultaneously displaying the functional index values of a plurality of heart chambers on the screen, a method of limiting the display items and displaying them at the same time is conceivable.

図4は、従来の技術において生成される複数の心臓腔の機能指標値を含む画像であって表示項目を限定した一覧画像102および103の一例を示す説明図である。図4に示す例では、一覧画像102は左心室の、一覧画像103は左心房の、機能指標値の一部項目の一覧を示す画像である。 FIG. 4 is an explanatory diagram showing an example of list images 102 and 103, which are images including functional index values of a plurality of heart chambers generated in the conventional technique, and in which display items are limited. In the example shown in FIG. 4, the list image 102 is an image showing a list of partial items of the function index values for the left ventricle, and the list image 103 is for the left atrium.

図4に示すように、一覧画像102、103に一覧表示する表示項目を限定することにより、図3に示す一覧画像101に相当する一覧画像を2つ並列表示する場合に比べ、文字列の数を減らすことができ、ユーザの視認性が向上する。しかしながら、図4から明らかなように、たとえ表示項目を限定したとしても、多数の文字列が画面上に羅列されている状況は改善されておらず、やはりユーザは被検体の心機能状態を把握することが難しい。また、表示項目を限定してしまうため、確認可能な情報が減少し診断精度が悪くなってしまう。そもそも、たとえ表示項目を限定したとしても、数値のみが羅列された一覧画像102と一覧画像103とを見比べてみたところで、異なる心臓腔どうしの情報の関係性を直感的に理解することは極めて困難である。 As shown in FIG. 4, by limiting the display items to be displayed in the list images 102 and 103, the number of character strings is reduced compared to the case where two list images corresponding to the list image 101 shown in FIG. 3 are displayed side by side. can be reduced, and the user's visibility is improved. However, as is clear from FIG. 4, even if the display items are limited, the situation in which a large number of character strings are listed on the screen has not been improved, and the user still has to grasp the heart function state of the subject. difficult to do In addition, since the display items are limited, the amount of information that can be confirmed is reduced, resulting in deterioration in diagnostic accuracy. In the first place, even if the display items are limited, it is extremely difficult to intuitively understand the relationship of information between different heart chambers by comparing the list image 102 and the list image 103 in which only numerical values are listed. is.

そこで、本実施形態に係る超音波診断装置10の処理回路18は、複数の心臓腔の機能指標値を含みユーザが容易かつ直感的に心機能状態を把握可能な画像を生成してディスプレイ22に表示させる。 Therefore, the processing circuit 18 of the ultrasonic diagnostic apparatus 10 according to the present embodiment generates an image that includes functional index values of a plurality of heart chambers and allows the user to easily and intuitively grasp the heart function state, and displays the image on the display 22. display.

(2Dプロット)
図5は、本実施形態に係る2D心機能画像61の一例を示す説明図である。図5に示すように、画像生成機能54は、同一のグローバルな心機能指標を心臓腔別に表示次元に割り付けて2次元座標空間にプロットした2D心機能画像61を生成してもよい。
(2D plot)
FIG. 5 is an explanatory diagram showing an example of a 2D cardiac function image 61 according to this embodiment. As shown in FIG. 5, the image generation function 54 may generate a 2D cardiac function image 61 in which the same global cardiac function index is assigned to display dimensions for each heart chamber and plotted in a two-dimensional coordinate space.

図5に示す2D心機能画像61は、同一のグローバルな心機能指標として容積変化率(EF)を用い、心機能評価において重視されることが多い左心室の容積変化率(左室駆出率、LVEF)を出力次元とし、左心房の容積変化率(LAEF)を入力次元として定義した2次元の座標空間にプロットする場合の画像例である。入力次元には、右心室の容積変化率(RVEF)を用いてもよい。 The 2D cardiac function image 61 shown in FIG. 5 uses the volume change rate (EF) as the same global cardiac function index, and the volume change rate (left ventricular ejection fraction) of the left ventricle, which is often emphasized in cardiac function evaluation. , LVEF) as the output dimension and the left atrium volume change rate (LAEF) as the input dimension. The input dimension may be the right ventricular volume fraction (RVEF).

また、画像生成機能54は、出力次元に割り付けた機能指標値についてあらかじめ定められた正常と異常の範囲に対してカラー変換したカラー2Dマッピング画像である範囲示唆画像61aを2次元の座標空間に重畳し、範囲示唆画像61a上にプロットするとよい。この場合、入力次元には対応する心臓腔が取り得る値の範囲で割り付けるとよい。図5には、LVEFのガイドライン値にもとづいて、健常値とされる55%以上を正常の範囲とする一方、心臓再同期療法での対象値とされる35%以下を異常の範囲として、信号機のような緑色、黄色、赤色を用いたカラーの範囲示唆画像61aが重畳される場合の例を示した。 In addition, the image generation function 54 superimposes a range suggestive image 61a, which is a color 2D mapping image obtained by color-converting the predetermined normal and abnormal ranges for the function index values assigned to the output dimensions, onto the two-dimensional coordinate space. and plotted on the range suggestive image 61a. In this case, the input dimension should be assigned a range of possible values for the corresponding heart chamber. Based on the LVEF guideline value, in FIG. An example is shown in which color range suggestive images 61a using green, yellow, and red are superimposed.

また、画像生成機能54は、2D心機能画像61に対して、さらにそれぞれの機能指標値についてあらかじめ定めた正常と異常の範囲を示す画像を重畳してもよい。図5には、LVEFの正常範囲の閾値である55%を示す正常閾値線62と異常範囲の閾値である35%を示す異常閾値線63が2D心機能画像61に対して重畳される場合の例を示した。 Further, the image generation function 54 may superimpose an image indicating a predetermined range of normality and abnormality for each function index value on the 2D cardiac function image 61 . FIG. 5 shows a case where a normal threshold line 62 indicating 55%, which is the threshold of the normal range of LVEF, and an abnormal threshold line 63 indicating 35%, which is the threshold of the abnormal range, are superimposed on the 2D cardiac function image 61. I gave an example.

さらに、画像生成機能54は、2D心機能画像61において、心房に関する複数種別の容積変化率の種別を標識して、同時に2次元座標空間上にプロットしてもよい。図5には、左心房のtotal-EFとactive-EFを、total-EFについて「t」、active-EFについて「a」、とEFの種別を標識してプロットする場合の例を示した。 Furthermore, the image generation function 54 may label multiple types of volumetric change rates related to the atria in the 2D cardiac function image 61 and plot them on the two-dimensional coordinate space at the same time. FIG. 5 shows an example of plotting the total-EF and active-EF of the left atrium by labeling the type of EF with "t" for total-EF and "a" for active-EF.

また、この場合画像生成機能54は、図5に示すように、複数種別の容積変化率を同時にプロットするか、一方の容積変化率のみをプロットするかについてのユーザの選択を受け付けるための選択受付画像64を生成し2D心機能画像61に含めてもよい。 Further, in this case, the image generation function 54, as shown in FIG. An image 64 may be generated and included in the 2D cardiac function image 61 .

ここで、左心房のtotal-EF(Emptying Fraction)(EFt)は、EFt=100*(Vmax-Vmin)/Vmax[%]で与えられる(ただしVは左心房の容積を表す)。また、左心房のactive-EF(EFa)は、EFa=100*(VpreA-Vmin)/VpreA[%]で与えられる。Vmax(最大容積)、Vmin(最小容積)、VpreA(心房収縮期前の容積)は、心周期における左心房の容積の時間変化曲線から求められる。 Here, the total-EF (Emptying Fraction) (EFt) of the left atrium is given by EFt=100*(Vmax-Vmin)/Vmax [%] (where V represents the volume of the left atrium). Also, the left atrium active-EF (EFa) is given by EFa=100*(VpreA-Vmin)/VpreA[%]. Vmax (maximum volume), Vmin (minimum volume), and VpreA (pre-systolic atrial volume) are determined from the curve of left atrial volume over time during the cardiac cycle.

なお、A4C像、A2C像単独の場合の心房容積は、左心室LV、左心房LA双方1断面の値でプロットする。A4C像とA2C像の結果を合成する場合は、左心室LV、左心房LA双方ともにmodified Simpson法による合成値でプロットする。 Note that the atrial volume in the case of the A4C image and the A2C image alone is plotted as the value of one slice for both the left ventricle LV and the left atrium LA. When synthesizing the results of the A4C image and the A2C image, both the left ventricle LV and the left atrium LA are plotted as synthesized values by the modified Simpson method.

VpreAに対応する時相は、たとえばZareian et al.(Journal of Cardiovascular Magnetic Resonance (2015) 17:52)により開示された、容積の時間変化曲線を時間微分して拡張後期でのゼロクロス時相を求める方法により求められる。この際にA4C像とA2C像の結果を合成する場合は、各々の断面でVpreA時相を決めてmodified Simpson法による合成VpreA値を求めればよい。 The time phase corresponding to VpreA is obtained by time differentiation of the volume time change curve disclosed by Zareian et al. determined by the method. At this time, when combining the results of the A4C image and the A2C image, the VpreA time phase is determined for each cross section and the combined VpreA value is obtained by the modified Simpson method.

また、2D心機能画像61は、図3や図4に示すような心臓の超音波画像と同時に表示されるとよい。このとき、機能指標を求める際に用いられた関心領域の位置を示す情報がさらに同時に表示されてもよい。 Moreover, the 2D cardiac function image 61 is preferably displayed simultaneously with the cardiac ultrasound images as shown in FIGS. 3 and 4 . At this time, information indicating the position of the region of interest used when obtaining the functional index may be displayed at the same time.

2D心機能画像61によれば、ユーザは、機能指標値の数値が羅列される場合に比べ、数字の羅列にわずらわされることも無く、極めて容易かつ直感的に機能指標値を把握することができる。また、2D心機能画像61には正常と異常の範囲に対してカラー変換したカラー2Dマッピング画像である範囲示唆画像61aが重畳されているため、ユーザは、プロットの位置に対応する範囲示唆画像61aの色を視認するだけで被検体の心機能状態を即座に把握することができる。 According to the 2D cardiac function image 61, the user can grasp the functional index values very easily and intuitively without being troubled by enumerating the numbers compared to the case where the numerical values of the functional index values are enumerated. be able to. In addition, since the 2D cardiac function image 61 is superimposed with the range suggestive image 61a, which is a color 2D mapping image obtained by color-converting the normal and abnormal ranges, the user can display the range suggestive image 61a corresponding to the position of the plot. The heart function state of the subject can be immediately grasped just by visually recognizing the color of .

また、2D心機能画像61によれば、ユーザは、選択受付画像64を介して、同一の心臓腔の複数種別の機能指標値を同時に表示させるか単一種別の表示とするかを選択可能である。また、同一の心臓腔の複数種別の機能指標値を同時に表示させる場合であっても、2D心機能画像61によれば、ユーザは、各種別の機能指標値の関係を容易かつ直感的に把握することができるとともに、各プロットの位置に対応する範囲示唆画像61aの色を視認するだけで被検体の心機能状態を即座に把握することができる。 Further, according to the 2D cardiac function image 61, the user can select, via the selection reception image 64, whether to simultaneously display multiple types of functional index values of the same heart chamber or to display a single type. be. Further, even when multiple types of functional index values for the same heart chamber are displayed at the same time, the 2D cardiac function image 61 allows the user to easily and intuitively grasp the relationship between the various functional index values. In addition, the heart function state of the subject can be immediately grasped simply by visually recognizing the color of the range suggestive image 61a corresponding to the position of each plot.

図6は、2D心機能画像61の変形例画像65の一例を示す説明図である。 FIG. 6 is an explanatory diagram showing an example of a modified image 65 of the 2D cardiac function image 61. As shown in FIG.

2D心機能画像61の変形例画像65は、同一のグローバルな心機能指標としてストレイン指標の1つであるGLSを用い、左心室のGLSを出力次元とし、左心房のGLSを入力次元として定義した2次元の座標空間にプロットする場合の画像例である。 A modified image 65 of the 2D cardiac function image 61 uses GLS, which is one strain index, as the same global cardiac function index, and defines the GLS of the left ventricle as the output dimension and the GLS of the left atrium as the input dimension. It is an example of an image plotted in a two-dimensional coordinate space.

また、2D心機能画像61と同様に、変形例画像65に対しても、LVGLSのガイドライン値にもとづいて、健常値とされる-20%以下を正常の範囲とする一方、心臓各種異常値とされる-15%(ないし-10%)以上を異常の範囲として、信号機のような緑色、黄色、赤色を用いたカラーの範囲示唆画像61bが重畳されるとよい。また、画像生成機能54は、2D心機能画像61と同様に、変形例画像65に対しても、LVGLSの正常閾値線66と異常閾値線67を重畳してもよい(図6参照)。 As with the 2D cardiac function image 61, for the modified image 65, -20% or less, which is regarded as a healthy value, is set as a normal range based on the LVGLS guideline value, while various cardiac abnormal values are set. It is preferable to superimpose a color range suggestive image 61b using green, yellow, and red like a traffic light, with an abnormal range of -15% (or -10%) or more. Further, the image generation function 54 may superimpose a normal threshold line 66 and an abnormal threshold line 67 of LVGLS on the modified image 65 as well as the 2D cardiac function image 61 (see FIG. 6).

また、図6に示すように、画像生成機能54は、変形例画像65に対しては、LVGLS=-LAGLSの直線68をさらに重畳させてもよい。この場合、ユーザはプロット位置の双方との関係性をより一層把握しやすくなる。 In addition, as shown in FIG. 6, the image generation function 54 may further superimpose a straight line 68 of LVGLS=-LAGLS on the modified image 65 . In this case, the user can more easily grasp the relationship between the plot positions.

また、画像生成機能54は、2D心機能画像61の変形例画像65において、心房に関する心室収縮期と心房収縮期の各時相のストレイン指標を、時相種別を標識して同時に2次元座標空間上にプロットしてもよい。図6には、LAGLSsについて「s」、LAGLSaについて「a」、とLAGLSの時相種別を標識してプロットする場合の例を示した。 In addition, the image generation function 54 simultaneously displays the strain index of each time phase of ventricular systole and atrial systole regarding the atrium in the modified image 65 of the 2D cardiac function image 61, labeling the time phase type, and displaying it in a two-dimensional coordinate space. can be plotted above. FIG. 6 shows an example of plotting by labeling the time phase types of LAGLS, such as "s" for LAGLSs and "a" for LAGLSa.

また、図6に示すように、2D心機能画像61と同様に、変形例画像65においても、複数種別のLAGLSを同時にプロットするか、一方のみをプロットするかについてのユーザの選択を受け付けるための選択受付画像69が含まれてもよい。 As shown in FIG. 6, similarly to the 2D cardiac function image 61, in the modified image 65 as well, there is a function for receiving a user's selection as to whether to plot multiple types of LAGLS simultaneously or to plot only one of them. A selection acceptance image 69 may be included.

ここで、LAGLSsは、収縮期ピーク値(Max値)である。また、LAGLSaは、a’時相(VpreA時相)における値をSa’として、LAGLSa=LAGLSs-Sa’で与えられる。 where LAGLSs is the systolic peak value (Max value). Also, LAGLSa is given by LAGLSa=LAGLSs-Sa', where Sa' is the value in the a' phase (VpreA phase).

なお、A4C像、A2C像単独の場合の心房容積は、左心室LV、左心房LA双方1断面の値でプロットする。A4C像とA2C像の結果を合成する場合は、左心室LV、左心房LA双方の平均GLS値でプロットするとよい。 Note that the atrial volume in the case of the A4C image and the A2C image alone is plotted as the value of one slice for both the left ventricle LV and the left atrium LA. When synthesizing the results of the A4C image and the A2C image, the average GLS values of both the left ventricle LV and the left atrium LA should be plotted.

さらに、画像生成機能54は、表示次元に割り当てられた機能指標値の少なくとも1つが互いに異なる2次元の座標空間を複数生成してディスプレイ22に並列表示させてもよい。具体的には、画像生成機能54は、2D心機能画像61と変形例画像65の両方を生成してディスプレイ22に並列表示させてもよい。 Furthermore, the image generation function 54 may generate a plurality of two-dimensional coordinate spaces in which at least one of the function index values assigned to the display dimensions is different from each other, and display them side by side on the display 22 . Specifically, the image generation function 54 may generate both the 2D cardiac function image 61 and the modification image 65 and display them side by side on the display 22 .

なお、変形例画像65には、同一のグローバルなストレイン指標としてGLSを用いる場合の例を示したが、同一のグローバルなストレイン指標としてGACなどの他の機能指標値を用いてもよい。 Although the modified example image 65 shows an example in which GLS is used as the same global strain index, other function index values such as GAC may be used as the same global strain index.

図6に示す変形例画像65によっても2D心機能画像61と同様の効果を得ることができる。 The modified image 65 shown in FIG. 6 can also provide the same effect as the 2D cardiac function image 61 .

(3Dプロット)
図7は、本実施形態に係る3D心機能画像71の一例を示す説明図である。
(3D plot)
FIG. 7 is an explanatory diagram showing an example of a 3D cardiac function image 71 according to this embodiment.

図7に示すように、画像生成機能54は、同一のグローバルな心機能指標を心臓腔別に表示次元に割り付けて3次元座標空間にプロットした3D心機能画像71を生成してもよい。この場合、画像生成機能54は、左心室の機能指標値を縦軸(たとえばz軸)とし、他の2つの心臓腔の機能指標値を縦軸に直交する2軸(たとえばx軸とy軸)に割り付けた3次元の座標空間を設定するとよい。 As shown in FIG. 7, the image generating function 54 may generate a 3D cardiac function image 71 in which the same global cardiac function index is assigned to display dimensions for each heart chamber and plotted in a three-dimensional coordinate space. In this case, the image generation function 54 sets the functional index value of the left ventricle on the vertical axis (eg, z-axis), and the functional index values of the other two heart chambers on two axes perpendicular to the vertical axis (eg, x-axis and y-axis). ) to set a three-dimensional coordinate space.

図7に示す3D心機能画像71は、同一のグローバルな心機能指標として容積変化率(EF)を用い、左心室のEFを出力次元として縦軸に割り付けて固定し、左心房のEFと右心室のEFを入力次元とする3次元の座標空間にプロットする場合の画像例である。 The 3D cardiac function image 71 shown in FIG. 7 uses the volumetric rate of change (EF) as the same global cardiac function index, assigns the EF of the left ventricle to the vertical axis as the output dimension and fixes it, and the EF of the left atrium and the EF of the right atrium. This is an example of an image plotted in a three-dimensional coordinate space with the EF of the ventricle as an input dimension.

3D心機能画像71は、プロット位置に対応する機能指標値を把握しやすくするために、各軸上での値を強調するための画像72、73、74を含む。図7には、この強調するための画像が「()」である場合の例を示した(図7のLVEFの「(45)」、LAEFtの「35」、およびRVEFの「25」参照)が、プロット位置に対応する値を囲む図形であってもよいし。また、プロット位置に対応する値を強調する方法として、画像72、73、74にかえて、プロット位置に対応する値の表示態様(サイズ、フォント、太さ、輝度など)を他の値と異ならせてもよい。 A 3D cardiac function image 71 includes images 72, 73, and 74 for emphasizing values on each axis in order to facilitate understanding of function index values corresponding to plotted positions. FIG. 7 shows an example in which the image for emphasis is "()" (see LVEF "(45)", LAEFt "35", and RVEF "25" in FIG. 7). can be a figure enclosing the value corresponding to the plot position. In addition, as a method of emphasizing the values corresponding to the plot positions, instead of the images 72, 73, and 74, the display mode (size, font, thickness, brightness, etc.) of the values corresponding to the plot positions is different from other values. You can let

また、プロットから各軸へ、異なる色で色付けした垂線を付記してもよい。図7には便宜上、直線、破線、および一点鎖線と線種を異ならせることで各垂線が互いに異なる色であることを示してる。また、各軸の値の文字列および各軸のラベルの文字列の色を、当該垂線の色と同じ色とすることで、ユーザはさらにプロット位置に対応する機能指標値を容易に把握することができる。なお、図7において、「LVEF」を含む領域を囲む実線は、当該実線内の領域の文字列が同一の色に色づけられることを説明する便宜のために図示した線であり、実際にはディスプレイ22には表示されないことに注意されたい。「LAEF」を含む領域を囲む破線、および「RVEF」を含む領域を囲む1点鎖線についても同様である。 A different colored vertical line may also be attached from the plot to each axis. For the sake of convenience, FIG. 7 shows that each perpendicular line has a different color by making the line type different from that of a straight line, a dashed line, and a one-dot chain line. In addition, by setting the color of the character string of the value of each axis and the character string of the label of each axis to the same color as the color of the perpendicular line, the user can easily grasp the function index value corresponding to the plot position. can be done. In FIG. 7, the solid line surrounding the area containing "LVEF" is a line shown for convenience in explaining that the character strings in the area within the solid line are colored in the same color. 22 is not displayed. The same applies to the dashed line surrounding the region containing "LAEF" and the dashed-dotted line surrounding the region containing "RVEF".

また、図7に示す3D心機能画像71の1つの軸は、複数種別が定義される機能指標値である左心房の容積変化率(LAEF)である。このため、図5、図6と同様に、画像生成機能54は、3D心機能画像71においても、LAEFtとLAEFaの種別を標識してプロットするとよいし、またこのとき、両種別を同時にプロットするか、一方の種別のみをプロットするかについてのユーザの選択を受け付けるための選択受付画像75を生成して3D心機能画像71に含めてもよい。 One axis of the 3D cardiac function image 71 shown in FIG. 7 is the left atrium volume change rate (LAEF), which is a function index value for which multiple types are defined. For this reason, as in FIGS. 5 and 6, the image generation function 54 may label and plot the types of LAEFt and LAEFa also in the 3D cardiac function image 71, and at this time, both types may be plotted at the same time. Alternatively, a selection acceptance image 75 may be generated and included in the 3D cardiac function image 71 for accepting the user's selection of whether to plot only one type.

図7に示す3D心機能画像71によっても、2D心機能画像61と同様の効果を得ることができる。また、3D心機能画像71によれば、3つの心臓腔の機能指標値を一度に確認することができるため、2D心機能画像61よりも正確に被検体の心機能状態を把握することができる。また、3D心機能画像71によれば、3つの心臓腔の機能指標値が同時に表示されているにも関わらず、ユーザは、従来の画像のような数字の羅列にわずらわされることが無い。 The 3D cardiac function image 71 shown in FIG. 7 can also provide the same effect as the 2D cardiac function image 61 . Further, according to the 3D cardiac function image 71, since the functional index values of the three heart chambers can be confirmed at once, the cardiac function state of the subject can be grasped more accurately than the 2D cardiac function image 61. . In addition, according to the 3D cardiac function image 71, although the functional index values of the three heart chambers are displayed at the same time, the user may be troubled by listing numbers like in the conventional image. None.

図8は、軸76を中心軸として3D心機能画像71を回転させる場合に、遷移画像として表示される2D心機能画像の例を示す説明図である。 FIG. 8 is an explanatory diagram showing an example of a 2D cardiac function image displayed as a transition image when the 3D cardiac function image 71 is rotated about the axis 76 as the central axis.

画像生成機能54は、3D心機能画像71の縦軸に平行な軸76を中心軸として、3D心機能画像71をユーザ指示に応じた角度で回転させた画像を生成してもよい。 The image generation function 54 may generate an image by rotating the 3D cardiac function image 71 at an angle according to a user's instruction, with an axis 76 parallel to the longitudinal axis of the 3D cardiac function image 71 as a central axis.

また、画像生成機能54は、入力インターフェースを介したユーザ指示に応じて、3D心機能画像71の視点を変更可能としてもよい。 Further, the image generation function 54 may be capable of changing the viewpoint of the 3D cardiac function image 71 in accordance with user instructions via the input interface.

3D心機能画像71の視点として、立方体を斜視する視点(図7参照)ではなく正面からの視点が設定される場合、縦軸に平行な軸76を中心軸として3D心機能画像71を回転させると、RVEFが奥行き方向と平行となるとき、横軸がLAEFのみの2D心機能画像があらわれる。同様に、LAEFが奥行き方向と平行となるとき、横軸がRVEFのみの2D心機能画像があらわれる。(図8参照)。 When the perspective of the 3D cardiac function image 71 is set not from the oblique perspective of the cube (see FIG. 7) but from the front, the 3D cardiac function image 71 is rotated around an axis 76 parallel to the vertical axis. Then, when the RVEF is parallel to the depth direction, a 2D cardiac function image with only the LAEF on the horizontal axis appears. Similarly, when the LAEF is parallel to the depth direction, a 2D cardiac function image with only the RVEF on the horizontal axis appears. (See Figure 8).

この2D心機能画像は、図5に示す2D心機能画像61に相当する画像といえる。このため、画像生成機能54は、3D心機能画像71を軸76中心に回転させてあらわれる2D新機能画像に対して、カラー2Dマッピング画像である範囲示唆画像61a(図5参照)を重畳してもよい。 This 2D cardiac function image can be said to be an image corresponding to the 2D cardiac function image 61 shown in FIG. For this reason, the image generation function 54 superimposes a range suggestive image 61a (see FIG. 5), which is a color 2D mapping image, on the 2D new function image that appears by rotating the 3D cardiac function image 71 about the axis 76. good too.

3D心機能画像71を軸76中心に回転可能とすることにより、ユーザは、3つの心臓腔の機能評価値を同時に表示させることもできるし、所望の2つの心臓腔の機能評価値を2D心機能画像で表示させることもできる。また、2D心機能画像となるときに範囲示唆画像61aを重畳する場合には、ユーザは、3つの心臓腔の機能評価値を同時に表示させて全体を把握することもできるし、2D心機能画像を表示させて範囲示唆画像61aとプロットとの位置関係を確認することで被検体の心機能状態をより容易に把握することもできる。 By making the 3D heart function image 71 rotatable around the axis 76, the user can simultaneously display the function evaluation values of three heart chambers, or display the function evaluation values of two desired heart chambers on the 2D heart. It can also be displayed as a functional image. In addition, when the range suggestive image 61a is superimposed when the 2D cardiac function image is obtained, the user can simultaneously display the functional evaluation values of the three heart chambers to understand the whole, or the 2D cardiac function image. is displayed to confirm the positional relationship between the range suggestive image 61a and the plot, the heart function state of the subject can be more easily grasped.

図9は、3D心機能画像71の変形例画像80の一例を示す説明図である。 FIG. 9 is an explanatory diagram showing an example of a modified image 80 of the 3D cardiac function image 71. As shown in FIG.

3D心機能画像71の変形例画像80は、3D心機能画像81と、左心室のEFを示すLVEF値画像82とを含む。3D心機能画像81では、3D心機能画像71の縦軸に割り付けられていた左心室のEFにかえて左心房のEFが用いられ、右心房、右心室、左心房のEFが各軸に割り付けられる。縦軸に割り付けられるEFは、左房または右室のEFが好ましい。なお、変形例画像80の3D心機能画像81における2点鎖線は、直線、破線とは異なる色に対応することを示してる。この場合、変形例画像80において、右心房、右心室、および左心房のEFの3D心機能画像81とLVEF値画像82とがたとえば並列表示にて同時に表示される(図9参照)。 A modified image 80 of the 3D cardiac function image 71 includes a 3D cardiac function image 81 and an LVEF value image 82 indicating the EF of the left ventricle. In the 3D cardiac function image 81, the EF of the left atrium is used instead of the EF of the left ventricle assigned to the vertical axis of the 3D cardiac function image 71, and the EF of the right atrium, right ventricle, and left atrium are assigned to each axis. be done. The EF assigned to the vertical axis is preferably the left atrial or right ventricular EF. Note that the two-dot chain line in the 3D cardiac function image 81 of the modified image 80 corresponds to a color different from that of the straight line and broken line. In this case, in the modified image 80, the 3D cardiac function image 81 and the LVEF value image 82 of the EFs of the right atrium, right ventricle, and left atrium are simultaneously displayed, for example, in parallel (see FIG. 9).

画像生成機能54は、左心室のEFを示すLVEF値画像82として、左心室のEFを示す文字列、左心室のEFに応じた輝度を有する画像、および左心室のEFに応じた色を有する画像の少なくとも1つを生成する。図9には、LVEF値画像82が左心室のEFに応じたカラーバーであって範囲示唆画像61aと同様に色付けされる場合の例を示した。 The image generating function 54 has a character string indicating the left ventricular EF, an image having brightness corresponding to the left ventricular EF, and a color corresponding to the left ventricular EF as an LVEF value image 82 indicating the left ventricular EF. Generate at least one of the images. FIG. 9 shows an example in which the LVEF value image 82 is a color bar corresponding to the EF of the left ventricle and is colored in the same manner as the range suggestive image 61a.

また、画像生成機能54は、LVEF値画像82に対し、正常閾値線と異常閾値線が重畳してもよいし、また3D心機能画像81のプロットに対応するLVEFの値を強調するための画像(図9のLVEF値画像82の「(45)」参照)を重畳してもよい。また、画像生成機能54は、LVEF値画像82に対し、3D心機能画像81のプロットに対応するLVEFの値のLVEF値画像82上での位置を示す画像83(図9の矢印参照)を重畳してもよい。 In addition, the image generation function 54 may superimpose the normal threshold line and the abnormal threshold line on the LVEF value image 82, and may also generate an image for emphasizing the LVEF value corresponding to the plot of the 3D cardiac function image 81. (See “(45)” of the LVEF value image 82 in FIG. 9) may be superimposed. Further, the image generation function 54 superimposes an image 83 (see the arrow in FIG. 9) indicating the position on the LVEF value image 82 of the LVEF value corresponding to the plot of the 3D cardiac function image 81 on the LVEF value image 82. You may

図9に示す3D心機能画像71の変形例画像80によっても、3D心機能画像71と同様の効果を得ることができる。また、変形例画像80によれば、4つの心臓腔の機能指標値を一度に確認することができるため、ユーザは3D心機能画像71よりもさらに正確に被検体の心機能状態を把握することができる。また、変形例画像80によれば、4つの心臓腔の機能指標値が同時に表示されているにも関わらず、ユーザは、従来の画像のような数字の羅列にわずらわされることが無い。 A modified image 80 of the 3D cardiac function image 71 shown in FIG. 9 can also provide the same effect as the 3D cardiac function image 71 . Further, according to the modified image 80, the functional index values of the four heart chambers can be confirmed at once, so that the user can grasp the cardiac functional state of the subject more accurately than the 3D cardiac functional image 71. can be done. Moreover, according to the modified image 80, although the functional index values of the four heart chambers are displayed at the same time, the user is not troubled by the enumeration of numbers as in the conventional image. .

(時系列表示)
図10は、本実施形態に係る時系列画像90の一例を示す説明図である。
(Time series display)
FIG. 10 is an explanatory diagram showing an example of a time-series image 90 according to this embodiment.

画像生成機能54は、同一の被検体に関して、治療前後や負荷前後など、異なる時系列で撮影した心臓の動画像にもとづいて求められた、互いに時系列が異なる複数の機能指標値を同時にプロットしてもよい。図10には、図6に示した2D心機能画像61の変形例画像65上に、対応する時系列が新しい順に3つのプロット91、プロット92およびプロット93が同時に表示される場合の例を示した。 The image generation function 54 simultaneously plots a plurality of functional index values with different time series obtained based on moving images of the heart captured in different time series, such as before and after treatment and before and after load, for the same subject. may FIG. 10 shows an example in which three plots 91, 92, and 93 are simultaneously displayed in reverse chronological order on a modified image 65 of the 2D cardiac function image 61 shown in FIG. Ta.

また、互いに時系列が異なる複数のプロット91、92、93は、時系列の別を標識されるとよい。図10には、各プロットに対して、対応する時系列が新しくなるほど薄いハッチングが施されることで、対応する時系列が新しくなるほどユーザに明るいプロットとして視認される場合の例を示した。また、画像生成機能54は、互いに時系列が異なる複数のプロット91、92、93どうしの間の時間経過方向を示す画像をさらに重畳してもよい。図10には、時間経過方向を示す画像として矢印94が重畳される場合の例を示した。 Also, the plurality of plots 91, 92, 93 whose time series are different from each other should be labeled according to their time series. FIG. 10 shows an example of a case where the newer the corresponding time series is, the lighter the hatching is applied to each plot, so that the newer the corresponding time series is, the brighter the plot is perceived by the user. In addition, the image generation function 54 may further superimpose an image showing the direction of time passage between a plurality of plots 91, 92, 93 with different time series. FIG. 10 shows an example in which an arrow 94 is superimposed as an image indicating the direction of passage of time.

時系列画像90によれば、互いに時系列が異なる複数の機能指標値を同時に確認することができる。このため、ユーザは、被検体の機能指標値の時間変化を容易かつ直感的に把握することができる。また、互いに時系列が異なる複数のプロットのそれぞれの位置に対応する範囲示唆画像61bの色の変化を確認することで、被検体の心機能状態の時間変化を即座に把握することができる。このため、時系列画像90によれば、ユーザは、被検体の診断を容易に行うことができるとともに、過去の治療計画の評価や今後の治療計画の策定、負荷検査における負荷の設定などを容易かつ正確に行うことができる。 According to the time series image 90, a plurality of function index values with different time series can be confirmed at the same time. Therefore, the user can easily and intuitively grasp the temporal change in the functional index value of the subject. In addition, by confirming the change in color of the range-indicating image 61b corresponding to each position of a plurality of plots with different time series, it is possible to immediately grasp the time change of the heart function state of the subject. Therefore, according to the time-series images 90, the user can easily diagnose the subject, evaluate the past treatment plan, formulate a future treatment plan, and set the load in the load test. and can be done accurately.

なお、図10には互いに時系列が異なる複数のプロットの表示が2D心機能画像に適用される場合の例を示したが、互いに時系列が異なる複数のプロットの表示は、3D心機能画像71やその変形例画像80などの3D心機能画像に適用されてもよい。 FIG. 10 shows an example of a case where display of a plurality of plots with different time series is applied to a 2D cardiac function image. , or a variant image 80 thereof.

以上説明した少なくとも1つの実施形態によれば、複数の心臓腔の機能指標値を含みユーザが容易かつ直感的に心機能状態を把握可能な画像を提供することができる。 According to at least one embodiment described above, it is possible to provide an image that includes functional index values of a plurality of heart chambers and allows the user to easily and intuitively grasp the heart function state.

なお、上記実施形態において、「プロセッサ」という文言は、たとえば、専用または汎用のCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、または、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(たとえば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、およびフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサがたとえばCPUである場合、プロセッサは記憶回路に保存されたプログラムを読み出して実行することにより、各種機能を実現する。また、プロセッサがたとえばASICである場合、記憶回路にプログラムを保存するかわりに、当該プログラムに相当する機能がプロセッサの回路内に論理回路として直接組み込まれる。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行するハードウェア処理により各種機能を実現する。あるいはまた、プロセッサは、ソフトウェア処理とハードウェア処理とを組み合わせて各種機能を実現することもできる。 In the above embodiment, the word "processor" is, for example, a dedicated or general-purpose CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an application specific integrated circuit (ASIC), Circuits such as programmable logic devices (e.g., Simple Programmable Logic Devices (SPLDs), Complex Programmable Logic Devices (CPLDs), and Field Programmable Gate Arrays (FPGAs)) means. When the processor is, for example, a CPU, the processor reads out and executes programs stored in a memory circuit to realize various functions. Also, if the processor is an ASIC, for example, instead of storing the program in the memory circuit, a function corresponding to the program is directly incorporated as a logic circuit within the circuit of the processor. In this case, the processor implements various functions by hardware processing that reads out and executes programs built into the circuit. Alternatively, the processor can implement various functions by combining software processing and hardware processing.

また、上記実施形態では処理回路の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶回路は、プロセッサごとに個別に設けられてもよいし、1つの記憶回路が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。 Further, in the above embodiments, an example of a case where a single processor of the processing circuit realizes each function is shown, but a processing circuit is configured by combining a plurality of independent processors, and each processor realizes each function. good too. Further, when a plurality of processors are provided, a memory circuit for storing programs may be provided individually for each processor, or one memory circuit may collectively store programs corresponding to the functions of all processors. good too.

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 While several embodiments have been described, these embodiments are provided by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, changes, and combinations of embodiments can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and spirit of the invention, as well as the scope of the invention described in the claims and equivalents thereof.

10 超音波診断装置
18 処理回路
21 入力インターフェース
22 ディスプレイ
30 医用画像処理装置
52 指標取得機能
54 画像生成機能
61 2D心機能画像
61a、61b 範囲示唆画像
62、66 正常閾値線(正常の範囲を示す画像)
63、67 異常閾値線(異常の範囲を示す画像)
64、69、75 選択受付画像
71 3D心機能画像
76 軸
90 時系列画像
101、102、103 従来の機能指標値の一覧画像
10 Ultrasound diagnostic device 18 Processing circuit 21 Input interface 22 Display 30 Medical image processing device 52 Index acquisition function 54 Image generation function 61 2D cardiac function images 61a, 61b Range suggestive images 62, 66 Normal threshold line (image showing normal range )
63, 67 Abnormality threshold line (image showing the extent of abnormality)
64, 69, 75 Selection reception image 71 3D cardiac function image 76 Axis 90 Time-series images 101, 102, 103 List image of conventional function index values

Claims (18)

心臓の動画像に含まれる左心室を含む2つの心臓腔について、それぞれの心臓腔の機能指標値を取得する取得部と、
前記それぞれの心臓腔の機能指標値を心臓腔別に表示次元に割り付け、前記左心室の機能指標値を出力として定義した2次元の座標空間に対して前記左心室の機能指標値についてあらかじめ定めた正常と異常の範囲に対応づけてカラー変換した範囲示唆画像を重畳した画像を生成する画像生成部と、
を備えた超音波診断装置。
an acquisition unit that acquires a functional index value of each of the two heart chambers including the left ventricle included in the moving image of the heart;
The function index values of the respective heart chambers are assigned to display dimensions for each heart chamber, and the function index values of the left ventricle are defined in advance for a two-dimensional coordinate space defined as the output of the function index values of the left ventricle. and an image generation unit that generates an image in which a color-converted range suggestive image is superimposed in association with the abnormal range,
Ultrasound diagnostic equipment with.
前記取得部は、
さらに1つの心臓腔の機能指標値を取得し、
前記画像生成部は、
前記左心室の機能指標値を縦軸に割り付け、他の2つの心臓腔の機能指標値を前記縦軸に直交する2軸に割り付けた3次元の座標空間を設定し、当該3次元の座標空間に対してそれぞれの機能指標値についてあらかじめ定めた正常と異常の範囲を示す画像を重畳した画像を生成する、
請求項1記載の超音波診断装置。
The acquisition unit
Further obtain a functional index value of one heart chamber,
The image generator is
setting a three-dimensional coordinate space in which the functional index value of the left ventricle is assigned to the vertical axis and the functional index values of the other two heart chambers are assigned to two axes orthogonal to the vertical axis; Generate an image superimposed with an image showing a predetermined normal and abnormal range for each functional index value,
The ultrasonic diagnostic apparatus according to claim 1.
前記他の2つの心臓腔は、右心室および左心房である、
請求項2記載の超音波診断装置。
the other two heart chambers are the right ventricle and the left atrium;
The ultrasonic diagnostic apparatus according to claim 2.
前記画像生成部は、
前記縦軸に平行な軸を中心軸として、前記3次元の座標空間の画像をユーザ指示に応じた角度で回転させた画像を生成する、
請求項2または3に記載の超音波診断装置。
The image generator is
generating an image by rotating the image in the three-dimensional coordinate space at an angle according to a user instruction, with an axis parallel to the vertical axis as a central axis;
The ultrasonic diagnostic apparatus according to claim 2 or 3.
前記画像生成部は、
前記3次元の座標空間の画像を回転させる場合、1つの軸と奥行き方向とが並行となるとき、前記2次元の座標空間に前記範囲示唆画像を重畳した画像を生成する、
請求項4記載の超音波診断装置。
The image generation unit
generating an image in which the range suggestive image is superimposed on the two-dimensional coordinate space when one axis and the depth direction are parallel when rotating the image in the three-dimensional coordinate space;
The ultrasonic diagnostic apparatus according to claim 4.
前記取得部は、
さらに残る1つの心臓腔の機能指標値を取得し、
前記画像生成部は、
右心房と右心室と左心房を各次元に割り付けた3次元の座標空間を設定して当該3次元の座標空間の画像を生成するとともに、前記左心室の機能指標値を示す画像を生成し、表示部に両画像を並列表示させる、
請求項2ないし5のいずれか1項に記載の超音波診断装置。
The acquisition unit
Obtaining the functional index value of the remaining one heart chamber,
The image generator is
setting a three-dimensional coordinate space in which the right atrium, the right ventricle, and the left atrium are allocated to each dimension, generating an image of the three-dimensional coordinate space, and generating an image showing the function index value of the left ventricle; display both images side by side on the display unit,
The ultrasonic diagnostic apparatus according to any one of claims 2 to 5.
前記画像生成部は、
前記左心室の機能指標値を示す画像として、前記左心室の機能指標値を示す文字列、前記左心室の機能指標値に応じた輝度を有する画像、および前記左心室の機能指標値に応じた色を有する画像の少なくとも1つを生成する、
請求項6記載の超音波診断装置。
The image generator is
The image indicating the function index value of the left ventricle includes a character string indicating the function index value of the left ventricle, an image having luminance corresponding to the function index value of the left ventricle, and generating at least one of the images having color;
The ultrasonic diagnostic apparatus according to claim 6.
前記取得部は、
前記左心室の機能指標値と、心房に関する複数種別の容積変化率と、を少なくとも取得し、
前記画像生成部は、
前記複数種別の容積変化率の種別を標識して同時に前記座標空間上に示した画像を生成する、
請求項1ないし7のいずれか1項に記載の超音波診断装置。
The acquisition unit
obtaining at least the function index value of the left ventricle and a plurality of types of volume change rates relating to the atrium;
The image generator is
labeling the types of the plurality of types of volumetric change rate and simultaneously generating an image shown on the coordinate space;
The ultrasonic diagnostic apparatus according to any one of claims 1 to 7.
前記取得部は、
前記左心室の機能指標値と、心房に関する心室収縮期と心房収縮期の各時相におけるストレイン指標と、を少なくとも取得し、
前記ストレイン指標の時相種別を標識して同時に前記座標区間上に示した画像を生成する、
請求項1ないし8のいずれか1項に記載の超音波診断装置。
The acquisition unit
obtaining at least the function index value of the left ventricle and the strain index in each phase of ventricular systole and atrial systole with respect to the atrium;
labeling the temporal type of the strain index and simultaneously generating an image shown on the coordinate interval;
The ultrasonic diagnostic apparatus according to any one of claims 1 to 8.
前記それぞれの心臓腔の機能指標値は左室駆出率(Ejection Fraction)を含む、
請求項1ないし9のいずれか1項に記載の超音波診断装置。
wherein the functional index value of each heart chamber includes a left ventricular ejection fraction (Ejection Fraction);
The ultrasonic diagnostic apparatus according to any one of claims 1 to 9.
前記それぞれの心臓腔の機能指標値はGlobal Longitudinal Strain(GLS)を含む、
請求項1ないし10のいずれか1項に記載の超音波診断装置。
wherein the functional index value for each heart chamber comprises Global Longitudinal Strain (GLS);
The ultrasonic diagnostic apparatus according to any one of claims 1 to 10.
前記それぞれの心臓腔の機能指標値はGlobal Area Change ratio(GAC)を含む、
請求項1ないし11のいずれか1項に記載の超音波診断装置。
wherein the functional index value for each heart chamber comprises a Global Area Change ratio (GAC);
The ultrasonic diagnostic apparatus according to any one of claims 1 to 11.
前記画像生成部は、
表示次元に割り当てられた機能指標値の少なくとも1つが互いに異なる前記座標空間を複数生成して表示部に並列表示させる、
請求項1ないし12のいずれか1項に記載の超音波診断装置。
The image generator is
generating a plurality of the coordinate spaces in which at least one of the function index values assigned to the display dimensions is different from each other and displaying them in parallel on the display unit;
The ultrasonic diagnostic apparatus according to any one of claims 1 to 12.
前記取得部は、
それぞれの心臓腔の機能指標値として、同一被検体を異なる時系列で撮影した心臓の動画像にもとづいて求められた、互いに時系列が異なる複数の機能指標値を取得し、
前記画像生成部は、
前記互いに時系列が異なる複数の機能指標値を、前記時系列の別を標識して、同時に前記座標空間上に示した画像を生成する、
請求項1ないし13のいずれか1項に記載の超音波診断装置。
The acquisition unit
Acquiring a plurality of functional index values with different time series obtained based on moving images of the heart captured in different time series of the same subject as the functional index values of the respective heart cavities,
The image generator is
generating an image showing the plurality of functional index values in different time series from each other in the coordinate space at the same time by labeling the time series;
The ultrasonic diagnostic apparatus according to any one of claims 1 to 13.
前記画像生成部は、
前記互いに時系列が異なる複数の機能指標値を時系列の別を標識して同時に前記座標空間上に示した画像に対して、前記複数の機能指標値間の時間経過方向を示す画像をさらに重畳する、
請求項14記載の超音波診断装置。
The image generator is
An image showing the direction of time passage between the plurality of function index values is further superimposed on the image showing the plurality of function index values different in time series from each other on the coordinate space at the same time by labeling the time series. do,
The ultrasonic diagnostic apparatus according to claim 14.
心臓の動画像に含まれる左心室を含む2つの心臓腔について、それぞれの心臓腔の機能指標値を取得する取得部と、
前記それぞれの心臓腔の機能指標値を心臓腔別に表示次元に割り付け、前記左心室の機能指標値を出力として定義した2次元の座標空間に対して前記左心室の機能指標値についてあらかじめ定めた正常と異常の範囲に対応づけてカラー変換した範囲示唆画像を重畳した画像を生成する画像生成部と、
を備えた医用画像処理装置。
an acquisition unit that acquires a functional index value of each of the two heart chambers including the left ventricle included in the moving image of the heart;
The function index values of the respective heart chambers are assigned to display dimensions for each heart chamber, and the function index values of the left ventricle are defined in advance for a two-dimensional coordinate space defined as the output of the function index values of the left ventricle. and an image generation unit that generates an image in which a color-converted range suggestive image is superimposed in association with the abnormal range,
A medical image processing device with
コンピュータに、
心臓の動画像に含まれる左心室を含む2つの心臓腔について、それぞれの心臓腔の機能指標値を取得するステップ、
前記それぞれの心臓腔の機能指標値を心臓腔別に表示次元に割り付け、前記左心室の機能指標値を出力として定義した2次元の座標空間を設定するステップ、および
前記2次元の座標空間に対して前記左心室の機能指標値についてあらかじめ定めた正常と異常の範囲に対応づけてカラー変換した範囲示唆画像を重畳した画像を生成するステップ、
を実行させるための医用画像処理プログラム。
to the computer,
obtaining a functional index value for each of two heart chambers including the left ventricle contained in the moving image of the heart;
a step of assigning the functional index values of the respective heart chambers to display dimensions for each heart chamber and setting a two-dimensional coordinate space in which the functional index values of the left ventricle are defined as outputs; and for the two-dimensional coordinate space. generating an image in which a color-converted range suggestive image is superimposed in association with a predetermined range of normality and abnormality of the functional index value of the left ventricle;
A medical image processing program for executing
心臓の動画像に含まれる複数の心臓腔について、それぞれの心臓腔の機能指標値を取得する取得部と、
前記複数の心臓腔の機能指標値を心臓腔別に各次元に割り付けた多次元の座標空間に対して、前記複数の心臓腔のうち所定の心臓腔の機能指標についてあらかじめ定めた正常と異常の範囲に対応づけてカラー変換した範囲示唆画像を重畳した画像を生成する画像生成部と、
を備えた超音波診断装置。
an acquisition unit that acquires a functional index value of each of a plurality of heart chambers included in a moving image of the heart;
a range of normality and abnormality determined in advance for the functional index of a predetermined heart chamber among the plurality of heart chambers in a multidimensional coordinate space in which the functional index values of the plurality of heart chambers are assigned to each dimension for each heart chamber; an image generation unit that generates an image in which the color-converted range suggestive image is superimposed in association with the
Ultrasound diagnostic equipment with.
JP2020008628A 2020-01-22 2020-01-22 Ultrasound diagnostic equipment, medical image processing equipment, and medical image processing program Active JP7328156B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020008628A JP7328156B2 (en) 2020-01-22 2020-01-22 Ultrasound diagnostic equipment, medical image processing equipment, and medical image processing program
US17/151,727 US20210219940A1 (en) 2020-01-22 2021-01-19 Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method
CN202110072468.1A CN113143323B (en) 2020-01-22 2021-01-20 Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020008628A JP7328156B2 (en) 2020-01-22 2020-01-22 Ultrasound diagnostic equipment, medical image processing equipment, and medical image processing program

Publications (2)

Publication Number Publication Date
JP2021115114A JP2021115114A (en) 2021-08-10
JP7328156B2 true JP7328156B2 (en) 2023-08-16

Family

ID=76856505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020008628A Active JP7328156B2 (en) 2020-01-22 2020-01-22 Ultrasound diagnostic equipment, medical image processing equipment, and medical image processing program

Country Status (3)

Country Link
US (1) US20210219940A1 (en)
JP (1) JP7328156B2 (en)
CN (1) CN113143323B (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006123729A1 (en) 2005-05-19 2006-11-23 Hitachi Medical Corporation Ultrasonographic device and image processing method thereof
JP2017159037A (en) 2016-03-04 2017-09-14 東芝メディカルシステムズ株式会社 Analyzer

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3457999A (en) * 1998-03-30 1999-10-18 Echovision, Inc. Echocardiography workstation
JP3872424B2 (en) * 2002-12-20 2007-01-24 アロカ株式会社 Ultrasonic diagnostic equipment
WO2007083745A1 (en) * 2006-01-20 2007-07-26 Hitachi Medical Corporation Elastic image display method and elastic image display
JP2008073423A (en) * 2006-09-25 2008-04-03 Toshiba Corp Ultrasonic diagnostic apparatus, diagnostic parameter measuring device, and diagnostic parameter measuring method
CN102821698B (en) * 2010-03-31 2015-05-20 株式会社日立医疗器械 Medical image diagnosis device, and method for re-inputting measured value of medical image
WO2012153539A1 (en) * 2011-05-11 2012-11-15 株式会社 東芝 Medical image processing device and method for same
JP6041350B2 (en) * 2012-03-30 2016-12-07 東芝メディカルシステムズ株式会社 Ultrasonic diagnostic apparatus, image processing apparatus, and image processing method
US10363018B2 (en) * 2016-07-19 2019-07-30 Toshiba Medical Systems Corporation Medical processing apparatus and medical processing method
WO2020121014A1 (en) * 2018-12-11 2020-06-18 Eko.Ai Pte. Ltd. Automatic clinical workflow that recognizes and analyzes 2d and doppler modality echocardiogram images for automatic cardiac measurements and the diagnosis, prediction and prognosis of heart disease

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006123729A1 (en) 2005-05-19 2006-11-23 Hitachi Medical Corporation Ultrasonographic device and image processing method thereof
JP2017159037A (en) 2016-03-04 2017-09-14 東芝メディカルシステムズ株式会社 Analyzer

Also Published As

Publication number Publication date
CN113143323A (en) 2021-07-23
US20210219940A1 (en) 2021-07-22
JP2021115114A (en) 2021-08-10
CN113143323B (en) 2024-04-12

Similar Documents

Publication Publication Date Title
JP5148094B2 (en) Ultrasonic diagnostic apparatus, medical image processing apparatus, and program
JP5661453B2 (en) Image processing apparatus, ultrasonic diagnostic apparatus, and image processing method
JP5134787B2 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, and ultrasonic image processing program
US9877698B2 (en) Ultrasonic diagnosis apparatus and ultrasonic image processing apparatus
JP2016067559A (en) Medical image diagnostic apparatus, image processing apparatus, image processing method and image processing program
JP7437192B2 (en) medical image processing device
JP2008073423A (en) Ultrasonic diagnostic apparatus, diagnostic parameter measuring device, and diagnostic parameter measuring method
JP7179130B2 (en) Medical processing equipment, ultrasonic diagnostic equipment and medical processing programs
US20240074727A1 (en) Medical processing apparatus, ultrasound diagnostic apparatus, and medical processing method
CN111317508B (en) Ultrasonic diagnostic apparatus, medical information processing apparatus, and computer program product
JP6863774B2 (en) Ultrasound diagnostic equipment, image processing equipment and image processing programs
JP7328156B2 (en) Ultrasound diagnostic equipment, medical image processing equipment, and medical image processing program
JP2019213859A (en) Analyzer and program
JP2016093302A (en) Medical image diagnostic apparatus, image processing apparatus and image processing program
JP6622018B2 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
JP2022158712A (en) Ultrasonic diagnostic device, image processing device, and image processing program
US11850101B2 (en) Medical image diagnostic apparatus, medical image processing apparatus, and medical image processing method
US11123043B2 (en) Ultrasound diagnostic apparatus, medical image processing apparatus, and medical image processing method
JP6584906B2 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
JP7277345B2 (en) Image processing device and image processing program
JP7313841B2 (en) Ultrasound diagnostic imaging device, medical image processing device and medical image processing program
JP2024017178A (en) Ultrasound diagnostic equipment, medical image processing equipment and programs
JP2021194164A (en) Ultrasonic diagnostic device, medical image processing device, and medical image processing program
JP2022149097A (en) Ultrasonic diagnostic apparatus, medical image analyzer and medical image analysis program
JP2019013753A (en) Medical image diagnostic apparatus, medical image processing apparatus, and medical image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230803

R150 Certificate of patent or registration of utility model

Ref document number: 7328156

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150