JP5645628B2 - Ultrasonic diagnostic equipment - Google Patents

Ultrasonic diagnostic equipment Download PDF

Info

Publication number
JP5645628B2
JP5645628B2 JP2010274872A JP2010274872A JP5645628B2 JP 5645628 B2 JP5645628 B2 JP 5645628B2 JP 2010274872 A JP2010274872 A JP 2010274872A JP 2010274872 A JP2010274872 A JP 2010274872A JP 5645628 B2 JP5645628 B2 JP 5645628B2
Authority
JP
Japan
Prior art keywords
tip
image
puncture needle
candidate
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010274872A
Other languages
Japanese (ja)
Other versions
JP2012120747A (en
Inventor
りか 田代
りか 田代
宮地 幸哉
幸哉 宮地
公人 勝山
公人 勝山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010274872A priority Critical patent/JP5645628B2/en
Priority claimed from US13/246,471 external-priority patent/US9226729B2/en
Publication of JP2012120747A publication Critical patent/JP2012120747A/en
Application granted granted Critical
Publication of JP5645628B2 publication Critical patent/JP5645628B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

この発明は、超音波診断装置及び超音波画像生成方法に関し、特に、穿刺術を行なう際に穿刺針などの穿刺器具の先端部を超音波画像に正確かつ的確に表示するのに用いられる超音波診断装置及び超音波画像生成方法に関する。   The present invention relates to an ultrasonic diagnostic apparatus and an ultrasonic image generation method, and in particular, an ultrasonic wave used for accurately and accurately displaying a distal end portion of a puncture device such as a puncture needle on an ultrasonic image when performing a puncture operation. The present invention relates to a diagnostic apparatus and an ultrasonic image generation method.

従来から、医療分野において、超音波画像を利用した超音波診断装置が実用化されている。一般に、この種の超音波診断装置は、振動子アレイを内蔵した超音波プローブと、この超音波プローブに接続された装置本体とを有しており、超音波プローブから被検体に向けて超音波を送信し、被検体からの超音波エコーを超音波プローブで受信して、その受信信号を装置本体で電気的に処理することにより超音波画像が生成される。
また、超音波診断装置は、細胞組織診断のため、医師が穿刺器具、例えば穿刺針を所望の部位に穿刺して組織サンプルを採取する穿刺術を行う場合にも用いられている。
Conventionally, in the medical field, an ultrasonic diagnostic apparatus using an ultrasonic image has been put into practical use. In general, this type of ultrasonic diagnostic apparatus has an ultrasonic probe with a built-in transducer array and an apparatus main body connected to the ultrasonic probe, and ultrasonic waves are directed toward the subject from the ultrasonic probe. , The ultrasonic echo from the subject is received by the ultrasonic probe, and the received signal is electrically processed by the apparatus main body to generate an ultrasonic image.
The ultrasonic diagnostic apparatus is also used when a doctor performs a puncture operation for collecting a tissue sample by puncturing a puncture device, for example, a puncture needle, into a desired site for cell tissue diagnosis.

穿刺術においては、医師は、確実に目的物や目的部位まで穿刺針を到達させるため、超音波画像を見ながら予め決めた刺入経路(穿刺針が被検者中を刺入される経路)通りに穿刺針を刺入させる。
このような穿刺術を行なう場合には、目的部位や目的物等の治療対象まで穿刺針を到達させ、治療対象から余分な液体を抜くこと(ドレナージ)や、治療対象に注液すること(PEIT)等を行う必要があるため、モニタ(超音波画像)上で穿刺針、特にその先端部を確実かつ正確に、また適切にを確認できることが重要である。
In puncture, the doctor makes sure that the puncture needle reaches the target object or target site in advance so that a predetermined puncture path (path through which the puncture needle is inserted into the subject) while viewing the ultrasound image. Insert the puncture needle into the street.
When such puncture is performed, the puncture needle is made to reach the treatment target such as the target site or target object, and excess liquid is drained from the treatment target (drainage), or liquid is injected into the treatment target (PEIT ) Etc., it is important that the puncture needle, particularly its tip, can be confirmed reliably, accurately and appropriately on the monitor (ultrasonic image).

そこで、特許文献1に開示の超音波撮像技術では、被検体内に挿入された穿刺針の先端位置を正確に検出するため、振動付与機構を穿刺針の基端に取り付け、穿刺針を機械的に振動させながら穿刺し、ドップラ信号に基づいて、穿刺針をドップラ画像化し、Bモード画像に重ねて表示して、穿刺針を画像化している。
また、特許文献2に開示の超音波診断装置では、超音波プローブにより得られたBモード超音波断層画像フレームデータをメモリに蓄積し、前回蓄積されたフレームデータと現在得られたフレームデータの差分を計算し、空間変化をディジタルデータとして得、これを現在得られたフレームデータに加算することにより所望の穿刺針画像をBモード超音波画像に表示している。その結果、特許文献2では、特許文献1に開示の超音波撮像技術で必要な振動付与機構やドップラモード処理が不要であり、Bモード超音波断層画像フレームデータのみから鮮明な穿刺針画像を表示できるとしている。
Therefore, in the ultrasonic imaging technique disclosed in Patent Document 1, in order to accurately detect the tip position of the puncture needle inserted into the subject, a vibration applying mechanism is attached to the proximal end of the puncture needle, and the puncture needle is mechanically attached. The puncture needle is imaged on the basis of the Doppler signal, and the puncture needle is converted into a Doppler image on the basis of the Doppler signal and displayed on the B-mode image.
In the ultrasonic diagnostic apparatus disclosed in Patent Literature 2, B-mode ultrasonic tomographic image frame data obtained by an ultrasonic probe is accumulated in a memory, and the difference between the previously accumulated frame data and the currently obtained frame data is stored. And a spatial change is obtained as digital data, and this is added to the currently obtained frame data to display a desired puncture needle image on the B-mode ultrasound image. As a result, in Patent Document 2, the vibration applying mechanism and Doppler mode processing necessary for the ultrasonic imaging technique disclosed in Patent Document 1 are unnecessary, and a clear puncture needle image is displayed only from B-mode ultrasonic tomographic image frame data. I can do it.

また、特許文献3に開示の超音波ガイド下穿刺システムでは、穿刺針が刺入された被検体からの超音波探触子による受信信号を処理してBモード画像信号を生成し、Bモード画像信号に基づいてBモード超音波断層像を表示装置に表示すると共に、表示されている超音波画像より高輝度部でかつ輝度が大きく変化した部分を抽出し、この抽出した部分を色付けし、この色付けした抽出部分を最新の超音波断層像上に重畳して表示している。その結果、特許文献3では、一度患者に刺入した穿刺針の針先を見失うことなく、確実かつ良好に、処置及び検査を行える超音波ガイド下穿刺システムを安価に提供できるとしている。   Further, in the ultrasonic guided puncture system disclosed in Patent Document 3, a reception signal from an ultrasonic probe from a subject into which a puncture needle is inserted is processed to generate a B-mode image signal, and a B-mode image is generated. Based on the signal, a B-mode ultrasonic tomogram is displayed on the display device, a portion having a higher luminance than the displayed ultrasonic image and the luminance is greatly changed is extracted, and the extracted portion is colored, The colored extraction part is displayed superimposed on the latest ultrasonic tomographic image. As a result, Patent Document 3 states that an ultrasonic guided puncture system that can perform treatment and examination reliably and satisfactorily without losing sight of the needle tip of a puncture needle once inserted into a patient can be provided at low cost.

特許第4030644号Patent No. 4030644 特開2001−269339号公報JP 2001-269339 A 特開2000−107178号公報JP 2000-107178 A

ところで、特許文献1に開示の技術では、穿刺針を機械的に振動するための特別な機構が必要になり、装置が大型化し、コストがアップするばかりか、超音波ガイド下の中心静脈穿刺を行う場合、血管からのドップラ信号と穿刺針からのドップラ信号の分離ができないという問題がある。
ここで、穿刺術は、穿刺針が細くなればなるほど患者への負担軽減や侵襲性低減となるため、リスク等に合わせて可能な限り細い穿刺針が選択される。しかし、穿刺針が細くなるに従って、超音波画像上への描出力も低下してしまい、穿刺針が途切れ途切れに描出されてしまい、穿刺針の位置または形状は明確に表示できないという問題がある。
By the way, the technique disclosed in Patent Document 1 requires a special mechanism for mechanically vibrating the puncture needle, which increases the size of the apparatus and increases the cost. When performing, there exists a problem that the Doppler signal from a blood vessel and the Doppler signal from a puncture needle cannot be isolate | separated.
Here, in the puncture technique, the thinner the puncture needle is, the less burden on the patient and the less invasiveness, so the puncture needle as thin as possible is selected according to the risk. However, as the puncture needle becomes thinner, the drawing output on the ultrasonic image also decreases, and the puncture needle is drawn intermittently, and there is a problem that the position or shape of the puncture needle cannot be clearly displayed.

また、特許文献2に開示の技術では、特許文献1に開示の技術の上記問題点を解消することができ、Bモード超音波断層画像フレームデータのみから鮮明な穿刺針画像を表示できるとしている。
しかしながら、上述したように、細い穿刺針が使用される場合、Bモード超音波断層画像フレームデータ自体が、穿刺針の位置または形状は明確に表示するのが難しいデータであるので、差分データから穿刺針の刺入による正確な空間変化データのみを得ることができず、正確な穿刺針画像を得ることができないという問題がある。
さらに、穿刺針を患者等の被検体に刺入する際に、穿刺針のみが空間的に変化する場合だけではなく、患者等の動きに応じて被検体が動いて空間変化が生じたり、被検体自体が穿刺針の刺入に応じて変化して空間変化が生じたりすることが起こるので、その場合、特許文献2における差分データには、穿刺針の刺入のみならず、被検体の動きや被検体自体の変化による空間変化データが含まれることになり、穿刺針の刺入による空間変化データのみを分離できず、穿刺針画像のみを分離できないという問題があった。また、通常、Bモード超音波断層画像フレームデータ自体にはノイズが含まれているため、差分データにもノイズに起因するデータが含まれることになり、ノイズに起因するデータを分離する処理をしない限り、穿刺針画像のみを得ることが分離できないという問題がある。
The technique disclosed in Patent Document 2 can solve the above-described problems of the technique disclosed in Patent Document 1, and can display a clear puncture needle image only from B-mode ultrasonic tomographic image frame data.
However, as described above, when a thin puncture needle is used, the B-mode ultrasonic tomographic image frame data itself is data that is difficult to clearly display the position or shape of the puncture needle. There is a problem that only accurate spatial change data due to needle insertion cannot be obtained, and an accurate puncture needle image cannot be obtained.
Furthermore, when the puncture needle is inserted into a subject such as a patient, not only the case where only the puncture needle changes spatially, but the subject moves according to the movement of the patient or the like, causing a spatial change, Since the sample itself may change in accordance with the insertion of the puncture needle to cause a spatial change, in this case, the difference data in Patent Document 2 includes not only the insertion of the puncture needle but also the movement of the subject. And spatial change data due to changes in the subject itself are included, and there is a problem that it is not possible to separate only the spatial change data due to insertion of the puncture needle and not only the puncture needle image. In addition, since the B-mode ultrasound tomographic image frame data itself includes noise, the difference data also includes data due to the noise, and the process for separating the data due to the noise is not performed. As long as there is a problem that only obtaining a puncture needle image cannot be separated.

さらに、特許文献3に開示の技術でも、特許文献2に開示の技術と同様に、最新画像データとこれより1画面前の画像データとを比較して、超音波断層画像の高輝度部の変化のある部分を抽出して、穿刺針の針先部として着色表示しているが、高輝度部の変化のある部分は、穿刺針の刺入より生じた高輝度部の変化のみならず、被検体の動きや被検体自体の変化やノイズによる高輝度部の変化として存在する場合があり、この場合には、刺入による穿刺針の針先部の移動のみを分離できず、穿刺針の針先部のみを分離できないという問題がある。
また、特許文献3に開示の技術では、超音波断層画像の高輝度部が穿刺針であるとしているが、どのような高輝度部が穿刺針に該当するかを判断するのは難しく、上述したように、細い穿刺針が使用される場合、穿刺針の位置または形状をは明確に表示するのが難しい超音波断層画像中で、穿刺針に該当する高輝度部のみを抽出することはできないという問題もある。
Further, in the technique disclosed in Patent Document 3, as in the technique disclosed in Patent Document 2, the latest image data is compared with the image data one screen before this, and the change in the high-luminance portion of the ultrasonic tomographic image is changed. The extracted part is colored and displayed as the needle tip of the puncture needle, but the part with the change in the high-intensity part is not only the change in the high-intensity part caused by the insertion of the puncture needle. It may exist as a change in the specimen, a change in the subject itself, or a change in the high luminance part due to noise. In this case, only the movement of the needle tip of the puncture needle due to insertion cannot be separated, and the needle of the puncture needle There is a problem that only the front part cannot be separated.
In the technique disclosed in Patent Document 3, the high-intensity part of the ultrasonic tomographic image is a puncture needle, but it is difficult to determine what high-intensity part corresponds to the puncture needle. As described above, when a thin puncture needle is used, it is not possible to extract only a high-intensity portion corresponding to the puncture needle in an ultrasonic tomographic image in which it is difficult to clearly display the position or shape of the puncture needle. There is also a problem.

本発明の目的は、前記従来技術の問題点を解消し、穿刺術を行なう際に、穿刺針などの穿刺器具を機械的に振動するための特別な機構やドップラモード処理を用いることなく、穿刺器具の先端部を超音波画像に正確、かつ的確に、また見易く表示することができる超音波診断装置及び超音波画像生成方法を提供することにある。   An object of the present invention is to eliminate the above-mentioned problems of the prior art and perform puncture without using a special mechanism or Doppler mode processing for mechanically vibrating a puncture device such as a puncture needle when performing puncture. An object of the present invention is to provide an ultrasonic diagnostic apparatus and an ultrasonic image generation method capable of accurately, accurately, and easily displaying the tip of an instrument on an ultrasonic image.

上記目的を達成するために、本発明の超音波診断装置は、穿刺器具が刺入された被検体に超音波を送信すると共に、前記被検体及び前記穿刺器具による前記超音波の反射波を受信し、受信した反射波に基づいて時系列フレームのエコー信号を生成する超音波送受手段と、該超音波送受手段によって生成された前記エコー信号に基づいて前記被検体の超音波画像を生成する超音波画像生成手段と、該超音波画像生成手段によって生成された前記超音波画像を表示する画像表示手段と、複数の時系列フレームの前記エコー信号から時系列フレーム間の差分エコー信号を生成する差分エコー信号生成手段と、該差分エコー信号生成手段で生成された前記差分エコー信号に基づいて先端検出処理を行い、前記穿刺器具先端部を含む1以上の先端候補を検出する先端候補検出手段と、前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理して、前記穿刺器具の前記先端候補が表示強調処理された先端画像を生成する先端候補処理手段と、を具備し、前記画像表示手段は、前記先端候補処理手段によって表示強調処理された前記穿刺器具の前記先端画像を、前記超音波画像生成手段によって生成された前記超音波画像に重ねて表示することを特徴とする。   In order to achieve the above object, an ultrasonic diagnostic apparatus of the present invention transmits an ultrasonic wave to a subject into which a puncture device is inserted and receives a reflected wave of the ultrasonic wave from the subject and the puncture device. An ultrasonic transmission / reception unit that generates an echo signal of a time-series frame based on the received reflected wave; and an ultrasonic that generates an ultrasonic image of the subject based on the echo signal generated by the ultrasonic transmission / reception unit A sound wave image generating means; an image display means for displaying the ultrasonic image generated by the ultrasonic image generating means; and a difference for generating a differential echo signal between time series frames from the echo signals of a plurality of time series frames. Based on the echo signal generating means and the differential echo signal generated by the differential echo signal generating means, tip detection processing is performed, and one or more tip candidates including the tip of the puncture device are obtained. A tip candidate detection unit that outputs and a tip that performs display enhancement processing on the tip candidate of the puncture device detected by the tip candidate detection unit, and generates a tip image in which the tip candidate of the puncture device is displayed and emphasized Candidate processing means, wherein the image display means converts the tip image of the puncture device subjected to display enhancement processing by the tip candidate processing means to the ultrasound image generated by the ultrasound image generation means. It is characterized by being displayed in an overlapping manner.

ここで、前記先端候補検出手段は、前記先端検出処理として、前記差分エコー信号生成手段で生成された前記差分エコー信号の輝度差に基づいて、前記穿刺器具の前記先端候補を検出することが好ましい。
また、前記先端候補処理手段は、前記差分エコー信号の輝度差の正負に応じて、前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理することが好ましい。
また、前記先端候補処理手段は、前記表示強調処理として、前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を色付けしてカラー先端画像を生成するか、又は、前記先端候補の輝度を上げて高輝度先端画像を生成するか、若しくは、前記先端候補を色付けした上で輝度を上げて高輝度カラー先端画像を生成する処理を行うことが好ましい。
また、前記先端候補検出手段は、さらに、前記差分エコー信号の輝度差の正負を判別し、前記先端候補処理手段は、前記先端候補検出手段によって判別された前記差分エコー信号の輝度差の正負に応じて、前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理する色相及び輝度を変更することが好ましい。
Here, it is preferable that the tip candidate detection unit detects the tip candidate of the puncture device based on a luminance difference of the differential echo signal generated by the differential echo signal generation unit as the tip detection processing. .
Further, it is preferable that the tip candidate processing means performs display enhancement processing on the tip candidate of the puncture device detected by the tip candidate detecting means according to the sign of the luminance difference of the differential echo signal.
Further, the tip candidate processing unit generates a color tip image by coloring the tip candidate of the puncture device detected by the tip candidate detecting unit as the display enhancement processing, or brightness of the tip candidate It is preferable to increase the brightness to generate a high-luminance tip image, or to color the tip candidate and increase the brightness to generate a high-luminance color tip image.
The tip candidate detecting means further determines the sign of the luminance difference of the differential echo signal, and the tip candidate processing means determines whether the luminance difference of the differential echo signal determined by the tip candidate detecting means is positive or negative. Accordingly, it is preferable to change the hue and brightness for display enhancement processing of the tip candidate of the puncture device detected by the tip candidate detecting means.

また、前記差分エコー信号生成手段は、さらに、生成した前記差分エコー信号に基づいて差分画像を生成するものであり、前記先端候補検出手段は、前記差分エコー信号生成手段で生成された前記差分画像に、前記先端検出処理を行い、前記穿刺器具の前記先端候補を検出することが好ましい。
また、前記先端候補検出手段は、前記先端検出処理として、前記差分エコー信号生成手段で生成された前記差分画像に、所定輝度差以上の部分を抽出する処理を施して前記穿刺器具の前記先端候補を検出することが好ましい。
また、前記先端候補検出手段は、前記先端検出処理として、前記差分エコー信号生成手段で生成された前記差分画像の中の所定輝度差以上の部分を抽出するために、前記差分画像に対して階調処理を行うためのルックアップテーブルを用いたルックアップテーブル処理を行い、前記穿刺器具の前記先端候補を検出することが好ましい。
前記先端候補検出手段による前記ルックアップテーブル処理で用いられる前記ルックアップテーブルは、前記超音波画像及び前記差分画像の少なくとも一方に応じて調整されるものであることが好ましい。
The differential echo signal generation means further generates a differential image based on the generated differential echo signal, and the tip candidate detection means is the differential image generated by the differential echo signal generation means. Furthermore, it is preferable that the tip detection process is performed to detect the tip candidate of the puncture device.
In addition, the tip candidate detection unit performs a process of extracting a portion having a predetermined luminance difference or more on the difference image generated by the difference echo signal generation unit as the tip detection process, and the tip candidate of the puncture device Is preferably detected.
In addition, the tip candidate detecting means may extract a portion of the difference image that is greater than or equal to a predetermined luminance difference from the difference image generated by the difference echo signal generating means as the tip detection process. It is preferable to perform look-up table processing using a look-up table for performing adjustment processing and detect the tip candidate of the puncture device.
The look-up table used in the look-up table processing by the tip candidate detecting means is preferably adjusted according to at least one of the ultrasonic image and the difference image.

また、前記先端候補検出手段は、前記先端検出処理として、前記差分画像の輝度差、並びに該輝度差で検出された領域の大きさ及び密度に基づいて、前記穿刺器具の前記先端候補を検出することが好ましい。
また、前記先端候補検出手段は、前記差分画像に、前記先端検出処理として、先端強調フィルタ処理を行い、前記穿刺器具の前記先端候補を検出することが好ましい。
また、前記先端候補検出手段は、前記差分画像に、前記先端検出処理として、メディアンフィルタ処理、又は、所定の点の近傍画素の輝度和を求めて該輝度和が大きい箇所のみ強調するフィルタ処理を行い、前記穿刺器具の前記先端候補を検出することが好ましい。
また、前記先端候補検出手段は、前記画像表示手段に表示されたフレームより過去の時刻に検出された前記穿刺器具の前記先端候補の近傍領域を探索して、表示フレームに基づく前記差分画像から前記穿刺器具の前記先端候補を検出することが好ましい。
また、前記先端候補検出手段は、前記画像表示手段に表示されたフレームより過去の2時刻に検出された前記穿刺器具の前記先端候補を結んだ直線の近傍領域を探索して、表示フレームに基づく前記差分画像から前記穿刺器具の前記先端候補を検出することが好ましい。
Further, the tip candidate detecting means detects the tip candidate of the puncture device based on the difference in luminance of the difference image and the size and density of the area detected by the luminance difference as the tip detection process. It is preferable.
Further, it is preferable that the tip candidate detecting unit performs tip enhancement filter processing on the difference image as the tip detection processing to detect the tip candidate of the puncture device.
Further, the tip candidate detecting means performs a median filtering process on the difference image as the tip detecting process, or a filter process for obtaining a luminance sum of pixels near a predetermined point and emphasizing only a portion where the luminance sum is large. Preferably, the tip candidate of the puncture device is detected.
Further, the tip candidate detecting means searches for a region near the tip candidate of the puncture device detected at a time earlier than the frame displayed on the image display means, and from the difference image based on the display frame, It is preferable to detect the tip candidate of the puncture device.
Further, the tip candidate detecting means searches for a neighborhood region of a straight line connecting the tip candidates of the puncture device detected at the past two times from the frame displayed on the image display means, and based on the display frame It is preferable to detect the tip candidate of the puncture device from the difference image.

また、前記差分エコー信号生成手段は、前記差分画像を作成する前記時系列フレーム間の時間差を調整できる機能を備えることが好ましい。
また、前記差分エコー信号生成手段は、前記差分画像を作成するための過去のフレームは2フレーム以上前の複数のフレームを用いることが好ましい。
また、前記差分エコー信号生成手段は、前処理として、前記時系列エコー信号に、スペックルパターンを軽減する信号処理、前記穿刺器具の方向にぼかす信号処理、及び/又は、前記穿刺器具をつなげる信号処理を行った後に、前記差分エコー信号を生成することが好ましい。
また、前記画像表示手段は、過去の時刻に検出した前記穿刺器具の前記先端候補の画像も表示し、前記穿刺器具の刺入軌跡を表示することが好ましい。
また、前記先端候補処理手段は、前記先端候補点検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理して、前記穿刺器具の前記先端候補が表示強調処理された先端強調画像を生成し、前記画像表示手段は、前記先端候補処理手段によって生成された前記穿刺器具の前記先端候補が表示強調処理された前記先端強調画像を、前記超音波画像生成手段によって生成された前記超音波画像に重ねて表示することが好ましい。
さらに、前記先端候補処理手段によって生成された前記穿刺器具の前記先端候補が表示強調処理された前記先端画像を、前記超音波画像生成手段によって生成された前記超音波画像に重ねるように合成して合成画像を生成する画像合成手段と、を具備し、前記画像表示手段は、前記画像合成手段によって合成された前記合成画像を表示することが好ましい。
Moreover, it is preferable that the said difference echo signal production | generation means is equipped with the function which can adjust the time difference between the said time-sequential frames which produce the said difference image.
Further, it is preferable that the differential echo signal generation means uses a plurality of frames two or more frames before as the past frame for generating the differential image.
In addition, the differential echo signal generation means, as pre-processing, signal processing for reducing speckle patterns, signal processing for blurring in the direction of the puncture device, and / or a signal for connecting the puncture device to the time-series echo signal It is preferable to generate the differential echo signal after performing the processing.
Further, it is preferable that the image display means also displays an image of the tip candidate of the puncture device detected at a past time, and displays a puncture locus of the puncture device.
Further, the tip candidate processing means performs display enhancement processing on the tip candidate of the puncture device detected by the tip candidate point detection means, and displays a tip emphasized image obtained by performing display enhancement processing on the tip candidate of the puncture device. And the image display means generates the tip-enhanced image in which the tip candidate of the puncture device generated by the tip candidate processing means is subjected to display enhancement processing, and the ultrasound generated by the ultrasound image generation means. It is preferable to display it superimposed on the image.
Further, the tip image on which the tip candidate of the puncture device generated by the tip candidate processing unit is subjected to display emphasis processing is synthesized so as to be superimposed on the ultrasound image generated by the ultrasound image generating unit. It is preferable that the image display unit display a composite image synthesized by the image composition unit.

本発明によれば、穿刺術を行なう際に、穿刺針などの穿刺器具を機械的に振動するための特別な機構やドップラモード処理を用いることなく、穿刺器具の先端部を超音波画像に正確、かつ的確に、また見易く表示することができる。
その結果、本発明によれば、細い穿刺針などの穿刺器具を用いる場合であっても、確実に穿刺器具の先端部を目的部位まで到達させることができる。
According to the present invention, when performing a puncture, the tip of the puncture device can be accurately converted into an ultrasonic image without using a special mechanism for mechanically vibrating the puncture device such as a puncture needle or Doppler mode processing. And can be displayed accurately and easily.
As a result, according to the present invention, even when a puncture device such as a thin puncture needle is used, the distal end portion of the puncture device can surely reach the target site.

本発明の超音波診断装置の一実施形態の構成を模式的に示すブロック図である。1 is a block diagram schematically showing a configuration of an embodiment of an ultrasonic diagnostic apparatus of the present invention. 図1に示す超音波診断装置の合成画像生成部の穿刺針先端検出部の一実施例の詳細を示すブロック図である。FIG. 2 is a block diagram showing details of an embodiment of a puncture needle tip detection unit of a composite image generation unit of the ultrasonic diagnostic apparatus shown in FIG. 1. 図1に示す超音波診断装置の合成画像生成部の差分画像生成部で得られる差分画像の一例を表す図である。It is a figure showing an example of the difference image obtained by the difference image generation part of the synthetic | combination image generation part of the ultrasonic diagnosing device shown in FIG. 穿刺針の刺入軌跡を表示した超音波画像の一例を表す図である。It is a figure showing an example of the ultrasonic image which displayed the insertion locus | trajectory of a puncture needle. (A)及び(B)は、それぞれ図2に示す穿刺針先端検出部で用いられる差分画像及び差分画像に施す先端強調フィルタの一例を表す図である。(A) And (B) is a figure showing an example of the tip emphasis filter applied to the difference image and difference image which are respectively used by the puncture needle tip detection part shown in FIG. 図1に示す合成画像生成部の時系列フレーム差分画像生成部の一実施例を示すブロック図である。It is a block diagram which shows one Example of the time-sequential frame difference image generation part of the synthesized image generation part shown in FIG. 図6に示す時系列フレーム差分画像生成部の穿刺針処理部の一実施例を示す機能ブロック図である。It is a functional block diagram which shows one Example of the puncture needle process part of the time series frame difference image generation part shown in FIG. (A)、(B)及び(C)は、図7に示す穿刺針処理部のフィルタ適用処理部で処理される1フレームの超音波画像、適用される穿刺針強調フィルタ及び処理後の穿刺針強調超音波画像の一例を表す図である。(A), (B), and (C) are one-frame ultrasonic images processed by the filter application processing unit of the puncture needle processing unit shown in FIG. 7, the applied puncture needle enhancement filter, and the processed puncture needle It is a figure showing an example of an emphasis ultrasonic picture. 図6に示す時系列フレーム差分画像生成部の穿刺針処理部の他の実施例を示す機能ブロック図である。It is a functional block diagram which shows the other Example of the puncture needle process part of the time series frame difference image generation part shown in FIG. 図9に示す穿刺針処理部の穿刺針領域特定部及び穿刺針先端位置特定部の詳細な構成を示した機能ブロック図である。FIG. 10 is a functional block diagram showing a detailed configuration of a puncture needle region specifying unit and a puncture needle tip position specifying unit of the puncture needle processing unit shown in FIG. 9. (A)は、本発明におけるBモード画像、(B)は、(A)に示すBモード画像に閾値処理をした後のエッジ画像、(C)は、(B)に示すエッジ画像にハフ変換を行って特定した直線を重畳表示したエッジ画像、(D)は、(C)に示すエッジ画像に穿刺針存在領域を重畳表示したエッジ画像の一例を表す図である。(A) is a B-mode image according to the present invention, (B) is an edge image obtained by performing threshold processing on the B-mode image shown in (A), and (C) is a Hough transform into an edge image shown in (B). (D) is a diagram showing an example of an edge image in which a puncture needle presence region is superimposed and displayed on the edge image shown in (C). (A)は、図11(D)に示す穿刺針存在領域における先端位置特定方法を示す模式図、(B)は、(A)による穿刺針の先端位置と穿刺針の始点とを結んだ直線を表す模式図である。(A) is a schematic diagram showing a tip position specifying method in the puncture needle presence region shown in FIG. 11 (D), and (B) is a straight line connecting the tip position of the puncture needle and the start point of the puncture needle according to (A). It is a schematic diagram showing. 本発明の超音波画像生成方法の要部の一例を示すフローチャートである。It is a flowchart which shows an example of the principal part of the ultrasonic image generation method of this invention. (A)及び(B)は、2つの時系列フレームの超音波画像、(C)は、(A)及び(B)に示す超音波画像の差分画像、並びに(D)は、(C)に示す差分画像に施すルックアップテーブル処理のための先端強調フィルタ、(E)は、(C)に示す差分画像のルックアップテーブル処理画像の一例を表す図である。(A) and (B) are ultrasonic images of two time-series frames, (C) is a difference image of ultrasonic images shown in (A) and (B), and (D) is in (C). (E) is a figure showing an example of the look-up table process image of the difference image shown to (C). 図14(D)に示す先端強調フィルタのフィルタ係数を決定するベースとなるガウスフィルタの一例を表す図である。It is a figure showing an example of the Gaussian filter used as a base which determines the filter coefficient of the tip emphasis filter shown in Drawing 14 (D). 図14(C)に示す差分画像の2値化処理後の穿刺針の先端候補点の分布を表す図である。It is a figure showing distribution of the tip candidate point of the puncture needle after the binarization processing of the difference image shown in Drawing 14 (C). 本発明の超音波画像生成方法の要部の他の一例を示すフローチャートである。It is a flowchart which shows another example of the principal part of the ultrasonic image generation method of this invention. 本発明の超音波診断装置の診断装置本体の他の実施形態の構成を模式的に示すブロック図である。It is a block diagram which shows typically the structure of other embodiment of the diagnostic apparatus main body of the ultrasonic diagnosing device of this invention.

本発明に係る超音波診断装置及び超音波画像生成方法を、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。   An ultrasonic diagnostic apparatus and an ultrasonic image generation method according to the present invention will be described below in detail based on preferred embodiments shown in the accompanying drawings.

図1は、本発明の超音波画像生成方法を実施する本発明の超音波診断装置の一実施形態の構成を模式的に示すブロック図であり、図2は、図1に示す超音波診断装置の合成画像生成部の穿刺針先端検出部の一実施例の詳細を示すブロック図である。
本発明の超音波診断装置10は、図1に示すように、被検体、特に穿刺針等の穿刺器具が刺入された被検体に対して超音波を照射(送信)し、被検体及び穿刺器具から反射される超音波(エコー)を受信して得られたエコー信号から超音波画像、特に穿刺器具の先端部を合成した超音波画像を生成して表示し、超音波画像診断に供する装置であって、超音波プローブ12と、この超音波プローブ12が接続される診断装置本体14と有する。以下では、穿刺器具として、穿刺針を代表例として説明するが、本発明は、これに限定されるわけではない。
FIG. 1 is a block diagram schematically showing a configuration of an embodiment of an ultrasonic diagnostic apparatus of the present invention that implements the ultrasonic image generation method of the present invention. FIG. 2 is an ultrasonic diagnostic apparatus shown in FIG. It is a block diagram which shows the detail of one Example of the puncture needle front-end | tip detection part of the synthetic | combination image generation part.
As shown in FIG. 1, the ultrasonic diagnostic apparatus 10 of the present invention irradiates (transmits) ultrasonic waves to a subject, particularly a subject into which a puncture device such as a puncture needle is inserted. An apparatus for generating and displaying an ultrasonic image from an echo signal obtained by receiving an ultrasonic wave (echo) reflected from the instrument, in particular, an ultrasonic image obtained by synthesizing the tip of the puncture instrument, and providing for ultrasonic image diagnosis And it has the ultrasonic probe 12 and the diagnostic apparatus main body 14 to which this ultrasonic probe 12 is connected. Hereinafter, a puncture needle will be described as a representative example of the puncture device, but the present invention is not limited to this.

超音波プローブ12は、探触子とも呼ばれ、被検体に押し当てて用いられ、超音波を送受信し、受信エコー信号を診断装置本体14に出力するもので、プローブ本体16と、通信ケーブル18と、穿刺アダプタ20と、を有する。
プローブ本体16は、電気信号を超音波に変換して照射(送信)すると共に、被検体から反射された超音波を受信して電気信号(エコー信号)に変換する変換器であって、基本的に、公知の超音波プローブであり、リニアスキャン方式、コンベックススキャン方式、セクタスキャン方式等いずれの方式の超音波プローブであってもよい。
なお、プローブ本体16の詳細な構成については、後述する。
The ultrasonic probe 12 is also called a probe, is used by being pressed against a subject, transmits / receives ultrasonic waves, and outputs a received echo signal to the diagnostic apparatus main body 14. And a puncture adapter 20.
The probe main body 16 is a converter that converts an electrical signal into an ultrasonic wave and irradiates (transmits), and receives an ultrasonic wave reflected from a subject and converts it into an electrical signal (echo signal). In addition, it is a known ultrasonic probe, and may be any type of ultrasonic probe such as a linear scan method, a convex scan method, and a sector scan method.
The detailed configuration of the probe body 16 will be described later.

プローブ本体16は、超音波の送信及び受信を行なうための超音波送受信面(図示せず)を有し、この超音波送受信面と逆側に通信ケーブル18が接続され、超音波送受信面の一方の側面には、穿刺アダプタ20が配置されている。
通信ケーブル18は、プローブ本体16からエコー信号を診断装置本体14に伝送するためのものである。
The probe body 16 has an ultrasonic transmission / reception surface (not shown) for transmitting and receiving ultrasonic waves, and a communication cable 18 is connected to the opposite side of the ultrasonic transmission / reception surface, and one of the ultrasonic transmission / reception surfaces. A puncture adapter 20 is disposed on the side surface of the.
The communication cable 18 is for transmitting an echo signal from the probe main body 16 to the diagnostic apparatus main body 14.

穿刺アダプタ20は、超音波診断装置10を用いて穿刺術を行なう際に、穿刺針等の穿刺器具を被検体に刺入させるためのガイドとなるものである。穿刺アダプタ20には、穿刺針を被検体に一定の角度で刺入させるためのガイド溝が形成されており、穿刺針は、このガイド溝に沿って刺入されることで、被検体に一定の角度で刺入される。すなわち、被検体に対する穿刺アダプタ20のガイド溝の角度により、穿刺針が被検体に刺入される角度(以下、刺入角度という)が決まる。穿刺アダプタ20のガイド溝は、被検体に対してする角度を変化させることができ、刺入角度を調節することができるようになっている。
穿刺アダプタ20は、プローブ本体16と物理的に接続されているのみならず、電気的にも接続されているのが好ましい。この場合には、穿刺アダプタ20に刺入角度に関する情報を保持させることができる。このような穿刺アダプタ20がプローブ本体16と物理的に接続されると電気的にも接続されるので、刺入角度を表す信号をプローブ本体16に出力することができる。また、穿刺アダプタ20は、被検体に対する溝の角度が変更される毎に現在の刺入角度を表す信号をプローブ本体16に出力することができる。
The puncture adapter 20 serves as a guide for inserting a puncture device such as a puncture needle into a subject when performing puncture using the ultrasonic diagnostic apparatus 10. The puncture adapter 20 is formed with a guide groove for allowing the puncture needle to be inserted into the subject at a certain angle, and the puncture needle is inserted along the guide groove so that the subject is fixed to the subject. It is inserted at an angle of. That is, the angle at which the puncture needle is inserted into the subject (hereinafter referred to as the insertion angle) is determined by the angle of the guide groove of the puncture adapter 20 with respect to the subject. The guide groove of the puncture adapter 20 can change the angle with respect to the subject, and can adjust the insertion angle.
The puncture adapter 20 is preferably not only physically connected to the probe body 16 but also electrically connected. In this case, the puncture adapter 20 can hold information regarding the insertion angle. When such a puncture adapter 20 is physically connected to the probe body 16, the puncture adapter 20 is also electrically connected, so that a signal representing the insertion angle can be output to the probe body 16. Further, the puncture adapter 20 can output a signal representing the current insertion angle to the probe body 16 every time the angle of the groove with respect to the subject is changed.

図1に示すように、プローブ本体16は、複数の超音波トランスデューサ34と、複数の受信信号処理部36と、送信駆動部38と、送信制御部40と、受信制御部42と、プローブ制御部44とを有する。
複数の超音波トランスデューサ34は、1次元又は2次元の振動子アレイを構成するもので、複数のトランスデューサ34の各々に対応して複数の受信信号処理部36がそれぞれ接続されている。また、複数のトランスデューサ34に送信駆動部38を介して送信制御部40が接続され、複数の受信信号処理部36に受信制御部42が接続され、これら送信制御部40および受信制御部42にプローブ制御部44が接続されている。
また、受信信号処理部36は診断装置本体14のデータ格納部46に、プローブ制御部44は、本体制御部54に、通信ケーブルを介して、それぞれ接続されている。
As shown in FIG. 1, the probe main body 16 includes a plurality of ultrasonic transducers 34, a plurality of reception signal processing units 36, a transmission drive unit 38, a transmission control unit 40, a reception control unit 42, and a probe control unit. 44.
The plurality of ultrasonic transducers 34 constitute a one-dimensional or two-dimensional transducer array, and a plurality of reception signal processing units 36 are connected to each of the plurality of transducers 34. Further, a transmission control unit 40 is connected to the plurality of transducers 34 via the transmission drive unit 38, a reception control unit 42 is connected to the plurality of reception signal processing units 36, and a probe is connected to the transmission control unit 40 and the reception control unit 42. A control unit 44 is connected.
The reception signal processing unit 36 is connected to the data storage unit 46 of the diagnostic apparatus main body 14, and the probe control unit 44 is connected to the main body control unit 54 via a communication cable.

複数のトランスデューサ34は、それぞれ送信駆動部38から供給される駆動信号に従って超音波を被検体に向けて送信すると共に、被検体からの超音波エコーを受信して受信信号を出力する。各トランスデューサ34は、例えば、PZT(チタン酸ジルコン酸鉛)に代表される圧電セラミックや、PVDF(ポリフッ化ビニリデン)に代表される高分子圧電素子等からなる圧電体の両端に電極を形成した振動子によって構成される。
そのような振動子の電極にパルス状又は連続波の電圧を印加すると、振動子の圧電体が伸縮し、それぞれの振動子からパルス状又は連続波の超音波が発生して、それらの超音波の合成により超音波ビームが形成される。また、それぞれの振動子は、伝搬する超音波を受信することにより伸縮して電気信号を発生し、それらの電気信号は、超音波の受信信号として出力される。
The plurality of transducers 34 transmit ultrasonic waves to the subject according to the drive signals supplied from the transmission drive unit 38, respectively, receive ultrasonic echoes from the subject, and output reception signals. Each transducer 34 is a vibration in which electrodes are formed on both ends of a piezoelectric body made of, for example, a piezoelectric ceramic represented by PZT (lead zirconate titanate) or a polymer piezoelectric element represented by PVDF (polyvinylidene fluoride). Consists of children.
When a pulse or continuous wave voltage is applied to the electrodes of such a vibrator, the piezoelectric body of the vibrator expands and contracts, and pulse or continuous wave ultrasonic waves are generated from the respective vibrators. An ultrasonic beam is formed by combining the above. In addition, each transducer generates an electric signal by expanding and contracting by receiving propagating ultrasonic waves, and these electric signals are output as ultrasonic reception signals.

送信駆動部38は、例えば、複数のパルサを含んでおり、送信制御部40によって選択された送信遅延パターンに基づいて、複数のトランスデューサ34から送信される超音波が被検体内の組織のエリアをカバーする幅広の超音波ビームを形成するようにそれぞれの駆動信号の遅延量を調節して複数のトランスデューサ34に供給する。   The transmission drive unit 38 includes, for example, a plurality of pulsers, and ultrasonic waves transmitted from the plurality of transducers 34 pass through the tissue area in the subject based on the transmission delay pattern selected by the transmission control unit 40. The delay amount of each drive signal is adjusted so as to form a wide ultrasonic beam to be covered and supplied to the plurality of transducers 34.

各チャンネルの受信信号処理部36は、受信制御部42の制御の下で、対応するトランスデューサ34から出力される受信信号に対して増幅およびデジタル(A/D)変換処理を施し、更に直交検波処理又は直交サンプリング処理を施すことにより複素ベースバンド信号を生成し、複素ベースバンド信号をサンプリングすることにより、組織のエリアの情報を含むサンプルデータを生成する。受信信号処理部36は、複素ベースバンド信号をサンプリングして得られるデータに高能率符号化のためのデータ圧縮処理を施すことによりサンプルデータを生成してもよい。
なお、本明細書では、信号は、ハードウエアにおいて主に信号レベル(信号値)をも表すものとしても用いられ、データは、ソフトウエアにおいて処理されるもので、大きさ(データ値)を表すものとしても用いられる。
プローブ制御部44は、診断装置本体14から伝送される各種の制御信号に基づいて、プローブ本体16の各部の制御を行う。
The reception signal processing unit 36 of each channel performs amplification and digital (A / D) conversion processing on the reception signal output from the corresponding transducer 34 under the control of the reception control unit 42, and further performs quadrature detection processing. Alternatively, a complex baseband signal is generated by performing orthogonal sampling processing, and sample data including information on the area of the tissue is generated by sampling the complex baseband signal. The reception signal processing unit 36 may generate sample data by performing data compression processing for high-efficiency encoding on data obtained by sampling the complex baseband signal.
In this specification, a signal is also used as a thing that mainly represents a signal level (signal value) in hardware, and data is processed in software and represents a magnitude (data value). Also used as a thing.
The probe control unit 44 controls each part of the probe main body 16 based on various control signals transmitted from the diagnostic apparatus main body 14.

一方、図1に示すように、診断装置本体14は、データ格納部46と、合成画像生成部48と、表示制御部50と、表示部52と、本体制御部54と、操作部56と、格納部58とを有する。
診断装置本体14において、データ格納部46には、合成画像生成部48が接続されており、また、プローブ本体16の複数の受信信号処理部36が接続されている。合成画像生成部48には、表示制御部50を介して表示部52が接続されている。合成画像生成部48及び表示制御部50には、本体制御部54が接続されている。さらに、本体制御部54には、操作部56と、格納部58とがそれぞれ接続されている。
On the other hand, as shown in FIG. 1, the diagnostic apparatus main body 14 includes a data storage unit 46, a composite image generation unit 48, a display control unit 50, a display unit 52, a main body control unit 54, an operation unit 56, And a storage unit 58.
In the diagnostic device main body 14, a composite image generation unit 48 is connected to the data storage unit 46, and a plurality of reception signal processing units 36 of the probe main body 16 are connected. A display unit 52 is connected to the composite image generation unit 48 via a display control unit 50. A main body control unit 54 is connected to the composite image generation unit 48 and the display control unit 50. Furthermore, an operation unit 56 and a storage unit 58 are connected to the main body control unit 54.

データ格納部46は、メモリまたはハードディスク等によって構成され、通信ケーブル18を介して超音波プローブ12の受信信号処理部36から時系列的に伝送される少なくとも1フレーム分のサンプルデータを格納する。
合成画像生成部48は、データ格納部46から読み出される1フレーム毎のサンプルデータに受信フォーカス処理を施して、1フレームのBモード画像である超音波画像の画像データ(Bモード画像信号)、特に穿刺針の先端部が表示強調された先端画像が合成された合成超音波画像などの超音波診断画像の画像データ(画像信号)を生成する。
なお、本明細書では、画像を各画素の画像データ又は画像信号の集合体であるとみなすことができるので、画像を表す画像データ又は画像信号の集合体を単に画像ともいう。
合成画像生成部48の詳細については、後述する。
The data storage unit 46 includes a memory, a hard disk, or the like, and stores at least one frame of sample data transmitted in time series from the reception signal processing unit 36 of the ultrasonic probe 12 via the communication cable 18.
The composite image generation unit 48 performs reception focus processing on the sample data for each frame read from the data storage unit 46 to perform image data (B-mode image signal) of an ultrasonic image that is a B-mode image of one frame, particularly Image data (image signal) of an ultrasound diagnostic image such as a synthesized ultrasound image in which a tip image with the tip of the puncture needle displayed and emphasized is synthesized is generated.
Note that in this specification, an image can be regarded as an aggregate of image data or image signals of each pixel, and therefore an aggregate of image data or image signals representing an image is also simply referred to as an image.
Details of the composite image generation unit 48 will be described later.

表示制御部50は、合成画像生成部48によって生成された超音波画像の画像信号に基づいて、表示部52に、超音波画像、特に穿刺針先端部が表示強調された超音波診断画像を表示させる制御をするためのもので、DSC(digital scan converter:デジタル・スキャン・コンバータ)を有する。表示制御部50では、このDSCにおいて、超音波画像の画像信号を、通常のテレビジョン信号の走査方式に従う画像信号に変換(ラスター変換)し、階調処理等の必要な画像処理を施すことにより、表示部52に表示させるための表示用画像信号に変換する。
表示部52は、表示制御部50で変換された表示用画像信号に基づいて超音波画像を表示するためのもので、例えば、LCD等のディスプレイ装置やモニタを含んでおり、表示制御部50の制御の下で、表示強調処理された穿刺針の先端部を超音波画像に重ねて表示する。
The display control unit 50 displays, on the display unit 52, an ultrasound image, particularly an ultrasound diagnostic image in which the tip of the puncture needle is displayed and emphasized, based on the image signal of the ultrasound image generated by the composite image generation unit 48. It has a DSC (digital scan converter). In this DSC, the display control unit 50 converts (raster conversion) an image signal of an ultrasonic image into an image signal in accordance with a normal television signal scanning method, and performs necessary image processing such as gradation processing. Then, it is converted into a display image signal to be displayed on the display unit 52.
The display unit 52 is for displaying an ultrasonic image based on the display image signal converted by the display control unit 50 and includes, for example, a display device such as an LCD and a monitor. Under the control, the tip portion of the puncture needle subjected to the display enhancement process is displayed so as to be superimposed on the ultrasonic image.

操作部56は、オペレータが超音波診断装置10を動作させるための入力操作を行うためのもので、撮影メニュー、撮影条件等を設定し、被検体の撮像を指示する部位である。操作部56には、撮影メニュー、撮影条件などを設定するための入力キー、ダイヤルボタン、トラックボール、タッチパネル等の入力手段が設けられる。
また、操作部56は、ターゲット(目的部位)の位置の入力/設定、及び、刺入角度の設定の指示を入力するための機能も有する。さらに、操作部56は、穿刺針の刺入位置の指示を入力する機能を有していても良い。操作部56は、入力されたターゲットの位置の設定の指示、及び刺入角度の設定の指示、さらには、刺入位置の指示等を本体制御部54に供給する。
The operation unit 56 is used for an operator to perform an input operation for operating the ultrasonic diagnostic apparatus 10, and is a part for setting an imaging menu, imaging conditions, and the like and instructing imaging of a subject. The operation unit 56 is provided with input means such as an input key for setting a shooting menu, shooting conditions, and the like, a dial button, a trackball, and a touch panel.
The operation unit 56 also has a function for inputting an instruction to input / set the position of the target (target site) and set the insertion angle. Furthermore, the operation unit 56 may have a function of inputting an instruction for the insertion position of the puncture needle. The operation unit 56 supplies the input target position setting instruction, insertion angle setting instruction, and insertion position instruction to the main body control unit 54.

本体制御部54は、合成画像生成部48及び表示制御部50を始めとして診断装置本体14内の各部の制御を行うものである。本体制御部54は、通信ケーブル18を介してプローブ本体16のプローブ制御部44と接続されており、プローブ本体16の動作を制御する制御信号をプローブ制御部44に供給する。
格納部58は、メモリ又はハードディスク等によって構成され、本体制御部54によって制御される合成画像生成部48及び表示制御部50を始めとして診断装置本体14内の各部を動作させるための動作プログラムを格納する。本体制御部54は、必要に応じて、格納部58から、診断装置本体14内の各部を動作させるための動作プログラムを読み出し、読みだした動作プログラムに従って診断装置本体14内の各部を動作させる。
The main body control unit 54 controls each part in the diagnostic apparatus main body 14 including the composite image generation unit 48 and the display control unit 50. The main body control unit 54 is connected to the probe control unit 44 of the probe main body 16 via the communication cable 18 and supplies a control signal for controlling the operation of the probe main body 16 to the probe control unit 44.
The storage unit 58 is configured by a memory, a hard disk, or the like, and stores an operation program for operating each unit in the diagnostic apparatus main body 14 including the composite image generation unit 48 and the display control unit 50 controlled by the main body control unit 54. To do. The main body control unit 54 reads out an operation program for operating each unit in the diagnostic device main body 14 from the storage unit 58 as necessary, and operates each unit in the diagnostic device main body 14 according to the read operation program.

合成画像生成部48は、画像生成部64と、時系列フレーム画像記憶部(以下、単に画像記憶部ともいう)66と、時系列フレーム差分画像生成部(以下、単に差分画像生成部ともいう)68と、穿刺針先端検出部(以下、単に先端検出部ともいう)70と、画像合成部72と、を有する。
画像生成部64は、データ格納部46から読み出される1フレーム毎のサンプルデータから断層画像情報であるBモード画像信号を生成するためのもので、整相加算部60と、画像処理部62とを有する。
整相加算部60は、本体制御部54において設定された受信方向に応じて、予め記憶されている複数の受信遅延パターンの中から1つの受信遅延パターンを選択し、選択された受信遅延パターンに基づいて、データ格納部46から読み出された1フレーム毎のサンプルデータによって表される複数の複素ベースバンド信号にそれぞれの遅延を与えて位相を合わせてから加算(整相加算)することにより、受信フォーカス処理(ビームフォーミング)を行う。整相加算部60では、この受信フォーカス処理により、1フレーム毎に超音波エコーの焦点が絞り込まれたベースバンド信号(音線信号)、いわゆる1フレーム毎のエコー信号が生成される。
The composite image generation unit 48 includes an image generation unit 64, a time-series frame image storage unit (hereinafter also simply referred to as an image storage unit) 66, and a time-series frame difference image generation unit (hereinafter also simply referred to as a difference image generation unit). 68, a puncture needle tip detection unit (hereinafter also simply referred to as a tip detection unit) 70, and an image composition unit 72.
The image generation unit 64 is for generating a B-mode image signal that is tomographic image information from the sample data for each frame read from the data storage unit 46, and includes a phasing addition unit 60 and an image processing unit 62. Have.
The phasing / adding unit 60 selects one reception delay pattern from a plurality of reception delay patterns stored in advance according to the reception direction set in the main body control unit 54, and sets the selected reception delay pattern. On the basis of a plurality of complex baseband signals represented by the sample data for each frame read from the data storage unit 46, and by adding the respective phases after adjusting the phases (phased addition), Receive focus processing (beam forming) is performed. The phasing addition unit 60 generates a baseband signal (sound ray signal) in which the focus of the ultrasonic echo is narrowed for each frame, that is, a so-called echo signal for each frame, by this reception focus processing.

画像処理部62は、整相加算部60によって生成される1フレーム毎のエコー信号(音線信号)に基づいて、被検体内の組織に関する断層画像情報であるBモード画像信号を生成する。画像処理部62は、帯域通過フィルタ、STC(自己補正型タイミング制御:sensitivity time control)部を備える高周波増幅器、対数増幅器及び輝度変換器等を含んでいる。
ここで、帯域通過フィルタは、超音波エコーの伝播時間に応じて通過帯域を変化させ、S/N比を向上させる。高周波増幅器のSTC部は、伝播時間に応じて増幅する利得を制御して、エコー信号(音線信号)に対して、超音波の反射位置の深度に応じて、距離による減衰の補正を施す。対数増幅器は、広い範囲にわたって変動するエコー信号の振幅の変動範囲を圧縮して増幅する。輝度変換器は、この振幅を輝度に変換してエコー信号を輝度変調のかかった1本の輝線で表示する、断層画像情報である1フレーム毎のBモード画像信号を生成する。
The image processing unit 62 generates a B-mode image signal, which is tomographic image information related to the tissue in the subject, based on the echo signal (sound ray signal) for each frame generated by the phasing addition unit 60. The image processing unit 62 includes a high-frequency amplifier, a logarithmic amplifier, a luminance converter, and the like including a band-pass filter and an STC (self-correction timing control) unit.
Here, the band pass filter changes the pass band according to the propagation time of the ultrasonic echo to improve the S / N ratio. The STC unit of the high-frequency amplifier controls the gain to be amplified according to the propagation time, and corrects the attenuation due to the distance according to the depth of the reflection position of the ultrasonic wave with respect to the echo signal (sound ray signal). The logarithmic amplifier compresses and amplifies the fluctuation range of the amplitude of the echo signal that fluctuates over a wide range. The luminance converter generates a B-mode image signal for each frame, which is tomographic image information, by converting the amplitude into luminance and displaying the echo signal with one bright line subjected to luminance modulation.

時系列フレーム画像記憶部66は、複数のフレームの画像を表すBモード画像信号を、時系列フレームの画像として時系列的に記憶するメモリであり、データ格納部46と同様に、メモリまたはハードディスク等によって構成される。
時系列フレーム差分画像生成部68は、画像記憶部66に記憶される2つの時系列フレームの画像(Bモード画像信号)間の差分を求めて、差分画像(差分画像信号)を生成する。
なお、差分画像生成部68の好ましい詳細な構成については、後述する。
The time-series frame image storage unit 66 is a memory that stores a B-mode image signal representing a plurality of frames of images as a time-series frame image in a time-series manner. Consists of.
The time-series frame difference image generation unit 68 obtains a difference between two time-series frame images (B-mode image signals) stored in the image storage unit 66 and generates a difference image (difference image signal).
A preferable detailed configuration of the difference image generation unit 68 will be described later.

穿刺針先端検出部70は、本発明の最も特徴とする部分であって、差分画像生成部68で生成された差分画像から先端検出処理を行い、例えば、差分画像の各画素の輝度差を用いて穿刺針先端部を含む1以上の先端候補を検出し、検出された先端候補に対して表示強調処理を行い、表示強調処理された先端画像を生成するためのものである。
先端検出部70では、図3に示すように、差分画像100において、刺入される穿刺針102を生成すると、穿刺針102の先端部104の移動した部分が差分として得られるので、穿刺針102の穿刺で一番重要な先端部104のみを検出することが可能となる。先端検出部70では、穿刺針102の先端部104に該当する1つの先端候補106のみを検出するのが最も好ましいが、通常、差分画像100には、穿刺針102以外の穿刺対象の動きやノイズ等があるために、複数の先端候補106が検出されてしまい、穿刺針102の先端部104に該当する1個の先端候補のみを必ずを検出できるわけではないことは、上述した通りである。
The puncture needle tip detection unit 70 is the most characteristic part of the present invention, and performs tip detection processing from the difference image generated by the difference image generation unit 68. For example, the luminance difference of each pixel of the difference image is used. One or more tip candidates including the tip portion of the puncture needle are detected, display enhancement processing is performed on the detected tip candidate, and a tip image subjected to display enhancement processing is generated.
As shown in FIG. 3, when the puncture needle 102 to be inserted is generated in the difference image 100, the tip detection unit 70 obtains the moved portion of the tip 104 of the puncture needle 102 as a difference. Only the most important tip 104 can be detected by puncturing. It is most preferable that the tip detection unit 70 detects only one tip candidate 106 corresponding to the tip 104 of the puncture needle 102. Usually, however, the difference image 100 shows movement or noise of the puncture target other than the puncture needle 102. As described above, a plurality of tip candidates 106 are detected, and it is not always possible to detect only one tip candidate corresponding to the tip portion 104 of the puncture needle 102.

そこで、本発明においては、先端検出部70で検出された先端候補が、1個又は所定個数、例えば6個以下である場合には、それらの先端候補に対して、表示強調処理として、例えば色付け処理をし、かつ/又は輝度を挙げる処理をして、カラー及び/又は高輝度先端画像を生成するのが好ましい。なお、先端検出部70で検出された先端候補が多い、例えば6個超である場合には確度の低い先端候補を除いて、1個以上6個以下の先端候補に絞り込むのが好ましく、もちろん、1個の先端候補に絞り込むのが最も好ましく、絞り込まれた先端候補に対して、同様に、表示強調処理をして、カラー及び/又は高輝度先端画像を生成するのが好ましい。
なお、先端検出部70の詳細な構成については、後述する。
Therefore, in the present invention, when the number of tip candidates detected by the tip detection unit 70 is one or a predetermined number, for example, six or less, for example, coloring is performed on the tip candidates as display enhancement processing. It is preferred to process and / or increase brightness to generate a color and / or high brightness tip image. In addition, when there are many tip candidates detected by the tip detector 70, for example, when there are more than six, it is preferable to narrow down to one or more tip candidates except for tip candidates with low accuracy. It is most preferable to narrow down to one tip candidate, and it is preferable to similarly perform display enhancement processing on the narrowed tip candidates to generate a color and / or high brightness tip image.
The detailed configuration of the tip detection unit 70 will be described later.

画像合成部72は、画像処理部62で生成されたBモード画像である超音波画像に、先端検出部70で生成された先端画像(穿刺針先端部強調画像)を合成して合成超音波画像を生成するものである。
こうして、画像合成部72で生成された合成超音波画像(画像信号)は、表示制御部50に伝送される。
The image synthesis unit 72 synthesizes the tip image (puncture needle tip portion emphasis image) generated by the tip detection unit 70 with the ultrasound image that is the B-mode image generated by the image processing unit 62 and combines the ultrasound image. Is generated.
Thus, the synthesized ultrasonic image (image signal) generated by the image synthesis unit 72 is transmitted to the display control unit 50.

図示例の超音波診断装置10の診断装置本体14では、表示制御部50にDSCが備えられており、画像合成部72で合成された合成超音波画像(画像信号)を表示部52に表示させるための表示用画像信号に変換しているが、本発明はこれに限定されず、画像合成部72にDSCを備えておき、このDSCにおいて、画像合成部72で合成された合成超音波画像(画像信号)を、通常のテレビジョン信号の走査方式に従う画像信号に変換(ラスター変換)し、階調処理等の必要な画像処理を施すことにより、モニタ表示用Bモード画像信号を生成しても良い。
また、画像処理部62に、DSCを備えておき、このDSCにおいて、STC部によって補正されたエコー信号(音線信号)や、輝度変調されたBモード画像信号を、通常のテレビジョン信号の走査方式に従う画像信号に変換(ラスター変換)し、階調処理等の必要な画像処理を施すことにより、モニタ表示用Bモード画像信号を生成しても良い。この場合に、表示用画像信号を穿刺針の先端部の検出に用いれば、表示制御部50及び画像合成部72にDSCが備えられていなくても良い。
In the diagnostic apparatus main body 14 of the illustrated ultrasonic diagnostic apparatus 10, the display control unit 50 is provided with a DSC, and the combined ultrasonic image (image signal) combined by the image combining unit 72 is displayed on the display unit 52. However, the present invention is not limited to this, and the image synthesis unit 72 is provided with a DSC, and in this DSC, a synthesized ultrasound image synthesized by the image synthesis unit 72 ( Even if a B-mode image signal for monitor display is generated by converting the image signal) into an image signal in accordance with a normal television signal scanning method (raster conversion) and performing necessary image processing such as gradation processing. good.
In addition, the image processing unit 62 is provided with a DSC, and in this DSC, an echo signal (sound ray signal) corrected by the STC unit and a luminance-modulated B-mode image signal are scanned with a normal television signal. A monitor display B-mode image signal may be generated by performing conversion (raster conversion) to an image signal conforming to the method and performing necessary image processing such as gradation processing. In this case, if the display image signal is used to detect the tip of the puncture needle, the display controller 50 and the image compositing unit 72 may not be provided with a DSC.

次に、本発明の最も特徴とする穿刺針先端検出部70の詳細な構成について説明する。
穿刺針先端検出部70は、図2に示すように、先端候補検出部74と、先端候補処理部76と、先端候補記憶部78と、穿刺針情報及び条件記憶部(以下、単に情報記憶部という)80とを有する。
先端候補検出部74は、差分画像生成部68で生成された差分画像に対して先端検出処理を行い、穿刺針の先端部を含む1以上の先端候補を検出するためのものであり、候補点抽出処理部(以下、抽出処理部ともいう)82と、先端候補特定処理部(以下、特定処理部ともいう)84とを有する。
Next, a detailed configuration of the puncture needle tip detection unit 70, which is the most characteristic feature of the present invention, will be described.
As shown in FIG. 2, the puncture needle tip detection unit 70 includes a tip candidate detection unit 74, a tip candidate processing unit 76, a tip candidate storage unit 78, a puncture needle information and condition storage unit (hereinafter simply referred to as an information storage unit). 80).
The tip candidate detection unit 74 performs tip detection processing on the difference image generated by the difference image generation unit 68 and detects one or more tip candidates including the tip portion of the puncture needle. An extraction processing unit (hereinafter also referred to as an extraction processing unit) 82 and a tip candidate specifying processing unit (hereinafter also referred to as a specific processing unit) 84 are included.

候補点抽出処理部82は、先端検出処理の1つとして、まず差分画像の輝度差や輝度値に基づいて所定条件の輝度差分値を有する点、例えば、2値化処理や、フィルタ処理や、階調処理等のためのLUT(ルックアップテーブル)処理をして、周辺部分の輝度に対して所定輝度差以上又は以下の領域や部分(画素の集合部分)、若しくは、所定輝度値以上又は以下の領域を、穿刺針の先端候補点として抽出する。
なお、抽出処理部82においては、差分画像で輝度差等に応じて検出された先端候補点や領域の密度や大きさに基づいて、穿刺針の先端候補を選別して抽出するのが好ましい。具体的には、メディアンフィルタ処理や、所定の点の近傍画素の輝度和を求め輝度和が大きい箇所や、所定の閾値を超える部分を先端候補点として抽出しても良いし、先端候補としても良い。
As one of the tip detection processes, the candidate point extraction processing unit 82 first has a point having a luminance difference value of a predetermined condition based on the luminance difference or luminance value of the difference image, for example, binarization processing, filtering processing, Perform LUT (look-up table) processing for gradation processing, etc., and perform areas or portions (a set of pixels) that are greater than or less than a predetermined luminance difference or greater than or less than a predetermined luminance value with respect to the luminance of peripheral portions. Is extracted as a tip candidate point of the puncture needle.
In the extraction processing unit 82, it is preferable to select and extract the tip candidates of the puncture needle based on the tip candidate points and the density and size of the regions detected according to the luminance difference in the difference image. Specifically, a median filtering process, a luminance sum of pixels near a predetermined point is obtained, a portion where the luminance sum is large, or a portion exceeding a predetermined threshold may be extracted as a tip candidate point, good.

また、抽出処理部82においては、先端候補記憶部78に記憶されている、過去に検出された先端候補の位置を参照して、先端候補抽出領域を予め設定してから、LUT処理を行うのが好ましい。特に、抽出処理部82においては、過去に検出された2個点以上の穿刺針の先端候補を結ぶ直線近傍上の領域より、ある一定以上の輝度差の領域を穿刺針の先端候補点として抽出しても良いし、先端候補として検出しても良い。
こうすることにより、穿刺針の進む動きや方向を考慮して先端候補点や先端候補を探すことができるので、より正確な先端候補点の抽出処理や先端候補の検出処理をすることができる。
Further, the extraction processing unit 82 refers to the position of the tip candidate detected in the past and is stored in the tip candidate storage unit 78 to set the tip candidate extraction region in advance, and then performs the LUT process. Is preferred. In particular, the extraction processing unit 82 extracts a region having a certain luminance difference or more as a puncture needle tip candidate point from a region in the vicinity of a straight line connecting two or more puncture needle tip candidates detected in the past. Alternatively, it may be detected as a tip candidate.
By doing so, it is possible to search for a tip candidate point and a tip candidate in consideration of the movement and direction of the puncture needle, so that more accurate tip candidate point extraction processing and tip candidate detection processing can be performed.

先端候補特定処理部84は、抽出処理部82で穿刺針の先端候補点が複数抽出された場合に、先端検出処理の1つとして、確度の低い先端候補点を除去する処理を行って、例えば、相関の高い領域の中心点のみを先端候補として特定することにより、先端候補点の数を所定数、例えば、1個以上で6個以下、最も好ましくは1個に絞り込み、絞り込まれた先端候補点を検出すべき先端候補として特定する。
このような確度の低い先端候補点を除去する処理としては、抽出処理部82でLUT処理した後、先端候補点が複数残る場合には、特定処理部84において、過去に検出された複数の先端候補の位置点との距離が最小となる点から先端候補点を絞るのが好ましい。即ち、過去の穿刺針の先端候補の検出結果を複数、先端候補記憶部78に保存しておき、例えば、図4に示すように、5フレーム分の検出結果点(先端候補)と、現在検出した先端候補点のうち、2点間の距離が最小となる候補点を現在の検出結果としてもよい。このような方法は、図4に示すように、抽出処理部82で単純な先端候補点の抽出において、複数の先端候補点が抽出された時に、特定処理部84で先端候補点を絞り込む時に有効である。
When a plurality of tip candidate points of the puncture needle are extracted by the extraction processing unit 82, the tip candidate specifying processing unit 84 performs processing for removing tip candidate points with low accuracy as one of tip detection processing, for example, By specifying only the center point of the highly correlated area as the tip candidate, the number of tip candidate points is narrowed down to a predetermined number, for example, one to six, most preferably one, and narrowed tip candidates A point is identified as a tip candidate to be detected.
As a process of removing the tip candidate points having such low accuracy, when a plurality of tip candidate points remain after the LUT processing by the extraction processing unit 82, the specific processing unit 84 detects a plurality of tips detected in the past. It is preferable to narrow the tip candidate point from the point where the distance from the candidate position point is the minimum. That is, a plurality of past puncture needle tip candidate detection results are stored in the tip candidate storage unit 78. For example, as shown in FIG. 4, five frames of detection result points (tip candidates) and the current detection are detected. Among the candidate tip candidates, the candidate point with the smallest distance between the two points may be the current detection result. As shown in FIG. 4, such a method is effective when narrowing down the tip candidate points by the specific processing unit 84 when a plurality of tip candidate points are extracted in the simple tip candidate point extraction by the extraction processing unit 82. It is.

特定処理部84は、抽出処理部82で抽出された穿刺針の先端候補点が、所定数、例えば上述したように、1個以上で6個以下である場合には、それらの候補点をそのまま検出すべき穿刺針の先端候補として特定しても良いし、より少ない個数、好ましくは、1個になるまで絞り込んでも良い。
なお、抽出処理部82で抽出される先端候補点が、常に、先端候補検出部74で検出すべき先端候補の所定の個数より少なくなる場合には、例えば、1個以上で6個以下となる場合には、特定処理部84は設けなくても良い。
If the tip candidate points of the puncture needle extracted by the extraction processing unit 82 are a predetermined number, for example, 1 or more and 6 or less as described above, the specific processing unit 84 uses the candidate points as they are. It may be specified as a tip candidate of a puncture needle to be detected, or may be narrowed down to a smaller number, preferably one.
When the number of tip candidate points extracted by the extraction processing unit 82 is always smaller than the predetermined number of tip candidates to be detected by the tip candidate detecting unit 74, for example, the number is one or more and six or less. In this case, the specific processing unit 84 may not be provided.

なお、抽出処理部82でLUT処理した結果、穿刺針の先端候補点を1個も抽出できなかった場合には、先端候補記憶部78に記憶されている、前回又は過去に検出された先端候補を今回検出すべき先端候補点として抽出しても、先端候補として検出しても良いし、過去に検出された先端候補から新たな先端候補点又は先端候補を推定しても良い。抽出処理部82で抽出又は推定された先端候補点は、特定処理部84で、今回検出すべき先端候補として特定される。また、特定処理部84で、過去に検出された先端候補自体、若しくは推定された先端候補を、直接、今回検出すべき先端候補として特定しても良い。
このような場合には、穿刺針の刺入による動きがなかったことが想定されるので、前回又は過去に検出された先端候補を利用しても良いことが分かる。
As a result of the LUT processing by the extraction processing unit 82, when no tip candidate points of the puncture needle have been extracted, the tip candidates stored in the tip candidate storage unit 78 and detected in the previous time or the past are stored. May be extracted as a tip candidate point to be detected this time, or may be detected as a tip candidate, or a new tip candidate point or tip candidate may be estimated from tip candidates detected in the past. The tip candidate points extracted or estimated by the extraction processing unit 82 are specified by the specification processing unit 84 as tip candidates to be detected this time. In addition, the specification processing unit 84 may specify the tip candidates themselves detected in the past or the estimated tip candidates directly as tip candidates to be detected this time.
In such a case, it is assumed that there has been no movement due to the insertion of the puncture needle, so it can be seen that the tip candidates detected in the previous time or in the past may be used.

また、先端候補検出部74において、現在のフレームで最適な先端候補を検出できなかった時にも、先端候補記憶部78に記憶されている、過去の検出結果を利用して表示部52に表示してもよい。例えば、過去の検出結果が複数点あれば、直線の式と穿刺針の刺入する速度も求められるので、これら2つから推測される点を先端候補として表示しても良い。或いは、先端候補検出部74で最後に検出に成功した時の点をそのまま先端候補として表示し続けるようにしてもよい。
こうして、先端候補検出部74は、所定数、例えば1個以上6個以下の先端候補を検出する。なお、本発明において、先端候補検出部74が検出する先端候補の個数を6個とするのが好ましいのは、本願発明者が、少なくとも6個の先端候補を検出しておけば、その6個の中に穿刺針の先端部が含まれている確率が高いことを確認しているからである。
Further, even when the tip candidate detection unit 74 cannot detect an optimum tip candidate in the current frame, the tip candidate detection unit 74 displays the past detection result stored in the tip candidate storage unit 78 on the display unit 52. May be. For example, if there are a plurality of past detection results, the straight line formula and the puncture speed of the puncture needle are also obtained, so the point estimated from these two may be displayed as the tip candidate. Alternatively, the point when the tip candidate detection unit 74 succeeds in the last detection may be continuously displayed as the tip candidate.
In this way, the tip candidate detection unit 74 detects a predetermined number, for example, 1 to 6 tip candidates. In the present invention, the number of tip candidates detected by the tip candidate detecting unit 74 is preferably six. If the inventor detects at least six tip candidates, the number of tip candidates is six. This is because it is confirmed that there is a high probability that the tip of the puncture needle is included in the puncture needle.

上述した例では、抽出処理部82や特定処理部84では、先端検出処理として、2値化処理や、フィルタ処理や、階調処理等のLUT処理が行われているが、本発明はこれに限定されず、抽出処理部82で抽出される穿刺針の先端候補点の個数を上記の所定数とするために、2値化処理後に階調処理等のLUT処理を行い、輝度差の大きい方から所定数選択するようにしても良い。
また、抽出処理部82又は特定処理部84のLUT処理に用いるLUTを、画像生成部64で生成される超音波画像(Bモード画像)及び差分画像生成部68で生成される差分画像の少なくとも一方に応じて調整しても良い。即ち、LUT処理では、穿刺針の刺入方向に重み付けを与えた穿刺針先端部が含まれる大きさの先端強調フィルタを用いるのが好ましい。このような先端強調フィルタは、差分画像に適用されるので、穿刺針の動きを検出するフィルタということができる。
このような、先端強調フィルタとしては、フィルタ形状を階段状として、穿刺針が刺入される方向にある画素を重み付け加算に用いる形態のフィルタや、フィルタ形状を矩形とし、穿刺針が刺入される方向にある画素のフィルタ係数を大とした重み付け加算を行う形態のフィルタを用いることができる。
In the above-described example, the extraction processing unit 82 and the specific processing unit 84 perform LUT processing such as binarization processing, filter processing, and gradation processing as leading edge detection processing. Without limitation, in order to set the number of tip candidate points of the puncture needle extracted by the extraction processing unit 82 to the above-mentioned predetermined number, LUT processing such as gradation processing is performed after binarization processing, and the luminance difference is larger A predetermined number may be selected.
Further, the LUT used for the LUT processing of the extraction processing unit 82 or the specific processing unit 84 is at least one of an ultrasonic image (B mode image) generated by the image generation unit 64 and a difference image generated by the difference image generation unit 68. You may adjust according to. That is, in the LUT process, it is preferable to use a tip emphasis filter having a size including a puncture needle tip portion weighted in the insertion direction of the puncture needle. Since such a tip enhancement filter is applied to the difference image, it can be said to be a filter that detects the movement of the puncture needle.
As such a tip emphasis filter, the filter shape is a stepped shape, and the filter is in a form in which pixels in the direction in which the puncture needle is inserted is used for weighted addition, or the filter shape is rectangular and the puncture needle is inserted. It is possible to use a filter that performs weighted addition in which the filter coefficient of a pixel in a certain direction is large.

ここで、先端検出部70において、穿刺針の先端部の画像を含む差分画像及び差分画像に施すLUT処理に用いる先端強調フィルタの一例を図5(A)及び(B)に示す。
図5(B)に示す縦81×横81のサイズを持つ先端強調フィルタは、図5(A)に示す差分画像における穿刺針の刺入方向に重み付けが与えられ、穿刺針先端部を含むサイズ(大きさ)を持ち、刺入方向にある画素のフィルタ係数を大とした重み付け加算を行う矩形のフィルタである。
このような先端強調フィルタは、対象画素が中心に来るように縦横共に奇数画素となっており、各画素のフィルタ係数は、次式(1)に示すガウス関数を適用して決定することができる。即ち、図5(B)に示す先端強調フィルタは、次式(1)に示すガウス関数を適用して生成されたフィルタである。
Here, FIG. 5A and FIG. 5B show an example of the tip emphasis filter used in the LUT process applied to the difference image including the image of the tip of the puncture needle and the difference image in the tip detection unit 70.
The tip emphasis filter having a size of 81 × 81 shown in FIG. 5B is weighted in the insertion direction of the puncture needle in the difference image shown in FIG. 5A and includes the tip of the puncture needle. This is a rectangular filter having a (size) and performing weighted addition with a large filter coefficient of a pixel in the insertion direction.
Such a tip enhancement filter is an odd-numbered pixel both vertically and horizontally so that the target pixel comes to the center, and the filter coefficient of each pixel can be determined by applying a Gaussian function expressed by the following equation (1). . That is, the tip enhancement filter shown in FIG. 5B is a filter generated by applying the Gaussian function shown in the following equation (1).

ここで、f(x、y)はフィルタ係数、μx、μyはx、y方向の平均、σ、σはx、y方向の分散、ρは相関値であり、μx=μy=0、σ =σ =40、ρ=0.9である。図5(B)は、フィルタのフィルタ係数の大小を、濃度の濃淡で表すものである。このようにして、穿刺針が刺入される方向にある画素に対するフィルタ係数を大とするフィルタ係数を作成することができる。
図5(B)において、中央に近い程フィルタ係数は大きく、中央の画素を中心とした同心楕円上のフィルタ係数は同一となっている。なお、図5(B)においては、理解の容易性ために、同心楕円を、境界を付けて描いているが、図示のような境界が存在しているわけではないことは言うまでもない。楕円の長手方向は穿刺針の刺入方向と同方向である。すなわち、穿刺針の刺入方向のフィルタ係数を大とすることで、穿刺針が存在する可能性が高い位置にある画素のフィルタ係数を大とした重み付け加算を行う。
Here, f (x, y) is a filter coefficient, μx and μy are averages in the x and y directions, σ x and σ y are x and y direction variances, ρ is a correlation value, and μx = μy = 0, σ x 2 = σ y 2 = 40, ρ = 0.9. FIG. 5B shows the magnitude of the filter coefficient of the filter by the density of the density. In this way, it is possible to create a filter coefficient that increases the filter coefficient for a pixel in the direction in which the puncture needle is inserted.
In FIG. 5B, the closer to the center, the larger the filter coefficient, and the same filter coefficient on a concentric ellipse centered on the center pixel. In FIG. 5B, for ease of understanding, concentric ellipses are drawn with a boundary, but it goes without saying that the boundary as shown does not exist. The longitudinal direction of the ellipse is the same direction as the insertion direction of the puncture needle. That is, by increasing the filter coefficient in the insertion direction of the puncture needle, weighted addition is performed with the filter coefficient of a pixel at a position where the possibility of the presence of the puncture needle is high.

このようにして作成された刺入角度に応じた縦横比を持つ先端強調フィルタを情報記憶部80に記憶しておく。
本発明においては、刺入角度に応じて使用する先端強調フィルタを決定して、情報記憶部80に記憶しておき、先端候補検出部74において、差分画像に対して、情報記憶部80に記憶されていた先端強調フィルタを用いて周囲の画素との重み付け加算を行う先端強調処理を行うことにより、穿刺針の先端部の確度の高い候補である先端候補を検出することができる。
The tip emphasis filter having the aspect ratio corresponding to the insertion angle thus created is stored in the information storage unit 80.
In the present invention, the tip enhancement filter to be used is determined according to the insertion angle, stored in the information storage unit 80, and the tip candidate detection unit 74 stores the difference image in the information storage unit 80. By performing the tip emphasis process that performs weighted addition with surrounding pixels using the tip emphasis filter that has been used, a tip candidate that is a highly accurate candidate for the tip of the puncture needle can be detected.

なお、差分画像で検出された領域の密度や大きさを求める場合において、図5(B)に示す先端強調フィルタのように、穿刺針の先端部が含まれるサイズのフィルタを以下のようにして作成することができる。
フィルタの穿刺針の先端部が含まれるサイズは、複数、例えば、穿刺針の太さに合わせて「大、中、小」、また、穿刺針の刺入角に合わせて「10°、30°、60°」などの10°〜60°の間で複数種類用意していても良い。また、穿刺針のサイズ(G)や、穿刺目的(FNA(Fine Needle Aspiration Cytology:穿刺吸引細胞診)、CNB(Core Needle Biopsy:針生検)、RFA(Radiofrequency Ablation:ラジオ波焼灼)等)や、刺入角度などの穿刺情報を利用してサイズ決定してもよい。
また、上述したように、フィルタの重み付けは、ガウス関数などを利用しても良い。また、この場合には、平均・分散・相関などで重みの割合をユーザが変更できるパラメータとして用意しても良い。
When obtaining the density and size of the region detected in the difference image, a filter having a size including the tip of the puncture needle as shown in FIG. 5B is used as follows. Can be created.
The size including the tip of the puncture needle of the filter is plural, for example, “large, medium, small” according to the thickness of the puncture needle, and “10 °, 30 °” according to the insertion angle of the puncture needle. A plurality of types may be prepared between 10 ° and 60 ° such as “60 °”. Also, the size of the puncture needle (G), puncture purpose (FNA (Fine Needle Aspiration Cytology), CNB (Core Needle Biopsy), RFA (Radiofrequency Ablation), etc.), The size may be determined using puncture information such as the insertion angle.
Further, as described above, a Gaussian function or the like may be used for filter weighting. In this case, the weight ratio may be prepared as a parameter that allows the user to change the average, variance, correlation, and the like.

また、フィルタのサイズや重み付けフィルタの重みの変更は、ユーザが事前に設定画面で選択しておいても良いし、または、ファンクションキーなどに機能を割り当て、超音波プローブ12の走査中に変更できるようにしても良い。
なお、本発明に用いられる先端強調フィルタとしては、例えば、本出願人の出願に係る同時継続出願である特願2010−216512号明細書「音波画像生成装置および超音波画像生成方法」に記載された穿刺器具強調処理に用いられる種々の穿刺器具強調フィルタを挙げることができる。
Further, the change of the filter size and the weight of the weighting filter may be selected by the user in advance on the setting screen, or a function is assigned to a function key or the like, and can be changed during scanning of the ultrasonic probe 12. You may do it.
As the tip emphasis filter used in the present invention, for example, described in 2010-216512 Patent Application No. a copending application of the present applicant "ultrasonic image generating apparatus and an ultrasonic image generating method" Various puncture device emphasizing filters used for the puncture device emphasis process performed can be mentioned.

また、抽出処理部82や特定処理部84でLUT処理を行って、穿刺針の先端候補点の抽出や先端候補の検出を行う場合には、差分画像から穿刺針の先端強調フィルタを適用したサイズで先端候補点周辺を色付けしてもよい。こうすることにより、色付けられた領域内の先端候補点を先端候補として検出することができ、検出された先端候補が穿刺針の先端部である確度や確率を上げることができる。
さらに、先端候補検出部74の抽出処理部82及び/又は特定処理部84は、表示部52に表示されたフレームに基づく差分画像において、表示フレームより過去の時刻に検出された穿刺針の先端候補の近傍領域、好ましくは、表示フレームより過去の2時刻に検出された穿刺針の先端候補を結んだ直線の近傍領域を探索して、表示フレームに基づく差分画像から穿刺針の先端候補を検出するのも好ましい。こうすることにより、対象部位に刺入される穿刺針の動き、即ち移動を考慮して、穿刺針の先端部である確率の高い先端候補を検出することができる。
In addition, when extracting the tip candidate point of the puncture needle and detecting the tip candidate by performing the LUT processing in the extraction processing unit 82 and the specific processing unit 84, the size to which the tip enhancement filter of the puncture needle is applied from the difference image The tip candidate point periphery may be colored. By doing so, it is possible to detect a tip candidate point in the colored region as a tip candidate, and it is possible to increase the accuracy and probability that the detected tip candidate is the tip portion of the puncture needle.
Further, the extraction processing unit 82 and / or the specific processing unit 84 of the tip candidate detecting unit 74 may detect the tip candidate of the puncture needle detected at a past time from the display frame in the difference image based on the frame displayed on the display unit 52. , Preferably a region near the straight line connecting the tip candidates of the puncture needle detected at the past two times from the display frame, and detecting the tip candidate of the puncture needle from the difference image based on the display frame It is also preferable. By doing so, it is possible to detect a tip candidate having a high probability of being the tip of the puncture needle in consideration of the movement, that is, movement of the puncture needle inserted into the target site.

先端候補処理部76は、表示部52に表示した際に術者に識別し易くするために、先端候補検出部74で検出された1以上の所定数の先端候補又はその座標に対して表示強調処理を行い、表示強調された穿刺針の先端候補の画像、即ち、穿刺針の先端候補が表示強調された先端画像を生成するものである。
先端候補処理部76では、表示強調処理として、先端候補検出部74で検出された穿刺針の先端候補を色付けして、カラー表示するためのカラー先端画像を生成するのが好ましく、又は、先端候補の輝度を上げて高輝度先端画像を生成するのが好ましく、若しくは、先端候補を色付けした上で輝度を上げて高輝度カラー先端画像を生成するのも好ましい。
The tip candidate processing unit 76 emphasizes display on one or more predetermined number of tip candidates detected by the tip candidate detecting unit 74 or their coordinates so that the surgeon can easily identify them when displayed on the display unit 52. Processing is performed to generate an image of the tip candidate of the puncture needle whose display is highlighted, that is, a tip image in which the tip candidate of the puncture needle is displayed and emphasized.
In the tip candidate processing unit 76, it is preferable to color the tip candidates of the puncture needle detected by the tip candidate detecting unit 74 and generate a color tip image for color display as display enhancement processing. It is preferable to generate a high-luminance tip image by increasing the luminance of the image, or to generate a high-luminance color tip image by increasing the luminance after coloring the tip candidates.

なお、先端候補やその座標の色付けや高輝度化をする個数は、1個であるのが好ましいが、2個以上でも良いし、過去に検出した先端候補やその座標を利用してもよい。また、図4に示すように、先端候補処理部76において、過去の時刻に検出した穿刺針の先端画像も表示強調して表示部52に重畳表示して、穿刺針の軌跡が表示されるようにしても良い。
穿刺針の先端候補やその座標の色付けや高輝度化をする領域は、先端候補の領域自体であっても良いし、先端候補の座標の任意領域、例えば、その座標を含む長方形、楕円形、真円、正方形等の領域であってもよい。また、その領域の大きさは、事前に設定することができ、また、ファンクションキーなどの割り当てにより、超音波プローブ12の走査中に変更してもよい。
さらに、色付けや高輝度化をする領域は、先端候補検出部74において先端候補を検出する際の先端強調フィルタによる重みづけを利用してもよい。
The number of tip candidates and their coordinates to be colored or increased in brightness is preferably one, but may be two or more, or tip candidates detected in the past and their coordinates may be used. Also, as shown in FIG. 4, the tip candidate processing unit 76 displays the tip image of the puncture needle detected at the past time in a highlighted manner and is superimposed on the display unit 52 so that the locus of the puncture needle is displayed. Anyway.
The tip candidate of the puncture needle and the region for coloring or increasing the brightness of the coordinate may be the tip candidate region itself, or an arbitrary region of the tip candidate coordinate, for example, a rectangle, an ellipse, It may be an area such as a perfect circle or a square. Further, the size of the area can be set in advance, and may be changed during scanning of the ultrasonic probe 12 by assignment of a function key or the like.
Furthermore, for the region to be colored or increased in luminance, weighting by a tip emphasis filter when the tip candidate detection unit 74 detects a tip candidate may be used.

ここで、先端候補検出部74において差分画像の輝度差の正負を判別しておき、先端候補処理部76では、先端候補検出部74で判別された差分画像の輝度差の正負に応じて、先端候補検出部74で検出された穿刺針の先端候補を表示強調処理するのが好ましく、より好ましくは、先端候補検出部74で検出された穿刺針の先端候補を表示強調処理する色相及び輝度を変更するのが良い。このように、表示強調処理された先端候補の色相及び輝度を変更して表示部52に表示することにより、例えば、差分画像の輝度差が正の場合には、対象部位への挿入時に穿刺針の先端部を視認することができ、負の場合には、穿刺針を抜く時に穿刺針の先端部視認することができるという効果る。
また、先端候補検出部74では差分画像の輝度差の正負を判別せず、先端候補処理部76において、輝度差の絶対値にて色付け又は高輝度化をしたカラー先端画像を生成して、表示部52に表示してもよい。
Here, the tip candidate detection unit 74 determines whether the luminance difference of the difference image is positive or negative, and the tip candidate processing unit 76 determines whether the tip of the difference image is positive or negative according to the positive or negative of the difference in luminance of the difference image. It is preferable to perform display emphasis processing on the tip candidates of the puncture needle detected by the candidate detection unit 74, and more preferably, the hue and brightness for display enhancement processing of the tip candidates of the puncture needle detected by the tip candidate detection unit 74 are changed. Good to do. In this way, by changing the hue and luminance of the tip candidate subjected to display enhancement processing and displaying it on the display unit 52, for example, when the difference in luminance of the difference image is positive, the puncture needle is inserted at the time of insertion into the target region. the tip portion can be visually recognized, if negative, you have the effect that it is possible to visually recognize the distal end of the puncture needle when pulling out the puncture needle.
Further, the tip candidate detection unit 74 does not determine whether the luminance difference of the difference image is positive or negative, and the tip candidate processing unit 76 generates and displays a color tip image colored or increased in brightness with the absolute value of the luminance difference. You may display on the part 52. FIG.

先端候補記憶部78は、メモリ又はハードディスク等によって構成され、先端候補検出部74で検出された先端候補(その位置(座標)や大きさ等)を記憶しておく記憶部である。先端候補記憶部78は、過去の時刻の複数の先端候補を記憶しておいても良い。
先端候補記憶部78は、記憶している過去の時刻の複数の先端候補を、先端候補検出部74における検出へのに利用に供するために先端候補検出部74の抽出処理部82や特定処理部84に出力すると共に、先端候補処理部76における表示強調処理や、表示部52への表示に供するために、先端候補処理部76にも出力する。
The tip candidate storage unit 78 is configured by a memory, a hard disk, or the like, and stores tip candidates (its position (coordinates), size, and the like) detected by the tip candidate detection unit 74. The tip candidate storage unit 78 may store a plurality of tip candidates at past times.
The tip candidate storage unit 78 uses a plurality of tip candidates stored in the past time for use in detection by the tip candidate detection unit 74, such as an extraction processing unit 82 or a specific processing unit of the tip candidate detection unit 74. And output to the tip candidate processing unit 76 for display enhancement processing in the tip candidate processing unit 76 and display on the display unit 52.

穿刺針情報及び条件記憶部80は、メモリ又はハードディスク等によって構成され、穿刺針に関する情報、及び先端候補検出部74において先端候補を検出する検出条件や検出処理のための処理条件や、先端候補処理部76において表示強調処理する処理条件等を記憶しておく記憶部である。ここで、穿刺針に関する情報とは、穿刺針の種類、太さ、刺入位置(穿刺針が被検者に刺入される位置)、刺入角度(穿刺針が被検者に刺入される角度)及び刺入経路、穿刺ターゲット(目的物や部位)等である。また、検出条件や処理条件は、具体的には、先端候補検出部74で抽出される先端候補点の抽出条件、例えば、差分画像の輝度差や輝度値の大きさや、抽出点の密度や大きさ等の閾値等の条件や、抽出に使用する各種のLUTや先端強調フィルタ等の各種のフィルタや、そのサイズや重み等の条件や、先端候補処理部76における先端候補の先端候補の色付けや高輝度化や輝度上げ等の先端候補の表示強調処理の内容や、その対象となる先端候補の領域の大きさや形状等の処理条件である。   The puncture needle information and condition storage unit 80 is configured by a memory, a hard disk, or the like, and information on the puncture needle, detection conditions for detecting a tip candidate in the tip candidate detection unit 74, processing conditions for detection processing, tip candidate processing This is a storage unit for storing processing conditions for display enhancement processing in the unit 76. Here, the information about the puncture needle includes the type, thickness, insertion position (position where the puncture needle is inserted into the subject), and insertion angle (the puncture needle is inserted into the subject). Angle), insertion path, puncture target (object or part), and the like. Further, the detection conditions and processing conditions are specifically the extraction conditions of the tip candidate points extracted by the tip candidate detection unit 74, for example, the luminance difference of the difference image, the size of the luminance value, the density and size of the extraction points. Conditions such as threshold values, various filters such as various LUTs and tip emphasis filters used for extraction, conditions such as size and weight, coloring of tip candidates of tip candidates in the tip candidate processing unit 76, This is the processing conditions such as the content of the tip candidate display enhancement processing such as increasing the brightness and increasing the brightness, and the size and shape of the target tip candidate region.

情報記憶部80は、ユーザからの操作部56による入力等により穿刺針に関する情報や先端候補の検出条件や処理条件を本体制御部54を介して取得して記憶し、記憶されている情報や条件を、先端候補検出部74の抽出処理部82や特定処理部84に出力すると共に、先端候補処理部76にも出力する。
先端検出部70は、基本的に以上のように構成される。
The information storage unit 80 acquires and stores information related to the puncture needle and detection conditions and processing conditions of the tip candidate through the main body control unit 54 by input from the user via the operation unit 56, and stores the stored information and conditions. Is output to the extraction processing unit 82 and the specific processing unit 84 of the tip candidate detection unit 74 and also to the tip candidate processing unit 76.
The tip detection unit 70 is basically configured as described above.

次に、図1に示す差分画像生成部68の好ましい構成について説明する。
図6は、図1に示す合成画像生成部の時系列フレーム差分画像生成部の一実施例を示すブロック図である。
差分画像生成部68は、図6に示すように、前処理部86と、差分処理部88と、を有し、前処理部86は、スペックルノイズ除去部90と、層構造除去部92と、穿刺針処理部94と、を有する。
Next, a preferable configuration of the difference image generation unit 68 shown in FIG. 1 will be described.
FIG. 6 is a block diagram illustrating an embodiment of the time-series frame difference image generation unit of the composite image generation unit illustrated in FIG.
As shown in FIG. 6, the difference image generation unit 68 includes a preprocessing unit 86 and a difference processing unit 88. The preprocessing unit 86 includes a speckle noise removal unit 90, a layer structure removal unit 92, and the like. And a puncture needle processing unit 94.

前処理部86は、画像生成部64で生成され、フレーム画像記憶部66に記憶されている2つの時系列フレームのBモード画像信号間の差分画像を生成する前に、差分画像における穿刺針の先端部の検出の確度上げるために、差分処理の対象となる2つの時系列フレームの内の少なくとも1つのフレームのBモード画像信号(フレーム画像)に対して、ノイズや層構造の除去処理や、穿刺針強調処理や、穿刺針画像連結処理等の前処理を行うものである。なお、穿刺針強調処理や穿刺針画像連結処理等の信号処理は、ノイズ除去後のBモード画像信号に対して穿刺針を明確化するため行うものである。
ところで、前処理部86は、スペックルノイズ除去部90、層構造除去部92、及び穿刺針処理部94の全てを備えているのが好ましいが、少なくとも1つを備えるものであってもよい。
The preprocessing unit 86 generates the puncture needle in the difference image before generating the difference image between the B-mode image signals of the two time-series frames generated by the image generation unit 64 and stored in the frame image storage unit 66. In order to increase the accuracy of detection of the front end portion, noise or layer structure removal processing is performed on a B-mode image signal (frame image) of at least one frame out of two time-series frames to be subjected to difference processing, Preprocessing such as puncture needle emphasis processing and puncture needle image connection processing is performed. Signal processing such as puncture needle emphasis processing and puncture needle image connection processing is performed to clarify the puncture needle with respect to the B-mode image signal after noise removal.
By the way, the pre-processing unit 86 preferably includes all of the speckle noise removing unit 90 , the layer structure removing unit 92 , and the puncture needle processing unit 94, but may include at least one.

差分処理部88は、スペックルノイズ及び層構造が除去された2つの時系列フレームのBモード画像信号(画像)間の差分を求めて、差分画像(差分画像信号)を生成する。
ここで、差分処理部88は、検査者や術者の手技等により、穿刺針の挿入速度が変わるので、差分画像を作成する2つの時系列フレーム間の時間差を調整できる機能を備え、2つの時系列フレームのフレーム間隔を任意に設定可能であるのが好ましい。また、差分画像を作成するための過去のフレームは2フレーム以上前の複数のフレームを用いるのが好ましい。なお、差分画像(画素信号)には、差分値の絶対値をも含んでいても良い。
なお、差分画像生成部68は、前処理部86及び差分処理部88を備えているのが好ましいが、差分処理部88を備えていれば、前処理部86は、備えていなくても良い。
The difference processing unit 88 obtains a difference between the B-mode image signals (images) of the two time-series frames from which the speckle noise and the layer structure are removed, and generates a difference image (difference image signal).
Here, the difference processing unit 88 has a function of adjusting the time difference between two time-series frames for creating a difference image because the insertion speed of the puncture needle changes depending on the procedure of the examiner or operator. It is preferable that the frame interval of the time series frame can be arbitrarily set. In addition, it is preferable to use a plurality of frames two or more frames before as the past frame for creating the difference image. Note that the difference image (pixel signal) may also include the absolute value of the difference value.
Note that the difference image generation unit 68 preferably includes the preprocessing unit 86 and the difference processing unit 88, but if the difference processing unit 88 is included, the preprocessing unit 86 may not be included.

スペックルノイズ除去部90は、画像生成部64で生成され、画像記憶部66に記憶されている2つの時系列フレームのBモード画像信号(フレーム画像)の差分処理の前処理として、これらのBモード画像信号のスペックルパターンを軽減する信号処理を行い、スペックルノイズを除去させる。このスペックルノイズ除去処理には、例えば、メディアンフィルタを適用するのが好ましいが、空間コンパウンド法、周波数コンパウンド法、モフォロジー処理等を適用しても良い。
層構造除去部92は、スペックルノイズ除去部90でスペックルノイズが除去されたBモード画像信号に対して、層構造の除去処理を行い、穿刺針の方向に伸びる明るい線を除去する。例えば、CFAR(Constant False Alarm Rate)処理およびMIP(Maximum intensity projection)処理を行う。CFAR処理としては、特開2006−305337号公報に記載の方法を用いることができる。
こうして、層構造除去部92で層構造の除去処理を行うことにより、穿刺針処理部94による後の信号処理において、穿刺針以外の連結部分を除去することができる。
The speckle noise removing unit 90 performs the B processing as a pre-process of the difference processing of the B-mode image signals (frame images) of two time-series frames generated by the image generating unit 64 and stored in the image storage unit 66. Signal processing is performed to reduce the speckle pattern of the mode image signal, and speckle noise is removed. For example, a median filter is preferably applied to the speckle noise removal process, but a spatial compound method, a frequency compound method, a morphology process, or the like may be applied.
The layer structure removal unit 92 performs a layer structure removal process on the B-mode image signal from which speckle noise has been removed by the speckle noise removal unit 90, and removes bright lines extending in the direction of the puncture needle. For example, CFAR (Constant False Alarm Rate) processing and MIP (Maximum intensity projection) processing are performed. As the CFAR process, a method described in JP-A-2006-305337 can be used.
In this way, by performing the layer structure removing process in the layer structure removing unit 92, the connecting portion other than the puncture needle can be removed in the subsequent signal processing by the puncture needle processing unit 94.

また、穿刺針処理部94は、フレーム画像の穿刺針を明確化するために、穿刺針の方向にぼかして穿刺針をつなげる信号処理や、穿刺針の特徴点から穿刺針をつなげる信号処理を行う。したがって、穿刺針処理部94は、穿刺針の方向にぼかして穿刺針をつなげる信号処理を行う穿刺針強調処理部94aと、穿刺針の特徴点から穿刺針をつなげる信号処理を行う穿刺針連結処理部94bとの少なくとも一方を備えるものである。
図7に、図6に示す時系列フレーム差分画像生成部の穿刺針処理部の一実施例である穿刺針強調処理部を示す。
穿刺針強調処理部94aは、図7に示すように、フィルタ適用処理部96と、エッジ強調処理部98と、を備える。
Further, the puncture needle processing unit 94 performs signal processing for connecting the puncture needle by blurring in the direction of the puncture needle and signal processing for connecting the puncture needle from the characteristic points of the puncture needle in order to clarify the puncture needle of the frame image. . Therefore, the puncture needle processing unit 94 is a puncture needle emphasis processing unit 94a that performs signal processing to blur the puncture needle in the direction of the puncture needle, and a puncture needle connection process that performs signal processing to connect the puncture needle from the characteristic points of the puncture needle At least one of the part 94b is provided.
FIG. 7 shows a puncture needle enhancement processing unit which is an embodiment of the puncture needle processing unit of the time-series frame difference image generation unit shown in FIG.
The puncture needle enhancement processing unit 94a includes a filter application processing unit 96 and an edge enhancement processing unit 98, as shown in FIG.

フィルタ適用処理部96は、層構造除去部92やスペックルノイズ除去部90でスペックルノイズや層構造等のノイズが除去されたBモード画像信号に対して、ぼかしフィルタを適用するものである。即ち、フィルタ適用処理部96は、情報記憶部80に記憶された刺入角度に基づいて、使用するぼかしフィルタを特定して情報記憶部80から読み出し、例えば、刺入角度が10度の場合は、刺入角度10度用のぼかしフィルタを読み出し、読み出したぼかしフィルタをノイズ除去後のBモード画像データに適用する。ここで用いられるぼかしフィルタは、穿刺針の刺入角度に合ったフィルタであるため、穿刺針が刺入される方向に画像をぼかして、途切れ途切れだった穿刺針画像の繋がりを良くすることができる。   The filter application processing unit 96 applies a blur filter to the B-mode image signal from which noise such as speckle noise or layer structure has been removed by the layer structure removing unit 92 or the speckle noise removing unit 90. That is, the filter application processing unit 96 identifies a blur filter to be used based on the insertion angle stored in the information storage unit 80 and reads it from the information storage unit 80. For example, when the insertion angle is 10 degrees, Then, the blur filter for the insertion angle of 10 degrees is read, and the read blur filter is applied to the B-mode image data after noise removal. Since the blur filter used here is a filter that matches the puncture angle of the puncture needle, it is possible to blur the image in the direction in which the puncture needle is inserted and to improve the connection of the puncture needle image that has been interrupted. it can.

エッジ強調処理部102は、ぼかしフィルタが適用されたBモード画像データに対してBモード画像のエッジ強調処理を行う。この後、例えば、穿刺針に対して垂直方向の1次元エッジ強調処理を行って、穿刺針のエッジを強調する。なお、差分処理部88に出力する前に、穿刺針が刺入される方向に繋がりが良くなった、エッジを強調後のBモード画像(画像データ)と元のBモード画像(画像データ)とを重畳合成して合成フレーム画像(画像データ)を生成しても良い。これにより、組織内における穿刺針の全体像が明確化されたフレーム画像を、差分処理部88に出力することができる。   The edge enhancement processing unit 102 performs edge enhancement processing of the B mode image on the B mode image data to which the blur filter is applied. Thereafter, for example, a one-dimensional edge enhancement process in the vertical direction is performed on the puncture needle to emphasize the edge of the puncture needle. Before output to the difference processing unit 88, the B-mode image (image data) after emphasizing the edge and the original B-mode image (image data), which are better connected in the direction in which the puncture needle is inserted, are used. May be combined to generate a composite frame image (image data). Thereby, the frame image in which the whole image of the puncture needle in the tissue is clarified can be output to the difference processing unit 88.

なお、フィルタ適用処理部96で穿刺針の方向にぼかす信号処理に用いられるぼかしフィルタとしては、上述した先端検出部70で使用する先端強調フィルタフィルタと同様に、形状を階段状として、穿刺針が刺入される方向にある画素を重み付け加算に用いる形態のフィルタや、フィルタ形状を矩形とし、穿刺針が刺入される方向にある画素のフィルタ係数を大とした重み付け加算を行う形態のフィルタを用いることができる。ここで、このようなフィルタをぼかしフィルタとして用いる場合には、先端検出部70で用いられる先端強調フィルタを、フレーム画像における穿刺針の刺入方向に重み付けを与え、穿刺針を含むサイズを持つように変更して穿刺針強調フィルタとして作成する必要がある。
すなわち、フィルタ適用処理部96では、ぼかしフィルタとして、図5(B)に示すように、フィルタ形状を矩形とし、穿刺針が刺入される方向にある画素のフィルタ係数を大とした重み付け加算を行う態様の穿刺針強調フィルタを用いることもできる。
Note that the blur filter used for the signal processing to blur the direction of the puncture needle in the filter application processing unit 96 is similar to the tip emphasis filter filter used in the tip detection unit 70 described above, and the shape of the puncture needle is stepped. A filter in a form that uses pixels in the insertion direction for weighted addition, or a filter that performs weighted addition in which the filter shape is rectangular and the filter coefficient of the pixel in the direction in which the puncture needle is inserted is large Can be used. Here, when such a filter is used as a blurring filter, the tip emphasis filter used in the tip detection unit 70 is weighted in the insertion direction of the puncture needle in the frame image so as to have a size including the puncture needle. It is necessary to create a puncture needle emphasis filter.
That is, in the filter application processing unit 96, as shown in FIG. 5B, as the blurring filter, a weighted addition is performed in which the filter shape is rectangular and the filter coefficient of the pixel in the direction in which the puncture needle is inserted is large. The puncture needle emphasis filter of the aspect to perform can also be used.

このような穿刺針強調フィルタを、1フレームのBモード画像(フレーム画像)に対して、穿刺針の刺入方向又は刺入角に合わせて適用した例を図8に示す。
図8(A)、(B)及び(C)は、それぞれ、フレーム画像(Bモード画像)、穿刺針強調フィルタ及び穿刺針強調画像を示す。
ここで、図8(A)に示すフレーム画像は、図7に示す穿刺針処理部94aのフィルタ適用処理部96で処理される、穿刺針強調処理を行っていない1フレームの超音波画像(Bモード画像)である。
図8(B)に示す穿刺針強調フィルタは、図8(A)に示す1フレーム画像に適用される、縦に55画素、横に画素のサイズを持つ穿刺針強調フィルタである。
図8(C)に示す穿刺針強調画像は、穿刺針強調フィルタを、フレーム画像に対して穿刺針の刺入方向又は刺入角に合わせて適用して得られた穿刺針強調超音波画像であり、穿刺針強調処理前のBモード画像を刺入角度方向にぼかした画像となる。このため、図8(C)に示すように、得られた穿刺針強調画像では、穿刺針がつながって表示される。
なお、図8(A)及び(C)は、穿刺針強調フィルタ処理による違いを分かりやすくするために、スペックルノイズ除去、層構造の除去およびエッジ強調は行っていない。
FIG. 8 shows an example in which such a puncture needle enhancement filter is applied to a B-mode image (frame image) of one frame in accordance with the insertion direction or the insertion angle of the puncture needle.
8A, 8B, and 8C show a frame image (B-mode image), a puncture needle enhancement filter, and a puncture needle enhancement image, respectively.
Here, the frame image shown in FIG. 8 (A) is an ultrasonic image (B) of one frame that is processed by the filter application processing unit 96 of the puncture needle processing unit 94a shown in FIG. Mode image).
The puncture needle enhancement filter shown in FIG. 8B is a puncture needle enhancement filter having a size of 55 pixels vertically and 6 pixels horizontally, which is applied to the one-frame image shown in FIG. 8A.
The puncture needle enhancement image shown in FIG. 8C is a puncture needle enhancement ultrasound image obtained by applying a puncture needle enhancement filter to the frame image in accordance with the insertion direction or the insertion angle of the puncture needle. Yes, the B-mode image before the puncture needle enhancement processing is an image that is blurred in the insertion angle direction. Therefore, as shown in FIG. 8C, the puncture needle is connected and displayed in the obtained puncture needle emphasized image.
In FIGS. 8A and 8C, speckle noise removal, layer structure removal, and edge enhancement are not performed in order to make the difference between the puncture needle enhancement filter processes easier to understand.

このように、図8(B)に示す穿刺針強調フィルタは、図5(B)に示す先端強調フィルタをベースとして、穿刺針強調フィルタのサイズとなるようにリニア補間することで、穿刺針強調フィルタに用いられるフィルタ係数を生成することができる。すなわち、図5(B)に示す縦81×横81のサイズを持つフィルタを、リニア補間することにより、図8(B)に示す、縦に55画素、横に画素のサイズを持つ穿刺針強調フィルタを作成することができる。こうして得られた縦に55画素、横に画素のサイズを持つ穿刺針強調フィルタは、刺入角度10度の場合における穿刺針強調フィルタである。刺入角度に応じてリニア補間による縦横比が決定される。この穿刺針強調フィルタにおいても、中心部のフィルタ係数が最も大きく、次いで穿刺針が刺入される方向に沿ってフィルタ係数を大きく分布させている。中心にある対象画素は、対象画素を中心とした周囲の縦55画素×横画素を用いて重み付け加算される。各画素が持つ値に対し、この穿刺針強調フィルタのフィルタ係数を乗じて重み付け加算を行った結果が対象画素の値となる。このようにして作成された刺入角度に応じた縦横比を持つ穿刺針強調フィルタを情報記憶部80に記憶しておく。 As described above, the puncture needle emphasis filter shown in FIG. 8B is based on the tip emphasis filter shown in FIG. 5B and linearly interpolates so as to be the size of the puncture needle emphasis filter. Filter coefficients used for the filter can be generated. That is, a puncture needle having a size of 55 pixels vertically and 6 pixels horizontally shown in FIG. 8B by linearly interpolating a filter having a size of 81 × 81 shown in FIG. 5B. Emphasis filters can be created. The puncture needle emphasis filter having a size of 55 pixels in the vertical direction and 6 pixels in the horizontal direction thus obtained is a puncture needle emphasis filter when the insertion angle is 10 degrees. The aspect ratio by linear interpolation is determined according to the insertion angle. Also in this puncture needle emphasis filter, the filter coefficient at the center is the largest, and then the filter coefficient is widely distributed along the direction in which the puncture needle is inserted. The target pixel at the center is weighted and added using 55 pixels in the vertical direction and 6 pixels in the horizontal direction centering on the target pixel. A value obtained by multiplying the value of each pixel by the filter coefficient of the puncture needle emphasis filter and performing weighted addition becomes the value of the target pixel. The puncture needle emphasis filter having an aspect ratio corresponding to the insertion angle created in this way is stored in the information storage unit 80.

本実施形態においては、刺入角度に応じて使用する穿刺針強調フィルタを決定し、決定した穿刺針強調フィルタを用いて、周囲の画素との重み付け加算を行う穿刺針強調処理を全画素に対して行い、穿刺針を強調処理した画像を生成することができる。
なお、ここでは、縦55画素、横画素のサイズに変換する場合を例にとって説明したが、異なるサイズを持つ穿刺針強調フィルタにおいても、ベースとなる図5(B)に示す縦81×横81のサイズを持つフィルタに対してリニア補間をすることで、各穿刺針強調フィルタのサイズに対応したフィルタ係数を生成することができる。
In the present embodiment, a puncture needle emphasis filter to be used is determined according to the puncture angle, and puncture needle emphasis processing is performed for all pixels using the determined puncture needle emphasis filter to perform weighted addition with surrounding pixels. And an image obtained by emphasizing the puncture needle can be generated.
Note that, here, the case of converting to a size of 55 pixels in the vertical direction and 6 pixels in the horizontal direction has been described as an example. However, in the puncture needle emphasis filter having different sizes, the vertical 81 × horizontal shown in FIG. By performing linear interpolation on a filter having a size of 81, a filter coefficient corresponding to the size of each puncture needle emphasis filter can be generated.

このような穿刺針強調フィルタ等のぼかしフィルタとしては、穿刺針が途切れる間隔を含む程度大きいサイズとするのが好ましい。このぼかしフィルタのサイズは、複数、例えば、穿刺針の太さに合わせて「大、中、小」、また、穿刺針の刺入角に合わせて「10°、30°、60°」などの10°〜60°の間で複数種類用意していても良い。複数種類用意していても良い。また、穿刺針のサイズ(G)や、穿刺目的(FNA、CNB、RFA等)や、刺入角度などの穿刺情報を利用してサイズ決定してもよい。
また、穿刺針の方向にぼかす信号処理に用いる重み付けフィルタとしては、ガウスフィルタなどを利用しても良い。また、この場合には、平均・分散・相関などで重みの割合をユーザが変更できるパラメータとして用意しても良い。
Such a blur filter such as a puncture needle emphasis filter is preferably of a size large enough to include an interval at which the puncture needle is interrupted. The blur filter has a plurality of sizes, for example, “large, medium, small” according to the thickness of the puncture needle, and “10 °, 30 °, 60 °” according to the insertion angle of the puncture needle. A plurality of types may be prepared between 10 ° and 60 °. Multiple types may be prepared. Alternatively, the size may be determined using puncture information such as the puncture needle size (G), puncture purpose (FNA, CNB, RFA, etc.), and puncture angle.
Further, a Gaussian filter or the like may be used as a weighting filter used for signal processing to blur in the direction of the puncture needle. In this case, the weight ratio may be prepared as a parameter that allows the user to change the average, variance, correlation, and the like.

また、ぼかしフィルタのサイズや重み付けフィルタの重みの変更は、ユーザが事前に設定画面で選択しておいても良いし、または、ファンクションキーなどに機能を割り当て、超音波プローブ12の走査中に変更できるようにしても良い。
なお、ぼかしフィルタとしては、例えば、本出願人の出願に係る同時継続出願である特願2010−216512号明細書「音波画像生成装置および超音波画像生成方法」に記載された穿刺器具強調処理に用いられる種々の穿刺器具強調フィルタを挙げることができる。
なお、フィルタ適用処理部96で穿刺針の方向にぼかす信号処理としては、ぼかしフィルタとして穿刺針強調フィルタを用いた穿刺針強調処理を挙げることができ、例えば、上記特願2010−216512号明細書「音波画像生成装置および超音波画像生成方法」に記載された穿刺器具強調処理を適用することができる。
The blur filter size and the weight of the weighting filter may be changed in advance by the user on the setting screen, or a function is assigned to a function key or the like and changed during scanning of the ultrasonic probe 12. You may be able to do it.
As the blur filter, for example, it has been puncture device enhancement processing described 2010-216512 Patent Application No. a copending application of the present applicant "ultrasonic image generating apparatus and an ultrasonic image generating method" Various puncture device emphasis filters used in the above can be mentioned.
The signal processing for blurring in the direction of the puncture needle by the filter application processing unit 96 includes puncture needle enhancement processing using a puncture needle enhancement filter as a blurring filter. For example, the above-mentioned Japanese Patent Application No. 2010-216512 it can be applied to the puncture device enhancement processing described in "ultrasonic imaging apparatus and an ultrasonic image generating method."

即ち、ぼかしフィルタとしては、フィルタ形状を階段状とし、穿刺針が刺入される方向にある画素を重み付け加算に用いる形態の穿刺器具強調フィルタも用いることができる。すなわち、穿刺針強調処理を行う対象の画素(以下対象画素という)の値(画像データ)を、対象画素の周囲にある特定の画素の値(画像データ)と重み付け加算する穿刺針強調フィルタを用いることができる。この時、フィルタ適用処理部96は、対象画素の位置を順に異ならせ、Bモード画像中の全ての画素の画像データに対して、刺入角度に応じて決定した穿刺針強調フィルタによる穿刺針強調処理を行う。
このような穿刺針強調フィルタとしては、複数のフィルタ要素を1列として、刺入角度に応じて列をずらしながら複数列を階段状に連結し、連結された複数列からなる複数のフィルタ要素の中心、若しくは略中心にある要素を対象画素とし、対象画素のフィルタ係数に対して両側に増加若しくは減少するフィルタ係数を持つフィルタなどを挙げることもできる。
このような穿刺針強調フィルタのフィルタ係数は、例えば、次式(2)に示すガウスフィルタを用いて生成される。
That is, as the blurring filter, a puncture device emphasis filter in which the filter shape is stepped and pixels in the direction in which the puncture needle is inserted is used for weighted addition can be used. That is, a puncture needle emphasis filter that weights and adds a value (image data) of a target pixel (hereinafter referred to as target pixel) to be subjected to puncture needle emphasis processing to a value (image data) of a specific pixel around the target pixel is used. be able to. At this time, the filter application processing unit 96 sequentially changes the position of the target pixel, and puncture needle emphasis by the puncture needle emphasis filter determined according to the puncture angle is performed on the image data of all the pixels in the B-mode image. Process.
As such a puncture needle emphasis filter, a plurality of filter elements are arranged in one row, and a plurality of rows are connected in a staircase pattern while shifting the rows in accordance with the insertion angle. A filter having a filter coefficient that increases or decreases on both sides with respect to the filter coefficient of the target pixel can be given as a target pixel having an element at the center or substantially at the center.
The filter coefficient of such a puncture needle emphasis filter is generated using, for example, a Gaussian filter expressed by the following equation (2).

ここで、μは平均、σは分散、xは中心になる要素を0とした場合の図面縦方向の画素の位置を表す。例えば、x=−1及びx=1は中心要素の前後又は左右の隣接画素の位置となる。このように、ガウスフィルタを用いて、各画素のフィルタ係数を決定することで、対象画素に近い位置にある画素のフィルタ係数をより増加させた重み付け加算を行うことができる。 Here, μ is the average, σ 2 is the variance, and x is the position of the pixel in the vertical direction of the drawing when the central element is 0. For example, x = −1 and x = 1 are the positions of adjacent pixels before and after the central element or on the left and right. As described above, by determining the filter coefficient of each pixel using the Gaussian filter, it is possible to perform weighted addition in which the filter coefficient of the pixel near the target pixel is further increased.

図9に、図6に示す時系列フレーム差分画像生成部の穿刺針処理部の一実施例である穿刺針連結処理部を示す。
穿刺針連結処理部94bは、穿刺針の特徴点から穿刺針をつなげる信号処理を行うものである。このような信号処理としては、例えば、穿刺針の特徴点を利用し、ハフ変換などで、直線を表示する処理や、穿刺針の特徴点を利用し、最小二乗誤差により直線をフィッティングさせる処理や、穿刺針先端を表わす特徴点の位置座標を任意の期間中メモリに保管し、全ての点を通る直線や曲線で結ぶ処理などを挙げることができる。
このような穿刺針連結処理部94bは、図9に示すように、穿刺針候補点抽出部100と、候補点位置記憶部102と、穿刺針領域特定部104と、穿刺針先端位置特定部106と、穿刺針画像生成部108と、穿刺針連結画像生成部110と、を備える。
FIG. 9 shows a puncture needle connection processing unit which is an embodiment of the puncture needle processing unit of the time-series frame difference image generation unit shown in FIG.
The puncture needle connection processing unit 94b performs signal processing for connecting the puncture needle from the feature point of the puncture needle. As such signal processing, for example, a process of displaying a straight line by using a feature point of a puncture needle and using a Hough transform or the like, a process of fitting a straight line with a least square error using a feature point of a puncture needle, For example, the position coordinates of the feature point representing the tip of the puncture needle can be stored in the memory for an arbitrary period and connected by straight lines or curves passing through all the points.
As shown in FIG. 9, the puncture needle connection processing unit 94b includes a puncture needle candidate point extraction unit 100, a candidate point position storage unit 102, a puncture needle region specifying unit 104, and a puncture needle tip position specifying unit 106. And a puncture needle image generation unit 108 and a puncture needle connection image generation unit 110.

穿刺針特徴点抽出部(以下、特徴点抽出部という)100は、情報記憶部80に記憶された穿刺針に関する情報及び層構造除去部92やスペックルノイズ除去部90でスペックルノイズや層構造等のノイズが除去されたBモード画像データを用いて、穿刺針の特徴点を抽出する。具体的には、Bモード画像データに対して、エッジ抽出フィルタを適用し、閾値処理を行って、エッジ画像データを作成して、エッジ画像データから穿刺針上の特徴点を抽出する。穿刺針は、表面がなめらかで超音波の散乱が起こりにくいため、Bモード画像中においては途切れ途切れで表示される。従って、穿刺針が存在するBモード画像データに対して閾値処理を行えば、途切れ途切れとなった穿刺針の一部を表す特徴点が抽出できる。穿刺針の特徴点を抽出する時間間隔は、ユーザが変更できる。なお、Bモード画像中には、組織等の穿刺針以外に由来する高輝度点も存在するため、閾値処理で抽出される特徴点は、穿刺針由来のものだけではない。組織等に由来する穿刺針特徴点は、エッジ画像に基づいて穿刺針の位置を特定する場合にノイズとなる。   The puncture needle feature point extraction unit (hereinafter referred to as the feature point extraction unit) 100 uses the information on the puncture needle stored in the information storage unit 80 and the layer structure removal unit 92 and the speckle noise removal unit 90 to perform speckle noise and layer structure. A feature point of the puncture needle is extracted using B-mode image data from which noise such as the above has been removed. Specifically, an edge extraction filter is applied to the B-mode image data, threshold processing is performed to create edge image data, and feature points on the puncture needle are extracted from the edge image data. Since the puncture needle has a smooth surface and is difficult to scatter ultrasonic waves, the puncture needle is displayed in an intermittent manner in the B-mode image. Therefore, if threshold processing is performed on B-mode image data in which a puncture needle is present, feature points representing a part of the puncture needle that has been interrupted can be extracted. The time interval for extracting the feature points of the puncture needle can be changed by the user. In the B-mode image, there are also high-luminance points derived from other than the puncture needle such as tissue, so that the feature points extracted by the threshold processing are not only those derived from the puncture needle. The puncture needle feature point derived from tissue or the like becomes noise when the position of the puncture needle is specified based on the edge image.

特徴点位置記憶部(以下、位置記憶部という)102は、特徴点抽出部100によって抽出された全ての穿刺針特徴点の位置を記憶し、穿刺針特徴点の位置を穿刺針領域特定部(以下、領域特定部という)104へ出力する。
領域特定部104は、位置記憶部102に記憶された複数の穿刺針特徴点の分布に基づき、穿刺針及び穿刺針の延長線を表す直線(穿刺針候補直線)を生成する。領域特定部104は、生成した直線を含む領域を穿刺針が存在する領域として特定する。
穿刺針先端位置特定部(以下、位置特定部という)106は、領域特定部104によって特定された穿刺針が存在する可能性が高い領域の輝度情報に基づいて穿刺針の先端位置を特定し、特定した先端位置を穿刺針画像生成部108へ出力する。
A feature point position storage unit (hereinafter referred to as a position storage unit) 102 stores the positions of all puncture needle feature points extracted by the feature point extraction unit 100, and the positions of the puncture needle feature points are determined as a puncture needle region specifying unit ( (Hereinafter referred to as area specifying unit) 104.
The area specifying unit 104 generates a straight line (puncture needle candidate straight line) representing the puncture needle and an extension line of the puncture needle based on the distribution of the plurality of puncture needle feature points stored in the position storage unit 102. The area specifying unit 104 specifies an area including the generated straight line as an area where the puncture needle is present.
A puncture needle tip position specifying unit (hereinafter referred to as a position specifying unit) 106 specifies the tip position of the puncture needle based on luminance information of a region where the puncture needle specified by the region specifying unit 104 is likely to exist, The identified tip position is output to the puncture needle image generation unit 108.

穿刺針画像生成部108は、領域特定部104によって生成された穿刺針及び穿刺針の延長線を表す直線と、位置特定部106によって特定された穿刺針の先端位置とに基づいて、穿刺針を表す画像を生成して穿刺針連結画像生成部(以下、連結画像生成部という)110へ出力する。穿刺針を表す画像は様々な形態からユーザが選択することができる。例えば、穿刺針を直線で表す形態や、穿刺針の輪郭を表す形態や、点の集合として穿刺針を表す形態等である。ここで、穿刺針の輪郭を表す場合は、情報記憶部80から穿刺針情報を読み出すことで穿刺針の輪郭を生成する。また、穿刺針を表す輝度等は、ユーザが設定することができる。例えば、穿刺針を表す画像の輝度は、ユーザが好みの輝度としても良いし、Bモード画像中にある穿刺針と思われる部分の輝度と同等程度の輝度としても良い。
連結画像生成部110は、層構造除去部92から出力されたBモード画像データに、穿刺針画像生成部108によって生成された、つなげられた穿刺針を表す画像が重畳された合成Bモード画像データを生成する。連結画像生成部110は、合成Bモード画像データを差分処理部88へ出力する。
The puncture needle image generation unit 108 selects the puncture needle based on the puncture needle generated by the region specifying unit 104 and the straight line representing the extension line of the puncture needle and the tip position of the puncture needle specified by the position specifying unit 106. An image to be represented is generated and output to a puncture needle connected image generation unit (hereinafter referred to as a connected image generation unit) 110. The user can select an image representing the puncture needle from various forms. For example, there are a form in which the puncture needle is represented by a straight line, a form in which the outline of the puncture needle is represented, a form in which the puncture needle is represented as a set of points, and the like. Here, when expressing the outline of the puncture needle, the outline of the puncture needle is generated by reading out the puncture needle information from the information storage unit 80. Further, the brightness representing the puncture needle can be set by the user. For example, the luminance of the image representing the puncture needle may be the luminance that the user likes, or may be the same level as the luminance of the portion that appears to be the puncture needle in the B-mode image.
The connected image generation unit 110 combines the B-mode image data output from the layer structure removal unit 92 with the combined B-mode image data generated by the puncture needle image generation unit 108 and superimposed on the image representing the connected puncture needle. Is generated. The connected image generation unit 110 outputs the composite B mode image data to the difference processing unit 88.

図10は、図9に示す穿刺針領域特定部104及び穿刺針先端位置特定部106のより詳細な構成を示した機能ブロック図である。
領域特定部104は、穿刺針直線生成部112及び穿刺針領域生成部114を有する。
穿刺針直線生成部(以下、直線生成部という)112は、位置記憶部102から出力されたBモード画像中に分布した穿刺針特徴点に対してハフ変換を行い、穿刺針候補直線を生成する。穿刺針候補直線は、穿刺針特徴点を最も多く通る直線である。直線生成部112は、生成した穿刺針候補直線上にある点の位置座標を穿刺針領域生成部(以下、領域生成部という)114へ出力する。
FIG. 10 is a functional block diagram showing a more detailed configuration of puncture needle region specifying unit 104 and puncture needle tip position specifying unit 106 shown in FIG.
The region specifying unit 104 includes a puncture needle straight line generation unit 112 and a puncture needle region generation unit 114.
A puncture needle straight line generation unit (hereinafter referred to as a straight line generation unit) 112 performs Hough transform on the puncture needle feature points distributed in the B-mode image output from the position storage unit 102 to generate a puncture needle candidate straight line. . The puncture needle candidate straight line is a straight line that passes through the most puncture needle feature points. The straight line generation unit 112 outputs the position coordinates of the points on the generated puncture needle candidate straight line to a puncture needle region generation unit (hereinafter referred to as a region generation unit) 114.

領域生成部114は、直線生成部112によって生成された穿刺針候補直線を所定の幅に広げ、穿刺針候補直線に含まれる領域を穿刺針が存在する領域(穿刺針存在領域)として特定する。領域生成部114は、特定した穿刺針存在領域に含まれる点の位置座標を位置特定部106へ出力する。
位置特定部106は、平均輝度演算部116、最大輝度特定部118、最小輝度特定部120及び穿刺針先端位置演算部122を有する。
The region generation unit 114 expands the puncture needle candidate straight line generated by the straight line generation unit 112 to a predetermined width, and specifies the region included in the puncture needle candidate straight line as a region where the puncture needle exists (puncture needle presence region). The region generation unit 114 outputs the position coordinates of the points included in the specified puncture needle presence region to the position specifying unit 106.
The position specifying unit 106 includes an average luminance calculating unit 116, a maximum luminance specifying unit 118, a minimum luminance specifying unit 120, and a puncture needle tip position calculating unit 122.

図11(A)〜(D)及び図12(A)〜(B)を用いて、Bモード画像から穿刺針先端位置の求める方法及び穿刺針を表す画像を生成する方法をより詳細に説明すると共に、位置特定部106の各構成要素の機能についても説明する。
図11(A)において、Bモード画像の左上端部を原点とし、左上端部から右上端部への横軸をX軸、左上端部から左下端部への縦軸をY軸としたXY直交座標系に画像が位置する場合を考える。Bモード画像の左上端部から右上端部への方向をX軸の正の方向、Bモード画像の左上端部から左下端部への方向をY軸の正の方向とする。以下、特に説明がなければ、画像に対するXY直交座標系の定義は同様のものとする。
A method for obtaining the tip position of the puncture needle from the B-mode image and a method for generating an image representing the puncture needle will be described in more detail with reference to FIGS. 11 (A) to 11 (D) and FIGS. 12 (A) to 12 (B). A function of each component of the position specifying unit 106 will also be described.
In FIG. 11A, XY with the upper left corner of the B mode image as the origin, the horizontal axis from the upper left corner to the upper right corner as the X axis, and the vertical axis from the upper left corner to the lower left corner as the Y axis. Consider a case where an image is located in an orthogonal coordinate system. The direction from the upper left end of the B mode image to the upper right end is the positive direction of the X axis, and the direction from the upper left end of the B mode image to the lower left end of the B mode image is the positive direction of the Y axis. Hereinafter, unless otherwise specified, the definition of the XY orthogonal coordinate system for images is the same.

図11(A)は、穿刺針を含む被検者のBモード画像を示す。図11(A)中の穿刺針は、途切れ途切れで表示され、穿刺針の正確な位置が分かりにくい。そこで、穿刺針連結処理部94bは、まず、図11(A)のようなBモード画像から穿刺針が存在する可能性が高い領域を特定し、その領域内における穿刺針を含む直線上の強度分布から、穿刺針の先端位置を特定する。また、穿刺針連結処理部94bは、穿刺針の先端位置を基に穿刺針を表す画像を生成し、Bモード画像に重畳して、差分処理部88に出力する。
特徴点抽出部100は、図11(A)に示すBモード画像に対し、穿刺針の刺入角度に応じたエッジ抽出フィルタ(重み付け加算フィルタ)の適用を行って、穿刺針の刺入角度方向に画像の繋がりを良くする。また、特徴点抽出部100は、エッジ抽出フィルタを適用したBモード画像に対して閾値処理を行い、閾値以上の輝度を持った特徴点(穿刺針特徴点)のみが白く残るエッジ画像(図11(B)参照)を作成する。直線生成部112はエッジ画像中の穿刺針特徴点の分布から、穿刺針候補直線の位置を求める。
FIG. 11A shows a B-mode image of a subject including a puncture needle. The puncture needle in FIG. 11 (A) is displayed in an intermittent manner, and it is difficult to understand the exact position of the puncture needle. Therefore, the puncture needle connection processing unit 94b first identifies an area where the puncture needle is likely to exist from the B-mode image as shown in FIG. 11A, and the linear intensity including the puncture needle in the area. The tip position of the puncture needle is specified from the distribution. The puncture needle connection processing unit 94b generates an image representing the puncture needle based on the tip position of the puncture needle, superimposes it on the B-mode image, and outputs it to the difference processing unit 88.
The feature point extraction unit 100 applies an edge extraction filter (weighted addition filter) corresponding to the puncture angle of the puncture needle to the B-mode image shown in FIG. Improve image connection. Further, the feature point extraction unit 100 performs threshold processing on the B-mode image to which the edge extraction filter is applied, and an edge image in which only feature points (puncture needle feature points) having a luminance equal to or higher than the threshold value remain white (FIG. 11). (See (B)). The straight line generation unit 112 obtains the position of the puncture needle candidate straight line from the distribution of the puncture needle feature points in the edge image.

図11(B)に示すエッジ画像には、Bモード画像中で高輝度に表示されていた複数の穿刺針特徴点が分布している。エッジ画像中に分布した各穿刺針特徴点は、穿刺針が存在する位置に表れるものが、主に、穿刺針に由来する点であり、穿刺針が存在する位置に関係なく、画面全体に表れるものが、組織等の穿刺針以外に由来する点である。組織等に由来する穿刺針特徴点は、エッジ画像に基づいて穿刺針の位置を特定する場合にノイズとなる。そこで、直線生成部112は、図11(B)に示すようなノイズを含んだエッジ画像に対してハフ変換を行い、穿刺針に由来する穿刺針特徴点を最も多く通る穿刺針候補直線を生成する。エッジ画像がノイズを含んでいても、穿刺針に由来する穿刺針特徴点は直線的な繋がりがあるため、ハフ変換により穿刺針由来の穿刺針特徴点による直線的な繋がりに沿った直線が生成できる。生成した穿刺針候補直線130をエッジ画像データに重ねて表示した画像が、図11(C)に示される。図11(C)の穿刺針候補直線130が、穿刺針及び穿刺針の延長線を表す。   In the edge image shown in FIG. 11B, a plurality of puncture needle feature points displayed with high luminance in the B-mode image are distributed. Each puncture needle feature point distributed in the edge image is a point derived from the puncture needle mainly at the position where the puncture needle is present, and appears on the entire screen regardless of the position where the puncture needle is present. This is a point derived from something other than a puncture needle such as tissue. The puncture needle feature point derived from tissue or the like becomes noise when the position of the puncture needle is specified based on the edge image. Accordingly, the straight line generation unit 112 performs Hough transform on the edge image including noise as illustrated in FIG. 11B, and generates a puncture needle candidate straight line that passes through the most puncture needle feature points derived from the puncture needle. To do. Even if the edge image contains noise, the puncture needle feature point derived from the puncture needle has a linear connection, so a straight line along the linear connection by the puncture needle feature point derived from the puncture needle is generated by the Hough transform. it can. An image obtained by superimposing the generated puncture needle candidate straight line 130 on the edge image data is shown in FIG. A puncture needle candidate straight line 130 in FIG. 11C represents the puncture needle and an extension line of the puncture needle.

穿刺針及び穿刺針の延長を表した穿刺針候補直線130は、穿刺針と、穿刺針でない部分との境界が不明なため、穿刺針候補直線130上における穿刺針と穿刺針でない部分との境界位置、すなわち穿刺針の先端位置を求める。図11(D)は、ハフ変換によって生成した穿刺針候補直線130を、領域生成部114によって所定の幅に広げて領域132を重畳表示したエッジ画像を表す。領域132は、穿刺針候補直線130を含んだ領域である。領域生成部114は、領域132を穿刺針が存在する穿刺針存在領域と特定する。ハフ変換によって抽出された穿刺針候補直線130は、穿刺針由来の穿刺針特徴点を多数通る直線であるため、多数の穿刺針特徴点が含まれる領域が穿刺針存在領域132として特定される。穿刺針連結処理部94bは、このようにして領域132を作成し、穿刺針が存在する可能性が高い領域を絞りこむ。ここで穿刺針候補直線130を広げる所定の幅とは、情報記憶部80から読みだした穿刺針の太さとしても良いし、Bモード画像またはエッジ画像を見ながらユーザが設定しても良い。   Since the puncture needle and the puncture needle candidate straight line 130 representing the extension of the puncture needle are unclear on the boundary between the puncture needle and the non-puncture needle, the boundary between the puncture needle and the non-puncture needle portion on the puncture needle candidate straight line 130 The position, that is, the tip position of the puncture needle is obtained. FIG. 11D shows an edge image in which the puncture needle candidate straight line 130 generated by the Hough transform is expanded to a predetermined width by the region generation unit 114 and the region 132 is superimposed and displayed. Region 132 is a region including puncture needle candidate straight line 130. The region generation unit 114 identifies the region 132 as a puncture needle presence region where a puncture needle is present. Since the puncture needle candidate straight line 130 extracted by the Hough transform is a straight line that passes through many puncture needle feature points derived from the puncture needle, an area including many puncture needle feature points is specified as the puncture needle presence area 132. The puncture needle connection processing unit 94b creates the region 132 in this way, and narrows down the region where the puncture needle is likely to exist. Here, the predetermined width for expanding the puncture needle candidate straight line 130 may be the thickness of the puncture needle read from the information storage unit 80, or may be set by the user while viewing the B-mode image or the edge image.

次に、位置特定部106の平均輝度演算部116は、領域132の長手方向が水平となるまで図11(D)に示すエッジ画像を回転させ、領域132の長手方向をX’軸、領域132の短手方向をY’軸としてX’Y’直交座標系を定義する。平均輝度演算部116は、領域132内において、Y’座標方向に並んだ点(X’座標の値が同じ点)の加算平均を行う。図12(A)は、領域132から先端位置を特定する方法を示すため、エッジ画像中の領域132と、領域132内の穿刺針を含む直線上(領域132内のX’座標の値が同じ点を加算平均した結果1次元となった領域132)の平均輝度の分布を示すグラフとを対応させて描いた図である。図12(A)に示すグラフは、横軸をX’座標上の位置、縦軸を平均輝度として領域132における走査方向(X’方向)から見た平均輝度分布を表したグラフである。最大輝度特定部118及び最小輝度特定部120は、図12(A)に示すグラフに基づいて、平均輝度の最大値及び最小値を求める。なお、図12(A)に示すグラフは、説明を分かりやすくするために簡略化して描かれている。   Next, the average luminance calculation unit 116 of the position specifying unit 106 rotates the edge image shown in FIG. 11D until the longitudinal direction of the region 132 becomes horizontal, and the longitudinal direction of the region 132 is the X ′ axis and the region 132. The X′Y ′ orthogonal coordinate system is defined with the short direction of Y ′ as the Y ′ axis. The average luminance calculation unit 116 performs addition averaging of points arranged in the Y ′ coordinate direction (points having the same X ′ coordinate value) in the region 132. FIG. 12A shows a method of specifying the tip position from the region 132, and therefore, the region 132 in the edge image and the straight line including the puncture needle in the region 132 (the value of the X ′ coordinate in the region 132 is the same) It is the figure which matched and showed the graph which shows distribution of the average brightness | luminance of the area | region 132) which became one-dimensional as a result of carrying out the addition average of the point. The graph shown in FIG. 12A represents an average luminance distribution viewed from the scanning direction (X ′ direction) in the region 132, with the horizontal axis representing the position on the X ′ coordinate and the vertical axis representing the average luminance. The maximum brightness specifying unit 118 and the minimum brightness specifying unit 120 obtain the maximum value and the minimum value of the average brightness based on the graph shown in FIG. Note that the graph shown in FIG. 12A is simplified for easy understanding.

穿刺針先端位置演算部(以下、位置演算部)122は、図12(A)に示す領域132内におけるX’座標上の位置と平均輝度との関係を表したグラフに対し、X’座標の最大値側から原点側に向かって平均輝度の値を調べ、穿刺針の先端位置を特定する。具体的には、位置演算部122は、穿刺針が存在しないため最小値付近の値を示していた平均輝度が、大きく増加して最大値と最小値との差分に対して初めて8割の輝度となった点134を穿刺針の先端位置として特定する。ここで、X’座標の最大値側から調べる理由は、穿刺針が存在しないと予想される側から調べることで、輝度の大幅な変化を穿刺針の先端位置として特定することができるためである。原点側から調べると、穿刺針が途切れる位置で平均輝度は最小値付近の値を示し、その次に、穿刺針が検出された点を先端と特定する可能性がある。なお、ここでは穿刺針の先端を実質的に特定できる点として経験的に望ましい点である、最大値と最小値との差分に対して8割の点を穿刺針の先端位置としたが、必ずしも8割でなくても良い。しかし、あまり平均輝度の最小値側に近い点を設定すると、ノイズを先端位置としてしまう可能性があるため、平均輝度の最大値と最小値の差分に対して5割以上の点が望ましい。   The puncture needle tip position calculation unit (hereinafter referred to as position calculation unit) 122 calculates the X ′ coordinate with respect to the graph representing the relationship between the position on the X ′ coordinate and the average luminance in the region 132 shown in FIG. The average luminance value is examined from the maximum value side toward the origin side, and the tip position of the puncture needle is specified. Specifically, the position calculation unit 122 increases the average luminance, which is a value near the minimum value because there is no puncture needle, greatly increases, and is 80% luminance for the first time with respect to the difference between the maximum value and the minimum value. The resulting point 134 is specified as the tip position of the puncture needle. Here, the reason for examining from the maximum value side of the X ′ coordinate is that a significant change in luminance can be specified as the tip position of the puncture needle by examining from the side where the puncture needle is expected not to exist. . When examined from the origin side, there is a possibility that the average luminance shows a value near the minimum value at a position where the puncture needle is interrupted, and then the point where the puncture needle is detected is identified as the tip. Here, 80% of the difference between the maximum value and the minimum value is empirically desirable as the point at which the tip of the puncture needle can be substantially specified. It may not be 80%. However, if a point that is very close to the minimum value side of the average brightness is set, noise may be set as the tip position. Therefore, a point that is 50% or more of the difference between the maximum value and the minimum value of the average brightness is desirable.

領域132内において、穿刺針が存在しない領域の平均輝度は、おおよそ0となる。そのため、穿刺針が存在しないX’座標の最大値側から0側に向かって平均輝度の値を調べると、しばらく0付近の値が続く。穿刺針が存在しない領域から穿刺針が存在する領域に入ると、平均輝度は、急激に大きくなる。これは、穿刺針が、高輝度で検出されるためである。位置演算部122は、このような穿刺針の有無による平均輝度の変化に基づいて穿刺針の先端位置である点134を特定する。穿刺針の先端位置である点134を特定した穿刺針先端位置演算部122は、X’Y’直交座標系をXY直交座標系に変換し、点134のX座標及びY座標を求める。   Within the area 132, the average luminance of the area where no puncture needle is present is approximately zero. Therefore, when the average luminance value is examined from the maximum value side of the X ′ coordinate where there is no puncture needle toward the 0 side, the value near 0 continues for a while. When entering the region where the puncture needle is present from the region where the puncture needle is not present, the average luminance increases rapidly. This is because the puncture needle is detected with high brightness. The position calculation unit 122 identifies the point 134 that is the tip position of the puncture needle based on such a change in average luminance due to the presence or absence of the puncture needle. The puncture needle tip position calculation unit 122 that has identified the point 134 that is the tip position of the puncture needle converts the X′Y ′ orthogonal coordinate system to the XY orthogonal coordinate system, and obtains the X coordinate and Y coordinate of the point 134.

穿刺針画像生成部108は、穿刺針候補直線130と、穿刺針の先端位置134とに基づいて、穿刺針を表す直線を生成する。具体的には、穿刺針候補直線130を、X座標0の位置から、穿刺針の先端位置134のX座標と同じX座標を持つ穿刺針候補直線130上の点136までの線分として、穿刺針を表す直線である線分140を生成する。図12(B)は、穿刺針画像生成部108が生成した線分140を描いた模式図である。図12(B)中の点138は、穿刺針候補直線130がエッジ画像の左辺と交わる点である。   The puncture needle image generation unit 108 generates a straight line representing the puncture needle based on the puncture needle candidate straight line 130 and the tip position 134 of the puncture needle. Specifically, the puncture needle candidate straight line 130 is punctured as a line segment from the position of the X coordinate 0 to the point 136 on the puncture needle candidate straight line 130 having the same X coordinate as the X coordinate of the tip position 134 of the puncture needle. A line segment 140 that is a straight line representing the needle is generated. FIG. 12B is a schematic diagram depicting a line segment 140 generated by the puncture needle image generation unit 108. A point 138 in FIG. 12B is a point where the puncture needle candidate straight line 130 intersects the left side of the edge image.

穿刺針連結処理部94bは、穿刺針の先端位置の検出及び穿刺針を表す画像の生成を所定の時間間隔で繰り返し、最も新しく生成した穿刺針を表す画像を、Bモード画像に重畳して、差分処理部88に出力する。穿刺針連結処理部94bは、穿刺針の先端位置を特定し、生成した穿刺針画像(穿刺針を表す画像)をBモード画像に重畳することで、穿刺針の位置が明確となったフレーム画像を差分処理部88に出力することができる。
なお、穿刺針をつなげる穿刺器具連結処理としては、例えば、本出願人の出願に係る同時継続出願である特願2010−216764号明細書「音波画像生成装置および超音波画像生成方法」に記載されたた穿刺針連結処理を適用することができる。
穿刺針連結処理部94bにおいて行う穿刺針連結処理を、先端検出部70で行うLUT処理としておこなっても良い。
本発明の超音波画像診断装置は、基本的に以上のように構成される。
The puncture needle connection processing unit 94b repeats detection of the tip position of the puncture needle and generation of an image representing the puncture needle at predetermined time intervals, and superimposes the image representing the most recently generated puncture needle on the B-mode image, The data is output to the difference processing unit 88. The puncture needle connection processing unit 94b identifies the tip position of the puncture needle, and superimposes the generated puncture needle image (an image representing the puncture needle) on the B-mode image, whereby the position of the puncture needle is clarified. Can be output to the difference processing unit 88.
The puncture instrument connecting process for connecting the puncture needle is described in, for example, Japanese Patent Application No. 2010-216764 “Sound image generation apparatus and ultrasonic image generation method” which is a continuation application simultaneously filed by the present applicant. A puncture needle connection process can be applied.
The puncture needle connection processing performed in the puncture needle connection processing unit 94b may be performed as the LUT processing performed in the tip detection unit 70.
The ultrasonic diagnostic imaging apparatus of the present invention is basically configured as described above.

以下に、本発明の超音波画像診断装置の作用及び本発明の超音波画像生成方法について説明する。
図13は、本発明の超音波画像生成方法の要部の一例を示すフローチャートであり、差分画像の生成ステップから穿刺針の先端候補が色付けされた先端画像がBモード画像に重畳された合成画像のを生成ステップまでを示す。
まず、操作者は、超音波プローブ12の超音波送受信面を被検体の表面に当接する。この状態で、プローブ本体16の送信駆動部38から供給される駆動信号に従って複数のトランスデューサ34から超音波が送信され、被検体からの超音波エコーを受信した各トランスデューサ34から出力された受信信号がそれぞれ対応する受信信号処理部36に供給されてサンプルデータが生成され、通信ケーブル18を介して診断装置本体14へ伝送されてデータ格納部46に格納される。さらに、データ格納部46から1フレーム毎のサンプルデータが読み出され、合成画像生成部48の画像生成部64で1フレーム毎のBモード画像データが生成され、時系列フレームのBモード画像データがフレーム画像記憶部66に記憶される。
The operation of the ultrasonic diagnostic imaging apparatus of the present invention and the ultrasonic image generation method of the present invention will be described below.
FIG. 13 is a flowchart showing an example of a main part of the ultrasonic image generation method of the present invention, and a composite image in which a tip image in which a tip candidate of a puncture needle is colored from the difference image generation step is superimposed on a B-mode image. This shows up to the generation step.
First, the operator contacts the ultrasonic transmission / reception surface of the ultrasonic probe 12 with the surface of the subject. In this state, ultrasonic waves are transmitted from the plurality of transducers 34 in accordance with the drive signal supplied from the transmission drive unit 38 of the probe main body 16, and the reception signals output from the transducers 34 that have received the ultrasonic echoes from the subject are Sample data is generated by being supplied to the corresponding reception signal processing unit 36, transmitted to the diagnostic apparatus main body 14 via the communication cable 18, and stored in the data storage unit 46. Further, the sample data for each frame is read from the data storage unit 46, the B-mode image data for each frame is generated by the image generation unit 64 of the composite image generation unit 48, and the B-mode image data of the time-series frame is It is stored in the frame image storage unit 66.

次に、図13に従って、穿刺針の先端候補が表示強調処理として色付けされた先端画像
がBモード画像に重畳された合成画像を生成する。
図13に示すように、まず、ステップS10において、フレーム画像記憶部66から読みだされた、図14(A)及び(B)に示す現フレームより前のフレームと現フレームとの2つの時系列フレームのBモード画像データから、差分画像生成部68で差分処理を行い、図14(C)に示すフレームの差分画像を生成する。
Next, according to FIG. 13, a composite image is generated in which the tip image in which the tip candidate of the puncture needle is colored as display enhancement processing is superimposed on the B-mode image.
As shown in FIG. 13, first, in step S10, two time series of a frame before and the current frame shown in FIGS. 14A and 14B read from the frame image storage unit 66 are displayed. The difference image generation unit 68 performs difference processing from the B-mode image data of the frame to generate a frame difference image shown in FIG.

次に、ステップS12において、先端検出部70の先端候補検出部74の候補点抽出部82で、図14(D)に示す先端強調フィルタを適用したLUT処理を行い、先端候補点を抽出する。図14(D)に示す先端強調フィルタは、穿刺針の刺入方向に沿ってぼかすための縦15画素横27画素の矩形状のフィルタであり、図15に示すガウスフィルタによって穿刺針の刺入方向に沿って重み付けされたフィルタ係数を持つ。こうして先端強調フィルタを適用したLUT処理を行ったLUT処理画像を図14(E)に示す。
なお、図16に、図14(C)に示すフレームの差分画像に対して輝度差による2値化処理を行った処理画像の穿刺針先端を含む矩形領域の穿刺針の先端候補点の分布を示す。同図から分かるように、2値化処理後においては、穿刺針の先端候補点が穿刺針先端近傍以外にも複数存在していることが分かる。
Next, in step S12, the candidate point extraction unit 82 of the tip candidate detection unit 74 of the tip detection unit 70 performs LUT processing to which the tip enhancement filter shown in FIG. 14D is applied, and extracts tip candidate points. The tip emphasis filter shown in FIG. 14D is a rectangular filter of 15 pixels in the vertical direction and 27 pixels in the horizontal direction for blurring along the insertion direction of the puncture needle. The Gaussian filter shown in FIG. Has filter coefficients weighted along the direction. FIG. 14E shows an LUT-processed image that has been subjected to the LUT process using the tip enhancement filter.
FIG. 16 shows the distribution of the tip candidate points of the puncture needles in the rectangular area including the puncture needle tips in the processed image obtained by performing the binarization process using the luminance difference on the difference image of the frame shown in FIG. Show. As can be seen from the figure, after the binarization process, there are a plurality of puncture needle tip candidate points other than the vicinity of the puncture needle tip.

続いて、ステップS14において、先端候補特定処理部84で、穿刺針、特にその先端部と相関の高い領域の先端候補点の中心点のみを先端候補として特定する。
ステップ16において、先端候補特定処理部84で差分画像中の先端候補の抽出・特定が終了したか否かが判断され、終了していなければ、ステップS14に戻って先端候補の抽出・特定を続け、終了していれば、ステップS18に移る。
ステップS18において、先端候補処理部76で、ステップS14で特定された先端候補に色付けを行い、先端画像を生成する。
次に、ステップS20において、画像合成部72で、ステップS18で生成された先端画像と現フレームの超音波画像(Bモード画像)とを合成して、先端候補処理部76で色付けされた先端候補を現フレームの超音波画像に重畳した合成画像を生成する。
次に、ステップ22において、画像合成部72で合成画像の生成処理が終了したか否かが判断され、終了していなければ、ステップS10に戻って差分画像の生成からステップS20の合成画像の生成まで処理が繰り返され、終了していれば、この処理が終了する。
Subsequently, in step S14, the tip candidate specifying processing unit 84 specifies only the center point of the tip candidate point of the puncture needle, particularly the region having a high correlation with the tip portion, as the tip candidate.
In step 16, it is determined whether or not the extraction / specification of the tip candidate in the difference image has been completed by the tip candidate specification processing unit 84, and if it has not ended, the process returns to step S <b> 14 and continues to extract and specify the tip candidate. If completed, the process proceeds to step S18.
In step S18, the tip candidate processing unit 76 colors the tip candidates specified in step S14 to generate a tip image.
Next, in step S20, the image combining unit 72 combines the tip image generated in step S18 and the ultrasonic image (B-mode image) of the current frame, and the tip candidate colored by the tip candidate processing unit 76. Is superimposed on the ultrasonic image of the current frame.
Next, in step 22, it is determined whether or not the composite image generation processing has been completed by the image composition unit 72. If not, the process returns to step S 10 to generate the composite image in step S 20 from the difference image generation. The process is repeated until the process is completed.

この後、画像合成部72で合成された合成画像は、表示制御部50に送られ、表示用合成画像信号に変換され、表示部52に、色付けされた先端候補が現フレームの超音波画像に重畳された合成画像が表示される。
以上のように、本発明の超音波画像生成方法は、実施される。
図13に示す例は、差分画像から先端候補が必ず検出される例であるが、検出されない場合も当然含まれるので、以下に、先端候補が検出されない場合をも含む処理について説明する。
Thereafter, the synthesized image synthesized by the image synthesizing unit 72 is sent to the display control unit 50, converted into a synthesized image signal for display, and the colored tip candidates are converted into an ultrasonic image of the current frame on the display unit 52. The superimposed composite image is displayed.
As described above, the ultrasonic image generation method of the present invention is implemented.
The example illustrated in FIG. 13 is an example in which the tip candidate is always detected from the difference image, but naturally includes a case where the tip candidate is not detected. Therefore, processing including a case where the tip candidate is not detected will be described below.

図17は、本発明の超音波画像生成方法の先端候補が検出されない場合をも含む例を示すフローチャートである。
まず、ステップS30において、現フレームより前のフレームBモード画像データから
現フレームのBモード画像データを減算して現フレームの差分画像データを生成する。
次に、ステップS32において、差分画像データに対してLUT処理や先端候補の特定処理を行い、穿刺針の先端候補を検出する。
ステップ34において、ステップS32で穿刺針の先端候補が検出されたか否かが判断され、検出されていれば、検出成功としてステップ36に移り、検出されていなければ、ステップ46に移る。
FIG. 17 is a flowchart illustrating an example including a case where a tip candidate is not detected in the ultrasonic image generation method of the present invention.
First, in step S30, difference image data for the current frame is generated by subtracting B-mode image data for the current frame from frame B-mode image data before the current frame.
Next, in step S32, LUT processing and tip candidate specification processing are performed on the difference image data to detect a tip candidate of the puncture needle.
In step 34, it is determined whether or not the tip candidate of the puncture needle has been detected in step S32. If detected, the process proceeds to step 36 as a successful detection, and if not detected, the process proceeds to step 46.

ステップS36において、ステップS32で検出された穿刺針の先端候補の情報を含む検出情報をメモリ(先端候補記憶部78)に記憶して保存する。
ステップS38において、検出された先端候補をメモリから読み出し、読みだした先端候補に色付けを行い、穿刺針の先端画像を生成する。
ステップS40において、ステップS38で生成された先端画像を現フレームの超音波画像(Bモード画像)に重ね合わせて、色付けされた先端候補が現フレームの超音波画像に重畳された合成画像を生成する。
ステップ42において、表示部52に、色付けされた先端候補が現フレームの超音波画像に重畳された合成画像が表示される。
次に、ステップ44において、穿刺針の先端候補の検出及び合成画像の表示を続行するか否かが判断され、続行であれば、ステップS30に戻って差分画像データの生成からステップS42の合成画像の表示まで処理が繰り返され、続行でなければ、この処理が終了する。
In step S36, the detection information including information on the tip candidate of the puncture needle detected in step S32 is stored in the memory (tip candidate storage unit 78) and saved.
In step S38, the detected tip candidate is read from the memory, the read tip candidate is colored, and a tip image of the puncture needle is generated.
In step S40, the tip image generated in step S38 is superimposed on the ultrasound image (B-mode image) of the current frame to generate a composite image in which the colored tip candidates are superimposed on the ultrasound image of the current frame. .
In step 42, a composite image in which the colored tip candidates are superimposed on the ultrasonic image of the current frame is displayed on the display unit 52.
Next, in step 44, it is determined whether or not to continue detection of the tip candidate of the puncture needle and display of the composite image. If so, the process returns to step S30 to generate the composite image of step S42 from the generation of the difference image data. The process is repeated until the display of, and if not continued, this process ends.

一方、 ステップ34で穿刺針の先端候補の検出不成功と判断された場合には、ステップ46において、メモリ内の過去の穿刺針の先端候補の検出情報を使用するか否かの判断がなされ、使用するのであれば、ステップ48に移り、使用しないのであれば、ステップ50に移る。
ステップ48に移ると、ステップ48では、メモリから読み出した検出情報を用いて、過去の穿刺針の先端候補に色付けを行い、穿刺針の先端画像を生成し、ステップS40に移る。ステップ48で生成された穿刺針の先端画像は、ステップS40において、現フレームの超音波画像(Bモード画像)に重ね合わせられ、合成画像が生成される。
ステップ50に移ると、ステップ50では、検出情報がなく、先端候補が存在しないので、現フレームの超音波画像を表示部52に表示し、ステップS44に移る。ステップ44では、上述したように、検出続行か否かが判断され、判断に応じて検出が続行され、また、処理が終了する。
On the other hand, if it is determined in step 34 that the detection of the tip candidate of the puncture needle is unsuccessful, it is determined in step 46 whether or not the detection information of the tip candidate of the past puncture needle in the memory is used. If it is used, the process proceeds to step 48, and if it is not used, the process proceeds to step 50.
In step 48, using the detection information read from the memory, the past tip candidates of the puncture needle are colored to generate a tip image of the puncture needle, and the process proceeds to step S40. In step S40, the tip image of the puncture needle generated in step 48 is superimposed on the ultrasonic image (B-mode image) of the current frame to generate a composite image.
In step 50, since there is no detection information and no tip candidate exists in step 50, the ultrasonic image of the current frame is displayed on the display unit 52, and the process proceeds to step S44. In step 44, as described above, it is determined whether or not the detection is continued, the detection is continued according to the determination, and the process is ended.

図1に示す実施形態は、上述したように、画像生成部64の画像処理部62において生成されたBモード画像信号に基づいて、2つのフレームの差分画像の生成、先端候補の検出、先端画像の生成、及び先端画像と現フレームの超音波画像(Bモード画像)との重畳合成を行っているが、本発明はこれに限定されず、Bモード画像信号の代わりに、図18に示すように、画像生成部64の整相加算部60においてビームフォーミング処理がなされたベースバンド信号(音線信号)、すなわちフレーム毎のエコー信号に基づいて、2つのフレームの差分画像の生成、先端候補の検出、先端画像の生成、及び先端画像と現フレームの超音波画像との重畳合成を行っても良い。したがって、本発明では、フレームエコー信号とBモード画像信号との間の如何なる信号を用いても良い。   In the embodiment shown in FIG. 1, as described above, based on the B-mode image signal generated by the image processing unit 62 of the image generation unit 64, the generation of the difference image of the two frames, the detection of the tip candidate, and the tip image Are generated, and the leading edge image and the ultrasonic image (B mode image) of the current frame are superimposed and synthesized. However, the present invention is not limited to this, and instead of the B mode image signal, as shown in FIG. In addition, based on the baseband signal (sound ray signal) that has been subjected to the beam forming processing in the phasing addition unit 60 of the image generation unit 64, that is, the echo signal for each frame, the generation of the difference image of the two frames, the tip candidate Detection, generation of the tip image, and superposition synthesis of the tip image and the ultrasonic image of the current frame may be performed. Therefore, in the present invention, any signal between the frame echo signal and the B-mode image signal may be used.

図18は、本発明の超音波診断装置の診断装置本体の他の実施形態の構成を模式的に示すブロック図である。
同図に示す診断装置本体14aは、データ格納部46と、合成画像生成部48aと、表示部52とを有し、さらに、図示しないが、図1と同様に、本体制御部と、操作部と、格納部とを有する。また、合成画像生成部48aは、画像生成部64と、時系列フレームエコー信号記憶部(以下、エコー信号記憶部ともいう)66aと、時系列フレーム差分エコー信号生成部(以下、単に差分エコー信号生成部ともいう)68aと、穿刺針先端検出部(先端検出部)70aと、画像合成部72aと、を有する。
なお、図18に示す診断装置本体14aの合成画像生成部48aのエコー信号記憶部66a、差分エコー信号生成部68a、先端検出部70a、及び画像合成部72aは、図1に示す診断装置本体14の合成画像生成部48の画像記憶部66、差分画像生成部68、先端検出部70、及び画像合成部72と、エコー信号に基づいて各要素の処理を行うか、Bモード画像信号に基づいて各要素の処理を行うかの点では異なるのみで、即ち、処理の対象とする信号(データ)が異なるのみで、各様の処理の内容は略同一であるので、各要素の同一の処理内容については、詳細な説明を省略する。
FIG. 18 is a block diagram schematically showing the configuration of another embodiment of the diagnostic apparatus main body of the ultrasonic diagnostic apparatus of the present invention.
The diagnostic apparatus main body 14a shown in the figure has a data storage unit 46, a composite image generation unit 48a, and a display unit 52. Further, although not shown, a main body control unit, an operation unit, as in FIG. And a storage unit. The composite image generation unit 48a includes an image generation unit 64, a time-series frame echo signal storage unit (hereinafter also referred to as an echo signal storage unit) 66a, and a time-series frame difference echo signal generation unit (hereinafter simply referred to as a differential echo signal). 68a, a puncture needle tip detection unit (tip detection unit) 70a, and an image composition unit 72a.
The echo signal storage unit 66a, the differential echo signal generation unit 68a, the tip detection unit 70a, and the image synthesis unit 72a of the composite image generation unit 48a of the diagnostic device main body 14a shown in FIG. The image storage unit 66, the difference image generation unit 68, the tip detection unit 70, and the image synthesis unit 72 of the composite image generation unit 48 perform processing of each element based on the echo signal, or based on the B-mode image signal The only difference is in whether each element is processed, that is, only the signal (data) to be processed is different, and the contents of each process are substantially the same. The detailed description is omitted.

エコー信号記憶部66aは、複数のフレームの画像を表すエコー信号を時系列的に記憶するメモリである。
差分エコー信号生成部68aは、エコー信号記憶部66aに記憶される2つの時系列フレームのエコー信号間の差分を求めて、差分エコー信号を生成する。
先端検出部70aは、本発明の最も特徴とする部分であって、差分エコー信号生成部68aで生成された差分エコー信号から先端検出処理を行い、穿刺針先端部を含む1以上の先端候補を検出し、検出された先端候補に対して表示強調処理を行い、表示強調処理された先端画像を生成する。なお、差分エコー信号から検出された先端候補に対しては、画像処理部62と同様の変換処理を行ってBモード画像信号としておき、先端画像は、Bモード画像信号で表わされているのが好ましい。
The echo signal storage unit 66a is a memory that stores echo signals representing images of a plurality of frames in time series.
The differential echo signal generation unit 68a obtains a difference between the echo signals of two time-series frames stored in the echo signal storage unit 66a, and generates a differential echo signal.
The tip detection unit 70a is the most characteristic part of the present invention, and performs tip detection processing from the differential echo signal generated by the differential echo signal generation unit 68a to obtain one or more tip candidates including the tip of the puncture needle. Detection is performed, display enhancement processing is performed on the detected tip candidate, and a tip image subjected to display enhancement processing is generated. It should be noted that the tip candidate detected from the differential echo signal is subjected to conversion processing similar to that of the image processing unit 62 to obtain a B-mode image signal, and the tip image is represented by the B-mode image signal. Is preferred.

画像合成部72aは、画像処理部62で生成されたBモード画像である現フレームの超音波画像に、先端検出部70aで生成された先端画像(穿刺針先端部強調画像)を合成して合成超音波画像を生成するものである。
なお、先端検出部70aで生成された先端画像がBモード画像信号で表わされていない場合には、画像合成部72aでは、先端画像に対して画像処理部62と同様の変換処理を行って、Bモード画像信号とした後に、先端画像をBモード画像である現フレームの超音波画像に重畳合成する。
また、画像処理部62で生成されたBモード画像である現フレームの超音波画像がDSCでスキャンコンバートされた表示用画像信号で表わされている場合には、Bモード画像に変換された先端画像も表示用画像信号で表わされるようにDSCでスキャンコンバートしておく必要がある。
なお、処理対象となる信号やデータのBモード画像信号化や、スキャンコンバートは、画像合成部72aで合成する際に同じになっていれば、どの段階で行っても良い。スキャンコンバートは、もちろん、表示制御部50で行う場合には、合成画像生成部48a内で行う必要はない。
The image synthesis unit 72a synthesizes the tip image (puncture needle tip portion emphasized image) generated by the tip detection unit 70a with the ultrasound image of the current frame that is the B-mode image generated by the image processing unit 62 and synthesizes it. An ultrasonic image is generated.
When the tip image generated by the tip detection unit 70a is not represented by the B-mode image signal, the image composition unit 72a performs the same conversion process as the image processing unit 62 on the tip image. After the B-mode image signal, the tip image is superimposed and synthesized on the ultrasonic image of the current frame that is the B-mode image.
In addition, when the ultrasonic image of the current frame, which is a B-mode image generated by the image processing unit 62, is represented by a display image signal that has been scan-converted by DSC, the tip converted into a B-mode image The image also needs to be scan-converted by DSC so as to be represented by the display image signal.
It should be noted that B-mode image signal conversion and scan conversion of signals and data to be processed may be performed at any stage as long as they are the same when combined by the image combining unit 72a. Of course, when the scan conversion is performed by the display control unit 50, it is not necessary to perform the scan conversion in the composite image generation unit 48a.

本発明における各構成は、主に、中央演算装置(CPU)とCPUに各種の処理を行わせるためのソフトウェアとによって構成されるが、これらをデジタル回路またはアナログ回路で構成しても良い。なお、これらのソフトウェアは、内部メモリに記憶される。
また、本発明に係る超音波画像生成方法のアルゴリズムをプログラミング言語によって記述し、必要に応じてコンパイルし、超音波画像生成方法プログラムをメモリ(記録媒体)に記憶して他の装置の情報処理手段によって実行させれば、本発明に係る超音波診断装置と同様の機能を実現することができる。すなわち、本発明の超音波画像生成方法をコンピュータ(CPU)に実行させるためのプログラムであっても、そのプログラムを記録した記録媒体であっても、本発明の実施形態に含まれるのは言うまでもない。
Each configuration in the present invention is mainly configured by a central processing unit (CPU) and software for causing the CPU to perform various processes, but may be configured by a digital circuit or an analog circuit. These software are stored in an internal memory.
The algorithm of the ultrasonic image generation method according to the present invention is described in a programming language, compiled as necessary, and the ultrasonic image generation method program is stored in a memory (recording medium) to process information in other apparatuses. If executed, the same function as the ultrasonic diagnostic apparatus according to the present invention can be realized. That is, it goes without saying that a program for causing a computer (CPU) to execute the ultrasonic image generation method of the present invention or a recording medium recording the program are included in the embodiment of the present invention. .

以上、本発明に係る超音波診断装置及び超音波画像生成方法について種々の実施例を挙げて説明したが、本発明は、上記実施例に限定はされず、本発明を逸脱しない範囲において、各種の改良や変更を行なってもよいのは、もちろんである。   As described above, the ultrasonic diagnostic apparatus and the ultrasonic image generation method according to the present invention have been described with reference to various embodiments. However, the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the present invention. Of course, improvements and changes may be made.

10 超音波診断装置
12 超音波プローブ
14、14a 診断装置本体
16 プローブ本体
18 通信ケーブル
20 穿刺アダプタ
34 超音波トランスデューサ
36 受信信号処理部
38 送信駆動部
40 送信制御部
42 受信制御部
44 プローブ制御部
46 データ格納部
48、48a 合成画像生成部
50 表示制御部
52 表示部
54 本体制御部
56 操作部
58 格納部
60 整相加算部
62 画像処理部
64 画像生成部
66 時系列フレーム画像記憶部(画像記憶部)
66a 時系列フレームエコー信号記憶部(エコー信号記憶部)
68 時系列フレーム差分画像生成部(差分画像生成部)
68a 時系列フレーム差分エコー信号生成部(差分エコー信号生成部)
70,70a 穿刺針先端検出部(先端検出部)
72,72a 画像合成部
74 先端候補検出部
76 先端候補処理部
78 先端候補記憶部
80 穿刺針情報及び条件記憶部(情報記憶部)
82 候補点抽出処理部(抽出処理部)
84 先端候補特定処理部(特定処理部)
DESCRIPTION OF SYMBOLS 10 Ultrasonic diagnostic apparatus 12 Ultrasonic probe 14, 14a Diagnostic apparatus main body 16 Probe main body 18 Communication cable 20 Puncture adapter 34 Ultrasonic transducer 36 Reception signal processing part 38 Transmission drive part 40 Transmission control part 42 Reception control part 44 Probe control part 46 Data storage unit 48, 48a Composite image generation unit 50 Display control unit 52 Display unit 54 Main body control unit 56 Operation unit 58 Storage unit 60 Phased addition unit 62 Image processing unit 64 Image generation unit 66 Time-series frame image storage unit (image storage) Part)
66a Time-series frame echo signal storage unit (echo signal storage unit)
68 Time-series frame difference image generation unit (difference image generation unit)
68a Time-series frame differential echo signal generation unit (differential echo signal generation unit)
70, 70a Puncture needle tip detection unit (tip detection unit)
72, 72a Image composition unit 74 Tip candidate detection unit 76 Tip candidate processing unit 78 Tip candidate storage unit 80 Puncture needle information and condition storage unit (information storage unit)
82 Candidate point extraction processing unit (extraction processing unit)
84 Tip candidate identification processing unit (specific processing unit)

Claims (20)

穿刺器具が刺入された被検体に超音波を送信すると共に、前記被検体及び前記穿刺器具による前記超音波の反射波を受信し、受信した反射波に基づいて時系列フレームのエコー信号を生成する超音波送受手段と、
該超音波送受手段によって生成された前記エコー信号に基づいて前記被検体の超音波画像を生成する超音波画像生成手段と、
該超音波画像生成手段によって生成された前記超音波画像を表示する画像表示手段と、
複数の時系列フレームの前記エコー信号から時系列フレーム間の差分エコー信号を生成する差分エコー信号生成手段と、
該差分エコー信号生成手段で生成された前記差分エコー信号に基づいて先端検出処理を行い、前記穿刺器具先端部を含む1以上の先端候補を検出する先端候補検出手段と、
前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理して、前記穿刺器具の前記先端候補が表示強調処理された先端画像を生成する先端候補処理手段と、を具備し、
前記画像表示手段は、前記先端候補処理手段によって表示強調処理された前記穿刺器具の前記先端画像を、前記超音波画像生成手段によって生成された前記超音波画像に重ねて表示することを特徴とする超音波診断装置。
Transmits ultrasonic waves to the subject into which the puncture device is inserted, receives the reflected waves of the ultrasonic waves from the subject and the puncture device, and generates echo signals of time series frames based on the received reflected waves Ultrasonic transmission / reception means,
Ultrasonic image generation means for generating an ultrasonic image of the subject based on the echo signal generated by the ultrasonic transmission / reception means;
Image display means for displaying the ultrasonic image generated by the ultrasonic image generation means;
Differential echo signal generating means for generating a differential echo signal between time series frames from the echo signals of a plurality of time series frames;
Tip candidate detection means for performing tip detection processing based on the differential echo signal generated by the differential echo signal generation means and detecting one or more tip candidates including the tip of the puncture device;
Tip candidate processing means for generating a tip image in which the tip candidate of the puncture device is subjected to display enhancement processing by performing display enhancement processing on the tip candidate of the puncture device detected by the tip candidate detection means. ,
The image display means displays the tip image of the puncture device subjected to display enhancement processing by the tip candidate processing means so as to be superimposed on the ultrasound image generated by the ultrasound image generation means. Ultrasonic diagnostic equipment.
前記先端候補検出手段は、前記先端検出処理として、前記差分エコー信号生成手段で生成された前記差分エコー信号の輝度差に基づいて、前記穿刺器具の前記先端候補を検出する請求項1に記載の超音波診断装置。   2. The tip candidate detection unit according to claim 1, wherein the tip candidate detection unit detects the tip candidate of the puncture device based on a luminance difference of the differential echo signal generated by the differential echo signal generation unit as the tip detection process. Ultrasonic diagnostic equipment. 前記先端候補処理手段は、前記差分エコー信号の輝度差の正負に応じて、前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理する請求項1又は2に記載の超音波診断装置。   The super tip candidate processing means performs display emphasis processing on the tip candidate of the puncture device detected by the tip candidate detecting means according to whether the difference in luminance of the differential echo signal is positive or negative. Ultrasonic diagnostic equipment. 前記先端候補処理手段は、前記表示強調処理として、前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を色付けしてカラー先端画像を生成するか、又は、前記先端候補の輝度を上げて高輝度先端画像を生成するか、若しくは、前記先端候補を色付けした上で輝度を上げて高輝度カラー先端画像を生成する処理を行う請求項1〜3のいずれかに記載の超音波診断装置。   The tip candidate processing unit generates a color tip image by coloring the tip candidate of the puncture device detected by the tip candidate detection unit or increases the brightness of the tip candidate as the display enhancement processing. The ultrasonic diagnostic apparatus according to claim 1, wherein a high-luminance tip image is generated, or a process of generating a high-luminance color tip image by increasing the luminance after coloring the tip candidates. . 前記先端候補検出手段は、さらに、前記差分エコー信号の輝度差の正負を判別し、
前記先端候補処理手段は、前記先端候補検出手段によって判別された前記差分エコー信号の輝度差の正負に応じて、前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理する色相及び輝度を変更する請求項1〜4のいずれかに記載の超音波診断装置。
The tip candidate detection means further determines the sign of the luminance difference of the differential echo signal,
The tip candidate processing means performs display enhancement processing on the tip candidate of the puncture device detected by the tip candidate detection means according to the sign of the luminance difference of the differential echo signal determined by the tip candidate detection means. The ultrasonic diagnostic apparatus according to claim 1, wherein the hue and brightness are changed.
前記差分エコー信号生成手段は、さらに、生成した前記差分エコー信号に基づいて差分画像を生成するものであり、
前記先端候補検出手段は、前記差分エコー信号生成手段で生成された前記差分画像に、前記先端検出処理を行い、前記穿刺器具の前記先端候補を検出する請求項1〜5のいずれかに記載の超音波診断装置。
The differential echo signal generation means further generates a differential image based on the generated differential echo signal,
6. The tip candidate detection unit according to claim 1, wherein the tip candidate detection unit performs the tip detection process on the difference image generated by the differential echo signal generation unit and detects the tip candidate of the puncture device. Ultrasonic diagnostic equipment.
前記先端候補検出手段は、前記先端検出処理として、前記差分エコー信号生成手段で生成された前記差分画像に、所定輝度差以上の部分を抽出する処理を施して前記穿刺器具の前記先端候補を検出する請求項6に記載の超音波診断装置。   The tip candidate detection unit detects the tip candidate of the puncture device by performing a process of extracting a portion having a predetermined luminance difference or more from the difference image generated by the difference echo signal generation unit as the tip detection process. The ultrasonic diagnostic apparatus according to claim 6. 前記先端候補検出手段は、前記先端検出処理として、前記差分エコー信号生成手段で生成された前記差分画像の中の所定輝度差以上の部分を抽出するために、前記差分画像に対して階調処理を行うためのルックアップテーブルを用いたルックアップテーブル処理を行い、前記穿刺器具の前記先端候補を検出する請求項6又は7に記載の超音波診断装置。   The tip candidate detection means performs gradation processing on the difference image in order to extract a portion having a predetermined luminance difference or more in the difference image generated by the difference echo signal generation means as the tip detection processing. The ultrasonic diagnostic apparatus according to claim 6, wherein a look-up table process using a look-up table is performed to detect the tip candidate of the puncture device. 前記先端候補検出手段による前記ルックアップテーブル処理で用いられる前記ルックアップテーブルは、前記超音波画像及び前記差分画像の少なくとも一方に応じて調整されるものである請求項8に記載の超音波診断装置。   The ultrasonic diagnostic apparatus according to claim 8, wherein the lookup table used in the lookup table processing by the tip candidate detection unit is adjusted according to at least one of the ultrasound image and the difference image. . 前記先端候補検出手段は、前記先端検出処理として、前記差分画像の輝度差、並びに該輝度差で検出された領域の大きさ及び密度に基づいて、前記穿刺器具の前記先端候補を検出する請求項6〜9のいずれかに記載の超音波診断装置。   The tip candidate detecting means detects the tip candidate of the puncture device based on a luminance difference of the difference image and a size and density of a region detected by the luminance difference as the tip detection processing. The ultrasonic diagnostic apparatus in any one of 6-9. 前記先端候補検出手段は、前記差分画像に、前記先端検出処理として、先端強調フィルタ処理を行い、前記穿刺器具の前記先端候補を検出する請求項6〜9のいずれかに記載の超音波診断装置。   The ultrasonic diagnostic apparatus according to claim 6, wherein the tip candidate detection unit performs tip enhancement filter processing on the difference image as the tip detection processing to detect the tip candidate of the puncture device. . 前記先端候補検出手段は、前記差分画像に、前記先端検出処理として、メディアンフィルタ処理、又は、所定の点の近傍画素の輝度和を求めて該輝度和が大きい箇所のみ強調するフィルタ処理を行い、前記穿刺器具の前記先端候補を検出する請求項6〜9のいずれかに記載の超音波診断装置。   The tip candidate detection means performs a median filter process on the difference image as the tip detection process, or a filter process for emphasizing only a portion where the brightness sum is large by calculating a brightness sum of pixels near a predetermined point, The ultrasonic diagnostic apparatus according to claim 6, wherein the tip candidate of the puncture device is detected. 前記先端候補検出手段は、前記画像表示手段に表示されたフレームより過去の時刻に検出された前記穿刺器具の前記先端候補の近傍領域を探索して、表示フレームに基づく前記差分画像から前記穿刺器具の前記先端候補を検出する請求項6〜12のいずれかに記載の超音波診断装置。   The tip candidate detecting means searches for a region near the tip candidate of the puncture device detected at a time earlier than the frame displayed on the image display means, and the puncture device from the difference image based on the display frame The ultrasonic diagnostic apparatus according to claim 6, wherein the tip candidate is detected. 前記先端候補検出手段は、前記画像表示手段に表示されたフレームより過去の2時刻に検出された前記穿刺器具の前記先端候補を結んだ直線の近傍領域を探索して、表示フレームに基づく前記差分画像から前記穿刺器具の前記先端候補を検出する請求項6〜12のいずれかに記載の超音波診断装置。   The tip candidate detecting means searches for a neighborhood region of a straight line connecting the tip candidates of the puncture device detected at two past times from the frame displayed on the image display means, and the difference based on the display frame The ultrasonic diagnostic apparatus according to claim 6, wherein the tip candidate of the puncture device is detected from an image. 前記差分エコー信号生成手段は、前記差分画像を作成する前記時系列フレーム間の時間差を調整できる機能を備える請求項6〜14のいずれかに記載の超音波診断装置。   The ultrasonic diagnostic apparatus according to claim 6, wherein the differential echo signal generation unit has a function of adjusting a time difference between the time-series frames for creating the differential image. 前記差分エコー信号生成手段は、前記差分画像を作成するための過去のフレームは2フレーム以上前の複数のフレームを用いる請求項6〜15のいずれかに記載の超音波診断装置。   The ultrasonic diagnostic apparatus according to any one of claims 6 to 15, wherein the differential echo signal generation unit uses a plurality of frames two or more frames before as a past frame for generating the differential image. 前記差分エコー信号生成手段は、前処理として、前記時系列エコー信号に、スペックルパターンを軽減する信号処理、前記穿刺器具の方向にぼかす信号処理、及び/又は、前記穿刺器具をつなげる信号処理を行った後に、前記差分エコー信号を生成する請求項1〜16のいずれかに記載の超音波診断装置。   The differential echo signal generation means includes, as preprocessing, signal processing for reducing speckle patterns, signal processing for blurring the puncture device, and / or signal processing for connecting the puncture device to the time-series echo signal. The ultrasonic diagnostic apparatus according to claim 1, wherein the differential echo signal is generated after being performed. 前記画像表示手段は、過去の時刻に検出した前記穿刺器具の前記先端候補の画像も表示し、前記穿刺器具の刺入軌跡を表示する請求項1〜17のいずれかに記載の超音波診断装置。   The ultrasonic diagnostic apparatus according to claim 1, wherein the image display unit also displays an image of the tip candidate of the puncture device detected at a past time, and displays a puncture locus of the puncture device. . さらに、前記先端候補処理手段によって生成された前記穿刺器具の前記先端候補が表示強調処理された前記先端画像を、前記超音波画像生成手段によって生成された前記超音波画像に重ねるように合成して合成画像を生成する画像合成手段と、を具備し、
前記画像表示手段は、前記画像合成手段によって合成された前記合成画像を表示する請求項1〜18のいずれかに記載の超音波診断装置。
Further, the tip image on which the tip candidate of the puncture device generated by the tip candidate processing unit is subjected to display emphasis processing is synthesized so as to be superimposed on the ultrasound image generated by the ultrasound image generating unit. An image composition means for generating a composite image,
The ultrasonic diagnostic apparatus according to claim 1, wherein the image display unit displays the combined image combined by the image combining unit.
穿刺器具が刺入された被検体に超音波を送信すると共に、前記被検体及び前記穿刺器具による前記超音波の反射波を受信し、受信した反射波に基づいて時系列フレームのエコー信号を生成する超音波送受手段と、
該超音波送受手段によって生成された前記エコー信号に基づいて前記被検体の超音波画像を生成する超音波画像生成手段と、
該超音波画像生成手段によって生成された前記超音波画像を表示する画像表示手段と、
前記超音波画像生成手段で生成された複数の時系列フレームの前記超音波画像から時系列フレーム間の差分画像を生成する差分画像生成手段と、
該差分画像生成手段で生成された前記差分画像に基づいて先端検出処理を行い、前記穿刺器具先端部を含む1以上の先端候補を検出する先端候補検出手段と、
前記先端候補検出手段により検出された前記穿刺器具の前記先端候補を表示強調処理して、前記穿刺器具の前記先端候補が表示強調処理された先端画像を生成する先端候補処理手段と、を具備し、
前記画像表示手段は、前記先端候補処理手段によって表示強調処理された前記穿刺器具の前記先端画像を、前記超音波画像生成手段によって生成された前記超音波画像に重ねて表示することを特徴とする超音波診断装置。
Transmits ultrasonic waves to the subject into which the puncture device is inserted, receives the reflected waves of the ultrasonic waves from the subject and the puncture device, and generates echo signals of time series frames based on the received reflected waves Ultrasonic transmission / reception means,
Ultrasonic image generation means for generating an ultrasonic image of the subject based on the echo signal generated by the ultrasonic transmission / reception means;
Image display means for displaying the ultrasonic image generated by the ultrasonic image generation means;
Difference image generation means for generating a difference image between time series frames from the ultrasound images of a plurality of time series frames generated by the ultrasound image generation means;
Tip candidate detection means for performing tip detection processing based on the difference image generated by the difference image generation means, and detecting one or more tip candidates including the tip of the puncture device;
Tip candidate processing means for generating a tip image in which the tip candidate of the puncture device is subjected to display enhancement processing by performing display enhancement processing on the tip candidate of the puncture device detected by the tip candidate detection means. ,
The image display means displays the tip image of the puncture device subjected to display enhancement processing by the tip candidate processing means so as to be superimposed on the ultrasound image generated by the ultrasound image generation means. Ultrasonic diagnostic equipment.
JP2010274872A 2010-12-09 2010-12-09 Ultrasonic diagnostic equipment Active JP5645628B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010274872A JP5645628B2 (en) 2010-12-09 2010-12-09 Ultrasonic diagnostic equipment

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010274872A JP5645628B2 (en) 2010-12-09 2010-12-09 Ultrasonic diagnostic equipment
US13/246,471 US9226729B2 (en) 2010-09-28 2011-09-27 Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method
US14/951,613 US20170273661A9 (en) 2010-09-28 2015-11-25 Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method
US17/037,825 US20210022704A1 (en) 2010-09-28 2020-09-30 Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method

Publications (2)

Publication Number Publication Date
JP2012120747A JP2012120747A (en) 2012-06-28
JP5645628B2 true JP5645628B2 (en) 2014-12-24

Family

ID=46502859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010274872A Active JP5645628B2 (en) 2010-12-09 2010-12-09 Ultrasonic diagnostic equipment

Country Status (1)

Country Link
JP (1) JP5645628B2 (en)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9642592B2 (en) * 2013-01-03 2017-05-09 Siemens Medical Solutions Usa, Inc. Needle enhancement in diagnostic ultrasound imaging
JP6123458B2 (en) * 2013-04-25 2017-05-10 コニカミノルタ株式会社 Ultrasonic diagnostic imaging apparatus and method of operating ultrasonic diagnostic imaging apparatus
JP6110760B2 (en) * 2013-08-27 2017-04-05 富士フイルム株式会社 Ultrasonic diagnostic apparatus and method for operating ultrasonic diagnostic apparatus
CN105491955B (en) * 2013-08-30 2018-07-03 富士胶片株式会社 Diagnostic ultrasound equipment and method of generating ultrasonic image
CN104706380B (en) 2013-12-11 2018-04-10 柯尼卡美能达株式会社 Diagnostic ultrasound equipment, ultrasonic image processing method
JP6447071B2 (en) 2013-12-11 2019-01-09 コニカミノルタ株式会社 Ultrasonic diagnostic apparatus, ultrasonic image processing method, and program
US10130329B2 (en) * 2014-01-28 2018-11-20 General Electric Company Distinct needle display in ultrasonic image
JP6390145B2 (en) * 2014-04-09 2018-09-19 コニカミノルタ株式会社 Ultrasonic diagnostic imaging apparatus and method of operating ultrasonic diagnostic imaging apparatus
JP6094525B2 (en) 2014-04-30 2017-03-15 コニカミノルタ株式会社 Image forming method
JP6274001B2 (en) * 2014-05-08 2018-02-07 コニカミノルタ株式会社 Ultrasonic image processing method and ultrasonic diagnostic apparatus using the same
JP6364942B2 (en) * 2014-05-08 2018-08-01 コニカミノルタ株式会社 Ultrasonic image processing method and ultrasonic diagnostic apparatus using the same
JP6374012B2 (en) 2014-09-25 2018-08-15 富士フイルム株式会社 Photoacoustic image generator
JP6250510B2 (en) * 2014-09-25 2017-12-20 富士フイルム株式会社 Photoacoustic image generator
EP3202328B8 (en) 2014-09-29 2021-05-26 FUJIFILM Corporation Photoacoustic imaging device
JP6443056B2 (en) * 2015-01-09 2018-12-26 コニカミノルタ株式会社 Ultrasonic diagnostic equipment
CN107920805B (en) * 2015-07-02 2021-06-18 奥林巴斯株式会社 Ultrasonic observation device, method for operating ultrasonic observation device, and medium storing operation program for ultrasonic observation device
KR20170060852A (en) 2015-11-25 2017-06-02 삼성메디슨 주식회사 Method and ultrasound apparatus for providing ultrasound images
JP6171246B1 (en) * 2016-02-09 2017-08-02 本多電子株式会社 Ultrasonic image display device and recording medium storing program therefor
JP6829801B2 (en) * 2016-11-02 2021-02-17 株式会社プロアシスト Ultrasonic array sensor system
JP6879039B2 (en) * 2017-05-08 2021-06-02 コニカミノルタ株式会社 Ultrasound diagnostic equipment, composite image display method and program
FR3071396B1 (en) * 2017-09-22 2022-01-21 Koelis MEDICAL INSTRUMENT GUIDE DEVICE AND CORRESPONDING METHOD

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6391783A (en) * 1986-10-03 1988-04-22 Shigeo Otsuki Processing for smoothing image signal
JP3096818B2 (en) * 1990-10-12 2000-10-10 株式会社日立メディコ Ultrasound diagnostic equipment
JP3052149B2 (en) * 1990-11-30 2000-06-12 株式会社日立メディコ Ultrasound diagnostic equipment
JP2000107178A (en) * 1998-09-30 2000-04-18 Olympus Optical Co Ltd Ultrasonic-guided paracentesis system
JP3918141B2 (en) * 1999-08-18 2007-05-23 富士フイルム株式会社 Image processing apparatus and image processing method
JP2001269339A (en) * 2000-03-27 2001-10-02 Matsushita Electric Ind Co Ltd Ultrasonograph
JP4847684B2 (en) * 2004-03-11 2011-12-28 株式会社日立メディコ Diagnostic imaging equipment
JP2006150069A (en) * 2004-10-20 2006-06-15 Toshiba Corp Ultrasonic diagnostic equipment, and control method therefor
JP4710770B2 (en) * 2006-09-12 2011-06-29 セイコーエプソン株式会社 Image processing apparatus, image processing method, and program
JP5438985B2 (en) * 2009-02-10 2014-03-12 株式会社東芝 Ultrasonic diagnostic apparatus and control program for ultrasonic diagnostic apparatus

Also Published As

Publication number Publication date
JP2012120747A (en) 2012-06-28

Similar Documents

Publication Publication Date Title
JP5645628B2 (en) Ultrasonic diagnostic equipment
US20210022704A1 (en) Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method
US10278670B2 (en) Ultrasound diagnostic apparatus and method of controlling ultrasound diagnostic apparatus
JP6000569B2 (en) Ultrasonic diagnostic apparatus and control program
KR100908252B1 (en) Image Processing System and Method
JP6176839B2 (en) Ultrasonic diagnostic equipment
EP1557125A1 (en) Biological tissue elasticity measurement method and ultrasonographic device
JP2004215701A (en) Ultrasonographic apparatus
JP6419976B2 (en) Ultrasonic diagnostic apparatus and control method of ultrasonic diagnostic apparatus
JP4971080B2 (en) Ultrasonic diagnostic equipment
JP6686850B2 (en) Ultrasound diagnostic imaging device
JP6171246B1 (en) Ultrasonic image display device and recording medium storing program therefor
WO2015029499A1 (en) Ultrasonic diagnostic device and ultrasonic image generation method
US9107631B2 (en) Ultrasonic imaging apparatus and a method for generating an ultrasonic image
JP4996141B2 (en) Ultrasonic diagnostic equipment
JP2019188005A (en) Ultrasonic diagnostic apparatus and paracentesis support program
JP6402241B2 (en) Acoustic wave image generating apparatus and method
JP2002224114A (en) Ultrasonic diagnostic instrument and ultrasonic diagnostic method
JP4651379B2 (en) Ultrasonic image processing apparatus, ultrasonic image processing method, and ultrasonic image processing program
CN106102590B (en) Ultrasonic diagnostic apparatus
CN113301854A (en) Image analysis device
JP6298964B1 (en) Ultrasonic diagnostic apparatus, signal processing method therefor, and recording medium storing signal processing program
JP2006204594A (en) Ultrasonic diagnostic apparatus
JP6793502B2 (en) Ultrasonic diagnostic equipment
JP2021104301A (en) Ultrasound diagnostic device, medical image processing system, and medical image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141104

R150 Certificate of patent or registration of utility model

Ref document number: 5645628

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250