JP6114306B2 - 超音波イメージングにおけるニードルの視覚化の向上のための方法及び装置並びに超音波イメージングシステム - Google Patents

超音波イメージングにおけるニードルの視覚化の向上のための方法及び装置並びに超音波イメージングシステム Download PDF

Info

Publication number
JP6114306B2
JP6114306B2 JP2014549577A JP2014549577A JP6114306B2 JP 6114306 B2 JP6114306 B2 JP 6114306B2 JP 2014549577 A JP2014549577 A JP 2014549577A JP 2014549577 A JP2014549577 A JP 2014549577A JP 6114306 B2 JP6114306 B2 JP 6114306B2
Authority
JP
Japan
Prior art keywords
frames
needle
line
feature
line feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014549577A
Other languages
English (en)
Other versions
JP2015503383A (ja
Inventor
ボ リ,ジュン
ボ リ,ジュン
ピン シュウ,ジン
ピン シュウ,ジン
チェン,イーナン
ザン,ユンロン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2015503383A publication Critical patent/JP2015503383A/ja
Application granted granted Critical
Publication of JP6114306B2 publication Critical patent/JP6114306B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/262Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4488Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/486Diagnostic techniques involving arbitrary m-mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30021Catheter; Guide wire

Description

本発明は、超音波(US:ultrasound)イメージングに関し、特に対象内でのニードルの動きを監視する間に超音波画像でのニードルの視覚化を向上させることに関する。
ニードルバイオプシー(needle biopsy)及び何らかのインターベンショナル治療(interventional therapy)の間に、臨床医は、目的のかたまり(mass)に到達するためにニードルを身体のような対象に挿入する必要がある。通常では、ニードル挿入手順を生で監視するために、USイメージングが使用される。安全且つ成功した手順を与えるために、誘導されたUS画像において正確にニードルを見つけることが重要である。不都合なことに、臨床上では従来のUS画像におけるニードルの視覚化は悪く、その結果、臨床医がニードルを正確に挿入することを困難にしている。
US画像において更に良好なニードルの視覚化を実現するために異なる技術が使用されている。例えば、ニードルの音響反射を改善するためにUSビームをニードルの方向に適応的に向け、向けられていないUS画像と合成すること、音響反射を向上させるためにニードルの表面被覆、外形及び直径を操作すること、US画像におけるニードルの位置をトラッキングするためにニードルに追加の光又は電磁気位置センサを提供すること等である。これらの技術では、特に設計されたニードルが使用されるか、追加の位置センサがニードルに取り付けらるか、USイメージングシステムがニードルの視覚化を向上させるために操作される。これらの手法は、向上したニードルの視覚化を提供する全体コストの増加をもたらす。
本発明は、表示されるUS画像におけるニードルの視覚化を改善する方法を提供する。
本発明の一態様によれば、USイメージングにおいてニードルの視覚化の向上の方法が提供され、フレームのシーケンスでランダム変換(RT:Random transform)を実行し、フレームにおける線の特徴を検出するステップであり、フレームは、対象へのニードルの挿入を監視する間に取得されたUS無線周波数(RF:radio-frequency)データ又はRFデータから再現されたUS画像を有するステップと、フレーム間で伸びる線の特徴をニードルとして見つけつつ、フレーム間で実質的に静止したままである線の特徴を虚偽のニードルとして除去するステップと、フレームのUS画像にニードルとしての線の特徴の位置を重ね、表示される向上した画像を生成するステップとを有する。
ニードルの特徴の位置を抽出してそれをUS画像に重ねることにより、観察者に提示されるニードルの視覚化が改善される。
本発明の実施例によれば、フレーム間で伸びる線の特徴をニードルとして見つけつつ、フレーム間で実質的に静止したままである線の特徴を虚偽のニードルとして除去するステップは、互いのフレームに基づいてフレーム間で検出された線の特徴の位置を比較し、フレーム間での線の特徴の位置の差が閾値より下である場合、線の特徴を虚偽のニードルとして除去し、フレーム間での線の特徴の位置の差が閾値より上である場合、線の特徴をニードルとして見つけることを更に有する。
本発明の実施例によれば、フレーム間で伸びる線の特徴をニードルとして見つけつつ、フレーム間で実質的に静止したままである線の特徴を虚偽のニードルとして除去するステップは、RTの後のシーケンスの2つの連続するフレーム毎に、2つのフレーム間で検出された線の特徴のそれぞれの位置の差を決定し、線の特徴の位置の差を累積し、線の特徴の累積した位置の差を取得し、線の特徴の累積した位置の差が閾値より下である場合、線の特徴を虚偽のニードルとして除去し、線の特徴の累積した位置の差が閾値より上である場合、線の特徴をニードルとして見つけることを有する。
位置の差の累積により、ニードルの特徴を見つけ、虚偽のニードルの特徴を除去することが更にロバストになり得る。
本発明の実施例によれば、RTを実行する前にフレームのシーケンスについて動き補償が実行されてもよい。動き補償は、計算されたニードルの位置において潜在的な患者の動きのアーチファクト(artifact)の効果を相殺してもよい。グローバル動き補償は、参照フレームに対するフレームのそれぞれのグローバル動きベクトルを計算し、そのグローバル動きベクトルを使用してフレームのそれぞれについて動き補償を実行することを有してもよい。
本発明の実施例によれば、フレームのシーケンスは、RTが実行される前に明暗のフレームに2値化されてもよい。例えば、フレームの画素の値は、閾値判定により“0”又は“1”の値に2値化される。閾値は、実験値(例えば、0.8・Imax、ただし、Imaxは最大の画素値)として設定されてもよく、閾値は、フレームの値の平均として設定されてもよく、平均を率で乗算することから生じた値として設定されてもよい。閾値判定は、以下のRTの処理を容易にし得る。
本発明の実施例によれば、シーケンスのそれぞれ個々のフレームと比較して改善した視覚化を有する合成フレームを生成するために、フレームのシーケンスについて時間合成が実行されてもよい。ニードルとして検出された線の特徴は、合成フレームのUS画像に重ねられ、向上した画像を生成してもよい。このように、ニードルの位置及びUS画像は、表示された画像において向上し得る。
本発明の他の態様によれば、USイメージングにおいてニードルの視覚化の向上のための装置が提供され、フレームのシーケンスでランダム変換(RT)を実行し、フレームにおける線の特徴を検出するRTユニットであり、フレームは、対象へのニードルの挿入を監視する間に取得されたUS RFデータ又はRFデータから再現されたUS画像を有するRTユニットと、フレーム間で伸びる線の特徴をニードルとして見つけつつ、フレーム間で実質的に静止したままである線の特徴を虚偽のニードルとして除去する虚偽ニードル特徴除去ユニットと、フレームのUS画像にニードルとしての線の特徴の位置を重ね、表示される向上した画像を生成するオーバーレイユニットとを有する。
本発明の他の態様によれば、USイメージングシステムが提供され、US RF信号を取得するように適合されたUSトランスデューサアレイと、フレームのシーケンスでランダム変換(RT)を実行し、フレームにおける線の特徴を検出し、ただし、フレームは、対象へのニードルの挿入を監視する間に取得されたUS RFデータ又はRFデータから再現されたUS画像を有し、フレーム間で伸びる線の特徴をニードルとして見つけつつ、フレーム間で実質的に静止したままである線の特徴を虚偽のニードルとして除去し、フレームのUS画像にニードルとしての線の特徴の位置を重ね、表示される向上した画像を生成するように適合された画像プロセッサと、向上した画像を表示するように適合されたディスプレイとを有する。
本発明の実施例に従って対象内で動くニードルの位置を監視するUSシステムの概略図 本発明の実施例に従ってニードルの視覚化がUS画像で向上する向上した画像を生成する向上モジュールのブロック図 本発明の実施例に従ってニードルの視覚化がUS画像で向上する向上した画像を生成する方法のフローチャート
本発明の他の目的及び利点は、添付図面と共に与えられる説明を参照して明らかになり、容易に理解できる。
本発明について、図面を参照して実施例と組み合わせて以下に詳細に記載及び説明する。
図面において同じ参照符号は同様の特徴及び/又は機能又は対応する特徴及び/又は機能を示す。
本発明の実施例について、図面を参照して以下に詳細に説明する。
図1は、本発明の実施例に従って対象110の領域内で動くニードル120の位置を監視するUSシステム100の概略図を示している。対象110は、人間、動物又は無生物でもよい。ニードル120は、他の専門用語に従って異なって呼ばれてもよく、本発明が適用可能な線分の形状の機器を示す。
USシステム100は、対象へのニードルの挿入を誘導する間に、対象110の領域の画像を生成するように構成される。図1に示すように、USシステム100は、USトランスデューサ130と、イメージングプロセッサ140と、ディスプレイ150とを含む。USトランスデューサ130は、US信号を対象110の領域に送信し、及び/又は送信されたUS信号に応じて対応する反射したUS信号を受信するトランスデューサのアレイでもよい。トランスデューサ130は、反射したUS信号を、無線周波数(RF:radio frequency)信号を示す電気信号に変換し、電気信号をイメージングプロセッサ130に送信してもよい。イメージングプロセッサ130は、(例えば、適切なソフトウェア及び/又は電子機器を用いて)対象の画像(例えば、画像の画素の強度)を決定し、画像を表示するために画像をディスプレイ150に送信してもよい。
イメージングプロセッサは、画像再現モジュール141と、向上モジュール145とを含んでもよい。本発明の実施例によれば、USシステム100は、まず、画像再現モジュール141が従来のBモードUS画像のようなUS画像を再現する従来の方法で動作してもよく、向上モジュールが起動していない従来の方法で動作してもよい。向上モジュールは、いつでもオペレータにより起動されてもよい。例えば、ニードル120を対象110に挿入する前に、臨床医のようなオペレータは、ニードル向上モジュールを起動してもよく、これにより、向上モジュール145は向上した画像を提供するために起動される。当然に、向上モジュール145は、システム100の電源がオンになったときに自動的に起動されてもよい。
図2は、本発明の実施例に従ってニードルの視覚化がUS画像において向上する向上した画像を生成する向上モジュール200のブロック図である。向上モジュール200は、図1に示す向上モジュール145でもよい。向上モジュール200は、トランスデューサ130により収集されたUS RFデータから再現モジュール141により再現されたUS画像のシーケンスを処理し、向上した画像を生成してもよい。向上モジュール200はまた、向上した画像を生成するためにトランスデューサ130により収集されたUS RFデータのシーケンスを直接処理してもよい。例示の目的で、US画像のシーケンス又はUS RFデータのシーケンスは、併せてフレームのシーケンスと呼ばれることがある。フレームのシーケンスは、2次元(2D)/3次元(3D)US画像シーケンス又は2D/3D US RFシーケンスを示してもよい。
図2に示すように、向上モジュール200は、動き補償ユニット210と、閾値判定ユニット220と、ランダム変換(RT:Random transform)ユニット230と、虚偽ニードル特徴除去ユニット240と、時間合成ユニット250と、オーバーレイユニット260とを含んでもよい。
動き補償ユニット210は、フレームのシーケンスについてグローバル動き補償を実行するように適合される。
閾値判定ユニット220は、閾値判定によりフレームを明暗のフレームに2値化するように適合される。
RTユニット230は、フレームのシーケンスでRTを実行し、フレームにおける線の特徴を検出するように適合される。
虚偽ニードル特徴除去ユニット240は、フレームのシーケンス間で伸びる線の特徴をニードルとして見つけつつ、フレームのシーケンス間で実質的に静止したままである線の特徴を虚偽のニードルとして除去するように適合される。
時間合成ユニット250は、フレームのシーケンスで時間合成を実行し、合成フレームを生成するように適合される。
オーバーレイユニット260は、フレームのUS画像にニードルとしての線の特徴の位置を重ね、表示される向上した画像を生成するように適合される。線の特徴が重ねられるフレームは、合成フレームでもよく、フレームのシーケンスのいずれか1つ(例えば、フレームのシーケンスの最後のもの)でもよい。
図1に示すモジュール及び図2に示すユニットは、プロセッサ(例えば、イメージングプロセッサ140)に実装されてもよく、或いは複数のハードウェアコンポーネントに実装されてもよいことが分かる。例えば、画像再現モジュールは、特にUS画像再現のために設計されたデジタルシグナルプロセッサ(DSP:Digital Signal Processor)又は特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)等のような専用の処理ユニットに実装されてもよい。向上モジュール又はそのユニットは、汎用プロセッサ、コントローラ等に実装されてもよい。
図1に示すモジュール及び図2に示すユニットは、コンピュータプログラムプロダクトとしてソフトウェアに実装されてもよいことが分かる。モジュール及び/又はユニットの機能は、プログラム若しくはコードとしてコンピュータ可読媒体上に格納又は送信されてもよい。コンピュータ可読媒体は、1つの場所から他の場所にコンピュータプログラムの伝達を実現し、コンピュータによりアクセス可能ないずれかの媒体を含むものとして考えられる。例えば、コンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM若しくは他の光ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、又は命令若しくはデータ構造の形式で所望のプログラムコードを伝達若しくは格納し、コンピュータによりアクセス可能な他の媒体を含んでもよい。
図3は、本発明の実施例に従ってニードルの視覚化がUS画像で向上する向上した画像を生成する方法300のフローチャートである。次に、この方法について、図1及び2に示す図示のシステム又は装置に関して説明する。
この方法は、ステップ310において、向上モジュールによりフレームのシーケンスを受信することで始まる。説明の目的で、n個のフレーム、すなわち、フレーム1からフレームnを含むシーケンスを仮定してもよい。これらのフレームから、向上したフレームが向上モジュールで生成される。例えば、次のシーケンスは、フレーム2からフレームn+1を含んでもよく、更に次のシーケンスは、フレーム3からフレームn+2を含んでもよく、以下同様である。従って、向上モジュール200は、連続的に向上したフレームを供給する。
受信したフレーム(例えば、フレーム1〜n)に対して動き補償が動き補償ユニット210により実行されてもよい(ステップ320)。動き補償ユニット210は、参照フレームに対する各フレームのグローバル動きベクトルを計算し、そのグローバル動きベクトルを使用してフレーム毎に動き補償を実行してもよい。参照フレームは、受信したフレームの1つ(例えば、フレームのシーケンスの最初のもの)として選択されてもよい。このグローバル動き補償は、潜在的な患者の動きを相殺するために受信したフレーム毎に実行されてもよい。潜在的な患者の動きは、最終的に計算されたニードルの位置にアーチファクトをもたらす可能性がある。動き補償ステップは、本発明の好ましい実施例で実行されることが好ましい。しかし、例えば、ニードル操作の手順の間に対象が実質的に静止したままである場合、本発明の実装にとって必然的なステップではない。
フレームのシーケンスは、例えば閾値判定ユニット220により、明暗のフレームに2値化されてもよい(ステップ330)。例えば、フレームの画素の値は、第1又は第2の値に2値化されてもよい。例えば、第1又は第2の値は、0又は1、0又は255、或いは他の値でもよい。閾値は、実験値(例えば、0.8Imax、ただし、Imaxは最大の画素値)として設定されてもよく、閾値は、フレームの画素値の平均として設定されてもよく、平均を率で乗算することから生じた値として設定されてもよい。閾値判定ステップから生じたフレームのシーケンスは、実行されるRTの計算負荷の軽減を実現してもよい。しかし、事前に実行される閾値判定ステップなしにフレームのシーケンスについてRTが実行されてもよいことを、当業者は理解するべきである。
閾値判定ステップの後に、RTは、例えばRTユニット230により、フレームのシーケンスで実行されてもよい(ステップ340)。RTは、画像データにおける線の特徴を検出することを可能にする特性を有する線形変換である。RTの詳細は従来技術で入手可能であり、例えば、Toft R, The Radon Transform, Theory and Implementation, PhD Thesis, Technical University of Denmark, p.23-80及びDean S., The Radon Transform and Some of its Applications, John Wiley and Sons: New Yorkに参照が行われてもよい。フレームの線の特徴を検出するために、適応RTがフレームで実行されてもよい。同時に、RTは、コメット・テール(comet-tail)のようなアーチファクトを除去する機能を有する。RTをフレームに適用した後に、フレームの投影角及びベクトルパラメータが取得される。線の特徴は、ランダム変換されたフレームにおいてピーク(すなわち、局所最大値)として示され、投影角はフレームの線の特徴の角度を表し、投影ベクトルは元の投影までの線の特徴の最小距離を表す。RTで局所ピークを検出することにより、フレームの線の特徴が検出されてもよい。線の特徴の位置は、投影角及び対応するピークのベクトルにより決定される。説明の目的で、RTで取得された投影角及びベクトルを、線の特徴の位置情報と呼ぶことがある。
ニードルは、対象への挿入中に湾曲してもよい。湾曲したニードルが検出されることを確保するために、RTの許容量は、小さい湾曲を有する線の特徴をトラッキングするために、大きい値に設定されてもよい。ニードルから生じる線の特徴に加えて、フレームにおける他の線の特徴もRTにより検出されてもよい。後者の線の特徴は、虚偽のニードルの特徴と呼ばれることがある。RTが提供する許容量が大きいほど、多くの線の特徴がRTにより検出され得る。本発明の実施例によれば、RTは、シーケンスの各フレームで実行される。実施例の他の変形が予想され得る。例えば、RTは、ニードルの線の特徴を検出するために、シーケンスのいずれか2つ以上のフレームで実行されてもよい。
RTの後に、虚偽のニードルの特徴を除去することは、例えば虚偽ニードル特徴除去ユニット240により、フレームのシーケンスで実行されてもよい(ステップ350)。前述のように、RTは、複数の線の特徴を生成することがある。本発明の発明者は、線の特徴の特性を注意深く研究し、ニードルの特徴は挿入手順の間に隣接する画像で伸びるが、虚偽のニードルの特徴は隣接するフレーム間で実質的に静止したままであることに気づいた。従って、ステップ350において、虚偽ニードル特徴除去ユニット240は、フレーム間で実質的に静止したままである線の特徴を虚偽のニードルとして除去し、フレーム間で伸びる線の特徴をニードルとして見つける。
本発明の実施例によれば、ステップ350において、虚偽ニードル特徴除去ユニット240は、互いのフレームに基づいてシーケンスのいずれか2つ以上のフレームの検出された線の特徴の位置を比較してもよい。例えば、虚偽ニードル特徴除去ユニット240は、1つのフレームの検出された線の特徴の位置と、他のフレームの検出された線の特徴の位置とを比較し、2つのフレーム間で線の特徴の位置の差がごくわずかである場合、換言すると、位置の差が閾値より下である場合、線の特徴を除去されるべき虚偽のニードルとして識別し、2つのフレーム間で線の特徴の位置の差が閾値より上である場合、線の特徴を、残すべきニードルとして識別してもよい。他の例では、虚偽ニードル特徴除去ユニット240は、フレームの線の特徴の位置の差を比較し、最大の位置の差を有する線の特徴を、残すべきニードルとして識別してもよい。前述のように、RTで取得されたピークの投影角及び投影ベクトルは、ピークに対応する線の特徴の位置情報である。線の特徴の位置の差は、フレームの線の特徴に対応するピークの投影角及び投影ベクトルと、他のフレームの線の特徴に対応するフレームの線の特徴とを比較することにより取得されてもよい。
本発明の実施例によれば、ニードルは特定の方向にのみ挿入され得るため、虚偽ニードル特徴除去ユニット240は、特定の範囲の投影角(例えば、20〜70度及び110〜170度)を有する線の特徴のみを、潜在的なニードルとして考慮し、この範囲外の投影角を有する線の特徴を虚偽の特徴として直接除去してもよい。
RTをフレーム1〜nのシーケンスに適用した後に、線の特徴の位置情報、すなわち、フレームにおける線の特徴のピークの投影角及びベクトルパラメータが検出される。ニードル挿入中に、投影ベクトルは増加する一方、ニードルから生じた線の特徴の投影角は時間と共にあまり変化しない。画像1〜nのシーケンスの投影角及びベクトルを比較することにより、このようなパターンに従う線の特徴がニードルとして見なされる。例えば、虚偽ニードル特徴除去ユニット240は、シーケンスのそれぞれ2つの連続するフレーム間の線の特徴の位置の差を決定し、線の特徴の結果の位置の差を累積し、線の特徴の累積した位置の差を取得してもよい。例えば、虚偽ニードル特徴除去ユニット240は、フレーム1とフレーム2との間、フレーム2とフレーム3との間、...フレームn-1とフレームnとの間での線の特徴の位置の差を決定し、結果の位置の差を累積し、シーケンスにおける線の特徴の累積した位置の差を実現してもよい。前述のように、線の特徴の累積した位置の差を閾値と又は互いに比較することにより、ニードルの線の特徴が見つけられてもよく、虚偽のニードルの線の特徴が除去されてもよい。ニードルの特徴の対応する投影角及びベクトルが識別された後に、US画像におけるニードルの特徴の位置も、投影角及びベクトルから定められる。
本発明の実施例によれば、画像の歪みによる外れ値の採用も考慮されてもよい。すなわち、RTにおける局所最大値の投影角及び/又はベクトルのような位置情報の1つの急激な上昇は外れ値として考えられてもよく、ニードルの特徴として考えられなくてもよい。
本発明の実施例によれば、前のフレームからのニードルの投影角は、フレーム2〜n+1の次のシーケンスにおいてニードルの特徴を検索する初期値として使用されてもよい。例えば、ニードルの特徴の前の投影角に対して±10度の範囲の投影角を有する線の特徴のみが、潜在的なニードルの特徴として考えられてもよい。一例として、RTは、このような角度の範囲で実行されてもよい。
ニードルが画像のシーケンスにおいて実質的に静止したままであることも考えられる。このような場合、ニードルの線の特徴は、虚偽ニードル特徴除去ステップ350において、虚偽のニードルの線の特徴と共に除去される。換言すると、ニードルとしての線の特徴は見つけられない。本発明の実施例によれば、虚偽ニードル特徴除去ユニット240は、ニードルが現時点で実質的に静止したままであるかを決定し、前に決定されたニードルの線の特徴を現在のものとして採用してもよい。
シーケンスのそれぞれ個々のフレームと比較して改善した視覚化を有する合成フレームを生成するために、時間合成処理は、例えば時間合成ユニット250により、フレーム1〜nのシーケンスで実行されてもよい(ステップ360)。一例では、時間合成ユニット250は、再現モジュール141から出力された再現されたUS画像のシーケンスで時間合成を実行してもよい。他の例では、時間合成ユニット250は、US RFデータのシーケンスで時間合成を実行し、合成画像を再現するために、結果の時間合成したUS RFデータを再現モジュール141に提供してもよい。時間合成の例として、フレームのシーケンスは、合成フレームを実現するために平均化されてもよく、合成フレームを実現するためにフレームのシーケンスについて重み付き平均が実行されてもよい。時間合成ステップ360は任意選択のステップである。一例では、高いフレームレートを有する2D USイメージングでは、時間合成はUS画像のニードルを向上させるために使用されてもよい。他の例として、3D USイメージングでは、フレームレートが十分に高くない場合、時間合成はイメージングのための適切なフレームレートを確保するために使用されなくてもよい。
ニードルの位置が向上した向上した画像を生成するために、虚偽ニードル特徴除去ステップ350において決定されたニードルとしての線の特徴の位置は、オーバーレイユニット260により、フレームのUS画像に重ねられてもよい(ステップ370)。一例では、オーバーレイユニット260は、時間合成ステップ360で実現された合成フレームに、ニードルとしての線の特徴の位置を重ね、向上した画像を生成してもよい。他の例では、オーバーレイユニット260は、向上した画像を生成するために、フレームのシーケンスの1つのUS画像に、ニードルとしての線の特徴の位置を重ねてもよい。例えば、シーケンスの最後のフレームのUS画像に、線の特徴の位置を重ねてもよい。一例では、オーバーレイユニット260は、認識可能な強度又は色で、US画像にニードルとしての線の特徴の位置をハイライトさせてもよい。
向上した画像は、対象へのニードルの挿入を実行している臨床医のような観察者に表示するためにディスプレイ150に出力されてもよい。向上したUS画像における改善したニードルの視覚性により、臨床医が困難なく正確に所望の位置にニードルを配置するのに役立ち得る。
前述の実施例は、本発明を限定するものではなく例示するものであり、当業者は特許請求の範囲を逸脱することなく、別の実施例を設計することができる点に留意すべきである。特許請求の範囲において、括弧の間にある如何なる参照符号も特許請求の範囲を限定するものとして解釈されるべきではない。“有する”という用語は、特許請求の範囲又は説明において記載されていない要素又はステップの存在を除外するものではない。単数の要素は、このような要素の複数の存在を除外しない。複数のユニットを列挙したシステムの請求項において、これらのユニットのいくつかはソフトウェア及び/又はハードウェアの同一のアイテムに具現されてもよい。第1、第2及び第3等の用語の使用は、順序を示すものではない。これらの用語は名前として解釈されるべきである。

Claims (15)

  1. 超音波イメージングにおけるニードルの視覚化の向上のための方法であって、
    プロセッサが、フレームのシーケンスでランダム変換(RT)を実行し、前記フレームにおける線の特徴を検出するステップであり、フレームは、対象へのニードルの挿入を監視する間に取得された超音波(US)無線周波数(RF)データ又は前記RFデータから再現されたUS画像を有するステップと、
    前記プロセッサが、前記フレーム間で伸びる線の特徴をニードルとして見つけつつ、前記フレーム間で実質的に静止したままである線の特徴を虚偽のニードルとして除去するステップと、
    前記プロセッサが、フレームのUS画像に前記ニードルとしての前記線の特徴の位置を重ね、表示される向上した画像を生成するステップと
    を有する方法。
  2. 前記プロセッサが、前記フレーム間で伸びる線の特徴をニードルとして見つけつつ、前記フレーム間で実質的に静止したままである線の特徴を虚偽のニードルとして除去するステップは、
    前記プロセッサが、互いのフレームに基づいて前記フレーム間で検出された線の特徴の位置を比較し、
    前記フレーム間での線の特徴の位置の差が閾値より下である場合、前記プロセッサが、線の特徴を虚偽のニードルとして除去し、前記フレーム間での線の特徴の位置の差が前記閾値より上である場合、線の特徴をニードルとして見つけることを更に有する、請求項1に記載の方法。
  3. 前記プロセッサが、前記フレーム間で伸びる線の特徴をニードルとして見つけつつ、前記フレーム間で実質的に静止したままである線の特徴を虚偽のニードルとして除去するステップは、
    前記プロセッサが、前記RTの後の前記シーケンスの2つの連続するフレーム毎に、前記2つのフレーム間で検出された線の特徴の位置の差を決定し、前記線の特徴の前記位置の差を累積し、前記線の特徴の累積した位置の差を取得し、
    前記プロセッサが、線の特徴の前記累積した位置の差が閾値より下である場合、線の特徴を虚偽のニードルとして除去し、線の特徴の前記累積した位置の差が前記閾値より上である場合、線の特徴をニードルとして見つけることを更に有する、請求項1に記載の方法。
  4. 前記プロセッサが、前記RTを実行する前に、前記方法は、
    前記プロセッサが、参照フレームに対する前記フレームのそれぞれのグローバル動きベクトルを計算するステップと、
    前記プロセッサが、前記グローバル動きベクトルを使用して前記フレームのそれぞれについて動き補償を実行するステップとを更に有する、請求項1に記載の方法。
  5. 前記フレームは、前記RTが実行される前に、閾値判定により明暗のフレームに2値化される、請求項1に記載の方法。
  6. 前記プロセッサが、前記フレームのシーケンスで時間合成を実行し、合成フレームを生成するステップと、
    前記プロセッサが、前記合成フレームのUS画像に前記ニードルとしての前記線の特徴の位置を重ね、向上した画像を生成するステップと
    を更に有する、請求項1に記載の方法。
  7. 超音波イメージングにおけるニードルの視覚化の向上のための装置であって、
    フレームのシーケンスでランダム変換(RT)を実行し、前記フレームにおける線の特徴を検出するRTユニットであり、フレームは、対象へのニードルの挿入を監視する間に取得された超音波(US)無線周波数(RF)データ又は前記RFデータから再現されたUS画像を有するRTユニットと、
    前記フレーム間で伸びる線の特徴をニードルとして見つけつつ、前記フレーム間で実質的に静止したままである線の特徴を虚偽のニードルとして除去する虚偽ニードル特徴除去ユニットと、
    フレームのUS画像に前記ニードルとしての前記線の特徴の位置を重ね、表示される向上した画像を生成するオーバーレイユニットと
    を有する装置。
  8. 前記虚偽ニードル特徴除去ユニットは、
    互いのフレームに基づいて前記フレーム間で検出された線の特徴の位置を比較し、
    前記フレーム間での線の特徴の位置の差が閾値より下である場合、線の特徴を虚偽のニードルとして除去し、前記フレーム間での線の特徴の位置の差が前記閾値より上である場合、線の特徴をニードルとして見つけるように更に適合される、請求項7に記載の装置。
  9. 前記虚偽ニードル特徴除去ユニットは、
    前記RTの後の前記シーケンスの2つの連続するフレーム毎に、前記2つのフレーム間で検出された線の特徴の位置の差を決定し、前記線の特徴の前記位置の差を累積し、前記線の特徴の累積した位置の差を取得し、
    線の特徴の前記累積した位置の差が閾値より下である場合、線の特徴を虚偽のニードルとして除去し、線の特徴の前記累積した位置の差が前記閾値より上である場合、線の特徴をニードルとして見つけるように更に適合される、請求項7に記載の装置。
  10. 参照フレームに対する前記フレームのそれぞれのグローバル動きベクトルを計算し、前記グローバル動きベクトルを使用して前記フレームのそれぞれについて動き補償を実行するように適合された動き補償ユニットを更に有する、請求項7に記載の装置。
  11. 前記フレームのシーケンスで時間合成を実行し、合成フレームを生成するように適合された時間合成ユニットを更に有し、
    前記オーバーレイユニットは、前記合成フレームのUS画像に前記ニードルとしての前記線の特徴の位置を重ね、向上した画像を生成するように適合される、請求項7に記載の装置。
  12. 超音波(US)無線周波数(RF)信号を取得するように適合された超音波トランスデューサアレイと、
    フレームのシーケンスでランダム変換(RT)を実行し、前記フレームにおける線の特徴を検出し、ただし、フレームは、対象へのニードルの挿入を監視する間に取得されたUS無線周波数(RF)データ又は前記RFデータから再現されたUS画像を有し、前記フレーム間で伸びる線の特徴をニードルとして見つけつつ、前記フレーム間で実質的に静止したままである線の特徴を虚偽のニードルとして除去し、フレームのUS画像に前記ニードルとしての前記線の特徴の位置を重ね、表示される向上した画像を生成するように適合された画像プロセッサと、
    前記向上した画像を表示するように適合されたディスプレイと
    を有する超音波イメージングシステム。
  13. 前記画像プロセッサは、
    互いのフレームに基づいて前記フレーム間で検出された線の特徴の位置を比較し、
    前記フレーム間での線の特徴の位置の差が閾値より下である場合、線の特徴を虚偽のニードルとして除去し、前記フレーム間での線の特徴の位置の差が前記閾値より上である場合、線の特徴をニードルとして見つけるように更に適合される、請求項12に記載のシステム。
  14. 前記画像プロセッサは、
    前記RTの後の前記シーケンスの2つの連続するフレーム毎に、前記2つのフレーム間で検出された線の特徴の位置の差を決定し、前記線の特徴の前記位置の差を累積し、前記線の特徴の累積した位置の差を取得し、
    線の特徴の前記累積した位置の差が閾値より下である場合、線の特徴を虚偽のニードルとして除去し、線の特徴の前記累積した位置の差が前記閾値より上である場合、線の特徴をニードルとして見つけるように更に適合される、請求項12に記載のシステム。
  15. RTを実行する前に、前記画像プロセッサは、
    参照フレームに対する前記フレームのそれぞれのグローバル動きベクトルを計算し、
    前記グローバル動きベクトルを使用して前記フレームのそれぞれについて動き補償を実行するように更に適合される、請求項12に記載のシステム。
JP2014549577A 2011-12-30 2012-12-14 超音波イメージングにおけるニードルの視覚化の向上のための方法及び装置並びに超音波イメージングシステム Active JP6114306B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2011/085034 2011-12-30
CN2011085034 2011-12-30
PCT/IB2012/057317 WO2013098696A1 (en) 2011-12-30 2012-12-14 Method and apparatus for needle visualization enhancement in ultrasound imaging

Publications (2)

Publication Number Publication Date
JP2015503383A JP2015503383A (ja) 2015-02-02
JP6114306B2 true JP6114306B2 (ja) 2017-04-12

Family

ID=47631490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014549577A Active JP6114306B2 (ja) 2011-12-30 2012-12-14 超音波イメージングにおけるニードルの視覚化の向上のための方法及び装置並びに超音波イメージングシステム

Country Status (5)

Country Link
US (1) US10130340B2 (ja)
EP (1) EP2797514A1 (ja)
JP (1) JP6114306B2 (ja)
BR (1) BR112014015768A8 (ja)
WO (1) WO2013098696A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2797514A1 (en) 2011-12-30 2014-11-05 Koninklijke Philips N.V. Method and apparatus for needle visualization enhancement in ultrasound imaging
CN104007889B (zh) * 2013-02-27 2018-03-27 联想(北京)有限公司 一种反馈方法和电子设备
WO2015059550A1 (en) * 2013-10-22 2015-04-30 Arora, Pooja Optical device and method for wheel alignment
JP6447071B2 (ja) * 2013-12-11 2019-01-09 コニカミノルタ株式会社 超音波診断装置、超音波画像処理方法、および、プログラム
CN107205719B (zh) 2014-02-05 2021-07-30 韦拉索恩股份有限公司 一种校正超音波扫描器的方法
TWI521225B (zh) 2014-10-01 2016-02-11 佳世達科技股份有限公司 超音波掃描方法及超音波掃描系統
CN104287777B (zh) * 2014-10-17 2017-09-26 苏州佳世达电通有限公司 超音波扫描方法及超音波扫描系统
JP6705134B2 (ja) * 2015-08-21 2020-06-03 コニカミノルタ株式会社 超音波画像診断装置、超音波画像処理方法及び超音波画像処理プログラム
CN105844598B (zh) * 2016-04-01 2019-01-29 飞依诺科技(苏州)有限公司 基于rf数据的超声成像处理方法及处理系统
US11766297B2 (en) * 2016-09-16 2023-09-26 Koninklijke Philips N.V. Apparatus and method for detecting an interventional tool
EP3551082B1 (en) * 2016-12-12 2020-09-09 Koninklijke Philips N.V. Passive and active sensors for ultrasound tracking
JP7218293B2 (ja) 2017-02-14 2023-02-06 コーニンクレッカ フィリップス エヌ ヴェ 装置追跡に対する超音波システムにおける経路追跡
EP3570205B1 (en) * 2018-05-15 2020-11-04 Wooptix S.L. Barcode detection method

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4307626B2 (ja) * 1999-05-07 2009-08-05 オリンパス株式会社 超音波診断装置
US6542570B1 (en) * 2000-04-14 2003-04-01 Kabushiki Kaisha Toshiba Method and system for reconstructing computed tomography images using redundant data
US7450746B2 (en) 2002-06-07 2008-11-11 Verathon Inc. System and method for cardiac imaging
JP4177128B2 (ja) * 2003-01-29 2008-11-05 三菱電機株式会社 レーダ画像処理装置
JP2005122319A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、その画像処理方法及びプログラム
WO2006018837A2 (en) * 2004-08-17 2006-02-23 Technion Research & Development Foundation Ltd. Ultrasonic image-guided tissue-damaging procedure
JP4594675B2 (ja) * 2004-08-20 2010-12-08 株式会社東芝 超音波診断装置及びその制御方法
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
JP4891651B2 (ja) * 2006-05-11 2012-03-07 日立アロカメディカル株式会社 超音波診断装置
US8164039B2 (en) * 2008-04-30 2012-04-24 Board Of Regents, The University Of Texas System Method and apparatus for detecting spiculated masses in mammography
JP5739811B2 (ja) * 2008-10-13 2015-06-24 コーニンクレッカ フィリップス エヌ ヴェ 関心対象をデバイスとともに可視化する装置と方法
US8858436B2 (en) * 2008-11-12 2014-10-14 Sonosite, Inc. Systems and methods to identify interventional instruments
US8067940B2 (en) 2009-05-07 2011-11-29 Siemens Aktiengesellschaft Tubular magnetic resonance surface coil, and method and system for processing signals therefrom
US20130190726A1 (en) 2010-04-30 2013-07-25 Children's Medical Center Corporation Motion compensating catheter device
US8787635B2 (en) * 2010-05-03 2014-07-22 Siemens Aktiengesellschaft Optimization of multiple candidates in medical device or feature tracking
EP2797514A1 (en) 2011-12-30 2014-11-05 Koninklijke Philips N.V. Method and apparatus for needle visualization enhancement in ultrasound imaging

Also Published As

Publication number Publication date
US20140362114A1 (en) 2014-12-11
WO2013098696A1 (en) 2013-07-04
BR112014015768A8 (pt) 2017-07-04
US10130340B2 (en) 2018-11-20
JP2015503383A (ja) 2015-02-02
BR112014015768A2 (pt) 2017-06-13
EP2797514A1 (en) 2014-11-05

Similar Documents

Publication Publication Date Title
JP6114306B2 (ja) 超音波イメージングにおけるニードルの視覚化の向上のための方法及び装置並びに超音波イメージングシステム
JP5954806B2 (ja) 超音波画像の中間画像を生成する方法及び超音波診断装置
CN102105107B (zh) 用于检测诸如高反射率的反射体的独特区域的信号处理装置
US8792690B2 (en) Enhancing quality of ultrasound spatial compound image based on beam profile in ultrasound system
JP5770455B2 (ja) 超音波映像処理を行う超音波システムおよび方法
CN108209966B (zh) 一种超声成像设备的参数调整方法及装置
US20130123633A1 (en) Ultrasound system and method of forming ultrasound image
JP2004061446A (ja) パターンマッチング処理方法及び画像処理装置
JP2008229342A (ja) 超音波映像を形成する超音波システム及び方法
JP2011120869A (ja) 超音波3次元映像復元方法およびその超音波システム
JP5813779B2 (ja) 超音波イメージング装置、超音波イメージング方法および超音波イメージング用プログラム
JP2008278995A (ja) 超音波診断装置および超音波診断装置の画質改善方法
EP3011897A1 (en) Photoacoustic imager and photoacoustic imaging method
JP2011120901A (ja) 超音波空間合成映像を提供する超音波システムおよび方法
JP2011083600A (ja) 関心物体の輝度値に基づいて関心物体を検出する超音波システムおよび方法。
JP6638723B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
KR101001754B1 (ko) 초음파 시스템에서 초음파 영상의 프레임 보간 방법 및장치
JP6385702B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
US11759176B2 (en) Ultrasound image processing
US20170340311A1 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
KR20130051241A (ko) 진단영상을 생성하는 방법, 이를 수행하는 장치 및 의료영상시스템
JP2011152415A (ja) マスクに基づいて超音波空間合成映像を提供する超音波システムおよび方法
CN107205725A (zh) 通过实时超声应变成像对心肌梗塞的评估
WO2015000962A3 (de) Verfahren und vorrichtung zur ultraschallaufnahme eines deformierten objektes, insbesondere der menschlichen brust
JP2015100613A (ja) 画像処理装置および方法、並びに超音波診断装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170316

R150 Certificate of patent or registration of utility model

Ref document number: 6114306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250