JP6850606B2 - 自動超音波ビームステアリング及びニードルアーチファクト抑制 - Google Patents
自動超音波ビームステアリング及びニードルアーチファクト抑制 Download PDFInfo
- Publication number
- JP6850606B2 JP6850606B2 JP2016539043A JP2016539043A JP6850606B2 JP 6850606 B2 JP6850606 B2 JP 6850606B2 JP 2016539043 A JP2016539043 A JP 2016539043A JP 2016539043 A JP2016539043 A JP 2016539043A JP 6850606 B2 JP6850606 B2 JP 6850606B2
- Authority
- JP
- Japan
- Prior art keywords
- needle
- image
- instrument
- segmentation
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001629 suppression Effects 0.000 title 1
- 230000011218 segmentation Effects 0.000 claims description 23
- 238000002604 ultrasonography Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 18
- 238000012800 visualization Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 9
- 239000000523 sample Substances 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 230000001225 therapeutic effect Effects 0.000 claims description 2
- 238000003909 pattern recognition Methods 0.000 claims 2
- 238000009795 derivation Methods 0.000 claims 1
- 230000035515 penetration Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000000338 in vitro Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 229910052704 radon Inorganic materials 0.000 description 2
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 238000010859 live-cell imaging Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30021—Catheter; Guide wire
Description
この出願は、参照によってここに取り入れられる2013年12月20日出願の米国特許出願第61/918,912号の利益を要求する。
本発明は、超音波画像において医療器具をセグメント化することに関し、より具体的には、画像を収集することに応じてセグメンテーションをダイナミックに実行することに関する。 「ダイナミックに」、又は「リアルタイム」に実行することは、システムの処理制御及びタスクを完了するために必要なデータを正確に測定するように要求される時間を考慮して意図的な遅れなしでデータ処理タスクを完了することとしてこの特許出願において解釈される。
超音波（US）画像ガイダンスは、解剖学的コンテキスト内においてニードル位置のリアルタイム視覚化を可能にすることによってニードルガイド下プロシージャの効率及び安全性を向上させる。超音波ガイド下プロシージャにおけるニードルの可視性を強化する電子ビームステアリングのような超音波方法を使用する性能は、過去数年においてかなりの競争領域になってきた。
リアルタイム3D超音波が利用できる間、2DUSはその増加された有効性及び単純化された視覚化性能のためにニードルに基づく臨床プロシージャのためにより広く使われている。
2DUSにより、超音波ビームを、ニードル方向に対して垂直な横方向に電子的にステアリングすることが可能になり、ニードル視覚化を大幅に強化する強い鏡面反射が生成される。
ニードルに関するプローブの現在の方向は通常、当初から知られていないため、ニードルによる正常度を実現するために必要なビームステアリング角も知られていない。
また、ニードルは超音波イメージング平面内において直接アラインされないとき、及び／又は背景組織が骨、筋膜又は組織境界のような他の線形鏡面反射体を含むとき、視覚化は難しい。
更に、画像におけるアーチファクトは様々な理由、例えば大きな角度で線形アレイをステアリングすることからのグレーティングロブ、並びに90度又はそれの近くで超音波入力に対する急激な減衰変化をもたらす上記の線形及び他の鏡面反射体からの鏡面エコーで生成される。
チャン他（以下「チャン」）による「超音波ガイド下経皮的プロシージャのニードル可視性の強化」は、超音波画像におけるニードルの自動セグメント化及び最適ビームステアリング角の決定を開示する。
問題として、ニードルに似ている鏡面構造は、ニードル検出を妨げる。 スペックルノイズ及びイメージングアーチファクトも検出を妨げ得る。
チャンの解決策は、ユーザがニードルを揺らし、それによって、異なる画像に基づいてセグメンテーションを支援することにある。
更に、チャンは、ニードルの探索の範囲に関して異なるモード間のスイッチングにおけるユーザ対話を必要とする。たとえば、ニードルがビューから失われるとき、探索範囲のユーザリセットが必要とされる。
チャンセグメンテーションは狭い範囲の効果を有する閾値を使用する強度に基づくエッジ検出にも依存する。
以下ここに提案されることは、上記の課題の一つ又はそれより多くを説明する。
上記の注目される視覚化困難性に加えて、ニードルが組織にまだ深く挿入されていないとき、視覚化は問題を含む。 ニードル挿入がちょうど視野に入っているときのように、「ニードル状の」鏡面ディフレクタからニードルを識別するときのチャン困難性は、ニードルの小さな部分を検出するときに悪化する。 特に、チャンは、ハフ変換を超音波画像のエッジ検出出力に適用する。ニードル部分と競合する鏡面構造は、特に視野へのニードルエントリの始まりでより長く現れ得る。 したがって、彼らはハフ変換においてより多くのボートを集め、それによって超音波画像、最も突出した直線特徴、すなわちニードルとして特定され得る。
それでも、ニードルのポーズを決定するためにニードルがより深く挿入されるまで待つ必要がある場合、ニードル検出の臨床値は疑わしい。医師がその経路を評価することができ、より多くの損傷及び痛みを引き起こすことなくコースを変えることができるとき、ニードルが挿入プロセスにおいてより早く検出されることができる場合、それはより好ましい。
信頼できるニードルセグメンテーションは、最適ビームステアリング角、時間ゲイン補償及び画像処理パラメータの自動セッティングを可能にし、その結果、潜在的に強化された視覚化及び臨床ワークフローをもたらす。
更に、ニードルの検出及びセグメンテーションはコンピュータ断層撮影（CT）又は磁気共鳴（MR）イメージングのような術前モダリティとの超音波画像の融合を可能にし、ニードルに基づくプロシージャのための専用画像融合システムを可能にする。
技術的解決策が、ニードルは画像で最も明るい線形対象物であるという仮定に頼らない自動ニードルセグメンテーションに対して必要である。
ここに提案されるものの態様において、分類に基づく医用画像セグメンテーション装置は、超音波から、医療器具を描出する画像を収集するように構成される超音波画像収集デバイスと、収集にダイナミックに応じて、画像から導出される情報に関して動作することによって器具をセグメント化するために機械学習に基づく分類を使うように構成される機械学習に基づく分類回路とを含む。
下位態様又は関連態様において、画像における鏡面反射体の外観を強調するために超音波ビームステアリングが使用される。次に、先行して収集されるグランドトゥルースデータからトレーニングされるピクセル態様のニードル分類子が、組織バックグランドからニードルをセグメント化するように適用される。最後に、ラドン又はハフ変換が、ニードルポーズを検出するために用いられる。 セグメント化は、ウェーブレット特徴量の統計的ブースティングを介して実現される。画像を収集するステップ、ニードルをセグメント化するステップ、及び視覚的に強調され、アーチファクトのないニードルのみの重ね合わせによる画像を表示するステップの全プロセスは、ユーザ介入の必要なしで自動的に実行される。
体外及び臨床データセットを使う確認結果は、体外及び臨床データセットを調べるときに強調される検出を示し、最適でないニードル位置及び組織アーチファクトは、強度に基づくセグメンテーションを失敗させる。
新規で、リアルタイムの分類に基づく医用画像セグメンテーションの詳細は、寸法通りではない以下の図面を用いて、更に以下に述べられる。
図1は、実例及び非限定的な例により、リアルタイムの分類に基づく医用画像セグメンテーション装置100を表す。 それは、スキャナのような超音波画像収集デバイス104を含む。 デバイス104は、ビームフォーマ 108及び超音波イメージングプローブ112を含む。 プローブ112は、線形アレイプローブになり得る。それは、 体組織120において、何れの所与のイメージング深度128においても横のスパン124によって規定される視野116でセットされ得る。装置110は、医用ニードル136の少なくとも一つの部分132の、視野116へのエントリをリアルタイムに検出するためにプローブ112を使うことができる。視野116は、二つの境界線140及び144によって規定される。 ニードル136の検出は、視野116に挿入されるニードル136のわずか2.0ミリメートルでもたらされ得る。これにより、既存の方法論から利用可能な検出に比べてニードルのより早い検出が可能になる。ニードル136の画像を改善するため、現在の視野116は、超音波ビーム152を90度の角度でニードル136上への入射にステアリングするために新たな視野148に変化し得る。ステアリングされる視野148は、二つの境界線156及び160を備える図1に示される。ニードル136による正常度を実現するビームステアリングは、視野116における変化を必ずしも必要としない。 ニードルの改善された画像は、元の視野116において全画像に移されることができる。ニードル136による正常度を実現するステアリングは結果としてもたらされる画像におけるイメージング画質を全体的にわずかに減らすが、特にニードルの視覚化は強調されるためこれはなされる。装置100は、治療及び医療診断の少なくとも一つにおける使用のために設計される。矢印で示されるように、ニードル136は、たとえば、体内方向164に注入される薬剤を送達するために用いられ得る。 生検、神経ブロック及び流体呼気は、ニードルポーズ、位置及び移動がリアルタイムに同様にモニタリングされる他のプロシージャの例である。
装置100は、最も有名な統計的ブースティングアルゴリズムであるAdaboostTMのようなブースティングされる分類子172を具現化する、機械学習に基づく分類回路168を更に含む。
ライブイメージングを介したモニタリングにおけるユーザ対話のために、本装置はディスプレイ176及びユーザ制御器180も含む。
図2は、ブースティングされる分類子172及びその使用のトレーニング及び臨床パフォーマンスの典型的なバージョンを概念的に描写する。 分類子172をトレーニングするために、二次元ログガボールウェーブレット（又は「フィルタ」）204は、ニードル画像208に適用される。更に以下に詳細に論じられるように、ニードル画像208はビームステアリングを介して収集され、B-モードイメージングにおいて通常使われる周波数より低い超音波周波数を利用することによって収集される。 ウェーブレット204を適用することからの出力は、ニードル画像208のそれぞれのピクセル（x,y）216及びそれぞれのウェーブレット特徴量Fiに対するウェーブレット特徴パラメータFi,x,y 212のセットになる。各々のピクセル216に対するグランドトゥルースGTx,yは、それがニードルの部分又はバックグランドの部分であるかについて決定されるか、決定されている。F1,x,y及びGTx,yは、「弱い分類子」,WK1の成分である。複数の弱い分類子は、 強い又は「ブースティングされる」分類子を提供するために、結合、すなわち、ブースティング220される。 この技術に対する代替は、ピクセル216がニードル又はバックグランドであるかを決めるようにピクセル強度を使うことである。しかしながら、ニードル画像208におけるアーチファクトのため、強度に基づく閾値化は、ニードル136を効果的に分類するのに十分ロバストでない。ブースティングされる分類子172をトレーニングするときの上記ステップは、破下線224によって図2において表されるように、トレーニングデータセットにおいてニードル画像208の各々に対して繰り返される。上記の弱い分類子WK1は、そのそれぞれのグランドトゥルースGTx,yで各々分類される特徴パラメータF1,x,yを用いて増強される。特に、F1,x,yの間からのパラメータに対して、GTx,yを考慮して最小分類エラーをもたらす最適閾値T1が見つけられる。閾値化されるべきパラメータは基本的に、ニードルの形状、ニードルの角度、テクスチャ、及び更には強度に関する情報を含む。 更に、トレーニング段階は、ニードルに見えないもの、すなわち、筋肉テクスチャ及びバックグランド画像の特徴になるものに関する情報を提供する。下点破線225によって図2において表されるように、上記の処理の全ては特徴F1乃至F2の各々に対して繰り返される。 これは、下点線226によって図2において表されるように、弱い分類子WKI乃至WK2をもたらすようになされ、それに対応して最適閾値TI乃至T2をもたらすようになされる。 弱い分類子WKiは、臨床プロシージャの間、バイナリ出力- ピクセル（x,y）216に対する「ニードル」228又は「バックグランド」232をもたらす強い分類子SCを形成するときの適切な重み付けを通じて結合される。実効的に、弱い仮説のセットは、強い仮説に結合される。
臨床プロシージャにおいて、2Dログガボールフィルタは異なる方向で空間周波数に応じるように方向付けられることができるため、ウェーブレット204は角範囲を通じたスイープの部分として異なる角度方向にインクリメンタルに方向付けられる。各々のインクリメントにおいて、それぞれのニードル画像208は、現在のビーム角236で収集され、方向付けられるウェーブレット204は適用され、それによって画像に関して画像から情報、すなわちFi,x,y 212を導出するように動作し、上記のセグメンテーションは、導出される情報に関して動作する。 後のステップにおいて、ブースティングされる分類子172は、エントリがニードルピクセル及びバックグランドピクセルの間で割り当てられるバイナリピクセル-マップ240 Mx,yを出力する。オペレータによって選ばれる抽出モードに依存して、又は実施に依存して、マップ240のニードル部分は抽出され244a、B-モード画像上に直接重ね合わされ252、又はラドン変換若しくはハフ変換（HT）248のようなライン検出アルゴリズムがニードル136の位置及び角度を導出するために用いられることができる。この後者の場合、未加工のニードル画像が収集されることができ、バックグランドがそれからマスクアウトされ、結果としてもたらされる、抽出244b「ニードルのみの」画像は現在のB-モード画像上に重畳256される。 このように、抽出モードは、「ピクセルマップ」又は「超音波画像」のためにセットされ得る。それは、図4及び5に関して更に以下に議論されるステップS432、S456及びS556で反映される。 ログガボールフィルタは上で記述されるが、ガボールフィルタのような他のイメージングフィルタが代わりに使われることはできる。
図3は、臨床プロシージャに関して典型的な詳細を更に例示する。 上記のインクリメンタルスイープ304は、表示された例において、角度の範囲308を通っている。各々のインクリメント312は、対応するビーム角で収集されるニードル画像208に隣接して、図3において示される。画像208における何れの細長い、線形の、鏡面対象物314は、ここに提案されるセグメンテーションの堅牢性のために、ニードル136から識別される。セグメンテーション316は、各々のニードル画像208に関してブースティングされる分類子172によって実行され、それぞれのピクセルマップ240が生成される。ハフ変換248は、各々のピクセルマップ240に適用される。結果としてもたらされるライン出力320は、角度/オフセットビンを合計するとき合計324される。これは、位置に対応して、ニードル136のオフセットの推定を決定する。 それは、ニードル136の角度328も決定する。 上でここに言及されるように、ニードル位置及び角度は、「ニードルのみの」重ね合わせを備える表示可能なB-モード画像を形成するとき使われることができ、又は代わりにピクセルマップ240のニードル部分は重ね合わせとしてニードルピクセルを供給するために使われることができる。
臨床プロシージャを実行するために呼ぶことができるサブルーチンは、図4における実施例において示される。
第一のサブルーチン400において、ウェーブレット204は、現在のビーム角236に対して方向付けられる（ステップS404）。 ニードル画像208が収集される（ステップS408）。ウェーブレット204はニードル画像208に適用される（ステップS412）。出力はブースティングされる統計的分類子172によって処理される（ステップS416）。バイナリピクセルマップ240はニードル画像208のために形成される（ステップS420）。
第二のサブルーチン410において、ビーム角236は5°まで初期化される（ステップS424）。図4においてエントリポイント「A」で始めるために、第一のサブルーチン400が呼び出される（ステップS428）。 ピクセルマップ240が直接重ね合わされる場合（ステップS432）、ニードルピクセルに対して、ニードルピクセル及びピクセル固有の信頼値が保存される（ステップS436）。弱い分類子WKiの各々は、閾値Tiが達せられるかに基づいて、バックグランドを表す、-1又はニードルを表す、+1を返す。強い分類子SCはこれらの値の加重和を計算する。総和が正である場合、ピクセル216がニードル136の部分であると考えられる。その他の場合、ピクセル216はバックグランドの部分であると考えられる。しかしながら、総和は強い仮説における信頼も示す。総和が+1に近付くほど、「ニードル」の決定はより多くの信頼を受ける。ニードルピクセルは、それらの対応する信頼値とともに、信頼値に基づいてロバストなピクセルマップを後に生成するためにこの時に記録される。代わりにピクセルマップ240は直接重ね合わされない（ステップS432）。1つの実施例において、たとえば、ピクセルマップ240の直接の重ね合わせはニードルのみの超音波画像を重ね合わせるメインプロセスに代わるディスプレイオプションとして意図され得る。それに応じて、ピクセルマップ240が直接重ね合わされない場合（ステップS432）、現在のビーム角236におけるハフ変換248の出力は、存在する場合、変換出力の連続的な総和をつくるために前のビーム角における出力に加えられる（ステップS440）。何れのイベントにおいても、すなわち、ピクセルマップが重ね合わされてもされなくても、現在のビーム角236が90°より小さい場合（ステップS444）、現在のビーム角はインクリメントされ（ステップS448）、セグメント化ステップS428に戻される（ステップS452）。その他の場合、現在のビーム角236が90°である場合（ステップS444）、処理は、ピクセルマップ240が直接重ね合わされるかに再び依存する（ステップS456）。ピクセルマップ240が直接重ね合わされる（ステップS456）場合、最適ニードルマップが導出される（ステップS460）。特にステップS436において繰り返し保存される信頼値は結合される。例えば、各々のネガティブな信頼値はゼロになり得る。それぞれのビーム角236のために生成される信頼マップは合計されるマップを作成するために加えられる。信頼値はそれから、ピクセル輝度値の範囲に正規化される。他方、ピクセルマップ240が、直接重ね合わされない（ステップS456）場合、ステップS440からのハフ変換総和出力324はニードルオフセットをもたらす（ステップS464）。それは、ニードル136の角度328も与える（ステップS468）。
図5は、現在の例において、臨床プロシージャのメインルーチンである。 ニードル-存在フラグは初期化、すなわち、クリアされる（ステップS504）。 第二のサブルーチン410が呼び出される（ステップS508）。ニードルは現在の視野116に存在するか否かが決定される（ステップS512）。たとえば、ピクセルマップ240を表示する場合、ニードルピクセルの数及びオプションでそれらの信頼レベルは、ニードル136が存在するかを決定するように閾値化を受け得る。超音波重ね合わせを表示する場合、合計されるハフ変換324のラインビン合計は、ニードル136が存在するかを決定するように閾値化され得る。ニードル136は存在しないことが決定される場合（ステップS512）、及びニードル-存在フラグがセットされない場合（ステップS516）、B-モード画像は収集される（ステップS524）。それは表示される（ステップS528）。イメージングが継続する（ステップS532）場合、セグメント化ステップS508に戻される。他方、ニードル-存在フラグがセットされる場合（ステップS516）、それはクリアされる（ステップS536）。ユーザは、ニードル136がもはやスクリーン上にないことを通知され（ステップS540）、処理はB-モード収集ステップS524へ再び分岐する。ニードルは存在することが決定され（ステップS512）、ニードル-存在フラグはセットされない（ステップS544）場合、ユーザは、ニードルの、表示画像へのエントリを通知され（ステップS548）、ニードル-存在フラグはセットされる（ステップS552）。この点において、ニードル-存在フラグがセットされた、又はセットされているか否かにかかわらず（ステップS544及びS552）、処理パスは、ピクセルマップ240が重ね合わせとして使用されるべきかに依存する（ステップS556）。ピクセルマップ240が重ね合わせとして使われない場合（ステップS556）、合計ハフ変換324によって決定されるニードル角度328は、ニードル136による正常度に対してビーム152をステアリングように用いられ、それによってニードルのより良好な可視性が提供される（ステップS560）。ステアリングビーム152を介してニードル画像208は収集される（ステップS564）。ピクセルマップ240が重ね合わせとして使われるか否かにかかわらず、B-モード画像は収集される（ステップS568）。合成画像は、ニードル画像208から抽出される重畳されたニードルのみの画像及びB-モード画像、又はピクセルマップ重ね合わせの場合、ステップS456からの正規化された信頼値の、抽出され、重畳されたセット若しくはピクセルマップ240の他の描出から形成される（ステップS572）。合成画像が表示される（ステップS576）。均一又は不均一に離れた期間の後、周期的、すなわち反復的に、ニードル136は、その位置及び方向に関する更新として再セグメント化されるべきである（ステップS580）。ニードル136が再セグメント化される場合（ステップS580）、処理はセグメント化ステップS508に戻る。さもなければ、ニードル136は再セグメント化されない（ステップS580）が、イメージングは継続される（ステップS584）場合、ステップS556に戻される。
ステップS540及びS548におけるユーザ通知は、感覚的、例えば、聴覚的、触覚的、又は視覚的になり得る。たとえば、パネル又はディスプレイスクリーン上のイルミネーションは、「オン」状態にある間、動作のそれぞれのモードがアクティブにあることを示し得る。
動作のニードル-存在-検出モード588は、たとえば、ステップS512乃至S532に対応する。
ニードル-挿入-検出モード592は、たとえば、ステップS512及びS544乃至S552に対応する。
ニードル視覚化モード596は、たとえば、ステップS556乃至S564に対応する。 ニードル視覚化モード596を出ることはできるが、ニードル-挿入-検出モード592のままにすることもできる。 その後のある時間において、ニードル-挿入-検出モード592が、ニードル136の、視野116への再エントリを検出する場合、ニードル視覚化モード596は自動的に、及びユーザ介入の必要なしで再活性化される。例えば、ニードル-存在-検出モード588は、ニードル-挿入-検出モード592を可能にし、それ故にそのモード592の間、常にアクティブになる。
上記のモード588、592、及び596は、ユーザ制御器180によって集合的又は個別的に活性化又は非活性化され、より大きな全体的なモードに各々取り込まれ得る。
上記のモード588、592、及び596の各々は装置100のオプションとして存在し、たとえばユーザ動作可能であり、又は代わりにモードをスイッチオフするための何れのオプションもなしで装置の部分になり得る。
モード588、592、及び596を可能にするのは、上でここに提案されるニードルセグメンテーションの信頼性及び画質である。
提案された方法論は治療を人間又は動物被験体に提供する際に有利に適用されることができるが、本発明の範囲はそれに限定されるものではない。 より広いことに、ここに開示される技術は、生体内及び生体外における機械学習に基づく画像セグメンテーションに向けられる。
分類に基づく医用画像セグメンテーション装置は、超音波から、ニードルのような医療器具を描出する画像を収集するように構成される超音波画像収集デバイスと、収集にダイナミックに応じて、画像から導出される情報に関して動作することによって器具をセグメント化するために機械学習に基づく分類を使うように構成される機械学習に基づく分類回路とを含む。セグメント化は、ウェーブレット特徴量のパラメータの統計的ブースティングを介して実現されることができる。 画像の各々のピクセルは、「ニードル」又は「バックグランド」として特定される。画像を収集するステップ、ニードルをセグメント化するステップ、及び視覚的に強調され、アーチファクトのないニードルのみの重ね合わせによる画像を表示するステップの全プロセスは、ユーザ介入の必要なしで自動的に実行される。信頼できるニードルセグメンテーションは、最適ビームステアリング角、時間ゲイン補償及び画像処理パラメータの自動セッティングを可能にし、潜在的に強化された視覚化及び臨床ワークフローをもたらす。
本発明は、図面及び上述の記載において詳細に図示されると共に記載されているが、このような図面及び記載は例示的であり、限定的なものでないことは考慮されるべきであり、本発明は開示の実施例に限定されるものではない。
たとえば、ニードル-挿入-検出モード592は、ニードルのわずか7ミリメートルが体組織に挿入されたとき、ニードル136の少なくとも部分を検出することができ、上でここに言及されるように、超音波視野における2.0mmを検出することができる。
開示された実施形態に対する他の変形が、請求される発明の実施において、図面、本開示、及び別記の請求項についての検討から、当業者によって理解され、実現され得る。請求項において、用語「含む」は、他の要素又はステップを除外するものではなく、不定冠詞「一つの（"a"又は"an"）」は、複数を除外するものではない。請求項におけるいかなる参照符号も、その範囲を限定するものと見なされるべきではない。
コンピュータプログラムが、光記憶媒体又はソリッドステート媒体などの適切なコンピュータ読取可能媒体上に、瞬間的に、一時的に、又は長期間にわたって記憶されることができる。こうした媒体は、一時的な伝播信号ではないという意味に限って非一時的であり、しかしながら、例えばレジスタメモリ、プロセッサキャッシュ、ＲＡＭ及び他の揮発性メモリなどの、他の形式のコンピュータ読取可能媒体を含む。
単一のプロセッサ又は他のユニットが、請求項に列挙された一つより多くの項目の関数を満たしてよい。特定の手段が互いに異なる従属請求項に列挙されるという単なる事実は、これらの手段の組み合わせを使用しても利点を得られないことを示すものではない。
Claims (7)
- 分類に基づく医用画像特定装置であって、
超音波から、医療器具を描出する画像を収集するように構成される超音波画像収集デバイスと、
動的に前記収集に応じて、前記画像から導出される情報に関して動作することによって前記器具をセグメント化するため、機械学習に基づく分類を使用するように構成される機械学習に基づく分類回路と
を有し、
前記回路は、ブースティングされる分類子を有し、前記セグメント化のために前記分類子を使用するように構成され、
前記超音波画像収集デバイスを介して、前記器具の対応する描出のための現在の超音波ビームの前記器具への入射角度が９０度より小さい場合、前記超音波ビームの前記器具への入射角度の範囲に渡って漸増的に、スイープにおいて前記収集をユーザ介入の必要なしで自動的に動的に実行し、前記描出のセグメント化は動的に前記漸増的な収集に応じるように構成され、
ライン検出アルゴリズムを前記描出の各々の一つに対する前記セグメント化の出力に前記漸増毎に適用するように更に構成され、前記器具の方向を導出するため前記アルゴリズムの出力を加えるように更に構成され、
前記回路は、前記器具のパターン認識及び体組織のパターン認識の両方についてトレーニングされている、機械学習に基づく分類のための前記分類子を有し、
前記装置はディスプレイを更に有し、前記セグメント化は、バイナリピクセルマップを形成するものであり、前記分類子は、前記器具の侵入ポイントに前記器具のピクセル又は前記体組織のピクセルの何れかが割り当てられる前記バイナリピクセルマップを出力し、前記現在の超音波ビームの前記器具への入射角度が９０度である場合、前記装置は、合成画像を形成するために前記バイナリピクセルマップの前記器具のピクセルを超音波画像上に重ね合わせ、前記ディスプレイを介して前記合成画像を視覚化するように構成される、
装置。 - 前記使用は、ウェーブレット特徴量のパラメータの統計的ブースティングを実行することを有する、請求項１に記載の装置。
- 前記描出の前記セグメント化の結果に基づいて前記器具の方向を動的に決定するように更に構成される、請求項１に記載の装置。
- 前記器具は医用ニードルである、請求項１に記載の装置。
- 前記装置は、治療及び医療診断の少なくとも一つにおける使用のために設計される、請求項４に記載の装置。
- 前記デバイスは前記ディスプレイを介した前記体組織の動的な視覚化のスパンを空間的に規定するための視野を持つ超音波イメージングプローブを有し、前記装置は動作のニードル-存在-検出モードを備え、前記モードの間、前記セグメント化の出力に基づいて、前記ニードルが前記視野内に部分的にさえ存在しないことをユーザ介入の必要なしで自動的に決定するように更に構成される、請求項４に記載の装置。
- 動的に前記収集に応じて、前記画像に関して動作することによる前記画像からの前記情報の前記導出を実行するように構成される、請求項１に記載の装置。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361918912P | 2013-12-20 | 2013-12-20 | |
| US61/918,912 | 2013-12-20 | ||
| US201462019087P | 2014-06-30 | 2014-06-30 | |
| US62/019,087 | 2014-06-30 | ||
| PCT/IB2014/066411 WO2015092582A1 (en) | 2013-12-20 | 2014-11-28 | Automatic ultrasound beam steering and needle artifact suppression |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019093830A Division JP6857685B2 (ja) | 2013-12-20 | 2019-05-17 | 自動超音波ビームステアリング及びニードルアーチファクト抑制 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017503548A JP2017503548A (ja) | 2017-02-02 |
| JP2017503548A5 JP2017503548A5 (ja) | 2020-10-08 |
| JP6850606B2 true JP6850606B2 (ja) | 2021-03-31 |
Family
ID=52278682
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016539043A Active JP6850606B2 (ja) | 2013-12-20 | 2014-11-28 | 自動超音波ビームステアリング及びニードルアーチファクト抑制 |
| JP2019093830A Active JP6857685B2 (ja) | 2013-12-20 | 2019-05-17 | 自動超音波ビームステアリング及びニードルアーチファクト抑制 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019093830A Active JP6857685B2 (ja) | 2013-12-20 | 2019-05-17 | 自動超音波ビームステアリング及びニードルアーチファクト抑制 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20160317118A1 (ja) |
| EP (1) | EP3082615B1 (ja) |
| JP (2) | JP6850606B2 (ja) |
| CN (1) | CN106413565B (ja) |
| WO (1) | WO2015092582A1 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6447071B2 (ja) * | 2013-12-11 | 2019-01-09 | コニカミノルタ株式会社 | 超音波診断装置、超音波画像処理方法、および、プログラム |
| KR20170060852A (ko) * | 2015-11-25 | 2017-06-02 | 삼성메디슨 주식회사 | 초음파 영상을 제공하는 방법 및 이를 위한 초음파 장치 |
| KR101931747B1 (ko) * | 2016-10-28 | 2019-03-13 | 삼성메디슨 주식회사 | 생체 검사 장치 및 동작 방법 |
| US10932749B2 (en) * | 2016-11-09 | 2021-03-02 | Fujifilm Sonosite, Inc. | Ultrasound system for enhanced instrument visualization |
| JP6796085B2 (ja) * | 2016-12-02 | 2020-12-02 | アヴェント インコーポレイテッド | 医用撮像に基づく処置における標的の解剖学的対象物へのナビゲーションのためのシステムおよび方法 |
| US11832969B2 (en) | 2016-12-22 | 2023-12-05 | The Johns Hopkins University | Machine learning approach to beamforming |
| US10102452B2 (en) | 2017-03-14 | 2018-10-16 | Clarius Mobile Health Corp. | Systems and methods for identifying an imaged needle in an ultrasound image |
| EP3381512A1 (en) | 2017-03-30 | 2018-10-03 | Koninklijke Philips N.V. | Determining at least one final two-dimensional image for visualizing an object of interest in a three-dimensional ultrasound volume |
| US11638569B2 (en) * | 2018-06-08 | 2023-05-02 | Rutgers, The State University Of New Jersey | Computer vision systems and methods for real-time needle detection, enhancement and localization in ultrasound |
| US11426142B2 (en) | 2018-08-13 | 2022-08-30 | Rutgers, The State University Of New Jersey | Computer vision systems and methods for real-time localization of needles in ultrasound images |
| US11896424B2 (en) * | 2018-12-05 | 2024-02-13 | Fujifilm Sonosite, Inc. | Automated needle entry detection |
| US20220218302A1 (en) * | 2019-05-31 | 2022-07-14 | Koninklijke Philips N.V. | Passive-ultrasound-sensor-based initialization for image-based device segmentation |
| EP4014886B1 (en) | 2019-08-15 | 2024-01-10 | FUJIFILM Corporation | Ultrasonic diagnostic apparatus and control method for ultrasonic diagnostic apparatus |
| US20210059758A1 (en) * | 2019-08-30 | 2021-03-04 | Avent, Inc. | System and Method for Identification, Labeling, and Tracking of a Medical Instrument |
| WO2021058288A1 (en) * | 2019-09-26 | 2021-04-01 | Koninklijke Philips N.V. | Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods |
| US20210100530A1 (en) * | 2019-10-04 | 2021-04-08 | GE Precision Healthcare LLC | Methods and systems for diagnosing tendon damage via ultrasound imaging |
| WO2022071326A1 (ja) * | 2020-09-29 | 2022-04-07 | テルモ株式会社 | 情報処理装置、学習済モデルの生成方法および訓練データ生成方法 |
| WO2023054467A1 (ja) * | 2021-09-30 | 2023-04-06 | テルモ株式会社 | モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1636731A2 (en) * | 2003-06-25 | 2006-03-22 | Siemens Medical Solutions USA, Inc. | Systems and methods for automated diagnosis and decision support for breast imaging |
| US7536044B2 (en) * | 2003-11-19 | 2009-05-19 | Siemens Medical Solutions Usa, Inc. | System and method for detecting and matching anatomical structures using appearance and shape |
| US7783095B2 (en) * | 2005-08-11 | 2010-08-24 | Siemens Medical Solutions Usa, Inc. | System and method for fetal biometric measurements from ultrasound data and fusion of same for estimation of fetal gestational age |
| KR100846500B1 (ko) * | 2006-11-08 | 2008-07-17 | 삼성전자주식회사 | 확장된 가보 웨이브렛 특징 들을 이용한 얼굴 인식 방법 및장치 |
| US7840061B2 (en) * | 2007-02-28 | 2010-11-23 | Mitsubishi Electric Research Laboratories, Inc. | Method for adaptively boosting classifiers for object tracking |
| US8073215B2 (en) * | 2007-09-18 | 2011-12-06 | Siemens Medical Solutions Usa, Inc. | Automated detection of planes from three-dimensional echocardiographic data |
| US8556814B2 (en) * | 2007-10-04 | 2013-10-15 | Siemens Medical Solutions Usa, Inc. | Automated fetal measurement from three-dimensional ultrasound data |
| US8660303B2 (en) * | 2009-05-01 | 2014-02-25 | Microsoft Corporation | Detection of body and props |
| US8861822B2 (en) * | 2010-04-07 | 2014-10-14 | Fujifilm Sonosite, Inc. | Systems and methods for enhanced imaging of objects within an image |
| EP2665423B1 (en) * | 2011-01-17 | 2021-03-17 | Koninklijke Philips N.V. | System for needle deployment detection in image-guided biopsy |
| JP6000569B2 (ja) * | 2011-04-01 | 2016-09-28 | 東芝メディカルシステムズ株式会社 | 超音波診断装置及び制御プログラム |
| US9642592B2 (en) * | 2013-01-03 | 2017-05-09 | Siemens Medical Solutions Usa, Inc. | Needle enhancement in diagnostic ultrasound imaging |
-
2014
- 2014-11-28 US US15/105,037 patent/US20160317118A1/en not_active Abandoned
- 2014-11-28 CN CN201480069638.9A patent/CN106413565B/zh active Active
- 2014-11-28 WO PCT/IB2014/066411 patent/WO2015092582A1/en active Application Filing
- 2014-11-28 JP JP2016539043A patent/JP6850606B2/ja active Active
- 2014-11-28 EP EP14821848.0A patent/EP3082615B1/en active Active
-
2019
- 2019-05-17 JP JP2019093830A patent/JP6857685B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017503548A (ja) | 2017-02-02 |
| CN106413565B (zh) | 2019-12-17 |
| US20160317118A1 (en) | 2016-11-03 |
| JP6857685B2 (ja) | 2021-04-14 |
| EP3082615A1 (en) | 2016-10-26 |
| CN106413565A (zh) | 2017-02-15 |
| WO2015092582A1 (en) | 2015-06-25 |
| EP3082615B1 (en) | 2019-11-27 |
| JP2019147007A (ja) | 2019-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6857685B2 (ja) | 自動超音波ビームステアリング及びニードルアーチファクト抑制 | |
| JP2017503548A5 (ja) | ||
| JP6266160B2 (ja) | 血管を識別する超音波システム及び方法 | |
| EP2769676B1 (en) | Method and apparatus for performing registration of medical images | |
| EP3367896B1 (en) | Signaling of an aortic valve state | |
| KR102001219B1 (ko) | 의료 영상들의 정합 방법 및 장치 | |
| JP6230917B2 (ja) | 診断用超音波イメージングにおける針の強調のためのシステムおよび記録媒体 | |
| KR102114415B1 (ko) | 의료 영상 정합 방법 및 장치 | |
| US8861822B2 (en) | Systems and methods for enhanced imaging of objects within an image | |
| JP2020072937A (ja) | エラストグラフィ測定システム及びその方法 | |
| MX2008005808A (es) | Deteccion de bordes en imagenes de ultrasonido. | |
| JP2011131062A (ja) | 超音波画像を使用した高速解剖学的マッピング | |
| JP2014525328A (ja) | 針を検出して追跡する方法 | |
| Lang et al. | Multi-modal registration of speckle-tracked freehand 3D ultrasound to CT in the lumbar spine | |
| CN107106128B (zh) | 用于分割解剖目标的超声成像装置和方法 | |
| KR102106535B1 (ko) | 일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템. | |
| Pourtaherian et al. | Medical instrument detection in 3-dimensional ultrasound data volumes | |
| US20210142504A1 (en) | Detection of fiducials in a clinical image | |
| KR102278893B1 (ko) | 의료영상처리장치 및 이를 이용한 의료영상정합방법 | |
| Hacihaliloglu et al. | Projection-based phase features for localization of a needle tip in 2D curvilinear ultrasound | |
| JP2022534916A (ja) | 画像ベースデバイスセグメンテ－ションのためのパッシブ超音波センサベース初期化 | |
| Baazaoui et al. | Semi-automated segmentation of multiple tumors in liver CT images using cooperative region growing | |
| CN115553819A (zh) | 超声切片增强 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171107 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180626 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180921 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190117 |
|
| A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20190517 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20190517 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190524 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20190528 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20190719 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20190723 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20191023 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200116 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200213 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200414 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200512 |
|
| A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20200813 |
|
| C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20200925 |
|
| C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200929 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201221 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210112 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210212 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210308 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6850606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |