JP6905827B2 - 再構成画像データの可視化 - Google Patents

再構成画像データの可視化 Download PDF

Info

Publication number
JP6905827B2
JP6905827B2 JP2016507078A JP2016507078A JP6905827B2 JP 6905827 B2 JP6905827 B2 JP 6905827B2 JP 2016507078 A JP2016507078 A JP 2016507078A JP 2016507078 A JP2016507078 A JP 2016507078A JP 6905827 B2 JP6905827 B2 JP 6905827B2
Authority
JP
Japan
Prior art keywords
image data
volumetric image
reconstructed
noise
overlay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016507078A
Other languages
English (en)
Other versions
JP2016514612A (ja
JP2016514612A5 (ja
Inventor
アマール ダーナントワリ
アマール ダーナントワリ
ムクタ ジョシ
ムクタ ジョシ
ヤエル ナエ
ヤエル ナエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016514612A publication Critical patent/JP2016514612A/ja
Publication of JP2016514612A5 publication Critical patent/JP2016514612A5/ja
Priority to JP2019199661A priority Critical patent/JP6936842B2/ja
Application granted granted Critical
Publication of JP6905827B2 publication Critical patent/JP6905827B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/421Filtered back projection [FBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Human Computer Interaction (AREA)
  • Pulmonology (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

本発明は、概して、再構成画像データの視覚化に関し、特にコンピュータトモグラフィ(CT)の用途に関して記述される。しかしながら、本発明は、他のモダリティにも従う。
放射線医は、画像の或る特性のインジケータとして使用されるノイズに起因する特定の外観を有する画像を読影するように訓練されている。例えば、ノイズは、レビューする人に、画像における構造、形状及び/又は輪郭について信頼水準を提供することができる。例えば、より高い可視のノイズは、視覚化された構造、形状及び輪郭が真の構造、形状及び輪郭を表すより低い蓋然性を示すことができ、より低い可視ノイズは、視覚化された構造、形状及び輪郭が真の構造、形状及び輪郭を表すより高い蓋然性を示すことができる。
別の例において、画像のテクスチャは、画像の基礎をなす空間解像度の標示を提供する。例えば、多数のしみのようなノイズは、より低い解像度を示すことがあり、精細なノイズは、より高い解像度を示すことができる。別の例において、同じグレースケールレンジによって視覚化される組織領域のサブ部分のノイズの外観は、領域が複数の異なる組織を含むことを示すことができる。例として、レンジは、1つの組織のノイズの中だけにありえ、これは結果的に、いくつかのグレーピクセルを生じさせ、その外側では、別の組織のノイズがあり、それにより、レビューする人が、グレースケールレンジをシフトさせる必要なく2つの組織間の区別を行うことを可能にする。
ノイズ除去アルゴリズム(投影及び/又は画像ドメイン)及び高度な再構成技法が、再構成された画像データのノイズを低減するために使用される。しかしながら、ノイズの低減は更に、(ノイズ除去アルゴリズムに依存して部分的に又は完全に、)画像をレビューする人が信頼水準及び/又は解像度を決定するために及び/又は異なる組織を区別するために使用する上記の視覚的な手掛かりをも除去する。結果的に得られる再構成画像は、放射線医がレビューすることを訓練された画像と比較して、異なる特性を有しうるので、残念ながら、これは、放射線医がノイズ除去再構成アルゴリズムを用いることをためらうことにつながりうる。
ここに記述される見地は、上述した問題及びその他に対処する。
以下は、再構成された画像データ、ノイズ低減された(又はノイズ除去された)再構成画像、及び/又はそれらの組み合わせが、オブザーバに同時に視覚的に提示し、それによりノイズが提供する視覚的な手掛かりを視覚的に提示し及び/又は観察すること、及び/又はノイズ低減された(デフォルトの又はユーザ規定された)画像データを観察することを可能にし、それゆえ除去されるノイズによって隠されうる関心のあるフィーチャをよりよく表示することができるアプローチを記述する。
1つの見地において、方法は、第1の再構成アルゴリズムにより投影データを処理し、第1の再構成ボリュメトリック画像データを再構成することを含み、ここで、第1の再構成ボリュメトリック画像データは、第1の3Dノイズ関数を有する。方法は更に、第2の異なる再構成アルゴリズムにより同じ投影データを処理し、第2の再構成ボリュメトリック画像データを再構成することを含み、ここで、第2の再構成されたボリュメトリック画像データは、第1の3Dノイズ関数と異なる第2の3Dノイズ関数を有する。方法は更に、主ビューポートに、第1又は第2の再構成ボリュメトリック画像データを視覚的に提示することを含む。方法は、更に、主ビューポートのサブ部分の上に重ねられる関心領域のオーバレイに、第1又は第2の再構成ボリュメトリック画像データの他方のサブ部分を視覚的に提示することを含む。
別の見地において、方法は、第1の再構成アルゴリズムにより投影データを処理し、第1の再構成ボリュメトリック画像データを再構成することを含み、ここで、第1の再構成ボリュメトリック画像データは、第1の3Dノイズ関数を有する。方法は更に、第2の異なる再構成アルゴリズムにより同じ投影データを処理し、第2の再構成ボリュメトリック画像データを再構成することを含み、ここで、第2の再構成ボリュメトリック画像データは、第1のノイズ関数と異なる第2の3Dノイズ関数を有する。方法は更に、関心のあるノイズレベルを得ることを含む。方法は更に、関心のあるノイズレベルに基づいて、第1及び第2のボリュメトリック画像データを組み合わせ、組み合わされたボリュメトリック画像データを生成することを含む。方法は更に、組み合わされたボリュメトリック画像データを視覚的に表示することを含む。
別の見地において、システムは、それぞれ異なる再構成アルゴリズムにより投影データの同じ組を再構成し、第1及び第2の再構成画像データを生成する再構成装置を有する。再構成アルゴリズムの1つは、ノイズ除去再構成アルゴリズムである。再構成装置は、ノイズ除去された再構成画像データのサブ部分を含み、視覚的に表示される画像データのサブ部分の上に重ねられるオーバレイによって、第1又は第2の再構成画像データを視覚的に表示すること、又は、入力ノイズレベルに基づいて第1及び第2の再構成画像データを組み合わせ、組み合わされた画像データを生成し、組み合わされた画像データを視覚的に表示すること、の少なくとも一方を行う。
本発明は、さまざまなコンポーネント及びコンポーネントの取り合わせ並びにさまざまなステップ及びステップの取り合わせの形をとりうる。図面は、好適な実施形態を示すことのみを目的とし、本発明を制限するものとして解釈されるべきでない。
再構成装置を有するイメージングシステムを概略的に示す図。 図1の再構成装置の非限定的な例を示す図。 一方がノイズ除去再構成アルゴリズムである2つの異なる再構成アルゴリズムにより同じ投影データを再構成し、両方の再構成アルゴリズムの再構成された画像データを同時に表示する例示の方法を示す図。 一方がノイズ除去再構成アルゴリズムである2つの異なる再構成アルゴリズムにより同じ投影データを再構成し、関心のあるノイズレベルに基づいて両方の再構成アルゴリズムの再構成画像データを組み合わせ、組み合わされた再構成画像データを表示する例示の方法を示す図。
以下は、ノイズ低減されない再構成画像データ、ノイズ低減された(又はノイズ除去された)再構成画像、及び/又はそれらの組み合わせが、オブザーバに視覚的に提示され、それにより、ノイズが提供する視覚的な手掛かりを視覚的に提示し及び/又は観察し、及び/又はノイズ低減された(デフォルトの又はユーザ規定された)画像データを観察することを可能にし、こうして、除去されたノイズによって隠されうる関心のあるフィーチャをよりよく表示することができるアプローチを記述する。
図1は、コンピュータトモグラフィ(CT)スキャナのようなイメージングシステム100を示す。
イメージングシステム100は、概して、静止ガントリ102及び回転ガントリ104を有する。回転ガントリ104は、静止ガントリ102によって回転可能に支持され、長手軸又はz軸を中心に検査領域のまわりを回転する。
寝台のような患者支持体120は、検査領域において例えば人間患者のような対象又は被検体を指示する。支持体120は、対象又は被検体をローディング、スキャニング及び/又はアンローディングするために対象又は被検体を移動させるように構成される。
X線管のような放射線源108は、回転ガントリ104によって回転可能に支持される。放射線源108は、回転ガントリ104と共に回転し、検査領域106を横切る放射線を放出する。
放射線感受性検出器アレイ110は、検査領域106をまたいで放射線源108の反対側に円弧をなして位置する。検出器アレイ110は、z軸方向に沿って延在する検出器の1又は複数の行を有し、検査領域106を横切って放射線を検出し、それを示す投影データを生成する。
汎用コンピュータシステム又はコンピュータが、オペレータコンソール112として働き、例えばマウス、キーボード及び/又はその他のような入力装置114、及び例えば表示装置、フィルマ又はその他のような出力装置116を有する。コンソール112は、オペレータがシステム100の動作を制御することを可能にする。これは、例えばフィルタード逆投影、ノイズ低減、それらの組み合わせ、及び/又は他の再構成アルゴリズムである1又は複数の再構成アルゴリズムを選択し、第1の再構成画像のサブ部分の上において、移動可能な関心領域(ROI)のオーバレイをアクティブにし及び位置付け、ROI及び/又は関連するビューポートに第2の異なる再構成された画像データを表示し、再構成のためのノイズレベルを示すこと等を含む。
再構成装置118は、投影データを処理し、ボリュメトリック画像データを再構成する。後で詳しく述べるように、一例において、再構成装置118は、ノイズ低減されない再構成されたボリュメトリック画像データ、ノイズ低減された(又はノイズ除去された)再構成されたボリュメトリック画像、及び/又はそれらの組み合わせ(合成)を生成する。結果的に得られるボリュメトリック画像データは視覚的に提示されることができ、それにより、ノイズが提供する手掛かりを、ボリュメトリック画像データ内に可視化することを可能にする。ノイズ低減された及び/又は組み合わされた再構成ボリュメトリック画像データは、同時に及び/又は個別に表示されることができる。このデータは、他の場合には除去されたノイズによって隠されうる関心のあるフィーチャをよりよく表示することができる。データは、出力装置116の1又は複数の表示モニタによって表示されることができる。
後で一層詳しく記述されるように、再構成装置118は、フィルタード逆投影(FBP)再構成、(画像ドメイン及び/又は投影ドメインの)ノイズ低減された再構成アルゴリズム(例えば反復的再構成)、及び/又は他のアルゴリズムを用いることができる。再構成装置118は、例えば物理メモリ及び他の非一時的媒体のようなコンピュータ可読記憶媒体に符号化され又は埋め込まれるコンピュータ可読命令を実行する(1又は複数の)マイクロプロセッサにより実現されることができることが理解されることができる。付加的に又は代替として、マイクロプロセッサは、搬送波、信号及び他の一時的(又は非一時的)媒体によって担持されるコンピュータ可読命令を実行することができる。
図2は、再構成装置118の例を概略的に示す。
再構成器202は、投影データを処理し、投影データは、イメージングシステム100及び/又は他のイメージングシステムによって生成されることができ、例えば画像データ保管通信システム(PACS)、放射線医学情報システム(RIS)、病院情報システム(HIS)及び/又は他のデータリポジトリのようなイメージングシステム及び/又はデータリポジトリから得られることができる。図示される再構成器202は、フィルタード逆投影、コーンビーム及び/又は他のノイズ低減しない再構成アルゴリズムを用いる。再構成器202は、投影データを処理し、再構成されたボリュメトリック画像データを生成する。
ノイズ低減再構成器204は、同じ投影データを処理する。しかしながら、再構成器204は、反復的及び/又は他のノイズ低減再構成アルゴリズムを含みうるノイズ低減再構成アルゴリズムを用いる。ノイズ低減再構成器204は、ノイズ低減された(又はノイズ除去された)再構成ボリュメトリック画像データを生成し、かかる再構成ボリュメトリック画像データは、再構成器202によって生成される再構成ボリュメトリック画像データの対応する領域のノイズレベルより小さいノイズレベル(例えば画像全体又はそのサブ部分における標準偏差)を有する。
図示される実施形態において、再構成器202及びノイズ低減再構成器204は、2つの異なる再構成器として示されている。しかしながら、変形例において、再構成器202及びノイズ低減再構成器204は、2つの異なる再構成アルゴリズムを使用して同じ投影データを再構成し、ノイズ低減されない再構成画像データ及びノイズ低減された再構成画像データである再構成画像データの2つの異なる組を生成する同じ再構成器である。
ノイズ決定器206は、再構成されたボリュメトリック画像データ及び/又はそのサブ部分のノイズ(例えば、3D関数、平均、その他)、及び/又はノイズ低減された再構成ボリュメトリック画像データ及び/又はそのサブ部分を決定する。図示される実施形態において、ノイズ決定器206は、付加的に又は代替として、投影データに基づいてノイズを決定することができる。付加的に又は代替として、ノイズ算定は、再構成ボリュメトリック画像データと、ノイズ低減された再構成ボリュメトリック画像データとの間の差異に基づくことができる。他のアプローチが更にここに企図される。
データコンバイナ208は、ノイズ低減されない再構成ボリュメトリック画像データと、ノイズ低減された再構成ボリュメトリック画像データを組み合わせ、組み合わされたボリュメトリック画像データを生成する。図示される実施形態において、データコンバイナ208は、混合アルゴリズム210、ノイズ低減されない再構成ボリュメトリック画像ボクセル及びノイズ低減された再構成ボリュメトリック画像ボクセルの各々のノイズ値、並びにターゲットノイズレベルに基づいて、ノイズ低減されない再構成ボリュメトリック画像データ及びノイズ低減された再構成ボリュメトリック画像データを組み合わせる。ターゲットのノイズレベルは、デフォルト及び/又はユーザ規定に基づくことができる(例えば、関心のあるノイズレベル(例えば、標準偏差、分散、その他)を示す入力された関心のある信号のノイズレベルによって決定される)。
マッパ212は、ノイズ低減されない再構成ボリュメトリック画像データ、ノイズ低減された再構成ボリュメトリック画像データ、及び/又は組み合わされたボリュメトリック画像データのボクセルの間の物理的マッピング又はマップを生成する。例えば、マップは、ノイズ低減されない再構成ボリュメトリック画像データ、ノイズ低減された再構成ボリュメトリック画像データ、及び/又は組み合わされたボリュメトリック画像データの各々のボクセル(x,y,z)を、ノイズ低減されない再構成ボリュメトリック画像データ、ノイズ低減された再構成ボリュメトリック画像データ及び/又は組み合わされたボリュメトリック画像データの他の物のボクセルにマップする。
関心領域(ROI)オーバレイ生成器214は、アクティブにされるとき、ROIオーバレイを生成し、ROIオーバレイは、オーバレイアルゴリズム216に基づいてオーバレイされ、レンダリングされたボリュメトリック画像データについて移動されることができる。アクティブ化は、ユーザが、アクティブ化を起動する制御(例えば物理的なボタン、マウスクリック、タッチスクリーンの領域のタッチ、音声認識、その他)を作動させることを示すROIアクティブ化入力信号を受け取ることに応じるものでありうる。マウスクリック及び/又はタッチ領域は、ボタン、ダイヤル、スライダ、ドロップダウンメニューなどの形でありうる。アクティブ化がない場合、又はアクティブ化の終了時に、関心領域(ROI)オーバレイ生成器214は、ディスプレイから、任意のオーバレイされたROIオーバレイを除去する。終了は、ユーザが同じ及び/又は他の制御を作動させることを通じて、起動されることができる。
概して、ROIオーバレイは、第1の表示された再構成ボリュメトリック画像データの上にオーバレイされ又は重ねられるとき、レンダリングされた第1の表示されたボリュメトリック画像データの領域を識別し、その領域に、第2の異なる再構成アルゴリズムによって再構成された第2のボリュメトリック画像データが視覚的に提示される。ROIオーバレイに視覚的に提示される第2のボリュメトリック画像データは、ROIオーバレイの後ろの第1の表示された再構成ボリュメトリック画像データ内の同じロケーションに対応する。マッパ212のマップは、このマッピングを提供する。ROIオーバレイは、予め決められた形状(例えば、円形、楕円形、矩形、不規則な形、など)の組から選択されることができ、ユーザによってフリーハンドで描かれることができ、及び/又は他のやり方で生成される。更に、ROIオーバレイは、大きさを変更されることができ、形状を変更されることができ、及び/又は他のやり方で操作されることができる。
任意には、ポップアップビューポート218は、第1の表示された再構成ボリュメトリック画像データの一部の上に、及び/又は第1の表示される再構成ボリュメトリック画像データの上に重ならない領域に、表示されることができる。ビューポート218は、同様にアクティブにされ及び/又は終了されることができる。ビューポート218は、概して、ROIオーバレイよりもより大きいビューイング領域を有し、倍率220がROIオーバレイとビューポートビューイング領域ジオメトリとの間の差又はそれらの比率に対応するとき、同じ情報を表示する。倍率220を増大することは、ビューポートビューイング領域を増大させ、及び/又はズームインし、外側周縁の領域を表示しない。ビューポート218がアクティブにされる場合、ROIオーバレイは、(ROIオーバレイの外側の領域のような)第1の再構成されたボリュメトリック画像データ、又は(ビューポート218のような)第2の再構成ボリュメトリック画像データを視覚的に提示することができる。
レンダリングエンジン222は、出力装置116の表示モニタを通じてデータをレンダリングする。これは、ノイズ低減されない再構成ボリュメトリック画像データ、ノイズ低減された再構成ボリュメトリック画像データ、及び/又は、組み合わされた再構成画像データの1又は複数をレンダリングすることを含む。任意に、レンダリングエンジン222は、ROIオーバレイをレンダリングすることができる。任意に、レンダリングエンジン222は、ポップアップビューポート218をレンダリングすることができる。動作モードを示す入力は、レンダリングエンジン222がレンダリングするものを決定する。
図3は、移動可能なROIオーバレイ及び任意のビューポートがレンダリングされた再構成ボリュメトリック画像データの上に重ねられる例示の方法を示す。
方法における工程の順序は制限的でないことが理解されるべきである。従って、他の順序が更にここに企図される。更に、1又は複数の工程が省かれることができ、及び/又は1又は複数の付加の工程が含められることができる。
工程302において、投影データが得られる。
工程304において、再構成器は、投影データを再構成し、ノイズ低減されない再構成ボリュメトリック画像データを生成する。
工程306において、同じ又は異なる再構成器が、投影データを再構成し、ノイズ低減された(又はノイズ除去された)再構成ボリュメトリック画像データを生成する。
工程308において、ノイズ低減されない再構成ボリュメトリック画像データが、主表示領域に表示される。
工程310において、ROIオーバレイが、表示されたノイズ低減されない再構成ボリュメトリック画像データのサブ部分の上に重ねられる。
工程312において、ノイズ低減されない再構成ボリュメトリック画像データに対応するノイズ低減された再構成ボリュメトリック画像データのサブ部分が、ROIオーバレイ内に表示される。
工程314において、アクティブにされる場合、ポップアップビューポートが更に表示され、ポップアップビューポートは、ROIオーバレイと同じであるが拡大されたデータを含む。
工程316において、ROIオーバレイは維持され、又は移動され、その場合、視覚的に提示されるデータが、ロケーションを反映するようにROIオーバレイ及びビューポート内で更新される。
上述の工程は、コンピュータプロセッサによって実行されるとき、記述された工程をプロセッサに実行させるコンピュータ可読命令であって、コンピュータ可読記憶媒体に符号化され又は埋め込まれることができるコンピュータ可読命令を通して実現されることができる。付加的に又は代替として、コンピュータ可読命令の少なくとも1つが、信号、搬送波又は他の一時的媒体によって担持される。
上述したもの変形例において、ノイズ低減された再構成ボリュメトリック画像データが、表示領域に表示され、ノイズ低減されない再構成ボリュメトリック画像データ又は組み合わされたボリュメトリックイメージングされたデータが、ROIオーバレイに表示される。ノイズ低減された再構成ボリュメトリック画像データ、ノイズ低減されない再構成ボリュメトリック画像データ又は組み合わされたボリュメトリック画像データが、ポップアップビューポートに表示される。
別の変形例において、ノイズ低減されない再構成ボリュメトリック画像データが、表示領域に表示され、組み合わされたボリュメトリック画像データがROIオーバレイに表示される。ノイズ低減された再構成ボリュメトリック画像データ、ノイズ低減されない再構成ボリュメトリック画像データ、又は組み合わされたボリュメトリック画像データが、ポップアップビューポートに表示される。
上述したものの更に別の変形例において、ノイズ低減された再構成ボリュメトリック画像データが、表示領域に表示され、組み合わされたボリュメトリック画像データが、ROIオーバレイに表示される。ノイズ低減された再構成ボリュメトリック画像データ、ノイズ低減されない再構成ボリュメトリック画像データ、又は組み合わされたボリュメトリック画像データが、ポップアップビューポートに表示される。
更に別の変形例において、組み合わされたボリュメトリック画像データが、表示領域に表示され、ノイズ低減されない再構成ボリュメトリック画像データ、又はノイズ低減された再構成ボリュメトリック画像データが、ROIオーバレイに表示される。ノイズ低減された再構成ボリュメトリック画像データ、ノイズ低減されない再構成ボリュメトリック画像データ、又は組み合わされたボリュメトリック画像データが、ポップアップビューポートに表示される。
上述の変形例のいずれかによって、関心領域オーバレイに表示されるボリュメトリック画像データは、ノイズ低減されない再構成ボリュメトリック画像データ、ノイズ低減された再構成ボリュメトリック画像データ、又は組み合わされたボリュメトリック画像データの間で切り替えられることができる。
図4は、組み合わされたノイズ低減されない及びノイズ低減されたボリュメトリック画像データが、生成され表示される例示の方法を示す。
方法の工程の順序は制限的でないことが理解されるべきである。従って、他の順序が更にここに企図される。更に、1又は複数の工程が省かれることができ、及び/又は1又は複数の付加の行為が含められることができる。
工程402において、投影データが得られる。
工程404において、再構成器は、投影データを再構成し、ノイズ除去されない再構成ボリュメトリック画像データを生成する。
工程406において、同じ又は異なる再構成器が、投影データを再構成し、ノイズ低減された(又はノイズ除去された)再構成されたボリュメトリック画像データを生成する。
工程408において、再構成されたボリュメトリック画像データの3Dノイズ関数が決定される。工程410において、ノイズ低減された再構成ボリュメトリック画像データの3Dノイズ関数が決定される。
工程412において、ノイズ低減されない再構成ボリュメトリック画像データ及びノイズ低減された再構成ボリュメトリック画像データが、デフォルトの又はユーザ提供される関心のあるノイズ値に基づいて組み合わせられる。
1つの例において、関心のあるノイズ値は、図3のROIオーバレイ及び/又はビューポートを通じて決定される。
工程414において、組み合わされた再構成ボリュメトリック画像データが表示される。
工程416において、関心のある異なるノイズ値を受け取ることに応じて、工程412及び414が繰り返される。
上述の工程は、コンピュータプロセッサによって実行されるとき、記述された工程をプロセッサに実施させるコンピュータ可読命令であって、コンピュータ可読記憶媒体に符号化され又は埋め込まれることができるコンピュータ可読命令を通して実現されることができる。付加的に又は代替として、コンピュータ可読命令の少なくとも1つが、信号、搬送波又は他の一時的媒体によって担持される。
上記は、放射線医が現在スキャンされている被検体の画像を読影することに関連して利用されることができる。代替として、上記は、放射線医が1又は複数の以前にスキャンされた被検体の画像を読影することに関連して利用されることができる。後者は、以前にスキャンされた被検体のデータベースにアクセスし、放射線医が異なるノイズ除去再構成からの結果及びそれぞれ異なるノイズレベルに基づく異なる組み合わせからの結果をビューすることを可能にする。
後者は、スキャンのための線量を下げる潜在的な効果を視覚化するために利用されることができる。これは、まず、ノイズと線量との間の関係を決定し及び/又は取得し、次に関心のある線量又はノイズを提供し、対応するノイズ又は線量を表示し、再構成されたボリュメトリック画像データを処理し、提示することを含むことができる。この場合、ユーザは、線量及び/又はノイズパラメータを動的に変更し、後続の再構成を通じて効果を視覚化することが可能でありうる。
本発明は、好適な実施形態を参照して記述された。変形及び変更は、上述の詳細な説明を読み理解することにより当業者に思いつくであろう。本発明は、すべてのこのような変形及び変更が添付の請求項又はそれと等価なものの範囲内にある限りそれらを含むものとして構成されることが意図される。

Claims (14)

  1. 第1の再構成アルゴリズムにより投影データを処理し、第1の再構成ボリュメトリック画像データを再構成するステップであって、第1の再構成ボリュメトリック画像データは、ノイズ低減されていない再構成ボリュメトリック画像データであり、第1の3Dノイズを有する、ステップと、
    第2の異なる再構成アルゴリズムにより前記投影データを処理し、第2の再構成ボリュメトリック画像データを再構成するステップであって、前記第1の再構成アルゴリズム及び前記第2の再構成アルゴリズムは投影データの同じ組を再構成し、第2の再構成ボリュメトリック画像データは、ノイズ低減されている再構成ボリュメトリック画像データであり、前記第1の3Dノイズと異なる第2の3Dノイズを有する、ステップと、
    前記第1の再構成ボリュメトリック画像データの各ボクセルと、前記第2の再構成ボリュメトリック画像データの各ボクセルとの間の物理的マッピングを生成するステップと、
    主ビューポートに、前記第1又は前記第2の再構成ボリュメトリック画像データの一方を視覚的に提示するステップと、
    前記主ビューポートに提示される前記一方の再構成ボリュメトリック画像データのサブ部分の上に配置されるオーバレイ内に、前記物理的マッピングに従って、前記第1又は前記第2の再構成ボリュメトリック画像データの他方のサブ部分を視覚的に提示するステップであって、前記オーバレイは、関心領域のオーバレイであり、前記一方の再構成ボリュメトリック画像データの前記サブ部分及び前記オーバレイ内に提示される前記他方の再構成ボリュメトリック画像データの前記サブ部分は、関心領域の同じ部分の表現である、ステップと、
    を含む方法。
  2. 前記オーバレイが、第1のビューイング領域を有し、
    前記方法が、前記第1のビューイング領域より大きい第2のビューイング領域を有するポップアップビューポートを視覚的に提示するステップを更に含み、前記ポップアップビューポートは、前記オーバレイに視覚的に提示されるのと同じ前記第1又は第2の再構成ボリュメトリック画像データの前記他方のサブ部分を、前記第2のビューイング領域の前記第1のビューイング領域に対する比に基づいて拡大して、視覚的に提示する、請求項1に記載の方法。
  3. 前記第1の再構成ボリュメトリック画像データが、ノイズ低減されていない再構成ボリュメトリック画像データであり、前記第2の再構成ボリュメトリック画像データが、ノイズ低減されていない再構成ボリュメトリック画像データ及びノイズ低減されている再構成ボリュメトリック画像データの組み合わせである、請求項1又は2に記載の方法。
  4. 前記オーバレイの位置の変更を示す信号を受け取るステップと、
    前記信号に示されている位置へ、前記オーバレイを移動させるステップと、
    前記位置に基づいて、前記オーバレイに表示されるボリュメトリック画像データの前記サブ部分を更新するステップと、
    を含む、請求項1乃至3のいずれか1項に記載の方法。
  5. 前記第1の再構成ボリュメトリック画像データと前記第2の再構成ボリュメトリック画像データとの間で、前記オーバレイに表示されるボリュメトリック画像データを切り替えるステップを更に含む、請求項1乃至3のいずれか1項に記載の方法。
  6. 前記オーバレイに表示されるボリュメトリック画像データに基づいて、関心のあるノイズレベルを識別するステップを更に含む、請求項1乃至5のいずれか1項に記載の方法。
  7. 前記識別された関心のあるノイズレベルに基づいて、前記第1及び前記第2の再構成ボリュメトリック画像データを組み合わせ、組み合わされたボリュメトリック画像データを生成するステップと、
    前記組み合わされたボリュメトリック画像データを視覚的に表示するステップと、
    を含む、請求項6に記載の方法。
  8. 関心のあるノイズレベルを受け取るステップと、
    前記関心のあるノイズレベルに基づいて、前記第1及び前記第2の再構成ボリュメトリック画像データを組み合わせ、組み合わされたボリュメトリック画像データを生成するステップと、
    前記組み合わされたボリュメトリック画像データを視覚的に表示するステップと、
    を含む、請求項1乃至6のいずれか1項に記載の方法。
  9. 前記関心のあるノイズレベルの変更を受け取るステップと、
    変更された関心のあるノイズレベルに基づいて、前記第1及び前記第2のボリュメトリック画像データを再び組み合わせて、第2の組み合わされたボリュメトリック画像データを生成するステップと、
    前記第2の組み合わされたボリュメトリック画像データを視覚的に表示するステップと、
    を含む、請求項8に記載の方法。
  10. それぞれ異なる再構成アルゴリズムにより投影データの同じ組を再構成し、第1及び第2の再構成ボリュメトリック画像データを生成する再構成装置を有するシステムであって、
    前記第1の再構成ボリュメトリック画像データが、ノイズ除去されない再構成アルゴリズムにより再構成され、前記第2の再構成ボリュメトリック画像データが、ノイズ除去される再構成アルゴリズムにより再構成され、
    前記第1の再構成ボリュメトリック画像データの各ボクセルと、前記第2の再構成ボリュメトリック画像データの各ボクセルとの間の物理的マッピングが生成され、
    前記再構成装置が更に、
    前記第1又は前記第2の再構成ボリュメトリック画像データの一方を主ビューポートに視覚的に提示し、
    前記主ビューポートに提示される前記一方の再構成ボリュメトリック画像データのサブ部分の上に配置されるオーバレイ内に、前記物理的マッピングに従って、前記第1又は前記第2の再構成ボリュメトリック画像データの他方のサブ部分を視覚的に提示し、前記オーバレイは、関心領域のオーバレイであり、前記一方の再構成ボリュメトリック画像データの前記サブ部分及び前記オーバレイ内に提示される前記他方の再構成ボリュメトリック画像データの前記サブ部分は、関心領域の同じ部分の表現である、システム。
  11. 前記再構成装置が、前記主ビューポートに前記第1の再構成ボリュメトリック画像データを提示し、前記オーバレイ内に前記第2の再構成ボリュメトリック画像データの前記サブ部分を提示し、更に、前記オーバレイ内の前記第2の再構成ボリュメトリック画像データの前記サブ部分の拡大されたビューを含むポップアップビューポートを表示する、請求項10に記載のシステム。
  12. 前記オーバレイが、移動可能であり、
    前記再構成装置は、前記オーバレイが視覚的に表示された再構成ボリュメトリック画像データ上の異なるロケーションに移動されることに応じて、前記オーバレイ及び前記ポップアップビューポート内のデータを更新する、請求項11に記載のシステム。
  13. 前記再構成装置が、ユーザ入力として関心のあるノイズレベルを受け取り、前記受け取られた関心のあるノイズレベルに基づいて前記第1及び前記第2の再構成ボリュメトリック画像データを組み合わせる、請求項10乃至12のいずれか1項に記載のシステム。
  14. 前記再構成装置が、次のユーザ入力として関心のあるノイズレベルの変更を受け取り、前記関心のあるノイズレベルの変更に基づいて、前記第1及び第2の再構成ボリュメトリック画像データを組み合わせる、請求項13に記載のシステム。
JP2016507078A 2013-04-10 2014-03-28 再構成画像データの可視化 Active JP6905827B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019199661A JP6936842B2 (ja) 2013-04-10 2019-11-01 再構成画像データの可視化

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361810353P 2013-04-10 2013-04-10
US61/810,353 2013-04-10
PCT/IB2014/060253 WO2014167450A1 (en) 2013-04-10 2014-03-28 Reconstructed image data visualization

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019199661A Division JP6936842B2 (ja) 2013-04-10 2019-11-01 再構成画像データの可視化

Publications (3)

Publication Number Publication Date
JP2016514612A JP2016514612A (ja) 2016-05-23
JP2016514612A5 JP2016514612A5 (ja) 2017-04-20
JP6905827B2 true JP6905827B2 (ja) 2021-07-21

Family

ID=50624894

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016507078A Active JP6905827B2 (ja) 2013-04-10 2014-03-28 再構成画像データの可視化
JP2019199661A Active JP6936842B2 (ja) 2013-04-10 2019-11-01 再構成画像データの可視化

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019199661A Active JP6936842B2 (ja) 2013-04-10 2019-11-01 再構成画像データの可視化

Country Status (6)

Country Link
US (1) US11227414B2 (ja)
EP (1) EP2984630A1 (ja)
JP (2) JP6905827B2 (ja)
CN (1) CN105103194B (ja)
RU (1) RU2676001C2 (ja)
WO (1) WO2014167450A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592743B2 (en) 2017-08-24 2020-03-17 International Business Machines Corporation Machine learning to predict cognitive image composition
US10552944B2 (en) * 2017-10-13 2020-02-04 Adobe Inc. Image upscaling with controllable noise reduction using a neural network
CN109523605A (zh) * 2018-11-29 2019-03-26 上海联影医疗科技有限公司 一种ct图像重建的方法、装置、设备及介质
RU2741957C1 (ru) * 2020-06-01 2021-02-01 Федеральное государственное бюджетное учреждение науки Федеральный научный центр "Владикавказский научный центр Российской академии наук" Способ отбора селекционных образцов озимой тритикале
EP3964131A1 (en) 2020-09-03 2022-03-09 Koninklijke Philips N.V. Spectral x-ray material decomposition method

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1040449A1 (en) 1998-07-28 2000-10-04 General Electric Company Method and apparatus for calibrating a non-contact range sensor
US6285741B1 (en) 1998-08-25 2001-09-04 General Electric Company Methods and apparatus for automatic image noise reduction
RU2166909C1 (ru) * 2000-05-18 2001-05-20 Восканян Юрий Эдуардович Способ визуализации артерий нижних конечностей методом магнитно-резонансной ангиографии
JP2003153893A (ja) 2001-11-21 2003-05-27 Hitachi Medical Corp 断層写真像の作成装置
JP4217023B2 (ja) 2002-02-25 2009-01-28 一郎 佐久間 血管内皮計測装置
US6959106B1 (en) 2002-04-16 2005-10-25 General Electric Company Method and apparatus for detecting low contrast object in a diagnostic image
RU2252692C2 (ru) * 2003-07-25 2005-05-27 ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ НАУЧНО-ПРОИЗВОДСТВЕННО-КОНСТРУКТОРСКАЯ ФИРМА "Медиком МТД" Способ исследования функционального состояния головного мозга, устройство для исследования функционального состояния головного мозга и способ измерения подэлектродного сопротивления
US7489825B2 (en) 2005-07-13 2009-02-10 Ge Medical Systems Method and apparatus for creating a multi-resolution framework for improving medical imaging workflow
CN101292269A (zh) * 2005-09-26 2008-10-22 皇家飞利浦电子股份有限公司 具有增强噪声控制滤波的迭代重建
JP2007235227A (ja) * 2006-02-27 2007-09-13 Toshiba Corp 映像再生装置、および映像再生方法
US8077153B2 (en) * 2006-04-19 2011-12-13 Microsoft Corporation Precise selection techniques for multi-touch screens
WO2008042423A2 (en) 2006-10-02 2008-04-10 Hansen Medical, Inc. Systems for three-dimensional ultrasound mapping
US7756312B2 (en) 2006-10-19 2010-07-13 General Electric Company Methods and apparatus for noise estimation
US8081809B2 (en) 2006-11-22 2011-12-20 General Electric Company Methods and systems for optimizing high resolution image reconstruction
TW200828983A (en) 2006-12-27 2008-07-01 Altek Corp Method of eliminating image noise
EP2156408B1 (en) 2007-05-30 2021-03-17 Koninklijke Philips N.V. Pet local tomography
WO2009083864A2 (en) 2007-12-20 2009-07-09 Philips Intellectual Property & Standards Gmbh Iterative reconstruction of polyhedral objects from few projections
WO2009091824A1 (en) 2008-01-14 2009-07-23 Wisconsin Alumni Research Foundation Method for prior image constrained progressive image reconstruction
US7977943B2 (en) 2008-04-10 2011-07-12 General Electric Company Method and system for reconstructing images
US8472688B2 (en) 2008-04-17 2013-06-25 Wisconsin Alumni Research Foundation Method for image reconstruction employing sparsity-constrained iterative correction
DE102008052690B4 (de) 2008-10-22 2019-10-31 Siemens Healthcare Gmbh Vorrichtung und Verfahren zur Rekonstruktion und Visualisierung von Projektionsdaten
DE102008052691A1 (de) 2008-10-22 2010-04-29 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur Rekonstruktion und Visualisierung von Volumendaten auf der Basis allgemeiner Projektionsdaten
CN102224737B (zh) * 2008-11-24 2014-12-03 皇家飞利浦电子股份有限公司 组合三维视频和辅助数据
CN102282589A (zh) 2009-01-19 2011-12-14 皇家飞利浦电子股份有限公司 列表模式pet成像中的区域重建和定量评估
DE102009039987A1 (de) 2009-09-03 2011-03-17 Siemens Aktiengesellschaft Iterativer CT-Bildfilter zur Rauschreduktion
JP5349384B2 (ja) * 2009-09-17 2013-11-20 富士フイルム株式会社 医用画像表示装置および方法並びにプログラム
US8705831B2 (en) * 2009-09-24 2014-04-22 Koninklijke Philips N.V. System and method for generating an image of a region of interest
US9008386B2 (en) 2009-10-14 2015-04-14 3Mensio Medical Imaging B.V. Method, a graphic user interface, a system and a computer program for optimizing workflow of a medical intervention
US8862206B2 (en) 2009-11-12 2014-10-14 Virginia Tech Intellectual Properties, Inc. Extended interior methods and systems for spectral, optical, and photoacoustic imaging
EP2385494A1 (en) 2010-05-07 2011-11-09 IBBT vzw A method and device for estimating noise in a reconstructed image
DE102010029187A1 (de) 2010-05-20 2011-11-24 Siemens Aktiengesellschaft Verfahren zur Rekonstruktion eines einer Schnittebene durch ein aufgenommenes Objekt entsprechenden zweidimensionalen Schichtbildes und Röntgeneinrichtung
US8629404B2 (en) 2010-07-21 2014-01-14 Siemens Medical Solutions Usa, Inc. Method and apparatus to optimize injected dose and scan time in SPECT imaging
RU2585790C2 (ru) 2011-03-28 2016-06-10 Конинклейке Филипс Н.В. Изображение с зависящим от контрастности разрешением
JP5925438B2 (ja) * 2011-06-23 2016-05-25 株式会社東芝 超音波診断装置
CN103717137B (zh) * 2011-07-28 2016-11-23 皇家飞利浦有限公司 图像生成装置

Also Published As

Publication number Publication date
US11227414B2 (en) 2022-01-18
JP2020044341A (ja) 2020-03-26
EP2984630A1 (en) 2016-02-17
RU2015147854A (ru) 2017-05-22
RU2676001C2 (ru) 2018-12-25
JP2016514612A (ja) 2016-05-23
WO2014167450A1 (en) 2014-10-16
CN105103194B (zh) 2019-01-29
JP6936842B2 (ja) 2021-09-22
US20160048982A1 (en) 2016-02-18
CN105103194A (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
JP6936842B2 (ja) 再構成画像データの可視化
US11361479B2 (en) Enhancements for displaying and viewing tomosynthesis images
EP2132715B1 (en) Image viewing window
EP2486548B1 (en) Interactive selection of a volume of interest in an image
US9087400B2 (en) Reconstructing an object of interest
JP2020175206A (ja) 画像視覚化
US9424641B2 (en) Visual suppression of selective tissue in image data
CN106663319B (zh) 谱图像数据的可视化
US20100034439A1 (en) Medical image processing apparatus and medical image processing method
JP6560745B2 (ja) 生体構造のボリュメトリック画像を視覚化すること
JP6486953B2 (ja) 画像データにおける運動構造をセグメント化する方法、対象運動構造セグメンター及び記憶媒体
JP2015515296A (ja) 対象物の画像情報の提供
US20230334732A1 (en) Image rendering method for tomographic image data
Zambare et al. Design Augmented Embedded System for 2D-3D Visualization in Cardiac Surgery

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170317

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180111

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190604

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191101

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20191101

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20191112

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191211

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20191212

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200221

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200227

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200407

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200521

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200820

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201124

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210402

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210408

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210511

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210608

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210628

R150 Certificate of patent or registration of utility model

Ref document number: 6905827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150