JP6918528B2 - 医用画像処理装置及び医用画像処理プログラム - Google Patents

医用画像処理装置及び医用画像処理プログラム Download PDF

Info

Publication number
JP6918528B2
JP6918528B2 JP2017048095A JP2017048095A JP6918528B2 JP 6918528 B2 JP6918528 B2 JP 6918528B2 JP 2017048095 A JP2017048095 A JP 2017048095A JP 2017048095 A JP2017048095 A JP 2017048095A JP 6918528 B2 JP6918528 B2 JP 6918528B2
Authority
JP
Japan
Prior art keywords
curved surface
manifold
image processing
image
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017048095A
Other languages
English (en)
Other versions
JP2017164496A (ja
Inventor
レイノルズ スティーブン
レイノルズ スティーブン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2017164496A publication Critical patent/JP2017164496A/ja
Application granted granted Critical
Publication of JP6918528B2 publication Critical patent/JP6918528B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/06Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067Reshaping or unfolding 3D tree structures onto 2D planes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00Arrangements or instruments for measuring magnetic variables
    • G01R33/20Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48NMR imaging systems
    • G01R33/54Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/06Curved planar reformation of 3D line structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/021Flattening

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Pulmonology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Generation (AREA)

Description

本実施形態は、例えば、解剖学的構造を視覚化することができる医用画像処理装置及び医用画像処理プログラムに関する。
臨床医が胸部検査を行う際に、変位や変位のない、骨折または骨病変を識別し数えられることが必要である。例えば、全ての肋骨が検査されていることを確実にし、その中の肋骨のどこに骨折や損傷が位置するのかを決定する必要がある。
例えばコンピュータ断層撮影法(CT)、磁気共鳴映像法(MRI)や陽電子放射断層撮影法(PET)など、幅広い医用撮像モダリティは、診断またはその他の目的のための患者またはその他の被検体を描出する三次元医用撮像データを取得するための標準的な技術となった。
患者やその他の被検体の肋骨を観察して何か骨折があるかを特定するために、CTデータまたはその他の医用撮像モダリティから生成された、体軸断面や斜断面での多断面再構成(MPR)ビューを使うことが知られている。体軸または斜断面MPRビューは、例えば患者の胴体にわたるスライスなど、三次元画像データのセットを通して、体軸または斜断面スライスを具備していてもよい。臨床医は、順に体軸スライスまたは斜断面スライスのシリーズの段階を踏むことで、患者の肋骨を観察することが出来る。それぞれのスライスは、少なくとも一本またはそれ以上の肋骨を含むかもしれない。異なる肋骨が異なるスライス上に示されるかもしれない。また個々の肋骨が多数のスライス上に現れるかもしれない。
実際に、このような技術を使うことで、全ての肋骨が適切に検査されてきたことを臨床医に対して保証するのは困難になる可能性がある。さらに、一旦骨折が確認されても、一体特定の肋骨のどこにその骨折があるのかを突き止めることは、困難な可能性がある。それぞれのスライスは、特定の肋骨または複数の肋骨しか表さないため、どの肋骨が所定のスライス上に示されているかを見分けるのは、難しい可能性がある。また、臨床医にとって、体軸または斜断面MPRビューのセットを通して段階を踏むことは、時間のかかることかもしれない。
従来から、それぞれの肋骨についての曲面再構成(Curved MPR:「CPR」、「カーブドMPR」とも言う。)画像を明確にする肋骨中心線追跡アルゴリズム等の技術が提案されている。合成画像はその後、肋骨のCPR画像集と背骨のCPR画像とから生成される。効率的に、それぞれの肋骨は画像において真っ直ぐにされた形で示されている。原理上、このような技術は、変位のない骨折をより簡単に可視化する。
しかし、従来技術による画像における肋骨の直線化は、肋骨の相対的な位置や方位の把握を困難なものとしてしまう可能性がある。肋骨の直線化は、画像の見た目を不自然なものにしてしまうかもしれない。さらに、合成画像が生成されてきたいくつかの方法において、生成された合成画像に、背骨と肋骨との間に断絶のようなものが現れるかもしれない。
骨折を特定するために、展開された、胸郭の最大輝度投影(MIP)画像を生成することも提案されてきた。この様な展開されたMIP画像は、原則として、胸郭の優れた全体ビューを与えることが出来る。しかし、MIPなど、輝度投影技術を使い生成されたビューは、変位のない骨折、特に変位のない骨折が部分的な骨折の場合、巧みに隠してしまうことがある。
MIPは、例えばレイに沿った最高輝度を返すことで、最大輝度の点を選択する。骨折した骨、特に骨折が部分的な骨折に対し、輝度の最大値は、骨折してない点で起きるかもしれない。従ってある状況では、MIPは骨折の線に沿った点を描かないかもしれず、結果画像において骨折の可視を困難にするまたは不可視にしてしまう。
変位のない骨折は、例えば、MIPやその他の輝度投影技術など、肋骨の表面から取得された画像データ値により描出している、または画像データ値により支配された画像を生成する、撮像技術には見えない可能性があるので、特に特定が困難になることがある。
本実施形態は上記事情に着目してなされたもので、従来に比して解剖学的構造を好適に視覚化することができる医用画像処理装置及び医用画像処理プログラムを提供しようとするものである。
一実施形態に係る医用画像処理装置は、曲面決定部と、画像生成部とを具備する。曲面決定部は、複数のサブ構造を有する解剖学的構造に関する三次元データに対し、複数のサブ構造を通過する第1の曲面を決定する。画像生成部は、第1の曲面上の複数のサンプル点についての三次元データを用いて、第1の曲面に対応する二次元画像を生成する。
図1は、実施形態に係る医用撮像データ処理システムの概略図である。 図2は、図1のシステムの作動モード全体を描いているフローチャートである。 図3は、軸とデータサンプリングパスを描いている軸の周辺の複数の面と複数の線とにオーバーレイした被検体の胸郭の概要図である。 図4は、複数の面の一部を描いた略図であり、軸に対して垂直方向に対して傾けられた面を示している。 図5aは、軸から放射状に延びており、撮像データセットに示された解剖学的構造と交わる、データサンプリングパスを示す略図である。 図5bは、解剖学的構造を通過するデータサンプリングパスを示す図5aの一部分を拡大した図であり、データサンプリングパスと解剖学的構造との交点の範囲のインジケーターを含んでいる。 図6は、多様体と、軸と、軸からレイパスが続き多様体と交差するレイと、を通過するスライスは、多様体が生成された画像データを通過するスライスの描出とオーバーレイされたスライスの概略図。 図7は、図1のシステムの作動モード概要を描いているフローチャート。
実施形態は、これより付随する図面を参照に例に限定されない方法で、説明される。
実施形態に係る医用画像処理装置10は、図1に示されている。医用画像処理装置10は、この場合はパーソナルコンピュータ(PC)またはワークステーションである、計算装置12を具備しており、CTスキャナ14、一つ以上の表示スクリーン16またはその他の表示デバイス、そしてコンピュータキーボード、マウスまたはトラックボールなど、入力装置または複数の入力装置18に接続されている。
CTスキャナ14は、患者またはその他の被検体の領域のボリューメトリックCTデータを取得するように構成されている、任意のCTスキャナでもよい。患者またはその他の被検体の領域は、関心の少なくとも一つの解剖学的構造を具備している可能性がある。本実施形態において、患者の領域は胴体で、関心の解剖学的構造は肋骨である。その他の実施形態において、解剖学的構造は任意の適切な構造であってもよく、例えば頭がい骨または骨盤などの骨や、肝臓、心臓または胃などの臓器である。患者の領域のボリューメトリックCTデータは、画像処理に最適な一つ以上のボリューメトリック撮像データセット中へと再構成される可能性がある。
代替的な実施形態において、CTスキャナ14は、例えばMRI(磁気共鳴撮像)スキャナ、X線スキャナ、PET(陽電子放射断層撮影法)スキャナ、SPECT(単光子放出コンピュータ断層撮影)スキャナ、または超音波スキャナなど、三次元医用撮像データを提供するように構成された撮像モダリティであれば、任意のボリューメトリックスキャナと置き換えられてもよいし、または補われてもよい。
本実施形態では、CTスキャナ14によって取得されたボリューメトリックCTデータセットは、メモリ20に格納され、その後に計算装置12に提供される。代替的な実施形態において、ボリューメトリックCTデータセットは、画像保管通信システム(PACS)の一部を形成する可能性のある、遠隔データストア(図示せず)から供給される。メモリ20または遠隔データストアは、メモリストレージの任意の適切な形態を具備していてもよい。
計算装置12は、撮像データセットを自動的にまたは半自動的に処理するための処理リソースを提供し、中央処理ユニット(CPU)を具備する。本開示において、計算装置12は、多様体決定回路24と、画像生成回路28とを含む。
本実施形態において、多様体決定回路24と画像生成回路28は、実施形態の方法を実行することが可能なコンピュータ可読指示を有するコンピュータプログラムの手段により、計算装置12でそれぞれ実行される。例えば、多様体決定回路24と画像生成回路28は、例えばCPU22によって、計算装置12で実行可能な個別のコンピュータプログラムまたはアルゴリズムとして、それぞれ実行される可能性がある。しかし、その他の実施形態において、回路は、一つ以上のASICs(特定用途向け集積回路)またはFPGAs(フィールド・プログラマブル・ゲート・アレイ)として、実行されてもよい。
計算装置12は、ハードドライブや、RAM、ROM、データバス、様々なデバイスドライバを含むオペレーティング・システムや、グラフィックス・カードを含むハードウェアデバイス、も包括するPCのその他構成要素も持つ。このような構成要素は、明確にするために図1には図示されていない。
図1のシステムの工程は、図2のフローチャートにおける概略で示されている。プロセスの第一ステージ100で、計算装置12は医用撮像データセットを受信する。この実施形態において、医用撮像データセットは、スキャンボリュームにおける対応位置でのCTスキャンにより決定された、X線吸収レベルを表すそれぞれのボクセルの輝度値を伴う、ボクセルのセットを具備する三次元CTデータを具備する。
代替的な実施形態において、医用撮像データセットを取得するために、任意のその他適切なモダリティが使われてもよいが、例えば磁気共鳴(MR)撮像または陽電子放出断層撮影(PET)撮像がある。
プロセスの次の段階102で、多様体決定回路24は、多様体決定プロセスにおいて使用するための軸を決定する。軸200は、図3および4に概略的に示されている。本実施形態において、軸200は、医用撮像データセットの被検体であり、背骨と実質的に位置合わせされた、患者の上下(superior−inferior)軸に従う。この場合、軸200は、CTスキャナの長軸および患者の上下軸とは実質的に一直線であるという理解に基づき、医用撮像データセットの座標系から設定される。
その他の実施形態において、任意の適切なプロセスが、軸を決定するために使われてもよい。例えば、セグメンテーションプロセスは、背骨またはその他の解剖学的構造の位置または方位を決定するために医用撮像データセットに実行されてもよいし、セグメンテーションに基づいて、軸200の位置または方位が決定されてもよい。
プロセスの次の段階104で、多様体決定回路24は、軸200の周りに拡がっている複数の面210を決定する。軸200と垂直方向に延長するよりも、軸200に対して面210が傾けられるのが、本実施形態の特徴である。一般に、ヒト患者のそれぞれの個々の肋骨は、背骨の方向に対し傾けられた面と位置合わせされており、面210を傾けることで、面210は肋骨とより一直線に並べられるだろう。その他の実施形態において、面210は、任意の解剖学的構造と実質的に位置合わせされて傾けられてもよい。
本実施形態において、面210の全ては、図4に角度アルファで示されているように、同じ角度で傾いている。その他の実施形態において、異なる面210は、異なるチルト角を有していても良い。実施形態において、面210のチルト角が固定されてもよく、所定のチルト角、またはチルト角が自動的か半自動的に決定されてよく、例えば、医用撮像データセットのセグメンテーションに基づく、および/またはユーザ入力に従って傾き角度が決められてもよい。
プロセスのステージ106で、多様体決定回路24は、それぞれの面210上の複数のデータサンプリングパス220を決定する。データサンプリングパスの例のいくつかが図3に示されている。データサンプリングパス220は、軸200に対して放射状に拡がっている。
本実施形態において、それぞれの面210に対する複数のデータサンプリングパス220は、軸200の周りを実質360度にわたって分配されている。その他の実施形態において、データサンプリングパス220は、360度よりも小さい角度にわたって分配されているかもしれない。データサンプリングパス220は、面の周辺を実質的に等しい角度間隔で空いている可能性がある。
図5aは、軸200が面210の中心にある、単一面210の概略図である。図5aは、面210に対応する医用撮像データセットを通したスライスの描出とオーバーレイされている。図5aは、軸200から放射状に延びる複数のデータサンプリングパス220を示している。明確にするために、図5aにはプロセスのステージ106において決定される、データサンプリングパス220のサブセットのみが描かれている。さらに面210上のデータサンプリングパス220は、存在しているものの図5aには図示されていない。
図5bは、図5aの一部分の拡大図で、二つのデータサンプリングパス220aおよび220bの一部を示している。それぞれのデータサンプリングパス220aおよび220bは、医用画像データセットにおいて骨の領域230と交差している(この場合、骨は肋骨の一部)。骨の領域230は、骨の境界が骨の真ん中よりも高い輝度を有しているため、図5aおよび図5bにおいて輪のような見た目になっている。
ステージ108で、多様体決定回路24は、軸220からそれぞれのデータサンプリングパス220に沿ってレイをキャスティングすることにより、それぞれのデータサンプリングパス220に沿った複数の点のそれぞれで、医用撮像データセットをサンプルする。多様体決定回路24は、医用撮像データセットの輝度値からそれぞれのデータサンプリングパス220に沿って、複数の点のそれぞれに対する輝度値を決定する。複数の点に対する輝度値を決定する際、多様体決定回路24は、複数のデータサンプリングパス220のそれぞれに沿って、医用撮像データの輝度値の変化の度合いを決定する可能性がある。
ステージ110から114で、多様体決定回路24は、少なくとも一つの解剖学的構造の形を描出する形状を有する曲面を決定する。ステージ110から114で、多様体決定回路24は、少なくとも一つの解剖学的構造の形状を描出する形状を持つ曲面を決定する。少なくとも一つの解剖学的構造は、複数の分離されたサブ構造を有するものであり、今の場合胸郭が複数の肋骨を含んでいる。記載の実施形態では、曲面は多様体400と呼ばれ、例えば曲面または複合3D多様体と多様体400とは、全ての関心解剖学的構造、本実施形態では全ての肋骨と交差する。
問題の解剖学的構造または複数の構造の形状の任意のその他適切な曲面、例えば任意の適切な多様体は、代替的な実施形態に従って決定される可能性があり、また曲面は任意の適切な二次元または三次元形状の可能性もある。曲面は最小、ごくわずかか全く厚みがなく、このような曲面は曲面二次元形状と考えられ得る。代替的に、曲面がゼロではない、またわずかでない、または最小の厚みよりもより大きな厚みを有してもよく、このようにスラブなど三次元形状でもよく、例えば湾曲したスラブである。このようなスラブは、例えば、一ボクセルよりも、より厚みのある可能性がある。対象的に、全く厚みや幅のないラインは、ラインが三次元空間を通して曲面パスに従う場合であっても、一次元形状と考えられ得る。
図1の実施形態において、多様体決定回路24は曲面を決定するために使用されるが、この場合曲面は、多様体400である。代替的な実施形態において、任意の適切な回路は、曲面を決定するために使用されてもよい。
ステージ110で、少なくとも一本の肋骨で交わるそれぞれのデータサンプリングパス220に対し、多様体決定回路24は、データサンプリングパス220に沿ったレイキャストが肋骨と交差する最初の点(つまり、軸に最も近い点)と、データサンプリングパス220に沿ったレイキャストが肋骨と交差する最後の点(つまり、軸から最も遠い点)と、を決定する。多様体決定回路24は、データサンプリングパス220に対する推定される多様体位置を決定する。この推定される多様体位置は、最初の点と最後の点との中間点である。この中間点は、レイと肋骨との交点の始まりと終わりの中間である。その他の実施形態において、推定される多様体位置を決定するのに、異なる方法が使用されてもよい。例えば、実施形態の中には、レイと肋骨との間の交差への終点がないものがある。実施形態には、推定される多様体位置は、レイと肋骨との間の最初の交点に関連して、決定されるものもある。
図5aは、データサンプリングパス220aについて決定された、最初の点240、最後の点242、そして中間点244と、データサンプリングパス220bについて決定された、最初の点250、最後の点252、中間点254を示している。
中間点は、骨の骨髄の内にある可能性がある。ある状況下では、最初の点と最後の点とのそれぞれが中間点よりも好適に正義されている可能性があるので、中間点を探すために最初の点と最後の点とを使用することは有益な場合がある。最初の点と最後の点とのそれぞれは、骨の外側部分が骨髄よりも大きな輝度を持つだろうから、最初の点と最後の点とは中間点よりもよりコントラストを持つだろう。
本実施形態において、中間点を決定するために最初の点と最後の点とを使用することによる多様体の決定は、肋骨の外側部分は肋骨の内側部分よりも大きな輝度を有することに伴い、肋骨の厚さにわたる輝度の値の予想プロフィールに基づく。その他の実施形態において、多様体の決定は、任意の解剖学的構造にわたる任意の適切なパラメータの予想プロフィールに基づいていてもよい。
本実施形態において、多様体決定回路24は、骨を描出する輝度を有する点を特定するために輝度しきい値を使用することで、また骨を描出する輝度を有する最初の点と最後の点とを検出することで、それぞれのデータサンプリングパス220に対する最初の点と最後の点とを決定する。その他の実施形態において、肋骨はステージ108の前に医用撮像データセットからセグメントされ、中間点の特定はセグメントされた肋骨を使用して実行される。最初の点と最後の点とは、セグメンテーションにより、肋骨としてラベル付けられた最初の点と最後の点である。更なる実施形態において、関心解剖学的構造の部分である、点の特定の任意の適切な方法が使用されてもよい。
実施形態の中には、中間点を計算する前に、最初の点と最後の点とがフィルタされるものもある。交点は、レイに沿った距離として格納される。このフィルタリングは、格納された距離の近接をその近接と畳み込むことにより、格納された距離に影響を及ぼすことが出来る。フィルタされた距離の中間点は、多様体を明確にするために使用することが出来る。最初の点と最後の点とをフィルタリングすることは、レイに対して選択された、推定される多様体位置が、連続する曲面とその近辺を形成することを確かなものにするために、一役買う可能性がある。
肋骨と交差する、それぞれのデータサンプリングパス220に対して推定される多様体位置は、ステージ110で決定された。しかし、本実施形態において、データサンプリングパス220の中には、肋骨と交差しないものがある。例えば、何本かのデータサンプリングパス220は、肋骨の間の隙間を通過する可能性があるからだ。
ステージ112で、多様体決定回路24は、ステージ110で中間点として決定された、推定される多様体位置から補間または補外することにより、肋骨と交差しないデータサンプリングパス220のそれぞれに対する推定される多様体位置を決定する。どの骨とも交差しないデータサンプリングパス220に対し、多様体決定回路24は、骨に当らない近接のレイとの間の曲面表面上に位置を補間する。
多様体決定回路24は、曲面をステージ110で決定された中間点へフィッティングすることで、補間を実行する可能性がある。多様体決定回路24は、近接のレイを処理することで、肋骨領域の中についてもっともらしいCPR(曲面プラナー再フォーマット)表面(即ち、多様体400の少なくとも一部のもっともらしい推定)を検出する可能性がある。肋骨と交差しないデータサンプリングパス220に対する推定される多様体位置決定の方法は、二次元信号再構成のための規格化畳み込みの使用を具備する可能性がある。(例えば、Anders Landstrom 共著、『重点増分規格化畳み込みによる画像再構成、画像分析』(Image Reconstruction by Prioritized Incremental Normalized Convolution, Image Analysis):17th スカンジナビア協議会、SCIA 2011、Ystad、スウェーデン、2011年5月、Proceedings、176―185頁、H.Knutsson、C.―F Westin.『規格化および微分畳み込み』(Normalized and differential convolution) In Proceedings of IEEE 『コンピュータビジョンおよびパターン認識における社会協議』(Society Conference on Computer Vision and Pattern Recognition) CVPR‘93、515―523頁、1993年6月、を参照。)
ステージ114で、多様体決定回路24は、ステージ110から112の推定される多様体位置に基づいて、多様体400を決定する。実施形態の中に、多様体400は、ステージ110と112とで決定された、全ての推定される多様体位置を含むものがある。実施形態には、多様体決定回路24が、推定される多様体位置の少なくともいくつかを調節し、その多様体は調整された位置を含むものもある。例えば、多様体決定回路24は、推定される多様体位置との整合性に対する推定される多様体位置を検査し、もし整合性がないと判明した場合に、少なくとも推定される多様体位置のいくつかを調整する可能性がある。実施形態の中には、多様体決定回路24は、偽陽性を除去するために、データサンプリングパス220のそれぞれに対する候補肋骨領域のリスト作成し、隣接のレイから候補領域を比較するものがある。
中には、決定された多様体400がフル多様体であり、連続的な表面を具備するかもしれない実施形態がある。その他の実施形態において、多様体400は部分的な多様体であり、少なくとも一つの非連続的な表面を具備する可能性がある。例えば、多様体400は、肋骨上に決められるかもしれないし、また肋骨の間の領域に対して決められないかもしれない。本実施形態において、多様体400は、全ての肋骨と交差する表面であり、胸郭の少なくとも一部の形を表す。その他の実施形態において、三次元多様体400は、任意の適切な解剖学的構造と交差してもよい。
多様体決定回路24は、多様体の要求される基準と一致する、点に対するボリュームを検索するように構成されている。図2のステージ100から114に関する上述のプロセスにおいて、多様体決定回路24は、円筒投影法を使って検索を開始し、円筒投影法と肋骨とによって決められたレイの交点の開始と終わりとの間の中ほどに点を決定する。その他の実施形態において、多様体上に点を決める任意の適切な方法が使われてよい。例えば、異なる投影システムが使われてもよい。本実施形態において、多様体400は自動的に導出される。その他の実施形態において、多様体400はユーザ入力を使って決定されてもよい。
多様体決定回路24は、多様体400を通過して画像生成回路28へ達する。
ステージ116から122において、多様体400は、多様体400上の点の輝度値を使って、肋骨の曲面MPR画像を取得するために使用される。その肋骨の曲面MPR画像は、肋骨の展開されたビューを表す、二次元画像である。投影システム(この場合、傾けられた円筒投影法を有する)は、生成される予定の局面MPR画像の点を、多様体400の表面上の点へマップするために使用される。ステージ116で、画像生成回路28は、投影システムを使用して複数のレイパス500を決める。レイパス500の数は、生成されるピクセルの数と対応する。
レイパス500決定における第一のステップとして、カメラ軸が患者の上下軸に沿って決められる。本実施形態において、決められたカメラ軸は、図3および図4に示された軸200と同じである。その他の実施形態において、カメラ軸は、多様体400の決定において使用される、軸200とは異なるものでもよい。
点の集まりO1…Nは、カメラ軸に沿って決められる。それぞれの点Oiは、出力画像においてピクセルの横の列に対応するようになる。それぞれの点Oiに対し、垂直面Piは決められ、面Piは角度に基づいてチルトされる。本実施形態において、面P1…Nは図3および図4に示される面210と同じであり、上記チルト角は図4に示される角度αである。チルト面を使用することで、もしチルト面がチルトしていない場合よりも、結果画像において肋骨をより水平に見えるようになる。
レイパス500の収集は、Oiを中心として基点Aiを含む面Pi内を回転することで、面Piにおいて定義される。本実施形態において、レイパス500は、カメラ軸を中心として、実質360度に等しい範囲に分配されている。それぞれのレイパス500は、列に対する出力画像において、異なる水平ピクセルに対応する。
本実施形態において、レイパス500は、データサンプリングパス220と同じである。その他の実施形態において、レイパス500はデータサンプリングパス220とは異なる。例えば、多様体400を取得するために使用される投影とは、異なる投影を用いてもよい。データサンプリングパス220よりも、多いまたは少ないレイ500があってもよい。例えば、多様体400を決定するために使用されるデータサンプリングパス220の数は、画像におけるピクセル数より多くなるだろうし、従って画像生成回路28によって使われるレイ500の数よりも多くなるだろう。
実施形態の中に、ステージ106で決定されたデータサンプリングパス220は、レイパス500として使用され、ステージ116が省略されるものがある。
ステージ118で、画像生成回路28は、レイパス500のそれぞれに沿ったレイをキャスティングする。それぞれのレイがどのように処理されるかが、出力画像に後々影響するようになる。
本実施形態において、画像生成回路28は、それぞれのレイパス500に対する点を決定し、その点とは、レイパス500に沿ったレイキャストが多様体と交差する箇所である。本実施形態で、多様体400は、レイパス500に沿った方向に厚みがないため、多様体400とそれぞれのレイとの交点は、多様体400上の一点510である。画像生成回路28は、従ってレイパス500の数に対応する数の点510のセットを決定する(また、それにより画像のピクセル数に対応する数を決定する。)
本実施形態において、点510は、レイパス500に沿ったレイキャストが多様体400と交差する点である。その他の実施形態において、多様体400上の点510は、レイキャスティングを含んでも含まなくてもよい、任意の適切な方法を使用して、決定されてもよい。任意の適した投影方法が使われる可能性がある。複合多様体を二次元撮像平面に展開するという問題については、地図投影を取得する際に直面する問題と同様の問題を持つために、複数の意義において考慮した方が良い。地図投影に対して多くの異なるアプローチが知られているからである。所望により、地図投影法に使用する適切な投影方法が、本願に対して使用される可能性もある。
本願実施形態の一方で、レイ500はデータサンプリングパス220と実質的に接触するが、その他の実施形態において、レイ500とデータサンプリングパス220とは異なる。画像生成回路28は、点510のそれぞれで医用撮像データセットをサンプルする。本実施形態において、画像生成回路28は、医用撮像データセットから点510のそれぞれに対するボクセル輝度値を決定する。その他の実施形態において、任意の適切なパラメータの値が点510でサンプリングすることにより、決定されてもよい。
図6は、多様体400にわたるスライスの概略図である。図6は、軸520とレイパス500を示す。レイは、軸520からレイパス500をたどり、多様体400と交差する。図6の描出は、画像データから多様体400が生成され、その画像データを通したスライスとオーバーレイされる。
レイは、取得される肋骨の展開されたビューを可能にする、円筒投影法を提供する。レイは、画像におけるポイントを多様体表面上のポイントにマップするために使用される。それぞれのレイは、出力画像の個別のピクセルに対応する。
ステージ120で、画像生成回路28は、ステージ118でサンプルしたボクセル輝度値を使用して、複数のレイパス500のそれぞれに対する個別のピクセル値を決定する。本実施形態において、画像生成回路28は、そのレイパス500に沿ったレイキャストが多様体と交差する点510についてのボクセル輝度値に、伝達関数を適用することで、それぞれのレイ500に対するピクセル値を決定する。それぞれの点510に対するボクセル輝度値は、医用撮像データセットをサンプリングすることにより、ステージ118で決定されている。
その他の実施形態において、それぞれのレイ500に対するピクセル値を取得する任意の方法が使用されてよく、曲面はスラブの形状であってもよい。そのスラブは、多様体400にレイに沿った方向の厚みを与えることで、取得される(この場合、放射状方向)。実施形態の中には、スラブの厚みが自動的に決定されるものがある。またある実施形態は、ユーザによって厚みが選択されるものもある。
ある実施形態で、スラブサンプルは、導出された直交/デカルトボリュームを出力するために使われる。この導出された直交/デカルトボリューム中において、新しいボリュームXYは、投影された画像空間に対応し、Xはレイ方向にあるスラブオフセットにおいて使用されるサンプルのセットである。この導出されたボリュームはその場合、例えば影付きボリュームレンダリング、IPボリュームレンダリング、全体照明レンダリング、MPRなど、任意のその他現行のボリューム撮像技術と使用することが出来る。
画像生成回路28は、レイがオリジナル多様体400と交差する最も近い交点である、それぞれのレイに沿った多数のボクセルまたはその他の点(例えば、3、4、または5つのボクセル)をサンプルする。画像生成回路28は、それぞれのレイに対するピクセル値を取得するために、スラブの投影を使用する。
実施形態の中に、画像生成回路28は、それぞれのレイに対しピクセル値を決定するスラブの最大輝度投影を使用するものがある。例えば、それぞれのレイ500のピクセル値は、レイ500について画像生成回路28によってサンプルされた、3、4、または5つのボクセル値の最大値に基づいてもよい。画像生成回路28は、最終ピクセル色を決定するために、スラブと交差するそれぞれのレイの一部に沿ったIP集積を実行し得る。実施形態の中には、画像生成回路28は、ピクセル値がスラブにおけるレイの一部分にわたる信号変化率に依存する、分散投影法を使用する。一般的に、サンプル点の収集、レイ方向におけるそれぞれのオフセットは、スラブ画像を生成するのに使用される可能性があり、IP投影方法は出力結果を決定するために使われる可能性がある。スラブの厚みにわたる任意の適切な投影が使われてよく、実施形態は最大輝度投影の使用に限られたものではない。
図2のプロセスに再び戻って、ステージ122で画像生成回路28は、ステージ120で決定されたピクセル値を使って、表示スクリーン16上に表示するための二次元出力画像を生成する。二次元画像のそれぞれのピクセルは、個別のレイパス500に対応する。レイパス500が傾けられた円筒座標系で定義されるので、二次元画像は、少なくとも何本かの肋骨が実質的に水平に見える可能性のある箇所において、肋骨の展開されたビューを提供する。
本実施形態において、ユーザが関心領域上に焦点を合わせられるように、ユーザは、拡大縮小ツールを使って、出力画像の見た目をコントロールすることができる。画像生成回路28は、ユーザ入力に従って、二次元出力画像をアップデートしてよい。同じデータの展開されたビューと体軸MPRビューとの間のナビゲーションを可能とする、追加の三角測量ツールが使用されてもよい。例えば、ユーザは、体軸MPRビューをクリックしてよいし、展開されたビュー上の対応する点がハイライトされてもよいし、その逆もまた然りである。
二次元画像は、患者の肋骨の全てと交差する、発展型曲面MPRビュー(advanced curved MPR)(またはCPRビュー、曲面再構成ビュー)として、記載される可能性がある。発展型曲面MPRビューによって、全ての肋骨は同時に視覚化できるようになるだろう。同時に全ての肋骨を視覚化することで、骨折や病変が発生した肋骨を臨床医が特定しやすくなるだろう。体軸MPRビューまたは斜断面MPRビューのセットを通して段階を踏むよりもむしろ、曲面MPRビューを使うことで同時に全ての肋骨を見る方が、臨床医にとってより速いだろう。
二次元画像は、二段階プロセスを使って、取得される。二段階プロセスの第一段階は、全ての関心構造が交差する多様体決定を具備する。二段階プロセスの第二段階は、最終ピクセル色を決定するためのカラールックアップに使用するために、2D対象画像におけるポイントを多様体表面の点へのマッピングと、多様体表面のマッピングする点のサンプリングを具備する。
多様体の決定を含む二段階プロセスを使用することによって、肋骨など特定の生体組織がユーザにとって便利な方法によって画像化されることを可能にする。例えば、本実施形態において、二段階プロセスによって、肋骨骨折の効果的な視覚化を可能にするかもしれない。その他の実施形態において、二段階プロセスによって、その他の解剖学的構造の効果的な視覚化を可能にするかもしれない。
肋骨を通過する多様体の決定によって、例えば、肋骨の真ん中を通過する表面の視覚化など、取得される肋骨を通過する表面の視覚化が可能になるだろう。発生したビューは、例えば、多様体の決定なしで最大輝度投影を使う方法によるなど、その他の方法によって発生されるビューにとっては異なるものになる可能性がある。肋骨を通る多様体400上の点に対する輝度に基づいて画像を示すことは、最大輝度に基づく画像よりも、骨折の改善されたビューを提供し得る。
図2の方法は、変位のない骨折の改善された可視性を提供することがある。薄いCPRビューは、変位のない骨折を可視化するだろう。図2の方法は、もし骨折が背骨近くにあれば、特に便利かもしれない。背骨に近い骨折は、もし何らかの既知の方法を使う場合よりも、より見やすい可能性がある。図2の方法は、骨病変の改善されたビューを提供するだろう。
展開された投影は、図2の処理で使用される。患者の肋骨の全てと交差する複合多様体400は、自動的に抽出される。画像を作成するために使用される多様体400は、実質的に連続的であってよい。投影システムは、多様体表面上の点に対応するピクセルの箇所で、二次元画像を表示するのに使用される。
図2の方法は、肋骨と交差する多様体400の取得を具備する。多様体は、肋骨の中間点に基づくので、肋骨の真ん中を通過または中間を通過するかもしれない。その他の実施形態において、多様体決定回路24は、多様体の境界線を変化させることで、修正された多様体を取得するように構成されている。多様体の境界変化は、多様体の拡大または縮小を具備し得る。多様体400を拡大させるまたは縮小させるために、オフセットが多様体400に適用される可能性がある。
例えば、実施形態の中には、多様体決定回路24は、拡大された多様体を取得するために、軸に対して多様体外側上の点をオフセットするものがある。図2に関連して上記で述べた通り、画像生成回路28は、拡大された多様体を使用して、レイキャスティング処理を実行する。画像生成回路28は、それにより拡大された多様体に基づいて、更なる画像を取得する。拡大された多様体は、それぞれの肋骨の中心を通過するよりも、例えば、それぞれの肋骨の外側表面または外側表面近くなど、それぞれの肋骨の外側部分を通過する可能性がある。
実施形態には、多様体決定回路24が、縮小された多様体を取得するために、軸に向かって多様体内側上の点をオフセットするものもある。縮小された多様体は、例えば、それぞれの肋骨の内側表面または内側表面近くなど、それぞれの肋骨の内側部分を通過するだろう。画像生成回路28は、縮小された多様体に基づく画像を取得する。
実施形態の中には、多様体決定回路24が、ユーザにより選択されてきたオフセット値を具備する、ユーザ入力を受信するものがある。多様体決定回路24は選択されたオフセットを使用して修正された多様体(この多様体は、拡大されたまたは縮小された多様体であってもよい)を決定し、画像生成回路28は修正された多様体に対する画像を生成する。
修正された多様体は、薄い多様体(それぞれのレイが一点で多様体と交差してもよい)でもよいし、また上述のようなスラブでもよい。
拡大されたまたは縮小された多様体に基づいて画像を形成することにより、肋骨表面の画像が形成されることを可能にする。肋骨表面を撮像することによって、肋骨全体にわたって拡がらない骨折をユーザが特定することを助けるかもしれない。また部分的な骨折が特定されるかもしれない。
修正された多様体を作成するために使用されたオフセットの選択をユーザに許可することによって、例えば骨折など、関心特徴の最適なビューを提供し得るオフセットを、ユーザが選択することを可能にする。もしユーザがオリジナル画像において骨折を上手く見分けられない場合、更なる画像を作るために、ユーザは多様体を変化させてもよい。
実施形態の中には、多様体決定回路24が、それぞれが異なるオフセットを有する、複数の修正された多様体を自動的に決定する。画像生成回路28は、それぞれが異なる修正された多様体を使用する、画像のシリーズを自動的に決定する。例えば、画像のシリーズは、肋骨の全体的な厚みをカバーするだろう。画像のシリーズを通して段階的に踏むことにより、ユーザは肋骨の外側表面から内側表面まで、肋骨の最大拡張を観察することが可能になる。このような画像のシリーズを自動的に提供することによって、ユーザにとっての使い勝手を改善するかもしれない。肋骨の最大厚みを通して、画像の段階を踏む能力は、例えば表面骨折など、部分骨折の検出に改善をもたらす可能性がある。
図2を参考にした上述の実施形態において、医用画像データセットは、多様体400を決定するために使用される。多様体決定回路24は、フィルタされたおよび/またはリサンプルされたデータセットを取得するために、医用撮像データセットをフィルタするおよび/またはリサンプルし、多様体400の決定においてフィルタされたおよび/またはリサンプルされたデータセットを使用する。医用撮像データセットのフィルタリングは、ノイズ低減フィルタおよび/またはスペクル提言フィルタを使用することを具備するだろう。フィルタされたおよび/またはリサンプルされたデータセットを使用することにより、肋骨を検出するために使用されるアルゴリズムを、より強固なものにする可能性がある。
本実施形態において、肋骨は輝度しきい値を使用して検出される。フィルタリングは、高い値のノイズボクセルの数を減らす可能性があるので、もしオリジナル医用撮像データセットよりもフィルタされたデータセットが肋骨CPR表面(つまり、多様体400)を検出するために使用されれば、レイは高い値のノイズボクセルに当たることが少なくなるかもしれない。
高い値のノイズボクセルは、ある状況下において解析フェーズを混乱させる可能性がある。例えば、高い値のノイズボクセルが骨のボクセルにも見えるような、輝度を有するかもしれないのだ。もし高い値のノイズボクセルが存在するならば、肋骨を描出するボクセルを正しく特定するのはより難しくなるだろうし、従って肋骨との交差の中間点を見つけるのもより難しくなるだろう。
実施形態の中に、多様体400の決定は、フィルタされたおよび/またはリサンプルされたデータセットを使用してレイ500の交点510をサンプリングして実行され、多様体400は、オリジナル且つフィルタされていない、医用撮像データセットを使って、実行されるものがある。多様体400の決定に対してフィルタされたおよび/またはリサンプルされたデータセットを使用することと、点のサンプリングに対するフィルタされていないデータセットとを使用することで、もしフィルタされたおよび/またはリサンプルされたデータセットが全てのステージに対して使われた場合、またはもしフィルタされていないデータセットが全てのステージに対して使われた場合、に生み出された画像よりも、ある状況下においてはより良い画像を生み出す可能性がある。
例えば、多様体400の決定に対してフィルタされたデータセットを使用することは、計算から高い値のノイズピクセルを除去することで、より良い多様体400を生み出すかもしれない。しかし、多様体を伴う交点が決定されるステージにおいて、サンプリングのための位置は多様体において既に決められているので、高い値のノイズピクセルの存在は、それほど重要ではないかもしれない。例えば、フィルタされていないデータセットからのオリジナル輝度値など、正確な輝度値を有することが、より大事になるかもしれない。
実施形態の中には、骨および/または背骨セグメンテーションは、複合多様体および患者の肋骨の検出に制約を課すために使用され得るものがある。また実施形態の中には、骨セグメンテーションが解析から骨でない領域を除外するために使用されるものもある。例えば、多様体決定回路24は、多様体位置を推定する際、骨を描出する医用画像データセットの部分のみを使う可能性がある。
中には、背骨セグメンテーションが肋骨検出から背骨を除外するために使用される実施形態がある。背骨セグメンテーションの使用は、背骨に近い肋骨の部分上にある骨折の視覚化を試みる際に、特に関連のある可能性がある。背骨を描出するボクセルを除去することは、例えば肋骨の中間点を見つけるなど、多様体位置を推定することをより簡単にするかもしれない。また背骨を描出するボクセルを除去することは、アルゴリズムが誤って背骨を肋骨と特定する可能性を減らすかもしれず、それにより誤って多様体を配置する可能性を減らすかもしれない。
実施形態の中には、背骨セグメンテーションが使用されなければ、多様体は背骨の近くに決定することが難しくなるだろう。ステージ108で骨として特定された最初の点は肋骨である可能性があり、骨として特定された最後の点は背骨である可能性があり、その逆もまた然りである。最初の点および最後の点のうち一つが骨であり、その他の点が背骨であれば、多様体は、正しく肋骨の間を通過するよりも、肋骨と背骨の間の柔組織を通過することで結局終わるであろう。もし、背骨がセグメンテーションによって代わりに除去されれば、多様体は一本の肋骨をたどり、それから肋骨の改善された描出を提供する可能性のある、その他の肋骨に飛び移るかもしれない。
実施形態の中には、データセットのセグメントされたバージョンが多様体400を取得するために使用され、オリジナルのセグメントされていない医用撮像データセットはレイ500が多様体400と交差する、点510のサンプリングに対して使用される。
フィルタリング、骨セグメンテーションおよび/または背骨セグメンテーションの使用は、肋骨検出の方法をよりロバストなものにする可能性があり、従って多様体の構成方法もよりロバストなものとなる可能性がある。
図1のシステムの更なる操作モードは、図7のフローチャートに概要で描かれている。図7のプロセスにおいて、フィルタされたデータは多様体を決定するために使用される。
多様体決定回路24は、入力ボリューム600を受信する。入力ボリューム600は、医用撮像データセットである。ステージ610で、多様体決定回路24は、フィルタされたボリューム620を取得するために、入力ボリューム600をフィルタする。フィルタされたボリューム620は、入力ボリューム600と比較した場合、ノイズが低減されている。フィルタされたボリューム620は、骨を特定するためにおよび/または背骨と肋骨とを見分けるために、セグメントされてもよい。
ステージ630で、多様体決定回路24は、レイと肋骨との交点を決定するために、フィルタされたボリューム620と円筒投影情報630のセットとを使用する。例えば、円筒投影情報630は、図3および図4を参考に上述したように、傾けられた面210のセット上のデータサンプリングパス220など、データサンプリングパスのセットを具備する。レイと肋骨の交点は、データサンプリングパス220に沿ったレイキャストがフィルタされたボリューム620において肋骨と交差する箇所で、点のセットを具備する。
肋骨と交差するそれぞれのデータサンプリングパス220に対し、フローチャートはステージ640へと進む。ステージ640で、多様体決定回路24は、データサンプリングパス220が肋骨と交差にわたる、交点間隔を決定する。多様体決定回路24は、交点間隔の中間点を決定するだろう。
肋骨と交差しないそれぞれのデータサンプリングパスに対し、フローチャートはステージ650へと進む。ステージ650で、多様体決定回路24は、交差しないデータサンプリングパスの近隣から位置を補間する。多様体決定回路24は、例えばすぐ近くのデータサンプリングパスからの中間点など、すぐ近くのデータサンプリングパスからの交点情報を使って、位置を補間する可能性がある。
ステージ660で、多様体決定回路24は、三次元複合多様体を決定するために、ステージ640とステージ650の出力を使用する。例えば、多様体決定回路24は、三次元複合多様体を決定するために、ステージ640で決定された中間点と、ステージ650で決定された位置とを使用するだろう。
ステージ670で、画像生成回路28は、ステージ660で決定された多様体とオリジナル入力ボリューム600とを受信する。画像生成回路28は、投影情報630に依存してレイをキャスティングすることで、投影と多様体の交点を実行し、これにより多様体上に点のセットを決定する。これは、多様体を得て、2Dレンダリングされた画像を生成する、画像生成投影である。ステージ680で、画像生成回路28は、ステージ670で決定された、点のセットで画像ボリューム600をサンプルする。
ステージ690で、画像生成回路28は、例えば変換関数を使うことで、サンプルされた点に対応するピクセル値を取得し、ピクセル値を使用して最終レンダリングされた画像を表示する。最終レンダリングされた画像のビューは、必要に応じスラブされたり、またはオフセットされたりする場合がある。例えば、レンダリングされた画像を観察する上で(on)、ユーザはスラブ厚みおよび/またはオフセットを選択するだろうし、そして画像生成回路28はその厚みおよび/またはオフセットを使用してさらなる画像をレンダリングするだろう。
図2と図7の実施形態は、複合多様体を決定する第1のレイキャスティングと、レンダリングされた画像を決定する第2のレイキャスティングとを具備する。一般的に、任意の適切な方法が、投影情報の取得(例えば、レイのセット)や、少なくとも一つの解剖学的構造を描出する曲面の取得のために、使用され得る。投影情報と曲面との間の交点を取得する、任意の適切な方法が使用されてよい。ボリューメトリック医用撮像データはその後、最終レンダリングされた画像を取得するために、交差の点でサンプルされる。
実施形態は、肋骨の撮像に関して、説明されている。しかし、上述の方法は、例えば複数の分離したサブ構造を具備するなど、任意の適切な解剖学的構造または関心構造に対して使用されてもよい。その方法は、例えば頭蓋骨や骨盤など、展開されたビューが有益だと思われる、任意の骨または複数の骨を画像化するために使われ得る。異なる投影が、異なる解剖学的構造に対して使用されてもよい。図3や図4に関連して上述された通り、肋骨に対して使用される投影は、傾けられた円筒投影として述べられてもよい。頭蓋骨の場合は、球体投影が使用されてもよい。
中には、図2の方法が歯の撮像、または膿瘻の撮像のために使用される実施形態もある。その方法は、少なくとも一本の歯または歯のセットを画像化するために使用され得る。実施形態の中には、図2の方法が柔組織を画像化するために使用される。例えば、図2の方法は、心臓、肝臓または胃などの臓器を画像化するために使用される可能性がある。図2の方法は、心臓の冠動脈を画像化するために使用されてもよい。
決定された多様体は、少なくとも一つの関心の解剖学的構造と、少なくとも部分的に交わるだろう。多様体は、少なくとも一つの関心の解剖学的構造の内側において、少なくとも部分的に落ち込む(fall)可能性がある。多様体は、少なくとも一つの関心の解剖学的構造によって決められた領域を、少なくとも部分的に囲む可能性がある。
実施形態に係る方法は、任意の適切なボリューメトリック撮像データ、つまり関心構造が見える任意のボリューメトリック撮像データ、と共に使用され得る。上記の実施形態は、CT撮像に対して述べられてきたが、この方法は、例えばMR撮像データセットまたはPETデータセットの使用など、その他のモダリティにおいても使用されてよい。
実施形態に係る方法は、例えばヒトの被検体または動物の被検体など、任意の適切な被検体の画像取得のために使用されるだろう。この被検体とは、患者であってもよい。例えば、被検体は、医療処置中でもよい。
特定の実施形態は、患者のスキャン取得が可能なボリューメトリックスキャナを具備する、医用撮像システムを提供する;ボリュームにおいて関心構造と交わる、複合3D多様体構造の導出が可能な医用処理システム;出力画像におけるピクセルを、ボリューム空間におけるレイにマップする投影システム;そしてレイの交差と、その後対応する交点でボリュームをサンプルする複合三次元多様体と、の検出が可能なレイ処理システム。サンプルされたデータボリュームはその後、レイに対する最終ピクセル色を決定するために、使用される。
複合三次元多様体は、患者の肋骨の全てと交差するように設定されている可能性がある。それぞれのレイに対し、サンプル点の収集、レイ方向におけるそれぞれのオフセットは、スラブされた画像を生成するために使用されてよい。IP投影方法が出力結果を決定するために使用される可能性がある。骨および背骨セグメンテーション情報は、複合多様体レイおよび患者の肋骨に対する検査に、制約を課すために使用され得る。ボリューメトリックフィルタリングまたはリサンプリングは、レイと患者の肋骨との交差のための検査を簡素化するために使用されてもよい。
上述した実施形態において、最終的に表示される画像は、二次元画像に限定されない。例えば、設定した断面(又は多様体)を基準として、肋骨全体を含む或いは肋骨の所定領域を含む厚さを持った領域を設定し、当該厚さを持った領域に含まれる三次元データを用いて最大値投影処理、最小値投影処理、ボリュームレンダリング処理等を実行し、表示するようにしてもよい。
本明細書では特定の回路が説明されたが、代替的な実施形態においては、これらの回路の一つ以上の機能性が単一の処理リソースまたはその他構成要素によって提供されることも可能で、あるいは単一の回路によって提供される機能性が二つ以上の処理リソースまたはその他の構成要素の組み合わせで提供されることも可能である。単一回路への言及は、多数の構成要素が互いに離れているか否かにかかわらず、単一の回路の機能性を提供する多数の構成要素を包含し、複数回路への言及は、複数の回路の機能性を提供する単一の構成要素を包含する。
特定の実施形態が説明されたが、これらの実施形態は単に一例として提示されているだけであり、本発明の範囲を限定することを意図としていない。実際、本明細書に説明された新規の方法およびシステムは、他の様々な形態で実施されてもよい。さらに、本明細書に記載される方法およびシステムの形態において、様々な省略、置換、および変さらが本発明の趣旨から逸脱することなく行われてもよい。添付の特許請求の範囲およびその均等物は、本発明の範囲内に入るそのような形態および修正形態を含むように意図されている。
10…医用画像処理装置、12…計算装置、14…CTスキャナ、16…表示スクリーン、18…入力装置、20…メモリ、22…CPU、24…多様体決定回路、28…画像生成回路、200…軸、210…面、220a、220b…データサンプリングパス、230…骨の領域、244…中間点、254…中間点、400…多様体、500…レイ、510…交点、520…軸

Claims (15)

  1. 複数のサブ構造を有する解剖学的構造に関する三次元データに対し、前記複数のサブ構造を通過する第1の曲面を決定する曲面決定部と、
    前記第1の曲面上の複数のサンプル点についての前記三次元データを用いて、前記第1の曲面に対応する二次元画像又は三次元画像を生成する画像生成部と、を具備し、
    前記曲面決定部は、前記三次元データにおいて軸を決定し、前記軸の回りに拡がり且つ前記複数のサブ構造を通過する複数の第2の曲面を決定し、
    前記複数の第2の曲面各々について、前記軸から当該第2の曲面に延びる複数のレイをキャスティングし、当該レイと前記複数のサブ構造との交点に基づいて前記第1の曲面に関する複数の多様体位置を推定し、
    前記複数の多様体位置に基づいて前記解剖学的構造の形状を表現する前記第1の曲面を決定する、
    医用画像処理装置。
  2. 前記画像生成部は、レイキャスティング処理における複数のレイと前記第1の曲面との交点を前記複数のサンプル点として設定する請求項1記載の医用画像処理装置。
  3. 前記画像生成部は、前記複数のレイの少なくとも一つに対して、当該少なくとも一つのレイと前記第1の曲面との前記交点における前記三次元データの値から、前記二次元画像上の画素値又は前記三次元画像上のボクセル値を決定する請求項2記載の医用画像処理装置。
  4. 前記画像生成部は、
    前記解剖学的構造の少なくとも一部と交わる曲面を決定する処理、
    前記解剖学的構造の内側に少なくとも部分的に落ち込む曲面の決定する処理、
    前記解剖学的構造によって明確にされた領域を取り囲む曲面を決定する処理、
    複数のデータサンプリングパスに沿った前記三次元データの値の変化に基づいて曲面を決定する処理、
    のいずれかを少なくとも実行することで、前記第1の曲面を決定する、
    請求項1乃至3のうち何れか一項記載の医用画像処理装置。
  5. 前記画像生成部は、前記解剖学的構造の厚さにわたる前記三次元データの値の予想プロフィールに基づいて、前記第1の曲面を決定する請求項1乃至4のうちいずれか一項記載の医用画像処理装置。
  6. 前記画像生成部は、前記三次元データの各位置における値に基づいて前記第1の曲面の少なくとも一部を決定する処理、補間処理または補外処理によって前記第1の曲面の他の部分を決定する処理を実行することで、前記第1の曲面を決定する請求項1乃至5のうちいずれか一項記載の医用画像処理装置。
  7. 前記第2の曲面の境界及び位置の少なくとも一方が前記第1の曲面と異な
    前記画像生成部は、前記第2の曲面上の複数のサンプル点についての前記三次元データを用いて、前記第2の曲面を基準とする前記二次元画像又は前記三次元画像を生成する請求項1乃至6のうちいずれか一項記載の医用画像処理装置。
  8. 前記第2の曲面の前記境界及び前記位置の少なくとも一方を入力する入力部をさらに具備する請求項7記載の医用画像処理装置。
  9. 前記第2の曲面は、前記第1の曲面を拡大または縮小した曲面である請求項7又は8記載の医用画像処理装置。
  10. 前記曲面決定部は、前記第1の曲面をスラブ曲面として決定し、
    前記画像生成部は、前記スラブ曲面の厚みにわたる投影処理を実行することにより、前記二次元画像又は前記三次元画像を生成する請求項1乃至9のうちいずれか一項記載の医用画像処理装置。
  11. 前記複数の第2の曲面は、前記軸に対して傾けられて設定される請求項記載の医用画像処理装置。
  12. 前記画像生成部は、前記解剖学的構造の展開図であるカーブドMPR画像又は前記解剖学的構造の投影画像として、前記二次元画像又は前記三次元画像を生成する請求項1乃至11のうちいずれか一項記載の医用画像処理装置。
  13. 前記解剖学的構造は、少なくとも一本の肋骨、胸郭の少なくとも一部、頭がい骨の少なくとも一部、少なくとも一本の歯、少なくとも一つの顎、臓器の少なくとも一部、骨盤の少なくとも一部のうち、少なくともいずれかを含む請求項1乃至12のうちいずれか一項記載の医用画像処理装置。
  14. 前記画像生成部は、最大値投影処理、最小値投影処理、ボリュームレンダリング処理を用いて前記二次元画像又は前記三次元画像を生成する請求項1乃至13のうちいずれか一項記載の医用画像処理装置。
  15. コンピュータに、
    複数のサブ構造を有する解剖学的構造に関する三次元データに対し、前記複数のサブ構造を通過する第1の曲面を決定させる曲面決定機能と、
    前記第1の曲面上の複数のサンプル点についての前記三次元データを用いて、前記第1の曲面に対応する二次元画像を生成させる画像生成機能と、
    を実現させる医用画像処理プログラムであって、
    前記曲面決定機能は、
    前記三次元データにおいて軸を決定し、前記軸の回りに拡がり且つ前記複数のサブ構造を通過する複数の第2の曲面を決定し、
    前記複数の第2の曲面各々について、前記軸から当該第2の曲面に延びる複数のレイをキャスティングし、当該レイと前記複数のサブ構造との交点に基づいて前記第1の曲面に関する複数の多様体位置を推定し、
    前記複数の多様体位置に基づいて前記解剖学的構造の形状を表現する前記第1の曲面を決定する、
    医用画像処理プログラム
JP2017048095A 2016-03-14 2017-03-14 医用画像処理装置及び医用画像処理プログラム Active JP6918528B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/069,564 US10417759B2 (en) 2016-03-14 2016-03-14 Medical image data processing system and method
US15/069,564 2016-03-14

Publications (2)

Publication Number Publication Date
JP2017164496A JP2017164496A (ja) 2017-09-21
JP6918528B2 true JP6918528B2 (ja) 2021-08-11

Family

ID=59786799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017048095A Active JP6918528B2 (ja) 2016-03-14 2017-03-14 医用画像処理装置及び医用画像処理プログラム

Country Status (3)

Country Link
US (1) US10417759B2 (ja)
JP (1) JP6918528B2 (ja)
CN (1) CN107194909B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282918B2 (en) * 2016-09-20 2019-05-07 Siemens Healthcare Gmbh Two-dimensional cinematic medical imaging in color based on deep learning
JP2018175700A (ja) * 2017-04-20 2018-11-15 キヤノンメディカルシステムズ株式会社 医用画像診断装置、医用画像処理装置、及び医用画像処理プログラム
WO2019023909A1 (zh) * 2017-07-31 2019-02-07 深圳联影医疗科技有限公司 一种肝段分割方法与设备
WO2019041262A1 (en) * 2017-08-31 2019-03-07 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE SEGMENTATION
US20210059787A1 (en) * 2017-09-08 2021-03-04 Martin David LEVIN Scaffolds, systems, methods, and computer program products for regenerating a pulp
US10445891B2 (en) * 2017-11-03 2019-10-15 Canon Medical Systems Corporation Medical image processing apparatus and method
CN108320314B (zh) * 2017-12-29 2021-07-09 北京优视魔方科技有限公司 一种基于ct横断图像的图像处理方法和装置、显示系统
CN108596877B (zh) * 2018-03-28 2022-02-08 苏州科技城医院 肋骨ct数据分析系统
CN111127461B (zh) * 2019-12-31 2023-09-26 东软医疗系统股份有限公司 胸部图像处理方法、装置、存储介质及医疗设备
CN112785591B (zh) * 2021-03-05 2023-06-13 杭州健培科技有限公司 一种ct影像中肋骨骨折的检测与分割方法及装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577752B2 (en) * 2001-06-15 2003-06-10 Arch Development Corporation Automated method and system for the delineation of the chest wall in computed tomography scans for the assessment of pleural disease
US6993174B2 (en) * 2001-09-07 2006-01-31 Siemens Corporate Research, Inc Real time interactive segmentation of pulmonary nodules with control parameters
US7369693B2 (en) * 2003-06-23 2008-05-06 Siemens Medical Solutions Usa, Inc. Thoracic cage coordinate system for recording pathologies in lung CT volume data
US7693318B1 (en) * 2004-01-12 2010-04-06 Pme Ip Australia Pty Ltd Method and apparatus for reconstruction of 3D image volumes from projection images
ATE484811T1 (de) * 2004-06-23 2010-10-15 Koninkl Philips Electronics Nv Virtuelle endoskopie
US7778392B1 (en) * 2004-11-02 2010-08-17 Pme Ip Australia Pty Ltd Method of reconstructing computed tomography (CT) volumes suitable for execution on commodity central processing units (CPUs) and graphics processors, and apparatus operating in accord with those methods (rotational X-ray on GPUs)
JP2006178772A (ja) * 2004-12-22 2006-07-06 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
US7672493B2 (en) * 2005-01-31 2010-03-02 Siemens Medical Solutions Usa, Inc. Method for analyzing medical image data using level set
US7599542B2 (en) * 2005-04-08 2009-10-06 John Philip Brockway System and method for detection and display of diseases and abnormalities using confidence imaging
US8175349B2 (en) * 2006-08-16 2012-05-08 Siemens Medical Solutions Usa, Inc. System and method for segmenting vertebrae in digitized images
JP5188693B2 (ja) * 2006-10-13 2013-04-24 富士フイルム株式会社 画像処理装置
US8483462B2 (en) * 2006-11-03 2013-07-09 Siemens Medical Solutions Usa, Inc. Object centric data reformation with application to rib visualization
US8150135B2 (en) * 2007-06-04 2012-04-03 Siemens Computer Aided Diagnosis Ltd. Identifying ribs in lung X-rays
CN100589775C (zh) * 2008-03-11 2010-02-17 微创医疗器械(上海)有限公司 一种重建人体器官三维表面的方法及系统
DE102008028945A1 (de) * 2008-06-18 2009-12-31 Siemens Aktiengesellschaft Verfahren und Visualisierungsmodul zur Visualisierung von Unebenheiten der Innen-Oberfläche eines Hohlorgans, Bildbearbeitungseinrichtung und Tomographiesystem
CN102222352B (zh) * 2010-04-16 2014-07-23 株式会社日立医疗器械 图像处理方法和图像处理装置
JP5878161B2 (ja) * 2011-03-03 2016-03-08 株式会社日立メディコ 医用画像処理装置及び医用画像処理方法
US9020233B2 (en) * 2011-09-19 2015-04-28 Siemens Aktiengesellschaft Method and system for up-vector detection for ribs in computed tomography volumes
US8989471B2 (en) 2011-09-27 2015-03-24 Siemens Aktiengesellschaft Method and system for automatic rib centerline extraction using learning based deformable template matching
GB201117805D0 (en) * 2011-10-14 2011-11-30 Siemens Medical Solutions System and methods for efficient multimodal rib lesion readings
US20130150704A1 (en) * 2011-12-12 2013-06-13 Shuki Vitek Magnetic resonance imaging methods for rib identification
US9384592B2 (en) * 2012-03-22 2016-07-05 Kabushiki Kaisha Toshiba Image processing method and apparatus performing slab multi-planar reformatting rendering of volume data
US9147280B2 (en) * 2012-08-03 2015-09-29 Kabushiki Kaisha Toshiba Preparation and display of derived series of medical images
US9547906B2 (en) * 2013-09-19 2017-01-17 Siemens Healthcare Gmbh System and method for data driven editing of rib unfolding
GB2518848A (en) * 2013-10-01 2015-04-08 Siemens Medical Solutions Registration of multimodal imaging data
US9189847B2 (en) * 2013-11-12 2015-11-17 Siemens Aktiengesellschaft 2D visualization for rib analysis
US10460508B2 (en) * 2014-06-12 2019-10-29 Siemens Healthcare Gmbh Visualization with anatomical intelligence
US10332305B2 (en) * 2016-03-04 2019-06-25 Siemens Healthcare Gmbh Cinematic rendering of unfolded 3D volumes

Also Published As

Publication number Publication date
JP2017164496A (ja) 2017-09-21
CN107194909A (zh) 2017-09-22
US20170262978A1 (en) 2017-09-14
CN107194909B (zh) 2021-02-09
US10417759B2 (en) 2019-09-17

Similar Documents

Publication Publication Date Title
JP6918528B2 (ja) 医用画像処理装置及び医用画像処理プログラム
US7492968B2 (en) System and method for segmenting a structure of interest using an interpolation of a separating surface in an area of attachment to a structure having similar properties
US8625869B2 (en) Visualization of medical image data with localized enhancement
US9275432B2 (en) Method of, and apparatus for, registration of medical images
US9818200B2 (en) Apparatus and method for multi-atlas based segmentation of medical image data
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
EP3447733B1 (en) Selective image reconstruction
US9082231B2 (en) Symmetry-based visualization for enhancing anomaly detection
CN106485691B (zh) 信息处理装置、信息处理系统和信息处理方法
US20130257910A1 (en) Apparatus and method for lesion diagnosis
JP2010528750A (ja) 管状構造の検査
US20180064409A1 (en) Simultaneously displaying medical images
JP5194138B2 (ja) 画像診断支援装置およびその動作方法、並びに画像診断支援プログラム
US7376254B2 (en) Method for surface-contouring of a three-dimensional image
US20160157726A1 (en) Projection image generating device, method and program
US10896501B2 (en) Rib developed image generation apparatus using a core line, method, and program
US8165375B2 (en) Method and system for registering CT data sets
JP2009022307A (ja) 医用画像表示装置及びそのプログラム
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
JP7317563B2 (ja) 医用画像処理装置および医用画像処理方法
JP6424147B2 (ja) 画像処理装置、方法、及びプログラム
WO2021099171A1 (en) Systems and methods for imaging screening

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210721

R150 Certificate of patent or registration of utility model

Ref document number: 6918528

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150