JP6738631B2 - 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム - Google Patents

医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム Download PDF

Info

Publication number
JP6738631B2
JP6738631B2 JP2016066842A JP2016066842A JP6738631B2 JP 6738631 B2 JP6738631 B2 JP 6738631B2 JP 2016066842 A JP2016066842 A JP 2016066842A JP 2016066842 A JP2016066842 A JP 2016066842A JP 6738631 B2 JP6738631 B2 JP 6738631B2
Authority
JP
Japan
Prior art keywords
image processing
medical image
cross
processing apparatus
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016066842A
Other languages
English (en)
Other versions
JP2017176381A (ja
Inventor
信一郎 瀬尾
信一郎 瀬尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ziosoft Inc
Original Assignee
Ziosoft Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ziosoft Inc filed Critical Ziosoft Inc
Priority to JP2016066842A priority Critical patent/JP6738631B2/ja
Priority to US15/471,196 priority patent/US20170287211A1/en
Publication of JP2017176381A publication Critical patent/JP2017176381A/ja
Application granted granted Critical
Publication of JP6738631B2 publication Critical patent/JP6738631B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028Multiple view windows (top-side-front-sagittal-orthogonal)

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本開示は、医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムに関する。
従来、人体内部等の被検体の3次元構造の可視化に用いられるボリュームデータから、ポインティングデバイスにより任意の断面を切り出し、MPR(multi planar reconstruction)断面として表示する医用画像処理装置(特許文献1参照)が知られている。また、MPR断面として、人体の座標系に対して互いに直交する3断面を表示可能な医用画像処理装置が知られている。また、被検体の3次元領域を取得して、被検体の可視化に用いる医用画像処理装置が知られている。
特開2009−22476号公報
特許文献1では、ユーザが手動で操作することによる客観性の低下を抑制して、3次元領域を観察するのに適切な互いに直交する3断面(直交3断面)を取得することが困難である。
本開示は、上記事情に鑑みてなされたものであり、客観性の低下を抑制して、3次元領域を観察するのに適切な直交3断面を容易に取得できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムを提供する。
本開示の医用画像処理装置は、ボリュームデータを取得するポートと、ボリュームデータにおける任意の3次元領域を設定し、3次元領域において相互に直交する3つのベクトルを取得し、各ベクトルを法線とする3つの面を導出し、各面を断面として3次元領域に対する3つの断面画像を生成するプロセッサと、断面画像を表示するディスプレイと、を備える。プロセッサは、法線に沿う方向に面を平行移動して、平行移動した面を断面とする断面画像を再生成する。
本開示の医用画像処理方法は、医用画像処理装置における医用画像処理方法であって、ボリュームデータを取得し、ボリュームデータにおける任意の3次元領域を設定し、3次元領域において相互に直交する3つのベクトルを取得し、各ベクトルを法線とする3つの面を導出し、各面を断面として3次元領域に対する3つの断面画像を生成し、生成された断面画像をディスプレイに表示し、法線に沿う方向に面を平行移動して、平行移動した面を断面とする断面画像を再生成し、再生成された断面画像をディスプレイに表示する。
本開示の医用画像処理プログラムは、上記医用画像処理方法をコンピュータに実行させるためのプログラムである。
本開示によれば、客観性の低下を抑制して、直交3断面を容易に取得できる。
実施の形態における医用画像処理装置の構成例を示すブロック図 バウンディングボックスを用いた直交3断面の設定方法を説明するための模式図 (A)〜(C)MPR断面を順次移動させてMPR画像を動的に表示する動作を説明するための模式図 MPR断面からなる直交3断面の設定手順を示すフローチャート MPR画像が表示されたディスプレイの画面を示す模式図 比較例としてアキシャル断面を示す模式図 (A),(B)動画再生中のMPR画像を示す模式図 (A),(B)図7に続く動画再生中のMPR画像を示す模式図 MPR断面の位置を示す基準線を他のMPR画像に示した模式図
以下、本開示の実施形態について、図面を用いて説明する。
(本開示の一形態を得るに至った経緯)
3次元の医用画像は、被検体に対する直交3断面を参照することで観察されることが多い。また、3次元の医用画像は、3次元領域(関心領域)に対する直交3断面を参照することで観察されることが多い。また、3次元領域は被検体を含むことがある。ユーザは、アキシャル面、コロナル面又はサジタル面を用いた観察に慣れているが、3次元領域の形状、及び向きによっては、アキシャル面、コロナル面又はサジタル面の観察による診断等が困難な場合がある。この場合、ユーザは、任意のMPR画像を手動で指定して取得し、観察し、診断等を行う。
しかし、直交3断面に映し出された被検体及び3次元領域に対し、ユーザが手動で被検体及び3次元領域に対する所望の方向を指定することは容易でない。つまり、被検体及び3次元領域における所望の直交3断面を得ることは困難である。また、ユーザが手動で設定したMPR断面は、一定でなく再現性に乏しい。そのため、MPR断面から組織等の大きさを計測すると、計測の度に計測値にばらつきが生じ易く、計測値の客観性が低下し易い。
以下、客観性の低下を抑制して、3次元領域の直交3断面を容易に取得できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムについて説明する。
(第1の実施形態)
図1は、第1の実施形態における医用画像処理装置100の構成例を示すブロック図である。医用画像処理装置100は、ポート110、ユーザインターフェース(UI:User Interface)120、ディスプレイ130、プロセッサ140、及びメモリ150を備える。
医用画像処理装置100には、CT装置200が接続される。医用画像処理装置100は、CT装置200からボリュームデータを取得し、取得されたボリュームデータに対して処理を行う。医用画像処理装置100は、PC(Personal Computer)とPCに搭載されたソフトウェアにより構成されてもよい。
CT装置200は、生体へX線を照射し、体内の組織によるX線の吸収の違いを利用して、画像(CT画像)を撮像する。生体としては人体等が挙げられる。生体は、被写体の一例である。
CT画像は、時系列に複数撮像されてもよい。CT装置200は、生体内部の任意の箇所の情報を含むボリュームデータを生成する。生体内部の任意の箇所は、各種臓器(例えば心臓、腎臓)を含んでもよい。CT画像が撮像されることにより、CT画像における各画素(ボクセル)の画素値(CT値)が得られる。CT装置200は、CT画像としてのボリュームデータを医用画像処理装置100へ、有線回線又は無線回線を介して送信する。
具体的に、CT装置200は、ガントリ(図示せず)及びコンソール(図示せず)を備える。ガントリは、X線発生器やX線検出器を含み、コンソールにより指示された所定のタイミングで撮像することで、人体を透過したX線を検出し、X線検出データを得る。コンソールは、医用画像処理装置100に接続される。コンソールは、ガントリからX線検出データを複数取得し、X線検出データに基づいてボリュームデータを生成する。コンソールは、生成されたボリュームデータを、医用画像処理装置100へ送信する。
CT装置200は、連続的に撮像することで3次元のボリュームデータを複数取得し、動画を生成することも可能である。複数の3次元画像による動画のデータは、4D(4次元)データとも称される。
医用画像処理装置100内のポート110は、通信ポートや外部装置接続ポートを含み、CT画像から得られたボリュームデータを取得する。取得されたボリュームデータは、直ぐにプロセッサ140に送られて各種処理されてもよいし、メモリ150において保管された後、必要時にプロセッサ140へ送られて各種処理されてもよい。
UI120は、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでもよい。UI120は、医用画像処理装置100のユーザから、任意の入力操作を受け付ける。ユーザは、医師、放射線技師、又はその他医療従事者(Paramedic Staff)を含んでもよい。
UI120は、ボリュームデータにおける関心領域(ROI:Region of Interest)の指定や輝度条件の設定等の操作を受け付ける。関心領域は、病変や組織(例えば、血管、臓器、骨)の領域を含んでもよい。
ディスプレイ130は、LCD(Liquid Crystal Display)を含んでもよく、各種情報を表示する。各種情報は、ボリュームデータから得られる3次元画像を含む。3次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、及びMPR(Muti Planar Reconstruction)画像を含んでもよい。
メモリ150は、各種ROM(Read Only Memory)やRAM(Random Access Memory)の一次記憶装置を含む。メモリ150は、HDD(Hard Disk Drive)やSSD(Solid State Drive)の二次記憶装置を含んでもよい。メモリ150は、各種情報やプログラムを記憶する。各種情報は、ポート110により取得されたボリュームデータ、プロセッサ140により生成された画像、プロセッサ140により設定された設定情報、を含んでもよい。
プロセッサ140は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、又はGPU(Graphics Processing Unit)を含んでもよい。
プロセッサ140は、メモリ150に記憶された医用画像処理プログラムを実行することにより、各種処理や制御を行う。また、プロセッサ140は、医用画像処理装置100の各部を統括する。
プロセッサ140は、ボリュームデータにおいて、セグメンテーション処理を行ってよい。この場合、UI120がユーザからの指示を受け付け、指示の情報がプロセッサ140に送られる。プロセッサ140は、指示の情報に基づいて、公知の方法により、ボリュームデータから、セグメンテーション処理を行い、関心領域を抽出(segment)してもよい。また、ユーザからの詳細な指示により、手動で関心領域を設定(set)しても良い。また、観察対象が予め定められている場合、プロセッサ140は、ユーザ指示なしでボリュームデータから、セグメンテーション処理を行い、観察対象を含む関心領域を抽出してもよい。
プロセッサ140は、ポート110により取得されたボリュームデータに基づいて、3次元画像を生成する。プロセッサ140は、ポート110により取得されたボリュームデータから、指定された領域に基づいて、3次元画像を生成してもよい。3次元画像は、ボリュームレンダリング画像である場合、レイサム(RaySum)画像、MIP(Maximum Intensity Projection)画像、又はレイキャスト(Raycast)画像を含んでもよい。
次に、医用画像処理装置100による動作について説明する。
医用画像処理装置100は、観察対象の組織等(例えば、骨、肝臓、腎臓、心臓)の直交3断面をディスプレイ130に表示する。この際、医用画像処理装置100は、観察対象の組織等を含む3次元領域Rに対し、3次元領域Rを包囲する、バウンディングボックスBxを設定する。本実施形態では主に、観察対象の組織等が腎臓である場合を示す。バウンディングボックスBxの大きさは、3次元領域Rを包含すれば任意である。
図2は、バウンディングボックスBxを用いた直交3断面の設定方法を説明するための模式図である。
図2には、ボリュームレンダリングにより生成されたボリュームレンダリング画像の3次元領域Rが示されている。バウンディングボックスBxは、3次元領域Rを包囲するように設定される。プロセッサ140は、バウンディングボックスBxの各辺の方向を示す、3つの固有ベクトルV1,V2,V3を取得する。
始めに、バウンディングボックスBxの生成について説明する。バウンディングボックスBxの生成では、例えば以下のような手法によって、固有ベクトルV1,V2,V3を算出する。
プロセッサ140は、バウンディングボックスBxを作成する際、3次元領域Rを構成する全ボクセルの座標について、主成分分析(Principal component analysis)を行う。
まず、プロセッサ140は、3次元領域Rを構成する全ボクセルの座標Pi(i:0〜N−1)について、(式1)に従い、重心mを算出する。
m = 1/N * ΣPi ……(式1)
尚、アスタリスク「*」は、乗算符号を示す。「N」は、3次元領域Rを構成する全ボクセルの数を示す。
プロセッサ140は、(式2)に従い、共分散行列Cを算出する。
C = 1/N * Σ(Pi−m)(Pi−m) ……(式2)
続いて、プロセッサ140は、(C−λjI)Vj=0(I:単位行列)を計算し、固有値λ1,λ2,λ3及び固有ベクトルV1,V2,V3を取得する。尚、|λ1|>|λ2|>|λ3|とすると、V1がバウンディングボックスBxの主軸となる。
プロセッサ140は、固有ベクトルV1,V2,V3に基づいて、バウンディングボックスBxを構成する直方体の向きを決定する。
具体的には、(Pi・V1)を最大とする座標Piを含んで固有ベクトルV1を法線とする面は、バウンディングボックスBxを構成する面の1つとなる。尚、「・」は、内積演算であることを示す。(Pi・V1)を最小とする座標Piを含んで固有ベクトルV1を法線とする面は、バウンディングボックスBxを構成する面の1つとなる。
また、(Pi・V2)を最大とする座標Piを含んで固有ベクトルV2を法線とする面は、バウンディングボックスBxを構成する面の1つとなる。(Pi・V2)を最小とする座標Piを含んで固有ベクトルV2を法線とする面は、バウンディングボックスBxを構成する面の1つとなる。
また、(Pi・V3)を最大とする座標Piを含んで固有ベクトルV3を法線とする面は、バウンディングボックスBxを構成する面の1つとなる。(Pi・V3)を最小とする座標Piを含んで固有ベクトルV3を法線とする面は、バウンディングボックスBxを構成する面の1つとなる。
これにより、医用画像処理装置100は、バウンディングボックスBxを構成する直方体の6つの面を取得できる。
尚、医用画像処理装置100は、上記のバウンディングの各面を取得する際、参考非特許文献1に記載されたポリゴンの集合のバウンディングボックスBxを導出するアルゴリズムを、ボリュームデータに適用してもよい。その他、既知のアルゴリズムを用いてもよい。
(参考非特許文献1:Eric Lengyel,“Mathematics for 3D Game Programming & and Computer Graphics”,COURSE TECHONOLOGY,2011年)
プロセッサ140は、固有ベクトルV1,V2,V3をそれぞれ法線とする3つのMPR断面Sc1,Sc2,Sc3を生成する。MPR断面Sc1,Sc2,Sc3は、直交3断面の一例である。MPR断面は、Sc1,Sc2,Sc3は、バウンディングボックスBxにおける断面である。また、プロセッサ140は、MPR断面Sc1の画像M1、MPR断面Sc2の画像M2、及びMPR断面Sc3の画像M3を生成する。
MPR断面Sc1,Sc2,Sc3は、固有ベクトルV1,V2,V3に並行な各軸AX1,AX2,AX3の方向に平行移動自在である。図2には、MPR断面Sc3を軸AX3の方向に移動するために、バウンディングボックスにおけるMPR断面Sc3の位置を表す画像として、枠画像Fl3−1,Fl3−2,Fl3−3が示されている。図2では、枠画像Fl3−1,Fl3−2,Fl3−3は、3次元領域Rに接する程度の大きさで示されている。
MPR断面Sc1,Sc2,Sc3の平行移動は、プロセッサ140により、一定時間間隔で段階的又は連続的に行われてもよい。また、MPR断面Sc1,Sc2,Sc3の平行移動は、ユーザがUI120を介して指示することにより、一定時間間隔で段階的又は連続的に行われてもよい。
図3(A)〜(C)は、MPR断面を平行移動させてMPR画像を表示する動作を説明するための模式図である。
図3(A)は、図2と同様、バウンディングボックスBxが設定された、3次元領域Rを示す。ここでは、図2と同様、MPR断面Sc3が軸AX3の方向に移動する様子が示されている。また、MPR断面Sc3の移動が、枠画像Fl3−1,Fl3−2,Fl3−3の変化で表現される。
図3(A)では、実線で描かれた枠画像Fl3−2が、現在MPR画像が表示されているMPR断面Sc3の枠を示してもよい。点線で描かれた枠画像Fl3−1,Fl3−3が、その(現在の)前後のMPR断面Sc3の枠を示してもよい。
図3(B)には、MPR画像M1が表示される。MPR画像M1は、軸AX1を法線とする断面画像である。MPR画像M1には、3次元領域Rで示される組織等の断面画像を示す組織等画像RS1が含まれて表示される。組織等画像RS1は、軸AX1の方向に投影した軸AX3の方向に沿ったバウンディングボックスBx内に配置可能な範囲を表す枠画像Bx−1で囲まれる。
MPR断面Sc3は、軸AX3の方向で枠画像Bx−1の内側において、軸AX3の方向に段階的又は連続的に平行移動自在である。図3(B)では、MPR断面Sc3は、図3(A)の枠画像Fl3−1,Fl3−2,Fl3−3,……,Fl3−Nを投影した線画像として表される。
枠画像Fl3−1,Fl3−2,Fl3−3,……,Fl3−Nが矢印Yaの方向(順方向及び逆方向の指定可)に順次選択されると、図3(C)に示すように、選択された枠画像に対応するMPR画像M3がディスプレイ130に表示される。MPR画像M3には、3次元領域Rの組織等画像RS3が表示される。
図4は、MPR断面Sc1,Sc2,Sc3からなる直交3断面の設定手順を示すフローチャートである。
プロセッサ140は、CT装置200から送信されたボリュームデータを取得する(S1)。
プロセッサ140は、既知のセグメンテーション処理によって、ボリュームデータに含まれる観察対象の領域を抽出し、3次元領域Rを設定する(S2)。この場合、例えば、ユーザがUI120を介して大まかに3次元領域を指定して抽出した後、プロセッサ140が正確に3次元領域Rを抽出してもよい。
プロセッサ140は、3つの軸AX1,AX2,AX3の方向を決定する(S3)。
3つの軸AX1,AX2,AX3の方向は、3次元領域Rを包囲するバウンディングボックスBxの各辺に沿う。バウンディングボックスBxの各辺の方向は、前述した固有ベクトルV1,V2,V3で示される。また、3つの軸AX1,AX2,AX3は、S2で抽出された3次元領域Rの重心Gを通るように設定される。
プロセッサ140は、3つの軸AX1,AX2,AX3を、それぞれのMPR断面Sc1,Sc2,Sc3の法線とする(S4)。
プロセッサ140は、MPR画像M1,M2,M3の中心を設定する(S5)。MPR画像M1,M2,M3の中心は、S2で抽出された3次元領域Rの重心Gを通る、各固有ベクトルV1,V2,V3に平行な直線上に設定されてもよい。
プロセッサ140は、ディスプレイ130の画面GMに表示される、MPR画像M1,M2,M3の基準方向(例えばディスプレイ130の横方向(水平方向))に対する回転角度を設定する。これによって、プロセッサ140は、ディスプレイの基準方向に対するMPR画像M1,M2,M3の表示方向を定める(S6)。この表示方向の設定は、3次元空間における回転を表すピッチ、ロール、ヨーのうち、ロールを設定することとも言える。
具体的には、プロセッサ140は、MPR画像M1の下方向を固有ベクトルV2に沿う方向にすることによって、表示方向を定めてもよい。プロセッサ140は、MPR画像M2の下方向を固有ベクトルV3に沿う方向にすることによって、表示方向を定めてもよい。プロセッサ140は、MPR画像M3の下方向を固有ベクトルV1に沿う方向にすることによって、表示方向を定めてもよい。また、さらにプロセッサ140は、MPR画像M1の下方向を固有ベクトルV2に沿う方向にし、右方向を固有ベクトルV3に沿う方向にすることによって、表示方向を定めてもよい。
ディスプレイ130は、プロセッサ140の制御により、図5に示すように、MPR画像M1,M2,M3を表示する(S7)。この後、プロセッサ140は本動作を終了する。
尚、プロセッサ140は、ボリュームデータが不連続であり、つまりボリュームデータが複数の組織等を含む場合、複数の組織等の中から1つの組織等を選択し、3次元領域Rを連続領域としてもよい。プロセッサ140は、選択された連続領域に対して、3つの軸AX1,AX2,AX3の方向を決定してもよい。
図5は、MPR画像M1,M2,M3が表示されたディスプレイ130の画面GMを示す模式図である。
図5では、ディスプレイ130の画面GMは、4分割される。画面GMの右上には、3次元領域Rを含むボリュームレンダリング画像Brが表示される。画面GMの左上、左下、右下には、ボリュームレンダリング画像Brが各MPR断面Sc1,Sc2,Sc3で切断されたMPR画像M1,M2,M3が表示される。
ディスプレイ130は、プロセッサ140の制御により、ボリュームレンダリング画像Brが表示される画面GMに、3次元領域Rを包囲するバウンディングボックスBxの枠画像として、組織等画像RS1,RS2,RS3の位置、大きさ及び方向をそれぞれ表す枠画像Fl1,Fl2,Fl3を表示してもよい。また、ディスプレイ130は、プロセッサ140の制御により、ボリュームレンダリング画像Brに対し、3つの軸AX1,AX2,AX3を表示してもよい。
尚、枠画像Fl1,Fl2,Fl3の少なくとも1つの表示が省略されてもよい。また、軸AX1,AX2,AX3の少なくとも1つの表示が省略されてもよい。
尚、組織等画像RS1は、MPR断面Sc1に含まれる組織等の存在する領域を示す。組織等画像RS2は、MPR断面Sc2に含まれる組織等の存在する領域を示す。組織等画像RS3は、MPR断面Sc3に含まれる組織等の存在する領域を示す。
ディスプレイ130の画面GMにおけるMPR画像M1,M2,M3のレイアウト(配置)は、例えば固定である。プロセッサ140は、固有値λ1,λ2,λ3の大きさ(|λ1|>|λ2|>|λ3|)の順に従い、固有値に対応するMPR画像M1,M2,M3を配置してもよい。
この場合、主軸である軸AX1に対応するMPR画像M1は、アキシャル画像に近い断面画像となり、他のMPR画像M2,M3よりも優先度が高い。そのため、ディスプレイ130は、プロセッサ140の制御により、MPR画像M1を、常に同じ画面位置(例えば左上)に表示してもよい。これにより、ユーザは、画像診断を行う上で迅速かつ高精度に操作し易くなる。
尚、主軸以外の軸AX2,AX3に対応するMPR画像M2,M3についても、同じレイアウトとして同じ位置に表示してもよい。これにより、ユーザは、優先度に関わらず、画像診断を行う上で迅速かつ高精度に操作し易くなる。MPR画像M2はサジタル画像に近い直感を与え、MPR画像M3はコロナル画像に近い直観を与える。
また、ディスプレイ130は、プロセッサ140の制御により、MPR画像M1,M2,M3に、3次元領域Rの各組織等画像RS1,RS2,RS3をそれぞれ包囲するバウンディングボックスBxの枠画像Fl1,Fl2,Fl3を表示してもよい。
尚、図5では、ディスプレイ130は、ボリュームレンダリング画像Brに対して、枠画像Fl1,Fl2,Fl3により、組織等画像RS1,RS2,RS3の位置、大きさ、方向の全てを表示している。この代わりに、ディスプレイ130は、プロセッサ140の制御により、位置のみ、大きさのみ、又は方向のみを表示してもよい。
例えば、ディスプレイ130は、組織等画像RS1,RS2,RS3の位置のみ表示する場合、3つの軸AX1,AX2,AX3の交点を表示してもよい。また、ディスプレイ130は、組織等画像RS1,RS2,RS3の方向のみ表示する場合、3つの軸AX1,AX2,AX3を示す矢印等を、画面GM(例えば画面GMの左下隅)に配置してもよい。また、ディスプレイ130は、組織等画像RS1,RS2,RS3の大きさのみ表示する場合、画面GMにスケール(定規)を表示してもよい。
ディスプレイ130は、MPR画像M1,M2,M3にそれぞれ含まれる、組織等画像RS1,RS2,RS3を、それぞれ3次元領域Rの形状を把握し易いような、3次元領域Rの長軸断面と2つの短軸断面として表示する。よって、ユーザは、腎臓等の3次元領域Rを認識し易くなる。
図5に示すように、ボリュームレンダリング画像Br及びMPR画像M1,M2,M3がディスプレイ130の画面GMに表示された状態で、プロセッサ140が、自動で又は手動で(ユーザがUI120を介して)、ボリュームレンダリング画像Brが表示された画面GMにおいて、バウンディングボックスBxの枠画像Fl1,Fl2,Fl3の1つを対応する軸AX1,AX2,AX3の方向の1つに移動させるとする。プロセッサ140は、この枠画像の移動に応じて、この軸に対応するMPR画像を変更する。この場合、例えば後述する図7(A),(B)及び図8(A),(B)と同様に順にMPR画像が静止画又は動画で変更される。
図9に示すように、ディスプレイ130は、MPR断面Sc1,Sc2,Sc3の位置を示す基準線を、他のMPR画像に表示してもよい。
尚、1つの軸の方向に沿うMPR断面の移動に応じたMPR画像の変更は、他の軸の方向に沿う他のMPR断面の移動に応じた他のMPR画像の変更に対して独立しており、影響しない。ただし、プロセッサ140は、他のMPR断面に表示されている、平行移動するMPR画像の位置を示す基準線を、移動に応じて変更してよい。
また、プロセッサ140は、ユーザによるUI120を介した画面GM上の任意の領域(例えば3次元領域R以外の領域)のドラッグ操作に応じて、軸AX1,AX2,AX3を回転させてもよい。ディスプレイ130は、プロセッサ140の制御により、軸AX1,AX2,AX3の回転に応じて、ボリュームレンダリング画像Br及びMPR画像M1,M2,M3を回転し、表示してもよい。尚、プロセッサ140は、1つのMPR画像が軸の回転により変化すると、これに追従するように、残り2つのMPR画像も変更する。
また、ディスプレイ130は、プロセッサ140の制御により、軸AX1,AX2,AX3が回転される際に、バウンディングボックスBxやその他の基準線を表示してもよい。これにより、ユーザが回転対象の組織等を確認し易くなる。
また、プロセッサ140は、MPR画像M1,M2,M3に枠画像Fl1,Fl2,Fl3が収まるように、ディスプレイ130による表示に係るMPR画像M1,M2,M3の拡大率を調整してもよい。特に、プロセッサ140は、MPR画像M1,M2,M3の同一の拡大率を与えたうえで、枠画像Fl1,Fl2,Fl3のすべてが収まるように、MPR画像M1,M2,M3に共通の拡大率を調整できる。
また、プロセッサ140は、ユーザによるUI120を介したMPR画像M1,M2,M3の拡大率を変更する操作を受け付けたときに、MPR画像M1,M2,M3のすべてを連動して拡大してもよい。
図6は、比較例としてアキシャル断面AS1を示す模式図である。アキシャル断面AS1には、例えば腎臓である3次元領域Rの組織等画像RS4が含まれる。ユーザは、アキシャル断面AS1に含まれる組織等画像RS4を見た場合、例えば、腎臓である3次元領域Rが斜めになっているとの印象を受け、腎臓の実際の大きさや長さを把握し難い。
また、図4のS7において、ユーザがUI120を介して動画表示を指示した場合、又は一定時間経過等のイベントがあった場合、プロセッサ140は、3次元領域Rに対して選択されたMPR画像の動画を表示してもよい。
図7(A),(B)及び図8(A),(B)は、動画再生中のMPR画像を示す模式図である。図7(A),(B)及び図8(A),(B)では、3次元領域Rの組織等画像RS2が表示されたMPR画像M3を軸AX3に沿った方向に平行移動させて動画を表示する場合を示す。
図7(A)、図7(B)、図8(A)、図8(B)と順次表示されるMPR画像M3は、動画再生中の画面の一部を示している。動画として再生されるMPR画像M3には、腎臓である3次元領域Rの組織等画像RS3が徐々に変化するように連続的に表示される。
図7(A),図7(B)及び図8(A),図8(B)のように組織等画像が動画表示されることで、ユーザは、特に注目したいMPR画像を速やかに把握できる。従って、ユーザによる画像診断の効率化が期待される。
このように、医用画像処理装置100は、3次元領域Rの形状に対応して3つの直交するMPR断面Sc1,Sc2,Sc3を設定する。従って、医用画像処理装置100は、組織等に即した直交3断面を迅速に表示できる。例えば、組織等のくびれ部分を確認したいという要求に好適に応えることができる。
また、直交3断面のうちの1つの断面の軸を回転させると、他の2つの断面の軸を回転でき、3つのMPR画像M1,M2,M3を容易に修正できる。よって、医用画像処理装置100は、直交3断面の回転時のユーザ操作の煩雑性を低減できる。
このように、本実施形態の医用画像処理装置100では、ポート110は、骨、肝臓、腎臓といった組織等を含むボリュームデータを取得する。プロセッサ140は、ボリュームデータにおける任意の3次元領域Rを設定する。プロセッサ140は、3次元領域Rにおいて相互に直交する3つの固有ベクトルV1,V2,V3を取得する。プロセッサ140は、各固有ベクトルV1,V2,V3を法線とする3つのMPR断面Sc1,Sc2,Sc3を導出する。プロセッサ140は、各MPR断面Sc1,Sc2,Sc3に、それぞれボリュームデータに対する3つのMPR画像M1,M2,M3を生成する。ディスプレイ130は、画面GMにMPR画像M1,M2,M3を表示する。プロセッサ140は、上記の法線に沿う方向にMPR断面Sc1,Sc2,Sc3を平行移動して、平行移動した面を断面とするMPR画像M1,M2,M3を再生成する。
尚、組織等は、被検体の一例である。固有ベクトルV1,V2,V3は、ベクトルの一例である。3つのMPR断面Sc1,Sc2,Sc3は、3つの面の一例である。MPR画像M1,M2,M3は、断面画像の一例である。
これにより、医用画像処理装置100は、ユーザが手動で操作することによる客観性の低下を抑制して、3つのMPR断面Sc1,Sc2,Sc3(直交3断面)を容易に取得できる。また、医用画像処理装置100は、MPR断面Sc1,Sc2,Sc3を平行移動させてMPR画像M1,M2,M3を表示できる。よって、ユーザの主観による操作を行うことなく、ユーザが観察したい組織等画像RS1,RS2,RS3を客観的に特定でき、再現性も向上できる。
また、医用画像処理装置100は、スクリーニング目的に用いるアキシャル断面のようなCT座標系に沿った断面のみでなく、MPR断面Sc1,Sc2,Sc3を様々な面で設定できる。よって、ユーザによる病変の見落としも低減できると期待できる。
また、MPR画像M1,M2,M3は、それぞれMPR画像M1,M2,M3に対応するMPR断面Sc1,Sc2,Sc3における3次元領域Rを包含してもよい。尚、組織等画像RS1,RS2,RS3は、被検体を含んだ3次元領域の画像の一例である。
これにより、ユーザは、3次元領域に含まれる組織等画像を確実に捉えることができる。
また、3次元領域Rは、連続領域であってもよい。
これにより、MPR画像では3次元領域が飛び地のように離れていないので、ユーザは、3次元領域に含まれる組織等を観察し易くなる。また、それぞれの連続領域にとって適切なMPR画像M1,M2,M3の向きが得られる。
また、プロセッサ140は、ディスプレイ130の基準方向に対するMPR画像M1,M2,M3の表示方向を、それぞれ、3つの固有ベクトルV1,V2,V3のうち、MPR画像M1,M2,M3に対応する固有ベクトルを除いた2つの固有ベクトルのうち、少なくとも1つに基づいて設定してもよい。
これにより、ユーザは、MPR画像M1,M2,M3の向きや組織等画像RS1,RS2,RS3の向きを把握し易くなる。
また、プロセッサ140は、ボリュームデータに基づいてボリュームレンダリング画像Brを生成してもよい。ディスプレイ130は、プロセッサ140の制御により、ボリュームレンダリング画像BrにおけるMPR画像M1,M2,M3の位置、大きさ、及び方向の少なくとも一つの情報を表示してもよい。
これにより、医用画像処理装置100は、ボリュームレンダリング画像BrとMPR画像M1,M2,M3とを視覚的に対応付けできる。
また、プロセッサ140は、3次元領域Rを包囲し3つの固有ベクトルV1,V2,V3に沿う辺を有するバウンディングボックスBxを生成してもよい。ディスプレイ130は、プロセッサ140の制御により、ボリュームレンダリング画像Brに枠画像Fl1,Fl2,Fl3を表示してもよい。枠画像Fl1,Fl2,Fl3は、バウンディングボックスBxを表す画像の一例である。
これにより、医用画像処理装置100は、CT座標系に沿わないバウンディングボックスを容易に生成して表示できる。また、医用画像処理装置100は、枠画像Fl1,Fl2,Fl3を用いて、ボリュームレンダリング画像BrとバウンディングボックスBxとを視覚的に対応付けできる。
また、ディスプレイ130は、プロセッサ140の制御により、MPR画像M1,M2,M3に枠画像Fl1,Fl2,Fl3を表示してもよい。
これにより、医用画像処理装置100は、枠画像Fl1,Fl2,Fl3を用いて、MPR画像M1,M2,M3とバウンディングボックスBxとを視覚的に対応付けできる。
また、3つの断面画像の拡大率は、同一であってもよい。
これにより、MPR画像M1,M2,M3を並列して閲覧するときに、画像上の長さや大きさが一貫しているので、互いに見比べやすい。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、プロセッサ140は、セグメンテーション処理によって、3次元領域Rを取得したが、3次元領域RはユーザによるUI120を介した操作によって作成されたものであってもよい。また、プロセッサ140は、一度作成された3次元領域Rをさらに新たなセグメンテーション処理やユーザによるUI120を介した操作によって変更してもよい。また、プロセッサ140は、3次元領域Rが変更されたときに、固有ベクトルV1,V2,V3を再計算して、MPR画像M1,M2,M3を更新してもよい。
例えば、上記実施形態では、プロセッサ140は、主成分分析によって3次元領域Rから固有ベクトルV1,V2,V3を導出したが、他の方法を用いてもよい。例えば、数学的に厳密な3次元領域Rの外接直方体を計算してもよい。
例えば、上記実施形態では、プロセッサ140は、バウンディングボックスを作成したが、互いに3断面が得られれば十分であるので、バウンディングボックスを作成しなくてもよい。例えば、主成分分析によって3次元領域Rから固有ベクトルV1,V2,V3が導出されれば十分である。
例えば、上記実施形態では、撮像されたCT画像としてのボリュームデータは、CT装置200から医用画像処理装置100へ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ等へ送信され、サーバ等に保管されてもよい。この場合、必要時に医用画像処理装置100のポート110が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体(不図示)を介して取得してもよい。
上記実施形態では、撮像されたCT画像としてのボリュームデータは、CT装置200から医用画像処理装置100へポート110を経由して送信されることを例示した。これは、実質的にCT装置200と医用画像処理装置100とを併せて一製品として成立している場合も含まれるものとする。また、医用画像処理装置100がCT装置200のコンソールとして扱われている場合も含む。
上記実施形態では、CT装置200により画像を撮像し、生体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、血管造影装置(Angiography装置)、又はその他のモダリティ装置を含む。また、PET装置は、他のモダリティ装置と組み合わせて用いられてもよい。
また、上記実施形態では、生体として人体を例示したが、動物の体でもよい。
また、本発明は、医用画像処理装置の動作を規定した医用画像処理方法として表現することも可能である。さらに、本発明は、上記実施形態の医用画像処理装置の機能を実現するプログラムを、ネットワークあるいは各種記憶媒体を介して医用画像処理装置に供給し、この医用画像処理装置内のコンピュータが読み出して実行するプログラムも適用範囲である。
本開示は、客観性の低下を抑制して、任意形状の3次元領域の直交3断面を容易に取得できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム等に有用である。
100 医用画像処理装置
110 ポート
120 ユーザインターフェース(UI)
130 ディスプレイ
140 プロセッサ
150 メモリ
200 CT装置
AX1,AX2,AX3 軸
AS1 アキシャル断面
Br ボリュームレンダリング画像
Bx バウンディングボックス
Fl3−1,Fl3−2,…,Fl3−N 枠線画像
GM 画面
R 3次元領域
RS1,RS2,RS3,RS4 組織等画像
Sc1,Sc2,Sc3 MPR断面
V1,V2,V3 固有ベクトル
Ya 矢印

Claims (11)

  1. ボリュームデータを取得するポートと、
    前記ボリュームデータにおける任意の3次元領域を設定し、前記3次元領域において相互に直交する3つのベクトルを取得し、各ベクトルを法線とする3つの面を導出し、各面を断面として前記ボリュームデータに対する3つの断面画像を生成するプロセッサと、
    前記断面画像を表示するディスプレイと、
    を備え、
    前記プロセッサは、前記法線に沿う方向に前記面を平行移動して、平行移動した面を断面とする断面画像を再生成する、医用画像処理装置。
  2. 請求項1に記載の医用画像処理装置であって、
    前記断面画像は、当該断面画像に対応する面における前記3次元領域を包含する、医用画像処理装置。
  3. 請求項1または2に記載の医用画像処理装置であって、
    前記3次元領域は、連続領域である、医用画像処理装置。
  4. 請求項1ないし3のいずれか1項に記載の医用画像処理装置であって、
    前記プロセッサは、前記法線に沿う方向に前記3つの面をそれぞれ平行移動して、平行移動した面を断面とする3つの前記断面画像を再生成する、医用画像処理装置。
  5. 請求項1ないしのいずれか1項に記載の医用画像処理装置であって、
    前記プロセッサは、前記ディスプレイの基準方向に対する前記断面画像の表示方向を、それぞれ、前記3つのベクトルのうち前記断面画像に対応するベクトルを除いた2つのベクトルのうち、少なくとも1つに基づいて設定する、医用画像処理装置。
  6. 請求項1ないしのいずれか1項に記載の医用画像処理装置であって、
    前記プロセッサは、前記ボリュームデータに基づいてボリュームレンダリング画像を生成し、
    前記ディスプレイは、前記プロセッサの制御により、前記ボリュームレンダリング画像における前記断面画像の位置、大きさ、及び方向の少なくとも一つの情報を表示する、医用画像処理装置。
  7. 請求項に記載の医用画像処理装置であって、
    前記プロセッサは、前記3次元領域を包囲し前記3つのベクトルに沿う辺を有するバウンディングボックスを生成し、
    前記ディスプレイは、前記プロセッサの制御により、前記ボリュームレンダリング画像に前記バウンディングボックスを表す画像を表示する、医用画像処理装置。
  8. 請求項1ないしのいずれか1項に記載の医用画像処理装置であって、
    前記プロセッサは、前記3次元領域を包囲し前記3つのベクトルに沿う辺を有するバウンディングボックスを生成し、
    前記ディスプレイは、前記プロセッサの制御により、前記断面画像にバウンディングボックスを表す画像を表示する、医用画像処理装置。
  9. 請求項1ないしのいずれか1項に記載の医用画像処理装置であって、
    前記3つの断面画像の拡大率は、同一である、医用画像処理装置。
  10. 医用画像処理装置における医用画像処理方法であって、
    ボリュームデータを取得し、
    前記ボリュームデータにおける任意の3次元領域を設定し、
    前記3次元領域において相互に直交する3つのベクトルを取得し、
    各ベクトルを法線とする3つの面を導出し、
    各面を断面として前記3次元領域に対する3つの断面画像を生成し、
    生成された前記断面画像をディスプレイに表示し、
    前記法線に沿う方向に前記面を平行移動して、平行移動した面を断面とする断面画像を再生成し、
    再生成された前記断面画像を前記ディスプレイに表示する、医用画像処理方法。
  11. 請求項10に記載の医用画像処理方法をコンピュータに実行させるための医用画像処理プログラム。
JP2016066842A 2016-03-29 2016-03-29 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム Active JP6738631B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016066842A JP6738631B2 (ja) 2016-03-29 2016-03-29 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
US15/471,196 US20170287211A1 (en) 2016-03-29 2017-03-28 Medical image processing apparatus, medical image processing method, and medical image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016066842A JP6738631B2 (ja) 2016-03-29 2016-03-29 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2017176381A JP2017176381A (ja) 2017-10-05
JP6738631B2 true JP6738631B2 (ja) 2020-08-12

Family

ID=59961150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016066842A Active JP6738631B2 (ja) 2016-03-29 2016-03-29 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム

Country Status (2)

Country Link
US (1) US20170287211A1 (ja)
JP (1) JP6738631B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020044576A1 (ja) * 2018-08-30 2020-03-05 ハーツテクノロジー株式会社 表示制御装置、表示制御方法及び表示制御プログラム
WO2023175001A1 (en) * 2022-03-15 2023-09-21 Avatar Medical Method for displaying a 3d model of a patient
US11967073B2 (en) 2022-03-15 2024-04-23 Avatar Medical Method for displaying a 3D model of a patient
EP4258216A1 (en) * 2022-04-06 2023-10-11 Avatar Medical Method for displaying a 3d model of a patient

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4018303B2 (ja) * 1999-12-07 2007-12-05 株式会社東芝 医療用画像処理装置
JP4282939B2 (ja) * 2002-03-19 2009-06-24 東芝医用システムエンジニアリング株式会社 超音波診断装置、画像処理装置、及び画像処理プログラム
US7639855B2 (en) * 2003-04-02 2009-12-29 Ziosoft, Inc. Medical image processing apparatus, and medical image processing method
JP3984202B2 (ja) * 2003-04-02 2007-10-03 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、および、プログラム
JP4537756B2 (ja) * 2004-04-30 2010-09-08 オリンパス株式会社 超音波診断装置
JP5438936B2 (ja) * 2008-08-29 2014-03-12 株式会社東芝 超音波診断装置、画像処理装置及び画像処理プログラム
JP2011125568A (ja) * 2009-12-18 2011-06-30 Canon Inc 画像処理装置、画像処理方法、プログラム及び画像処理システム
JP5606832B2 (ja) * 2010-03-05 2014-10-15 富士フイルム株式会社 画像診断支援装置、方法およびプログラム
JP5631629B2 (ja) * 2010-05-17 2014-11-26 株式会社東芝 超音波画像処理装置及び超音波診断装置
WO2012153539A1 (ja) * 2011-05-11 2012-11-15 株式会社 東芝 医用画像処理装置とその方法
WO2013027526A1 (ja) * 2011-08-19 2013-02-28 株式会社 日立メディコ 医用画像装置及び医用画像構成方法
JP5866177B2 (ja) * 2011-11-10 2016-02-17 ソニー株式会社 画像処理装置および画像処理方法
JP5944650B2 (ja) * 2011-11-11 2016-07-05 東芝メディカルシステムズ株式会社 磁気共鳴イメージング装置
CN104812298B (zh) * 2012-11-22 2018-02-16 东芝医疗系统株式会社 图像处理装置、磁共振成像装置以及图像处理方法

Also Published As

Publication number Publication date
US20170287211A1 (en) 2017-10-05
JP2017176381A (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
JP5427179B2 (ja) 解剖学的データの視覚化
US9504852B2 (en) Medical image processing apparatus and radiation treatment apparatus
WO2009147841A1 (ja) 投影画像作成装置、方法およびプログラム
JP6051158B2 (ja) 切削シミュレーション装置および切削シミュレーションプログラム
JP2013244211A (ja) 医用画像処理装置、医用画像処理方法及び制御プログラム
JP6738631B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
US10537293B2 (en) X-ray CT system, image display device, and image display method
JP5194138B2 (ja) 画像診断支援装置およびその動作方法、並びに画像診断支援プログラム
JP4640384B2 (ja) 画像処理装置及び画像処理方法
JP2008035895A (ja) 画像処理方法および画像処理プログラム
JP4122463B2 (ja) 医療用可視画像の生成方法
JPWO2012144266A1 (ja) 医用画像表示装置、医用画像表示方法
JP2007014483A (ja) 医用診断装置及び診断支援装置
JP2005087727A (ja) 画像読影支援方法および装置ならびにプログラム
JP5624336B2 (ja) 医用画像処理装置、及び医用画像処理プログラム
JP2009268735A (ja) 医用画像処理装置
JP2011072515A (ja) 医用画像表示装置および方法ならびにプログラム
JP2009247490A (ja) 画像処理装置および方法並びにプログラム
US10896501B2 (en) Rib developed image generation apparatus using a core line, method, and program
JP5305635B2 (ja) 医用画像表示装置
JP2008067915A (ja) 医用画像表示装置
JP7022554B2 (ja) 画像処理装置およびその制御方法、プログラム
JP2018061844A (ja) 情報処理装置、情報処理方法、及びプログラム
JP5487339B2 (ja) 医用画像処理装置
JP2017023834A (ja) 画像処理装置、撮影システム及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R150 Certificate of patent or registration of utility model

Ref document number: 6738631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250