JP7154012B2 - 画像処理プログラム、画像処理装置、および画像処理方法 - Google Patents
画像処理プログラム、画像処理装置、および画像処理方法 Download PDFInfo
- Publication number
- JP7154012B2 JP7154012B2 JP2018018024A JP2018018024A JP7154012B2 JP 7154012 B2 JP7154012 B2 JP 7154012B2 JP 2018018024 A JP2018018024 A JP 2018018024A JP 2018018024 A JP2018018024 A JP 2018018024A JP 7154012 B2 JP7154012 B2 JP 7154012B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- bone
- dimensional bone
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000012545 processing Methods 0.000 title claims description 55
- 238000003672 processing method Methods 0.000 title claims description 7
- 210000000988 bone and bone Anatomy 0.000 claims description 278
- 206010027476 Metastases Diseases 0.000 claims description 101
- 230000009401 metastasis Effects 0.000 claims description 101
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 87
- 238000000605 extraction Methods 0.000 claims description 27
- 238000010606 normalization Methods 0.000 claims description 22
- 229910052500 inorganic mineral Inorganic materials 0.000 claims description 14
- 239000011707 mineral Substances 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 12
- 229940121896 radiopharmaceutical Drugs 0.000 claims description 12
- 239000012217 radiopharmaceutical Substances 0.000 claims description 12
- 230000002799 radiopharmaceutical effect Effects 0.000 claims description 12
- 230000037396 body weight Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 230000004097 bone metabolism Effects 0.000 claims description 4
- 230000001582 osteoblastic effect Effects 0.000 claims 3
- 238000009206 nuclear medicine Methods 0.000 description 49
- 238000009825 accumulation Methods 0.000 description 14
- 230000000877 morphologic effect Effects 0.000 description 13
- 206010028980 Neoplasm Diseases 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 201000011510 cancer Diseases 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 5
- 210000003734 kidney Anatomy 0.000 description 3
- 210000002758 humerus Anatomy 0.000 description 2
- 230000008595 infiltration Effects 0.000 description 2
- 238000001764 infiltration Methods 0.000 description 2
- 206010027452 Metastases to bone Diseases 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009400 cancer invasion Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Nuclear Medicine (AREA)
Description
本発明は、画像処理プログラム、画像処理装置、および画像処理方法に関する。
癌の骨転移を検出する手法として、骨転移診断用の放射性医薬品投与により得られた二次元の骨シンチグラムを用いる方法が、広く用いられている。骨シンチグラムを用いた診断では、平面上に投影された画像上で異常集積部位を確認することにより、癌の骨転移部位の検出が行われている。
また最近では、骨シンチグラムから骨領域を抽出した上で、骨領域上における癌の転移部位を抽出し、癌の骨転移領域の面積と骨領域全体の面積の比に基づいて算出されたBone Scan Index（以下、ＢＳＩ）という指標が提案され、臨床現場で用いられている。ＢＳＩは、癌の骨への浸潤の広がりを表す指標であり、治療効果判定や経過観察に役立つとされている（非特許文献１）。
Yusuf E. Erdi他「Quantitative Bone Metastases Analysis Based on Image Segmentation」The Journal of NUCLEAR MEDICINE 1997, 38:1401-1406.
上述したとおり、従来より用いられているＢＳＩは、骨シンチグラムにおける癌の転移部位の面積、すなわち画素数に基づいて計算された指標である。このことは、非特許文献１の１４０２頁右欄１～２８行には、骨への転移部分の関与を領域のピクセル数で計算することが記載され、同欄１８～１９行に「式３は、各骨の領域の大きさは、骨の重量に比例しているという重要な前提を述べている」と記載されていることからも分かる。つまり、従来は、２次元の領域の大きさに基づいてＢＳＩを求めていた。
そのため、例えば、シンチグラムの奥行き方向に複数の腫瘍が存在している場合等には、それらの腫瘍の占める面積が計算に用いられず、ＢＳＩが過小評価された数値となってしまう場合があった。
本発明は、上記背景に鑑み、癌の骨領域への浸潤の程度を表す精度の高い指標を提供することを目的とする。
本発明のプログラムは、三次元核医学画像に基づいて骨転移に関する指標を求めるためのプログラムであって、コンピュータに、被験者の三次元形態画像および三次元核医学画像のデータを入力するステップと、前記三次元形態画像に基づいて少なくとも一部の骨領域を抽出するステップと、前記骨領域に対応する前記三次元核医学画像における前記骨領域を特定するステップと、前記三次元核医学画像における前記骨領域の画素値を正規化するステップと、前記正規化後の前記三次元核医学画像における前記骨領域において所定の閾値以上の画素値を有する骨転移領域を求めるステップと、前記骨領域の体積と前記骨転移領域の体積とに基づいて、骨転移に関する指標を求めるステップとを実行させる。
この構成により、三次元核医学画像における骨領域の体積と骨転移領域の体積とに基づいて、骨転移に関する指標を求めるので、奥行き方向における情報を考慮した精度の高い指標を求めることができる。
本発明のプログラムにおいて、前記骨領域に対応する前記三次元核医学画像における前記骨領域を特定するステップは、前記三次元形態画像における前記骨領域のデータに基づいて前記骨領域のマスク画像を生成し、前記骨領域のマスク画像と三次元核医学画像とが重なる部分として、前記三次元核医学画像における前記骨領域を特定しても良い。例えば、前記骨領域のマスク画像を前記三次元核医学画像に乗じて前記三次元核医学画像における前記骨領域を特定してもよい。
この構成により、三次元形態画像に基づいて求めた骨領域のマスク画像を用いて、三次元核医学画像における骨領域（の画素）を適切に特定することができる。
本発明の別の態様のプログラムは、三次元核医学画像に基づいて骨転移に関する指標を求めるためのプログラムであって、コンピュータに、被験者の三次元核医学画像のデータを入力するステップと、前記三次元核医学画像に基づいて少なくとも一部の骨領域を抽出するステップと、前記骨領域の画素値を正規化するステップと、前記骨領域において所定の閾値以上の画素値を有する骨転移領域を求めるステップと、前記骨領域の体積と前記骨転移領域の体積とに基づいて、骨転移に関する指標を求めるステップとを実行させる。
この構成により、三次元核医学画像における骨領域の体積と骨転移領域の体積とに基づいて、骨転移に関する指標を求めるので、奥行き方向における情報を考慮した精度の高い指標を求めることができる。
本発明のプログラムにおいて、前記骨領域を抽出するステップは、前記三次元核医学画像における放射性医薬品の生理的集積部位を特定するステップと、前記三次元核医学画像において所定の閾値以上の画素値を有する画素を抽出するステップと、前記抽出された画素で構成される領域から、前記放射性医薬品の生理的集積部位を除外した領域を、前記骨領域として抽出するステップとを実行させてもよい。
所定の閾値以上の画素値を有する画像から、膀胱や腎臓等の放射性医薬品の生理的集積部位を除去することにより、適切に、三次元核医学画像から骨領域を抽出することができる。
本発明のプログラムにおいて、前記骨転移に関する指標を求めるステップは、被験者の全身の骨領域の体積に基づいて前記指標を求めてもよい。また、被験者の一部の骨領域の体積に基づいて前記指標を求めてもよい。
本発明の別の態様のプログラムは、三次元核医学画像の画像処理を行うためのプログラムであって、コンピュータに、被験者の三次元形態画像および三次元核医学画像のデータを入力するステップと、前記三次元形態画像に基づいて少なくとも一部の骨領域を抽出するステップと、前記骨領域に対応する前記三次元核医学画像における前記骨領域を特定するステップと、前記三次元核医学画像の前記骨領域の画素値を正規化するステップと、前記三次元核医学画像の前記骨領域において所定の閾値以上の画素値を有する骨転移領域を求めるステップと、方向の異なる２つ以上の画像を並べて表示し、表示された画像上に前記骨転移領域を表示するステップとを実行させる。
この構成により、見る方向の異なる２つ以上の三次元核医学画像が表示されるので、骨転移領域を立体的に把握することができ、診断に役立てることができる。なお、骨転移領域を表示する三次元核医学画像の方向は、任意の方向とすることができる。方向の指定は、操作者が表示したい方向を画面上で指定して行うことができる。
本発明の別の態様のプログラムは、三次元核医学画像の画像処理を行うためのプログラムであって、コンピュータに、被験者の三次元核医学画像のデータを入力するステップと、前記三次元核医学画像に基づいて少なくとも一部の骨領域を抽出するステップと、前記骨領域の画素値を正規化するステップと、前記骨領域において所定の閾値以上の画素値を有する骨転移領域を求めるステップと、方向の異なる２つ以上の画像を並べて表示し、表示された画像上に前記骨転移領域を表示するステップとを実行させる。
この構成により、見る方向の異なる２つ以上の三次元核医学画像が表示されるので、骨転移領域を立体的に把握することができ、診断に役立てることができる。なお、骨転移領域を表示する三次元核医学画像の方向は、任意の方向とすることができる。方向の指定は、操作者が表示したい方向を画面上で指定して行うことができる。
本発明のプログラムにおいて、前記正規化するステップは、被験者の体重、骨重量、または骨ミネラル量に関するデータを用いて正規化を行ってもよい。
本発明の画像処理装置は、被験者の三次元形態画像および三次元核医学画像のデータを入力する画像データ入力部と、前記三次元形態画像に基づいて少なくとも一部の骨領域を抽出する骨領域抽出部と、前記骨領域に対応する前記三次元核医学画像における前記骨領域を特定する骨領域特定部と、前記三次元核医学画像における前記骨領域の画素値を正規化する正規化部と、前記三次元核医学画像における前記骨領域において所定の閾値以上の画素値を有する骨転移領域を求める骨転移領域抽出部と、前記骨領域の体積と前記骨転移領域の体積とに基づいて、骨転移に関する指標を求める指標値計算部とを備える。
本発明の画像処理装置は、被験者の三次元核医学画像のデータを入力する画像データ入力部と、前記三次元核医学画像に基づいて少なくとも一部の骨領域を抽出する骨領域抽出部と、前記骨領域の画素値を正規化する正規化部と、前記骨領域において所定の閾値以上の画素値を有する骨転移領域を求める骨転移領域抽出部と、前記骨領域の体積と前記骨転移領域の体積とに基づいて、骨転移に関する指標を求める指標値計算部とを備える。
本発明の画像処理方法は、三次元核医学画像に基づいて骨転移に関する指標を求めるための方法であって、被験者の三次元形態画像および三次元核医学画像のデータを入力するステップと、前記三次元形態画像に基づいて少なくとも一部の骨領域を抽出するステップと、前記骨領域に対応する前記三次元核医学画像における前記骨領域を特定するステップと、前記三次元核医学画像における前記骨領域の画素値を正規化するステップと、正規化後の前記三次元核医学画像における前記骨領域において所定の閾値以上の画素値を有する骨転移領域を求めるステップと、前記骨領域の体積と前記骨転移領域の体積とに基づいて、骨転移に関する指標を求めるステップとを備える。
本発明の画像処理方法は、三次元核医学画像に基づいて骨転移に関する指標を求めるための方法であって、被験者の三次元核医学画像のデータを入力するステップと、前記三次元核医学画像に基づいて少なくとも一部の骨領域を抽出するステップと、前記骨領域の画素値を正規化するステップと、前記骨領域において所定の閾値以上の画素値を有する骨転移領域を求めるステップと、前記骨領域の体積と前記骨転移領域の体積とに基づいて、骨転移に関する指標を求めるステップとを備える。
本発明によれば、奥行き方向における情報を考慮して、骨転移に関する精度の高い指標を求めることができる。
以下、本発明の実施の形態の画像処理プログラム、画像処理装置、及び画像処理方法について説明する。
（第１の実施の形態）
本実施の形態では、三次元核医学画像としてＳＰＥＣＴ画像を用い、三次元形態画像としてＣＴ画像を用いる例を取り上げて説明する。現在は、ＳＰＥＣＴとＣＴとを一体化したＳＰＥＣＴ／ＣＴ装置が開発されており、ＳＰＥＣＴ検査の施行に合わせてＣＴ画像を撮影することが可能である。本実施の形態では、ＳＰＥＣＴ／ＣＴ装置を用いて撮影したＳＰＥＣＴ画像とＣＴ画像に基づいて処理を行うものとする。なお、本実施の形態はあくまでも一例であり、本発明の内容を限定する意図では無い。
（第１の実施の形態）
本実施の形態では、三次元核医学画像としてＳＰＥＣＴ画像を用い、三次元形態画像としてＣＴ画像を用いる例を取り上げて説明する。現在は、ＳＰＥＣＴとＣＴとを一体化したＳＰＥＣＴ／ＣＴ装置が開発されており、ＳＰＥＣＴ検査の施行に合わせてＣＴ画像を撮影することが可能である。本実施の形態では、ＳＰＥＣＴ／ＣＴ装置を用いて撮影したＳＰＥＣＴ画像とＣＴ画像に基づいて処理を行うものとする。なお、本実施の形態はあくまでも一例であり、本発明の内容を限定する意図では無い。
図１は、画像処理装置１の構成を示す図である。画像処理装置１は、画像データ入力部１０と、演算処理部１１と、出力部１２とを備えている。この画像処理装置１は、画像処理プログラムを実行することによって演算処理部１１に各種の機能を行わせることにより実現される。演算処理部１１は、図１に示すとおり、骨領域抽出部２０、骨領域特定部２１、正規化部２２、骨転移領域抽出部２３、指標値計算部２４の機能を有する。
画像処理装置１のハードウェアの一例は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、モニタ、キーボード、通信インターフェース、周辺機器インターフェース等を備えたコンピュータである。画像処理プログラムは、例えば、ＲＯＭに記憶されている。ＣＰＵは、ＲＯＭから画像処理プログラムを読み出して画像処理プログラムを実行する。
画像処理装置１は、画像データ入力部１０を有している。画像データ入力部１０は、被験者のＳＰＥＣＴ画像およびＣＴ画像のデータを入力する機能を有する。ＳＰＥＣＴ画像は、典型的には骨代謝が亢進した造骨部位に多く吸着する放射性医薬品（例えば、99mTc-HMDP（日本メジフィジックス株式会社製、クリアボーン(R)注））を用いて撮影した画像である。したがって、放射能量が高い領域、すなわちＳＰＥＣＴ画像の画素値が高い領域は、癌の骨転移が疑われる部分である。
画像データ入力部１０は、例えば、ネットワークインターフェースによって実現され、ＳＰＥＣＴ／ＣＴ装置から、被験者のＳＰＥＣＴ画像およびＣＴ画像のデータを受信する。また、画像データ入力部１０は、ＵＳＢのインターフェースによって実現されてもよい。ＳＰＥＣＴ画像およびＣＴ画像のデータを記憶したＵＳＢメモリをＵＳＢインターフェースに挿入することにより、ＵＳＢメモリからＳＰＥＣＴ画像およびＣＴ画像のデータの入力を受け付ける。なお、本実施の形態で入力されるＳＰＥＣＴ画像とＣＴ画像は、ＳＰＥＣＴ／ＣＴ装置によって撮影されたデータであり、両者の画像の位置合わせ（コレジストレーション）がなされている。
次に、演算処理部１１の各機能について説明する。骨領域抽出部２０は、ＣＴ画像に基づいて、三次元的に被験者の骨領域を抽出する。例えば骨領域抽出部２０は、ＣＴ画像上で閾値以上の画素値を有する領域を骨領域として抽出する。骨領域の抽出に用いる閾値は、骨領域を示すハンスフィールド値として当業者に一般に知られている値を用いることができ、本実施の形態では、１５２を用いている。骨領域抽出部２０は、骨領域を求めたら、その骨領域の体積を算出する。
なお、閾値による抽出では、骨の内部が抜けてしまったりノイズが生じてしまったりする場合がある。そこで、骨領域抽出部２０は、閾値以上の画素値を有する画素により構築した画像データに、公知の方法によるクロージング処理を加えて残った画素を、骨領域として定めてもよい。また、ノイズ除去の方法としてボクセル数が一定閾値以下のボリュームを除去する方法やノイズをマウスやスタイラスペン等を用いて手動で指定して除去する方法を用いてもよい。
骨領域特定部２１は、骨領域抽出部２０にて求めた三次元の骨領域に対応する領域のみＳＰＥＣＴ画像の画素値を維持し、それ以外の画素値を０とする処理を行い、ＳＰＥＣＴ画像における骨領域の画素を抽出する。具体的な処理の例としては、骨領域抽出部２０にて求めた三次元の骨領域の画素値を１、それ以外の画素値を０とするマスク画像を生成し、ＳＰＥＣＴ画像に乗じる。ＳＰＥＣＴ画像とＣＴ画像は位置合わせがなされているので、マスク画像とＳＰＥＣＴ画像の対応する画素の画素値を乗じることで、ＳＰＥＣＴ画像において、骨領域の画素値のみを得ることができる。
正規化部２２は、ＳＰＥＣＴ画像の画素値を正規化する機能を有する。正規化は、撮影条件等が異なる検査結果を比較するために行う前処理である。正規化部２２は、投与した放射能（放射性医薬品の量）が全身に均一に分布し、かつ排泄されていないという状況と比較して、各画素の放射能濃度が何倍になるかを示す量に変換する。一例において、正規化部２２は、投与した放射性医薬品の放射能量と被験者の体重を用いて正規化を行う。具体的には、下記の式（１）により、ＳＰＥＣＴ画像の各画素値を正規化する。
（ＳＰＥＣＴ画素値）／（被験者に投与した放射能量／被験者の体重）・・・（１）
（ＳＰＥＣＴ画素値）／（被験者に投与した放射能量／被験者の体重）・・・（１）
骨転移領域抽出部２３は、癌の転移が認められる領域を抽出する機能を有する。骨転移領域抽出部２３は、具体的には、ＳＰＥＣＴ画像の骨領域から、所定の閾値以上の画素値を有する画素を骨転移領域として抽出する。骨転移領域抽出部２３は、抽出した骨転移領域の体積を求める。
指標値計算部２４は、骨領域の体積に対する骨転移領域の体積を、骨への浸潤の程度を示す指標として求める。すなわち、下記の式（２）により、指標値を求める。
（骨転移領域の体積の合計）／（骨体積）×１００・・・（２）
なお、本実施の形態では、式（２）の分母である骨領域の体積（式（２）では「骨体積」と表示）としては、全身の骨領域の体積を用いるが、必ずしも全身の骨領域の体積を用いなくてもよい。
（骨転移領域の体積の合計）／（骨体積）×１００・・・（２）
なお、本実施の形態では、式（２）の分母である骨領域の体積（式（２）では「骨体積」と表示）としては、全身の骨領域の体積を用いるが、必ずしも全身の骨領域の体積を用いなくてもよい。
出力部１２は、求めた指標値を例えばモニタに出力する。このときに、出力部１２は、指標値と共に、被験者のＳＰＥＣＴ画像、ＣＴ画像およびその合成画像をモニタに出力してもよい。
図２は、第１の実施の形態の画像処理装置１の動作の例を示す図である。
画像処理装置１は、まず、ＳＰＥＣＴ／ＣＴ装置から被験者のＳＰＥＣＴ画像およびＣＴ画像のデータを読み込む（Ｓ１０）。画像処理装置１の骨領域抽出部２０は、ＣＴ画像に基づいて被験者の三次元の骨領域を抽出すると共に、抽出した骨領域の体積を求める（Ｓ１１）。上述したとおり、本実施の形態においては、骨領域の抽出には、ハンスフィールド値の閾値として１５２を用い、１５２以上のハンスフィールド値を有する画素を骨領域として抽出している。
画像処理装置１は、まず、ＳＰＥＣＴ／ＣＴ装置から被験者のＳＰＥＣＴ画像およびＣＴ画像のデータを読み込む（Ｓ１０）。画像処理装置１の骨領域抽出部２０は、ＣＴ画像に基づいて被験者の三次元の骨領域を抽出すると共に、抽出した骨領域の体積を求める（Ｓ１１）。上述したとおり、本実施の形態においては、骨領域の抽出には、ハンスフィールド値の閾値として１５２を用い、１５２以上のハンスフィールド値を有する画素を骨領域として抽出している。
次に、画像処理装置１の骨領域特定部２１は、ＣＴ画像に基づいて求めた骨領域に対応するＳＰＥＣＴ画像の骨領域を特定する（Ｓ１２）。具体的には、ＣＴ画像に基づいて求めた骨領域のマスク画像を生成し、マスク画像をＳＰＥＣＴ画像に乗じることにより、ＳＰＥＣＴ画像から骨領域に対応する部分の領域を特定する。膀胱や腎臓等の生理的集積部位では、異常がなくてもＳＰＥＣＴ画像の画素値が高くなる場合があるが、ＣＴ画像に基づいて求めた骨領域のマスク画像を乗じる方法により、生理的集積部位を除去して適切な診断を行うことが可能となる。
画像処理装置１の正規化部２２は、ＳＰＥＣＴ画像の骨領域における画素値を正規化する（Ｓ１３）。本実施の形態において、具体的には、正規化部２２は、被験者の体重のデータを用いて、上述した式（１）によって正規化を行う。骨転移領域抽出部２３は、正規化されたＳＰＥＣＴ画像において、所定の閾値以上の画素値を有する骨転移領域を抽出する（Ｓ１４）。ここで、抽出される骨転移領域は、ＳＰＥＣＴ画像の骨領域から抽出されるので、三次元のデータである。また、骨転移領域抽出部２３は、抽出された骨転移領域の体積を求める。
そして、画像処理装置１の指標値計算部２４は、骨領域の体積と骨転移領域の体積とに基づいて、上述した式（２）により、骨転移に関する指標値を計算する（Ｓ１５）。画像処理装置１の出力部１２は、求めた指標値と被験者のＳＰＥＣＴ画像、ＣＴ画像をモニタに出力する（Ｓ１６）。
図３は、モニタに表示された出力結果の例を示す図である。図３において、右端の「ＣＴ」と記載された画像はＣＴ画像、右から２番目の「ＮＭ」と記載された画像はＳＰＥＣＴ画像である。なお、「ＮＭ」は、核医学（Nuclear Medicine）の略である。右から３番目の「Ｆｕｓｅｄ」と記載された画像は、ＣＴ画像とＳＰＥＣＴ画像を重畳した画像であり、左端の「ＶＯＩ」と記載された画像は、骨転移領域として抽出されたＶＯＩをハイライト表示した画像である。図３における「ＶＯＩ」と記載された画像では、５箇所のＶＯＩが設定されている。
画像の下に表示されているデータにおいて、「ＭＢＶ」は体積に該当する数値、「Ｐｉｘｅｌ Ｎｕｍ」は画素数、「ＳＵＶｍａｘ」は、対象部位内でのＳＵＶの最大値を示している。ここで、「ＳＵＶ（standardized uptake value）」とは、放射性薬剤の腫瘍や臓器への集積の強さを表すための指標であり、画像で測定した腫瘍や臓器の放射能濃度÷（放射能投与量÷体重）で求められる。また、図３に示す例では、骨転移領域のＶＯＩの体積（Total=7.072）を、全身の骨部分として抽出された領域の体積（CT Masked Bone=2087.664）で割って、指標値として0.33875が求められている。
また、出力部１２は、骨転移領域抽出部２３にて骨転移領域を抽出した画像を出力してもよい。図４は、骨転移領域抽出部２３にて求めた骨転移領域のＶＯＩを出力した例を示す図である。図４には４つの画像が写っているが、左から順に、被験者の骨盤付近の長軸断画像、矢状面画像、冠状面画像、ＭＩＰ（最大値投影）画像である。図４に矢印で示すように、骨転移領域を抽出した出力画像では、所定の閾値以上の画素値を有する部位にＶＯＩが設定されている。この出力画像では、様々な方向からの画像においてＶＯＩが表示されており、三次元の骨転移領域の形状を立体的に把握することができるので、診断に役立てることができる。
なお、本例では、ＳＰＥＣＴ画像の長軸断画像、矢状面画像、冠状面画像、ＭＩＰ（最大値投影）画像を並べて表示する例を挙げたが、長軸断画像、矢状面画像、冠状面画像のうちの少なくとも２つを並べて表示することとしてもよい。この構成によっても、骨転移領域を立体的に把握することができる。また、表示するＳＰＥＣＴ画像は、上記の４つの画像に限らず、任意の方向のＳＰＥＣＴ画像を表示することとしてもよい。この場合、操作者が見たい方向を指定できるようなユーザ・インターフェースを備えてもよい。このようなユーザ・インターフェースとしては、操作者が、ＳＰＥＣＴ画像が表示されたタッチパネルをスワイプすることにより、スワイプした方向に画像が回転するようなインターフェースが考えられる。
以上、第１の実施の形態の画像処理装置１の構成および動作について説明した。
以上、第１の実施の形態の画像処理装置１の構成および動作について説明した。
第１の実施の形態の画像処理装置１は、ＣＴ画像で求めた三次元の骨領域の体積と、ＳＰＥＣＴ画像で求めた三次元の骨転移領域の体積とに基づいて、骨転移に関する指標値を求めるので、奥行き方向における情報を考慮した精度の高い指標を求めることができる。
（第２の実施の形態）
図５は、第２の実施の形態の画像処理装置２の構成を示す図である。第２の実施の形態の画像処理装置２は、核医学画像を用いて骨転移領域に関する指標を求める装置である。本実施例では、核医学画像として、ＳＰＥＣＴ画像を用いた場合を例として説明する。第２の実施の形態の画像処理装置２の基本的な構成は、第１の実施の形態の画像処理装置１と同じである。同じ機能を有する構成要素には、同じ番号を付与している。
図５は、第２の実施の形態の画像処理装置２の構成を示す図である。第２の実施の形態の画像処理装置２は、核医学画像を用いて骨転移領域に関する指標を求める装置である。本実施例では、核医学画像として、ＳＰＥＣＴ画像を用いた場合を例として説明する。第２の実施の形態の画像処理装置２の基本的な構成は、第１の実施の形態の画像処理装置１と同じである。同じ機能を有する構成要素には、同じ番号を付与している。
第２の実施の形態の画像処理装置２は、演算処理部１１が、ＳＰＥＣＴ画像に基づいて被験者の骨領域を抽出する骨領域抽出部２５を有している。骨領域抽出部２５は、ＳＰＥＣＴ画像において所定の閾値以上の画素値を有する領域を骨領域として抽出する。ただし、この処理だけだと、膀胱や腎臓等の生理的集積部位を骨領域として誤って抽出してしまうおそれがあるので、骨領域抽出部２５は、生理的集積部位を骨領域から除去する処理を行う。
本実施の形態においては、画像処理装置２はＳＰＥＣＴ画像を表示し、そのＳＰＥＣＴ画像上において、ユーザにマウスやスタイラスペン等を用いて生理的集積部位を指定させることによって、生理的集積部位を特定する。画像処理装置２は、部位指定部１３を有している。部位指定部１３は、ＳＰＥＣＴ画像上において、ユーザが指定した点の座標を認識し、骨領域抽出部２５にその座標データを渡す。骨領域抽出部２５は、ユーザが指定した点を含むひとまとまりの領域を生理的集積部位として特定する。ひとまとまりの領域とは、値の近い画素がまとまった領域である。この構成により、ＳＰＥＣＴ画像から骨領域を抽出することができる。
本実施の形態では、ユーザが生理的集積部位を指定する例を挙げたが、生理的集積部位のモデルとなる画像データを記憶しておき、パターンマッチングにより、生理的集積部位を特定する等の方法をとることもできる。また、多数の被験者の生理的集積部位のデータがある場合には、それらを教師データとして学習して求めたモデルを用いて、新しい被験者のＳＰＥＣＴ画像から生理的集積部位を求めることができる。なお、被験者のＣＴ画像がある場合には、ＣＴ画像の情報を用いて、生理的集積部位を除外することとしてもよい。演算処理部１１のその他の機能は、第１の実施の形態の画像処理装置１と同じである。
図６は、第２の実施の形態の画像処理装置２の動作の例を示す図である。
画像処理装置２は、まず、ＳＰＥＣＴ装置から被験者のＳＰＥＣＴ画像のデータを読み込む（Ｓ２０）。画像処理装置２の骨領域抽出部２５は、ＳＰＥＣＴ画像に基づいて被験者の三次元の骨領域を抽出すると共に、抽出した骨領域の体積を求める（Ｓ２１）。
画像処理装置２は、まず、ＳＰＥＣＴ装置から被験者のＳＰＥＣＴ画像のデータを読み込む（Ｓ２０）。画像処理装置２の骨領域抽出部２５は、ＳＰＥＣＴ画像に基づいて被験者の三次元の骨領域を抽出すると共に、抽出した骨領域の体積を求める（Ｓ２１）。
次に、画像処理装置２の正規化部２２は、ＳＰＥＣＴ画像の骨領域における画素値を正規化する（Ｓ２２）。具体的には、正規化部２２は、被験者の体重のデータを用いて、上述した式（１）によって正規化を行う。骨転移領域抽出部２３は、正規化されたＳＰＥＣＴ画像において、所定の閾値以上の画素値を有する骨転移領域を抽出する（Ｓ２３）。ここで、抽出される骨転移領域は、ＳＰＥＣＴ画像の骨領域から抽出されるので、三次元のデータである。また、骨転移領域抽出部２３は、抽出された骨転移領域の体積を求める（Ｓ２３）。
そして、画像処理装置２の指標値計算部２４は、骨領域の体積と骨転移領域の体積とに基づいて、上述した式（２）により、骨転移に関する指標値を計算する（Ｓ２４）。画像処理装置２の出力部１２は、求めた指標値と被験者のＳＰＥＣＴ画像をモニタに出力する（Ｓ２５）。以上、第２の実施の形態の画像処理装置２の構成および動作について説明した。
第２の実施の形態の画像処理装置２は、ＳＰＥＣＴ画像で求めた三次元の骨領域の体積と三次元の骨転移領域の体積とに基づいて、骨転移に関する指標値を求めるので、奥行き方向における情報を考慮した精度の高い指標を求めることができる。また、第２の実施の形態の画像処理装置２は、ＳＰＥＣＴ画像を用いて処理を行えるので、ＣＴ画像のデータのない被験者についても、骨転移に関する指標値を求めることが可能である。
（変形例）
以上、本発明の画像処理装置、画像処理プログラムおよび画像処理方法について、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
以上、本発明の画像処理装置、画像処理プログラムおよび画像処理方法について、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。
上記した実施の形態では、ＳＰＥＣＴ／ＣＴ装置を用いて、ＳＰＥＣＴ画像とＣＴ画像を取得する例を挙げたが、ＳＰＥＣＴ画像とＣＴ画像は、別々に撮影した画像を用いることも可能である。この場合、ＳＰＥＣＴ画像の骨領域における画素値を取得するステップ（Ｓ１２）において、ＳＰＥＣＴ画像とＣＴ画像の位置合わせを行う必要がある。
上記した実施の形態では、核医学画像としてＳＰＥＣＴ画像を用いる例を挙げて説明したが、例えばＮａＦ１８等投与によるＰＥＴ画像を用いた指標値の計算にも適用することができる。この場合、ＰＥＴ画像とＣＴ画像は、ＰＥＴ／ＣＴ装置を用いて同時に取得してもよいし、別々に撮影した画像を用いてもよい。
上記した実施の形態では、被験者の骨領域を求めるための形態画像としてＣＴ画像を用いる例を挙げて説明したが、形態画像はＣＴ画像に限られず、例えば、ＭＲＩ画像を用いてもよい。
上記した実施の形態では、被験者の体重を用いて正規化を行う例を挙げたが、ＳＰＥＣＴ画像の正規化は、体重以外のデータを用いて行ってもよい。例えば、正規化部２２は、被験者の骨重量を用いて、ＳＰＥＣＴ画像の正規化を行うことができる。これは、投与した放射能（放射性医薬品の量）が骨組織に均一に分布し、かつ排泄されていないという状況と比較して、各画素の放射能濃度が何倍になるかを示す量に変換するものであり、具体的には、次の式（３）によって計算する。
（ＳＰＥＣＴ画素値）／（被験者に投与した放射能量／被験者の骨重量）・・・（３）
（ＳＰＥＣＴ画素値）／（被験者に投与した放射能量／被験者の骨重量）・・・（３）
なお、骨重量の情報は、例えば、ＣＴ画像に基づいて求めた骨領域のデータに基づいて推定することができる。ＣＴ画像がない場合には、被験者の性別、年齢、身長、体重等から推定することができる。
また、正規化部２２は、骨ミネラル量（ＢＭＣ：Bone Mineral Contents）または骨ミネラル密度（ＢＭＤ：Bone Mineral Density）を用いて、ＳＰＥＣＴ画像の正規化を行ってもよい。具体的には、次の式（４）（５）によって計算することができる。
（ＳＰＥＣＴ画素値）／（被験者に投与した放射能量／骨ミネラル量）・・・（４）
（ＳＰＥＣＴ画素値）／（被験者に投与した放射能量／骨ミネラル密度）・・・（５）
（ＳＰＥＣＴ画素値）／（被験者に投与した放射能量／骨ミネラル量）・・・（４）
（ＳＰＥＣＴ画素値）／（被験者に投与した放射能量／骨ミネラル密度）・・・（５）
なお、骨ミネラル量、骨ミネラル密度は、被験者の性別、年齢、身長、体重等から推定することができる。日本人についてはデータベースを用いた先行研究（例えば、European Journal of Clinical Nutrition (2001) 55, p.462470）がある。この文献によると、骨ミネラル量や骨ミネラル密度を、次の式から推定することができることが示されている。
骨ミネラル量（男性；kg）= -1.81 - 0.0015×年齢＋1.89×身長＋0.017×体重
骨ミネラル量（女性；kg）= -1.05 - 0.009×年齢＋1.57×身長＋0.017×体重
骨ミネラル密度（男性；g/m2）= 0.934 - 0.00081×年齢＋0.003×体重
骨ミネラル密度（女性；g/m2）= 0.824 - 0.00368×年齢＋0.137×身長＋0.0026×体重
これらの式において、年齢の単位は年、体重の単位はｋｇ、身長の単位はｍである。
骨ミネラル量（男性；kg）= -1.81 - 0.0015×年齢＋1.89×身長＋0.017×体重
骨ミネラル量（女性；kg）= -1.05 - 0.009×年齢＋1.57×身長＋0.017×体重
骨ミネラル密度（男性；g/m2）= 0.934 - 0.00081×年齢＋0.003×体重
骨ミネラル密度（女性；g/m2）= 0.824 - 0.00368×年齢＋0.137×身長＋0.0026×体重
これらの式において、年齢の単位は年、体重の単位はｋｇ、身長の単位はｍである。
本発明によって求めた骨転移に関する指標は、被験者の経過観察や重症度評価に有効に用いる事ができる。
ここで、骨転移に関する指標を計算する範囲は、全身を対象としても良いし、一部としても良い。身体の一部を対象として指標を求める場合は、経過観察等で比較に用いる各データの計算範囲を揃えておく必要がある。例えば、右上腕骨に転移の見られた患者について、当該転移領域の経過観察を詳細に行う場合は、各時間点における画像で右上腕骨のデータのみを用いて骨転移に関する指標を算出し、相互比較を行えば良い。
ここで、骨転移に関する指標を計算する範囲は、全身を対象としても良いし、一部としても良い。身体の一部を対象として指標を求める場合は、経過観察等で比較に用いる各データの計算範囲を揃えておく必要がある。例えば、右上腕骨に転移の見られた患者について、当該転移領域の経過観察を詳細に行う場合は、各時間点における画像で右上腕骨のデータのみを用いて骨転移に関する指標を算出し、相互比較を行えば良い。
１，２ 画像処理装置
１０ 画像データ入力部
１１ 演算処理部
１２ 出力部
１３ 部位指定部
２０ 骨領域抽出部
２１ 骨領域特定部
２２ 正規化部
２３ 骨転移領域抽出部
２４ 指標値計算部
２５ 骨領域抽出部
１０ 画像データ入力部
１１ 演算処理部
１２ 出力部
１３ 部位指定部
２０ 骨領域抽出部
２１ 骨領域特定部
２２ 正規化部
２３ 骨転移領域抽出部
２４ 指標値計算部
２５ 骨領域抽出部
Claims (8)
- コンピュータに、
被験者のＣＴ画像および骨代謝が亢進した造骨部位に吸着する放射性医薬品を用いて撮影したＳＰＥＣＴ画像のデータを入力するステップと、
前記ＣＴ画像に基づいて少なくとも一部の三次元の骨領域を抽出するステップと、
前記三次元の骨領域に対応する前記ＳＰＥＣＴ画像における前記三次元の骨領域を特定するステップと、
前記ＳＰＥＣＴ画像における前記三次元の骨領域の画素値を正規化するステップと、
前記正規化後の前記ＳＰＥＣＴ画像における前記三次元の骨領域において所定の閾値以上の画素値を有する三次元の骨転移領域を求めるステップと、
前記三次元の骨領域の体積と前記三次元の骨転移領域の体積とに基づいて、奥行き方向における情報を反映した骨転移に関する指標を求めるステップと、
を実行させる画像処理プログラム。 - 前記三次元の骨領域に対応する前記ＳＰＥＣＴ画像における前記三次元の骨領域を特定するステップは、前記ＣＴ画像における三次元の骨領域のデータに基づいて三次元の骨領域のマスク画像を生成し、
前記三次元の骨領域のマスク画像と前記ＳＰＥＣＴ画像とが重なる部分として、前記ＳＰＥＣＴ画像における前記三次元の骨領域を特定する請求項１に記載の画像処理プログラム。 - 前記骨転移に関する指標を求めるステップは、被験者の全身の三次元の骨領域の体積に基づいて前記指標を計算する請求項１または２に記載の画像処理プログラム。
- 前記骨転移に関する指標を求めるステップは、被験者の一部の三次元の骨領域の体積に基づいて前記指標を計算する請求項１または２に記載の画像処理プログラム。
- ２つ以上の異なる断面画像を並べて表示し、表示された断面画像上に前記三次元の骨転移領域に対応する領域を表示するステップをさらに含む、請求項１乃至４のいずれか１項に記載の画像処理プログラム。
- 前記正規化するステップは、被験者の体重、骨重量、または骨ミネラル量に関するデータを用いて正規化を行う請求項１乃至５のいずれか１項に記載の画像処理プログラム。
- 被験者のＣＴ画像および骨代謝が亢進した造骨部位に吸着する放射性医薬品を用いて撮影したＳＰＥＣＴ画像のデータを入力する画像データ入力部と、
前記ＣＴ画像に基づいて少なくとも一部の三次元の骨領域を抽出する三次元の骨領域抽出部と、
前記三次元の骨領域に対応する前記ＳＰＥＣＴ画像における前記三次元の骨領域を特定する骨領域特定部と、
前記ＳＰＥＣＴ画像における前記三次元の骨領域の画素値を正規化する正規化部と、
前記ＳＰＥＣＴ画像における前記三次元の骨領域において所定の閾値以上の画素値を有する三次元の骨転移領域を求める骨転移領域抽出部と、
前記三次元の骨領域の体積と前記三次元の骨転移領域の体積とに基づいて、奥行き方向における情報を反映した骨転移に関する指標を求める指標値計算部と、
を備える画像処理装置。 - 被験者のＣＴ画像および骨代謝が亢進した造骨部位に吸着する放射性医薬品を用いて撮影したＳＰＥＣＴ画像のデータを入力するステップと、
前記ＣＴ画像に基づいて少なくとも一部の三次元の骨領域を抽出するステップと、
前記三次元の骨領域に対応する前記ＳＰＥＣＴ画像における前記三次元の骨領域を特定するステップと、
前記ＳＰＥＣＴ画像における前記三次元の骨領域の画素値を正規化するステップと、
正規化後の前記ＳＰＥＣＴ画像における前記三次元の骨領域において所定の閾値以上の画素値を有する三次元の骨転移領域を求めるステップと、
前記三次元の骨領域の体積と前記三次元の骨転移領域の体積とに基づいて、奥行き方向における情報を反映した骨転移に関する指標を求めるステップと、
を備える画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018018024A JP7154012B2 (ja) | 2018-02-05 | 2018-02-05 | 画像処理プログラム、画像処理装置、および画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018018024A JP7154012B2 (ja) | 2018-02-05 | 2018-02-05 | 画像処理プログラム、画像処理装置、および画像処理方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017177062A Division JP6286606B1 (ja) | 2017-09-14 | 2017-09-14 | 画像処理プログラム、画像処理装置、および画像処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019053022A JP2019053022A (ja) | 2019-04-04 |
| JP2019053022A5 JP2019053022A5 (ja) | 2020-11-12 |
| JP7154012B2 true JP7154012B2 (ja) | 2022-10-17 |
Family
ID=66014673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018018024A Ceased JP7154012B2 (ja) | 2018-02-05 | 2018-02-05 | 画像処理プログラム、画像処理装置、および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7154012B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7382268B2 (ja) * | 2020-03-31 | 2023-11-16 | 日本メジフィジックス株式会社 | プログラム、画像処理装置、および画像処理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100032575A1 (en) | 2008-08-08 | 2010-02-11 | Andrei Iagaru | Methods and systems for pet/ct scanning for evaluation of malignancy |
| JP2014174654A (ja) | 2013-03-07 | 2014-09-22 | Nihon Medi Physics Co Ltd | 核医学骨画像解析技術 |
| WO2016088492A1 (ja) | 2014-12-03 | 2016-06-09 | 公立大学法人横浜市立大学 | 核医学画像データの定量化 |
| JP2016142665A (ja) | 2015-02-04 | 2016-08-08 | 日本メジフィジックス株式会社 | 核医学画像中の腫瘍領域を抽出する技術 |
| JP2017067489A (ja) | 2015-09-28 | 2017-04-06 | 富士フイルムＲｉファーマ株式会社 | 診断支援装置、方法及びコンピュータプログラム |
-
2018
- 2018-02-05 JP JP2018018024A patent/JP7154012B2/ja not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100032575A1 (en) | 2008-08-08 | 2010-02-11 | Andrei Iagaru | Methods and systems for pet/ct scanning for evaluation of malignancy |
| JP2014174654A (ja) | 2013-03-07 | 2014-09-22 | Nihon Medi Physics Co Ltd | 核医学骨画像解析技術 |
| WO2016088492A1 (ja) | 2014-12-03 | 2016-06-09 | 公立大学法人横浜市立大学 | 核医学画像データの定量化 |
| JP2016142665A (ja) | 2015-02-04 | 2016-08-08 | 日本メジフィジックス株式会社 | 核医学画像中の腫瘍領域を抽出する技術 |
| JP2017067489A (ja) | 2015-09-28 | 2017-04-06 | 富士フイルムＲｉファーマ株式会社 | 診断支援装置、方法及びコンピュータプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019053022A (ja) | 2019-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6548393B2 (ja) | 医用画像表示装置および医用画像表示システム | |
| JP5263997B2 (ja) | 医用レポート作成装置、医用レポート作成方法および医用レポート作成プログラム | |
| WO2004049948A1 (ja) | コンピュータ支援診断装置 | |
| JP6442311B2 (ja) | 核医学画像中の腫瘍輪郭を抽出する技術 | |
| JP6302934B2 (ja) | コンピュータ支援による関心組織の特定 | |
| KR20170033771A (ko) | 생체의 화상 검사를 위한 roi의 설정 기술 | |
| JP6301277B2 (ja) | 診断補助画像生成装置および診断補助画像生成方法、並びに、診断補助画像生成プログラム | |
| JP2008026144A (ja) | 画像診断支援システム及び方法 | |
| CN104217423B (zh) | 选出图像数据组的自动产生 | |
| CN115311191A (zh) | 使用深度学习估计的扫描方案遮罩来生成三维解剖结构扫描的重新格式化视图 | |
| Raja et al. | Lung segmentation and nodule detection in 3D medical images using convolution neural network | |
| JP6442309B2 (ja) | 核医学画像解析技術 | |
| JP7154012B2 (ja) | 画像処理プログラム、画像処理装置、および画像処理方法 | |
| US20140341452A1 (en) | System and method for efficient assessment of lesion development | |
| US10395364B2 (en) | Nuclear medical image analysis technique | |
| JP6286606B1 (ja) | 画像処理プログラム、画像処理装置、および画像処理方法 | |
| EP3168649A1 (en) | Method for evaluating nuclear medicine image of head | |
| JP6442310B2 (ja) | 核医学画像中の腫瘍領域を抽出する技術 | |
| WO2019058657A1 (ja) | 流体解析装置および流体解析装置の作動方法並びに流体解析プログラム | |
| US9808175B1 (en) | Method and system for analyzing images to quantify brain atrophy | |
| Fujita et al. | State-of-the-art of computer-aided detection/diagnosis (CAD) | |
| EP2720192B1 (en) | Method, system and computer readable medium for liver diagnosis | |
| JP7561736B2 (ja) | 放射線治療における解剖学的変化の自動定性的記述 | |
| Diaz et al. | Three-Dimensional Reconstruction of Cardiac Structures Using CT Images | |
| Ttofi | Morphology of Human Organs in Nuclear Medicine: MATLAB Commands |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200911 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200911 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211201 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220722 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220722 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220803 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220809 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221004 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7154012 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RVOP | Cancellation by post-grant opposition |