JP6639769B2 - 画像処理装置、画像処理方法及び医用画像診断装置 - Google Patents

画像処理装置、画像処理方法及び医用画像診断装置 Download PDF

Info

Publication number
JP6639769B2
JP6639769B2 JP2014076438A JP2014076438A JP6639769B2 JP 6639769 B2 JP6639769 B2 JP 6639769B2 JP 2014076438 A JP2014076438 A JP 2014076438A JP 2014076438 A JP2014076438 A JP 2014076438A JP 6639769 B2 JP6639769 B2 JP 6639769B2
Authority
JP
Japan
Prior art keywords
image
parameter
original image
value
optical attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014076438A
Other languages
English (en)
Other versions
JP2014200683A (ja
Inventor
ジエ リュ
ジエ リュ
チチ シュ
チチ シュ
ビン リ
ビン リ
シャオウェイ ユアン
シャオウェイ ユアン
恭子 佐藤
恭子 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2014200683A publication Critical patent/JP2014200683A/ja
Application granted granted Critical
Publication of JP6639769B2 publication Critical patent/JP6639769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/507—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for determination of haemodynamic parameters, e.g. perfusion CT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)

Description

本発明は、画像処理に関し、より具体的には、画像表示パラメータを決定する画像処理装置、画像処理方法及び医用画像診断装置に関する。
各種のイメージング方式によって得られる被検体のオリジナル画像は、実際には特定データのデータフィールド（例えば、二次元データフィールド又は三次元データフィールド）である。そのため、オリジナル画像は、取得された後に、直感的に視覚化されるように、例えば、二次元の画像又はスクリーンで表示（すなわち、可視化）される。
従来の画像表示方式（例えば、ボリュームレンダリング）は、オリジナル画像のデータに対して計算処理を行うことで画像表示パラメータを取得する。
米国特許第６６５８０８０号明細書
本発明が解決しようとする課題は、より適切にオリジナル画像を表示することができる画像処理装置、画像処理方法及び医用画像診断装置を提供することである。
実施形態に係る画像処理装置は、オリジナル画像取得部と、パラメータ画像取得部と、光学属性値決定部とを備える。オリジナル画像取得部は、医用画像診断装置によって撮像された被検体の画像であるオリジナル画像を取得する。パラメータ画像取得部は、前記オリジナル画像から計算された特定の意味を有するパラメータ画像を取得する。光学属性値決定部は、予め決められた対応関係に基づいて、前記オリジナル画像の画素のデータ値と当該画素に対応する前記パラメータ画像の画素のパラメータ値とにより、前記オリジナル画像の画素を表示するための光学属性値を決定する。前記光学属性値決定部は、前記パラメータ画像の種類ごとに予め決められた関心領域に対応する、パラメータ値の範囲と光学属性値との間の対応関係に基づいて、前記パラメータ画像におけるパラメータ値が前記範囲内となる画素の領域に対応する、前記オリジナル画像における画素の領域を、色を変えることにより当該領域を区別するような第１の光学属性値を有する第１の領域として決定し、さらに、前記第１の領域のうち、前記オリジナル画像におけるデータ値が特定の範囲内となる画素の領域を、前記色の透明度を変えることにより前記第１の光学属性値とは異なる第２の光学属性値を有する第２の領域として決定する。
図１は、本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。 図２は、本発明の他の実施形態に係る画像処理装置の構成例を示すブロック図である。 図３は、本発明の実施形態に係る画像処理装置における光学属性値決定部がパラメータ画像のパラメータ値に基づいて光学属性値を決定するための対応関係の例である。 図４は、本発明の実施形態に係る画像処理装置における光学属性値決定部がオリジナル画像のデータ値に基づいて光学属性値を決定するための対応関係の例である。 図５は、本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。 図６は、本発明の他の実施形態に係る画像処理装置の構成例を示すブロック図である。 図７は、本発明の実施形態に係る画像処理方法に含まれる処理の流れを示すフローチャートである。 図８は、本発明の実施形態に係る画像処理方法において光学属性値を決定する処理の流れを示すフローチャートである。 図９は、本発明の実施形態に係る画像処理方法において複数の対応関係を設定する処理の流れを示すフローチャートである。 図１０は、本発明の実施形態に係る画像処理方法において関心領域に基づいて予め決められた対応関係を使用する処理の流れを示すフローチャートである。 図１１は、本発明の他の実施形態に係る医用画像診断装置の構成例を示すブロック図である。 図１２は、本発明の実施形態を実現可能なコンピュータの構成例を示すブロック図である。
以下では、本発明の基本的な理解のために、本発明の幾つかの実施形態に関する概要を説明する。この概要は、本発明のキーになる領域又は重要な領域を確定するものではなく、また本発明の範囲を限定するものでもない。その目的は、ただ簡略的に説明することによって、その後に説明する更に詳細な記述のための前置きとするものである。
本出願の実施形態によれば、画像処理装置は、被検体のオリジナル画像を取得するオリジナル画像取得部と、前記オリジナル画像に対応するパラメータ画像を取得するパラメータ画像取得部と、予め決められた対応関係に基づいて、前記オリジナル画像の画素のデータ値と当該画素に対応する前記パラメータ画像の画素のパラメータ値とにより、前記オリジナル画像の画素を表示するための光学属性値を決定する光学属性値決定部とを備える。
本出願の他の実施形態によれば、画像処理方法は、被検体のオリジナル画像を取得するステップと、前記オリジナル画像に対応するパラメータ画像を取得するステップと、予め決められた対応関係に基づいて、前記オリジナル画像の画素のデータ値と当該画素に対応する前記パラメータ画像の画素のパラメータ値とにより、前記オリジナル画像の画素を表示するための光学属性値を決定するステップとを含む。
本出願の他の実施形態によれば、前記画像処理装置を備えた医用画像診断装置を提供する。
本出願の他の実施形態によれば、機器読み取り可能な命令コードを記憶したプログラム製品を提供する。当該命令コードは、コンピュータによって読み出されて実行されることで、当該コンピュータに前記画像処理方法を実行させることができ、又は、当該コンピュータを前記画像処理装置として用いることができる。
本出願の他の実施形態によれば、前記機器読み取り可能な命令コードを記憶したプログラム製品を保持した記憶媒体を提供する。
以下、図面を参照しながら本実施形態を説明することにより、さらに本実施形態の目的、特徴、メリットを理解し易くすることができる。なお、図面中の構成は、単に本実施形態の原理を示すためのものである。また、図面において、同じ又は類似の技術的特徴又は構成は、同様の又は類似の図面表記を用いて表現することとする。
以下、図面を参照しながら本実施形態について説明をする。なお、説明において、一つの図面又は一つの実施形態において記載した構成や特徴は、一つ又は複数の他の図面又は実施形態において示した構成や特徴の組み合わせることができる。さらに、明瞭にするため、図面や説明において本実施形態と無関係な内容や、当業者にとって周知の構成や処理については、表示や記載を省略する。
図１に示すように、本発明の実施形態に係る画像処理装置１００は、オリジナル画像取得部１１０、パラメータ画像取得部１２０、及び光学属性値決定部１３０を備える。
オリジナル画像取得部１１０は、被検体のオリジナル画像を取得する。例えば、オリジナル画像取得部１１０は、以下のように、磁気共鳴イメージング（ＭＲＩ：Magnetic Resonance Imaging）によって得られた磁気共鳴画像、Ｘ線イメージングによって得られたＸ線画像、超音波（ＵＬ：ULtrasonic）イメージングによって得られた超音波画像、コンピュータ断層（ＣＴ：Computed Tomography）イメージングによって得られたコンピュータ断層画像、又は、陽電子放出断層（ＰＥＴ：Positron Emission Tomography）イメージングによって得られた陽電子放出断層画像などを取得することができるが、ここに限定されるものではない。
パラメータ画像取得部１２０は、オリジナル画像取得部１１０が取得したオリジナル画像に対応するパラメータ画像を取得する。
ここで、パラメータ画像は、所定のアルゴリズムでオリジナル画像から計算された特定の意味を有する機能画像を含んでもよい。例えば、オリジナル画像が磁気共鳴画像である場合、対応するパラメータ画像は、ケミカルシフト画像（ＣＳＩ：Chemical Shift Image）、拡散強調画像（ＤＷＩ：Diffusion Weighted Image）、灌流強調イメージング（ＰＷＩ：Perfusion Weighted Imaging）によって得られた脳血容量（ＣＢＶ：Cerebral Blood Volume）画像、脳血流量（ＣＢＦ：Cerebral Blood Flow）画像、造影剤平均通過時間（ＭＴＴ：Mean Transit Time）画像、曲線下面積（ＡＵＣ：Area Under the Curve）画像、造影剤濃度曲線のピーク値（ＰＨ：Peak Height）画像、最高ピーク時間（ＰＴ：Time to Peak）画像、通過時間（ＴＴ：Transit Time）画像、拡散テンソルイメージング（ＤＴＩ：Diffusion Tensor Imaging）又は拡散テンソルトラクトグラフィ（ＤＴＴ：Diffusion Tensor Tractography）によって得られた見かけの拡散係数（ＡＤＣ：Apparent Diffusion Coefficient）画像、等方性見かけの拡散係数（Ｉｓｏ−ＡＤＣ）画像、異方性比率（ＦＡ：Fractional Anisotropy）画像、相対異方性（ＲＡ：Relative Anisotropy）画像、容積比（ＶＲ：Volume Ratio）画像、血中酸素濃度依存（ＢＯＬＤ：Blood Oxygen-Level Dependent）画像、磁気共鳴弾力（ＭＲＥ：Magnetic Resonance Elastgraphy）イメージングによって得られたマップ画像、アミドプロトン移動（ＡＰＴ：Amide Proton Transfer）イメージングによって得られたマップ画像、Ｔ１マップ画像、Ｔ２マップ画像、Ｔ２＊（Ｔ２スター）マップ画像などで良いが、これらに限定されるものではない。
または、パラメータ画像は、オリジナル画像のイメージング方式と異なるイメージング方式で得られた画像を含んでも良い。例えば、上述したイメージング方式のうちの２種の異なるイメージング方式で、オリジナル画像とパラメータ画像とをそれぞれ取得することができる。
また、オリジナル画像取得部１１０及びパラメータ画像取得部１２０は、それぞれがオリジナル画像又はパラメータ画像を取得してもよいし、例えば、他のイメージング装置又は計算装置から、各装置によって生成されたオリジナル画像又はパラメータ画像を受信してもよい。
光学属性値決定部１３０は、予め決められた対応関係に基づいて、オリジナル画像の画素のデータ値と当該画素に対応するパラメータ画像の画素のパラメータ値とにより、オリジナル画像の画素を表示するための光学属性値を決定する。
なお、ここで説明する「画素」は、二次元画像の画素すなわちピクセル、及び、三次元画像の画素すなわちボクセルを含んでも良い。
また、画素を表示するための光学属性は、例えば、色（例えば、ＲＧＢ値又はＹＵＶ値で表される）や、グレースケール、透明度（例えば、α値で表される）などで良いが、これらに限定されるものではない。
パラメータ画像のパラメータ値は、オリジナル画像のデータでは直接的に表現することができない情報を提供することができる。例えば、パラメータ画像が所定のアルゴリズムでオリジナル画像から計算した機能画像である場合、パラメータ画像におけるパラメータ値は、オリジナル画像における対応する部分の特定の属性を示すことができる。また、パラメータ画像がオリジナル画像と異なるイメージング方式で取得した画像である場合、異なるイメージング方式の特徴により、パラメータ画像は、オリジナル画像では存在しない特定の情報を提供することができる。
そのため、本出願の実施形態に係る画像処理装置１００は、オリジナル画像のデータ値によるだけでなく、パラメータ画像のパラメータ値にも基づいて、オリジナル画像を表示するための光学属性値を決定する。これにより、パラメータ画像の付加情報をオリジナル画像に結合させることができ、より適切にオリジナル画像を表示することができる。例えば、オリジナル画像において、パラメータ画像に基づいて決定した関心領域を強調表示することによって、より良好に表示効果を得ることができる。
本発明の実施形態によれば、伝達関数によって、オリジナル画像のデータ値とパラメータ画像のパラメータ値と光学属性値との間の予め決められた対応関係を定義することができる。図２に示すように、本発明の実施形態に係る画像処理装置２００は、オリジナル画像取得部２１０、パラメータ画像取得部２２０、光学属性値決定部２３０、及び伝達関数記憶部２４０を備える。
オリジナル画像取得部２１０及びパラメータ画像取得部２２０の構成は、図１を参照しながら説明したオリジナル画像取得部１１０及びパラメータ画像取得部１２０と同様であるので、ここでは説明を省略する。伝達関数記憶部２４０は、伝達関数を記憶する。伝達関数は、光学属性値決定部２３０が光学属性値を決定する時に参照する対応関係を定義するためのものであり、オリジナル画像のデータ値とパラメータ画像のパラメータ値とを入力とし、オリジナル画像の画素を表示するための光学属性値を出力とする。例えば、光学属性値が色値と透明度値とを含むとすると、伝達関数は、以下の一般の形式ＲＧＢＡ＝ｆ（ｄａｔａ，ｐａｒａ）を有することができる。ここで、ｄａｔａは、オリジナル画像の画素が有するデータ値を示し、ｐａｒａは、当該画素に対応するパラメータ画像の画素のパラメータ値を示し、ｄａｔａの値とｐａｒａの値とに基づいて、色値（ＲＧＢ分量）及び透明度値（α値）を決定することができる。必要に応じて、伝達関数の具体な形式を設定することができる。
本発明の実施形態によれば、光学属性値決定部２３０は、少なくとも１つの光学属性について、オリジナル画像における特定のパラメータ値の範囲に対応する領域を、特定の光学属性値を有する領域として決定する。例えば、パラメータ値の特定範囲内の画素について特定の色を有すると設定してもよく、又は、パラメータ値の特定範囲内の画素について特定の透明度を有すると設定してもよい。
図３は、予め決められた対応関係の例を示す。図３において、「パラメータ値分布」が示す曲線は、パラメータ画像における各画素のパラメータ値の分布を示している。オリジナル画像を表示する時、「色１」が示すパラメータ値の範囲に対応する画素については、第１の色を有すると設定され、「色２」が示すパラメータ値の範囲に対応する画素については、第２の色を有すると設定される。このように異なる色を設定することで、異なるパラメータ値の範囲に対応する画素を区分けする。また、「透明度」が示す曲線は、画素の透明度に対する設定を示している。この例において、「色１」と「色２」とが示すパラメータ値の範囲に対応する画素は、より高い透明度値（すなわち、比較的に透明でない）を有すると設定され、その画素の部分が強調表示される。
例えば、オリジナル画像が磁気共鳴画像（例えば、Ｔ１Ｗ（T1 Weighted）画像）であるとすると、光学属性値決定部２３０は、パラメータ画像が異方性比率画像である場合には、脳灰質又は脳白質のパラメータ値に対応する領域を強調又は区分けして表示するように光学属性値を決定しても良く、パラメータ画像がケミカルシフト画像である場合には、腫瘍領域のパラメータ値に対応する領域を強調して表示するように光学属性値を決定しても良く、パラメータ画像が拡散強調画像である場合は、脳梗塞領域のパラメータ値に対応する領域を強調して表示するように光学属性値を決定しても良い。しかしながら、本発明は、以上に挙げられた具体例に限定されるものではない。例えば、各種の関心領域を区別して表示するために、その他のパラメータ画像を利用し、複数種の対応関係に基づいてオリジナル画像を表示するための光学属性値を設定することができる。
また、光学属性値決定部２３０は、オリジナル画像における同一のパラメータ値の範囲に対応する領域について、オリジナル画像における特定のデータ値の範囲に対応するサブ領域を、特定の光学属性値を有するサブ領域として決定することもできる。
例えば、図４に示す例において、「データ値分布」が示す曲線は、オリジナル画像における同一のパラメータ値の範囲（例えば、図３において「色１」又は「色２」で示したパラメータ値の範囲）に対応する画素のデータ値の分布を示している。この場合に、この画素の部分は同じ色を有すると決定されるが、オリジナル画像のデータ値を利用して、「透明度」が示す曲線における垂下部分のように特定のデータ値を有する画素を透明に設定することで、表示画像においてその部分を取り除くことができる。
例えば、オリジナル画像が磁気共鳴画像（例えば、Ｔ１Ｗ画像）であり、パラメータ画像が異方性比率画像である場合、同一のパラメータ値の範囲内にある画素に対して、予め決められたオリジナル画像のデータ値の範囲（例えば、骨格に対応するデータ値の範囲）について、対応する画素を透明に設定することで、オリジナル画像におけるその他の部分をより良く表示することができる。当然ながら、本発明は、この具体な例に限定されるものではない。
また、撮像範囲内には複数の関心領域があり、かつ、各関心領域をそれぞれ強調して表示するような状況が存在する可能性がある。これに応じて、図５に示すように、本発明の実施形態に係る画像処理装置５００は、オリジナル画像取得部５１０、パラメータ画像取得部５２０、光学属性値決定部５３０、パラメータ値区分部５４０、及び対応関係設定部５５０を備える。
オリジナル画像取得部５１０及びパラメータ画像取得部５２０の構成は、前述した実施形態におけるオリジナル画像取得部及びパラメータ画像取得部と同様であるので、ここでは説明を省略する。パラメータ値区分部５４０は、パラメータ画像取得部５２０が取得したパラメータ画像のパラメータ値を２つ以上の範囲に区分する。各パラメータ値の範囲は、例えば、それぞれ異なる関心領域に対応する。対応関係設定部５５０は、光学属性値決定部５３０によって、各パラメータ値の範囲に対応する領域を区別して表示するように光学属性値が決定されるように、各パラメータ値の範囲に対して対応関係を設定する。つまり、同一の種類のパラメータ画像に対して複数の対応関係を設定することができ、対応関係ごとに、対応する関心領域を強調して表示することができる。また、対応する関心領域を表示する際にそれ以前に設定された対応関係を記憶部から直接取得することができるように、記憶部（図示せず）を利用して、対応関係設定部５５０が設定した対応関係を記憶するようにしてもよい。
また、オリジナル画像の境界とパラメータ画像の境界とが一致しない場合には、画像レジストレーションによってオリジナル画像とパラメータ画像との間で対応する画素を決定してもよい。図６に示すように、本発明の実施形態に係る画像処理装置６００は、オリジナル画像取得部６１０、パラメータ画像取得部６２０、光学属性値決定部６３０、及び画像レジストレーション部６４０を備える。オリジナル画像取得部６１０、パラメータ画像取得部６２０、及び光学属性値決定部６３０の構成は前述した実施形態におけるオリジナル画像取得部、パラメータ画像取得部、及び光学属性値決定部と同様である。画像レジストレーション部６４０は、画像レジストレーションによりオリジナル画像とパラメータ画像との間で対応する画素を決定する。なお、画像レジストレーション部６４０は、各種の既知の具体な方式を採用して画像レジストレーションを行うことができるので、ここでは説明を省略する。
なお、オリジナル画像とパラメータ画像とは、異なる分解能を有していてもよい。例えば、オリジナル画像の分解能がパラメータ画像の分解能より高くてもよい。この場合には、オリジナル画像における複数の隣接する画素が、パラメータ画像における１つの同じ画素に対応する可能性がある。これに応じて、パラメータ画像における当該画素のパラメータ値及びオリジナル画像における当該複数の画素のデータ値に基づいて、当該複数の画素の光学属性値を決定することができる。同様に、パラメータ画像の分解能がオリジナル画像の分解能より高くてもよい。この場合には、パラメータ画像における複数の隣接する画素がオリジナル画像における１つの同じ画素に対応する可能性がある。これに応じて、オリジナル画像における当該画素のデータ値及びパラメータ画像における当該複数の画素のパラメータ値に基づいて、オリジナル画像における当該画素の光学属性値を決定することができる。
上述した画像処理装置の説明の中で、いくつかの処理又は方法について説明した。以下では、当該方法について、上述した説明と重複しないように説明する。なお、当該方法は、上記実施形態では画像処理装置に関するものとして説明したが、必ずしも上述した各部によって実行されるとは限らない。例えば、上記画像処理装置の実施形態は、部分的又は全体的にハードウェア及び／又はファームウェアを用いて実現することができる。しかし、以下で説明する画像処理方法は、画像処理装置のハードウェア及び／又はソフトウェアによって実行されることもできるが、全体的にコンピュータが実行可能なプログラムによって実現されることもできる。
図７に示す本発明の実施形態に係る画像処理方法は、ステップＳ７１０において、被検体のオリジナル画像を取得する。また、ステップＳ７２０において、オリジナル画像に対応するパラメータ画像を取得する。
上述したように、オリジナル画像は、例えば、磁気共鳴イメージング、Ｘ線イメージング、超音波イメージング、コンピュータ断層イメージング、又は、陽電子放出断層イメージングなどの方式で得られた画像であって良いが、これらに限定されるものではない。また、パラメータ画像は、オリジナル画像に対して数値計算を行うことで得られたもの（例えば、以上に挙げられた磁気共鳴画像に対応する複数種のパラメータ画像）や、オリジナル画像のイメージング方式と異なるイメージング方式で得られたものであって良いが、これらに限定されるものではない。また、オリジナル画像又はパラメータ画像は、所定のイメージング方法又は計算方法によって直接的に取得されたものでも良いし、他の装置によって生成されて当該装置から受信したものでも良い。
また、ステップＳ７３０において、予め決められた対応関係に基づいて、オリジナル画像の画素のデータ値と当該画素に対応するパラメータ画像の画素のパラメータ値とにより、オリジナル画像の画素を表示するための光学属性値を決定する。光学属性は、例えば、色や、グレースケール、透明度を含む。対応関係は、伝達関数を利用して定義されてもよい。当該伝達関数は、オリジナル画像のデータ値とパラメータ画像のパラメータ値とを入力として、オリジナル画像を表示するための光学属性値を出力とする。
ここで、予め決められた対応関係に基づいて光学属性値を決定するステップは、例えば、図８に示す処理を含んでも良い。ステップＳ８３２において、少なくとも１つの光学属性について、オリジナル画像における特定のパラメータ値の範囲に対応する領域を、特定の光学属性値を有する領域として決定する。これにより、パラメータ画像に基づいて、オリジナル画像における関心領域を区別して表示することができる。例えば、オリジナル画像が磁気共鳴画像であるとすると、パラメータ画像が異方性比率画像である場合には、脳灰質又は脳白質のパラメータ値に対応する領域を強調又は区分けして表示するように光学属性値を決定することができ、パラメータ画像がケミカルシフト画像である場合には、腫瘍領域のパラメータ値に対応する領域を強調して表示するように光学属性値を決定することができ、パラメータ画像が拡散強調画像である場合は、脳梗塞領域のパラメータ値に対応する領域を強調して表示するように光学属性値を決定することができる。しかしながら、本発明は、以上に挙げられた具体例に限定されるものではない。さらに、ステップＳ８３４に示すように、オリジナル画像における同一のパラメータ値の範囲に対応する領域について、オリジナル画像における特定のデータ値の範囲に対応するサブ領域を、特定の光学属性値を有するサブ領域として決定することもできる。これにより、オリジナル画像のデータ値に基づいて、同一のパラメータ値の範囲に対応する領域の異なる部分を区別して表示することができる。例えば、オリジナル画像が磁気共鳴画像であり、パラメータ画像が異方性比率画像である場合に、パラメータ値が同一の範囲にある画素に対して、例えば、骨格に対応するオリジナル画像のデータ値の範囲の対応画素を透明に設定することができる。これにより、オリジナル画像におけるその他の部分をより良く表示することができる。しかしながら、本発明は、この具体な例に限定されるものではない。
また、複数の関心領域を区別して表示する場合に、本発明の実施形態に係る方法は、図９に示す処理を含んでも良い。ステップＳ９１０において、パラメータ値を２つ以上の範囲に区分けし、これらの範囲がそれぞれ異なる関心領域に対応することができる。ステップＳ９２０において、対応する関心領域を区別して表示するように光学属性値が決定されるように、各パラメータ値の範囲に対して個々に光学属性値を決定するための対応関係を設定する。
ここで、設定された対応関係を記憶してもよい（ステップＳ９３０）。これにより、対応する関心領域を含むオリジナル画像を表示する際に、それ以前に設定した対応関係を直接的に取得することができる。
これに応じて、図１０に示すように、予め設定された対応関係を記憶する場合に、本発明の実施形態に係る画像処理方法は、関心領域に基づいて、対応する予め決められた対応関係を取得し（ステップＳ１０１０）、取得した予め決められた対応関係に基づいて、対応する関心領域を区別して表示する（ステップＳ１０２０）ことをさらに含む。
また、オリジナル画像の境界とパラメータ画像の境界とが一致しない場合に、本発明の実施形態に係る画像処理方法は、画像レジストレーションによりオリジナル画像とパラメータ画像との間で対応する画素を決定するステップを含む。各種の既知の具体な方式を採用して画像レジストレーションを行うことができるので、ここでは説明を省略する。
本出願の実施形態に係る画像処理方法は、オリジナル画像のデータ値とパラメータ画像のパラメータ値との両方に基づいてオリジナル画像を表示するための光学属性値を決定する。これにより、パラメータ画像の付加情報をオリジナル画像に結合させることができ、より適切にオリジナル画像を表示することができる。また、これにより、より良好に表示効果を得ることができる。
以下、図１１のブロック図を参照しながら、本発明の他の実施形態に係る医用画像診断装置を説明する。図１１では、本発明の主旨及び範囲を明瞭にするため、医用画像診断装置が備えることが可能な他の要素については図示を省略している。医用画像診断装置１１０００は、医用画像を表示するための光学属性値を取得する画像処理装置１１００を備え、これにより、取得した医用画像をより良好に表示することができる。画像処理装置１１００は、上述したいずれかの実施形態に係る画像処理装置であって良い。医用画像診断装置１１０００は、例えば、磁気共鳴イメージング装置、Ｘ線診断装置、超音波診断装置、コンピュータ断層イメージング装置、又は、陽電子放出断層イメージング装置などであるが、これに限定されるものではない。
前記画像処理装置を医用画像診断装置中に含める場合に用いられる具体的な手段又は方法は、当業者にとって周知のものであるので、ここでは説明を省略する。
一例として、前記画像処理方法の各ステップ及び前記画像処理装置の各構成及び／又は部分は、ソフトウェア、ファームウェア、ハードウェア又はそれらの組み合わせによって実現されても良い。ソフトウェア又はファームウェアによって実現される場合、前記方法を実現するためのソフトウェアプログラムは、記憶媒体又はネットワークから特定のハードウェア構造を有するコンピュータ（例えば、図１２に示す汎用コンピュータ１２００）にインストールされる。このコンピュータは、各種プログラムがインストールされると、各種機能を実行することができる。
図１２において、ＣＰＵ（Central Processing Unit）１２０１は、ＲＯＭ（Read Only Memory）１２０２に記憶されているプログラム、又は、記憶部１２０８からＲＡＭ（Random Access Memory）１２０３に書き込まれたプログラムに基づいて、各種処理を実行する。ＲＡＭ１２０３では、必要に応じて、ＣＰＵ１２０１が各種処理を実行するときに必要なデータも記憶しておく。ＣＰＵ１２０１、ＲＯＭ１２０２及びＲＡＭ１２０３は、バス１２０４を経由してそれぞれ接続されている。入力／出力インターフェース１２０５も、バス１２０４に接続されている。
下記の各部は、入力／出力インターフェース１２０５に接続されている。入力部１２０６（キーボード、マウス等を含む）、出力部１２０７（モニタ、例えば、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）等や、スピーカ等を含む）、記憶部１２０８（ハードディスク等を含む）、通信部１２０９（ネットワークインターフェースカード、例えば、ＬＡＮ（Local Area Network）カード、モデム等を含む）。通信部１２０９は、ネットワーク（例えば、インターネット）を介して通信処理を実施する。必要に応じて、駆動部１２１０も入力／出力インターフェース１２０５に接続可能である。取り外し可能な媒体１２１１は、例えば、磁気ディスク、光ディスク、ＭＯ（Magneto Optical Disc）、半導体メモリ等であり、必要に応じて、そこからコンピュータプログラムを読み出して記憶部１２０８にインストールするために駆動部１２１０に装着される。
ソフトウェアによって上述した各処理を実行する場合、ソフトウェアを構成するプログラムは、ネットワーク（例えば、インターネット）又は記憶媒体（例えば、取外し可能な媒体１２１１）からインストールされても良い。
当業者には当然のことながら、このような記憶媒体は、図１２に示すような、装置から切り離されて配置されてユーザにプログラムを提供する取り外し可能な媒体１２１１に限られない。例えば、取り外し可能な媒体１２１１は、磁気ディスク（フロッピー（登録商標）ディスク、光ディスク（ＣＤ−ＲＯＭやＤＶＤを含む）、光磁気ディスク（Ｍｉｎｉ Ｄｉｓｃ（ＭＤ、登録商標）を含む）らを含む。また、記憶媒体はＲＯＭ１２０２であっても良く、記憶部１２０８に含まれるハードディスク等、その中にプログラムが記憶され、それらを含む装置からユーザへプログラムが送られる形態でも良い。
本発明は、更に、メモリとして、機器読み取り可能な命令コードを記憶したプログラム製品を提供する。この命令コードが機器によって読み取られて実行されることで、上述した画像処理方法が実施される。
上記機器読み取り可能な命令コードを記憶したプログラム製品を保持するための記憶媒体も本発明に含まれる。この記憶媒体は、ハードディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティックなどであるが、これらに限定されるものではない。
前記の具体的実施形態においては、一つの実施方法に示す特徴について、同様の方法を一つ又は複数の他の実施方法の中で適用したり、その他の実施方法と組み合わせたり、又はその他の実施方法における特徴に替えるといったことも可能である。
さらに、“包含する／含む”といった用語を使用したときは、特徴、構成、ステップ又は構造が存在することを意味するが、その他の特徴、構成、ステップ又は構造が存在することや付加されることを排除するものではない。
上記実施形態において、各ステップ及び／又は各構成を参照符号を付して示したが、これは、単に説明や図示を容易にすることを意図したものであり、本発明の範囲を限定することを意図したものではないことを当業者は理解すべきである。
この他、本実施形態の方法は、詳細な説明の欄において説明された時間順序に沿って実施されるものに限らず、その他の時間順序に沿って、同時に、又は独立して実施されても良い。それゆえ、本願の詳細な説明において説明された方法の実施順序は、本実施形態の技術範囲に対する構成を制限するものではない。
ここでは、具体的な実施形態を参照して本発明を説明したが、当然のことながら、上述した全ての実施形態及び実施例は本発明の一例に過ぎず、本発明を限定するものではない。当業者は、特許請求の主旨や範囲において、本実施形態の各種手直し、改良又は同等物の設計を行うことが可能である。これらの手直し、改良又は同等物は、本実施形態の保護範囲内に含まれるものである。
１００ 画像処理装置
１１０ オリジナル画像取得部
１２０ パラメータ画像取得部
１３０ 光学属性値決定部

Claims (10)

  1. 医用画像診断装置によって撮像された被検体の画像であるオリジナル画像を取得するオリジナル画像取得部と、
    前記オリジナル画像から計算された特定の意味を有するパラメータ画像を取得するパラメータ画像取得部と、
    予め決められた対応関係に基づいて、前記オリジナル画像の画素のデータ値と当該画素に対応する前記パラメータ画像の画素のパラメータ値とにより、前記オリジナル画像の画素を表示するための光学属性値を決定する光学属性値決定部と
    を備え、
    前記光学属性値決定部は、前記パラメータ画像の種類ごとに予め決められた関心領域に対応する、パラメータ値の範囲と光学属性値との間の対応関係に基づいて、前記パラメータ画像におけるパラメータ値が前記範囲内となる画素の領域に対応する、前記オリジナル画像における画素の領域を、色を変えることにより当該領域を区別するような第１の光学属性値を有する第１の領域として決定し、さらに、前記第１の領域のうち、前記オリジナル画像におけるデータ値が特定の範囲内となる画素の領域を、前記色の透明度を変えることにより前記第１の光学属性値とは異なる第２の光学属性値を有する第２の領域として決定することを特徴とする画像処理装置。
  2. 前記対応関係を定義するための伝達関数を記憶する伝達関数記憶部をさらに備え、
    前記伝達関数は、前記データ値と前記パラメータ値とを入力とし、前記光学属性値を出力とすることを特徴とする請求項１に記載の画像処理装置。
  3. 前記パラメータ値を２つ以上の範囲に区分けするパラメータ値区分部と、
    各パラメータ値の範囲に対応する領域を区別して表示するように前記光学属性値が決定されるように、各パラメータ値の範囲に対して前記対応関係を設定する対応関係設定部と
    をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
  4. 画像レジストレーションにより前記オリジナル画像と前記パラメータ画像との間で対応する画素を決定する画像レジストレーション部をさらに備えたことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
  5. 前記オリジナル画像取得部は、前記被検体のＸ線画像、超音波画像、コンピュータ断層画像、磁気共鳴画像、又は陽電子放出断層画像を取得することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
  6. 前記オリジナル画像取得部は、前記被検体の磁気共鳴画像を取得し、
    前記パラメータ画像取得部は、前記磁気共鳴画像に対応する異方性比率画像を取得し、
    前記光学属性値決定部は、脳灰質又は脳白質のパラメータ値に対応する領域を強調して表示するように前記光学属性値を決定する
    ことを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
  7. 前記オリジナル画像取得部は、前記被検体の磁気共鳴画像を取得し、
    前記パラメータ画像取得部は、前記磁気共鳴画像に対応するケミカルシフト画像を取得し、
    前記光学属性値決定部は、腫瘍領域のパラメータ値に対応する領域を強調して表示するように前記光学属性値を決定する
    ことを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
  8. 前記オリジナル画像取得部は、前記被検体の磁気共鳴画像を取得し、
    前記パラメータ画像取得部は、前記磁気共鳴画像に対応する拡散強調画像を取得し、
    前記光学属性値決定部は、脳梗塞領域のパラメータ値に対応する領域を強調して表示するように前記光学属性値を決定する
    ことを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
  9. 医用画像診断装置によって撮像された被検体の画像であるオリジナル画像を取得するステップと、
    前記オリジナル画像から計算された特定の意味を有するパラメータ画像を取得するステップと、
    予め決められた対応関係に基づいて、前記オリジナル画像の画素のデータ値と当該画素に対応する前記パラメータ画像の画素のパラメータ値とにより、前記オリジナル画像の画素を表示するための光学属性値を決定するステップと
    を含み、
    前記パラメータ画像の種類ごとに予め決められた関心領域に対応する、パラメータ値の範囲と光学属性値との間の対応関係に基づいて、前記パラメータ画像におけるパラメータ値が前記範囲内となる画素の領域に対応する、前記オリジナル画像における画素の領域を、色を変えることにより当該領域を区別するような第１の光学属性値を有する第１の領域として決定し、さらに、前記第１の領域のうち、前記オリジナル画像におけるデータ値が特定の範囲内となる画素の領域を、前記色の透明度を変えることにより前記第１の光学属性値とは異なる第２の光学属性値を有する第２の領域として決定することを特徴とする画像処理方法。
  10. 請求項１〜８のいずれか一つに記載の画像処理装置を備えたことを特徴とする医用画像診断装置。
JP2014076438A 2013-04-03 2014-04-02 画像処理装置、画像処理方法及び医用画像診断装置 Active JP6639769B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310115752.8 2013-04-03
CN201310115752.8A CN104103083A (zh) 2013-04-03 2013-04-03 图像处理装置和方法以及医学成像设备

Publications (2)

Publication Number Publication Date
JP2014200683A JP2014200683A (ja) 2014-10-27
JP6639769B2 true JP6639769B2 (ja) 2020-02-05

Family

ID=51654502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014076438A Active JP6639769B2 (ja) 2013-04-03 2014-04-02 画像処理装置、画像処理方法及び医用画像診断装置

Country Status (3)

Country Link
US (1) US10282631B2 (ja)
JP (1) JP6639769B2 (ja)
CN (1) CN104103083A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104914017B (zh) * 2015-04-27 2018-01-26 大连理工大学 一种利用ct技术检测多孔介质中co2弥散的方法
CN105249990B (zh) * 2015-09-08 2016-08-17 西安交通大学 一种超声造影灌注参量快速成像方法
CN108289650B (zh) * 2015-11-10 2021-12-07 皇家飞利浦有限公司 计算机断层摄影成像方法
EP3547252A4 (en) * 2016-12-28 2019-12-04 Shanghai United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR PROCESSING MULTI-MODAL IMAGES
CN107301645A (zh) * 2017-06-20 2017-10-27 上海联影医疗科技有限公司 一种数据处理方法和装置
CN107550459A (zh) * 2017-08-11 2018-01-09 武汉大学 一种光耦合乳腺成像分析系统及方法
WO2019068215A1 (en) * 2017-10-03 2019-04-11 Intel Corporation VISUAL GRAPHICS INSPECTION TECHNIQUES FOR THE ANALYSIS AND IDENTIFICATION OF SELECTED SCHEMES

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6368331B1 (en) * 1999-02-22 2002-04-09 Vtarget Ltd. Method and system for guiding a diagnostic or therapeutic instrument towards a target region inside the patient's body
JP3254451B2 (ja) * 2000-03-06 2002-02-04 経済産業省産業技術総合研究所長 多チャンネルｍｒｉ画像処理によるカラー化方法及び装置
WO2001093745A2 (en) * 2000-06-06 2001-12-13 The Research Foundation Of State University Of New York Computer aided visualization, fusion and treatment planning
US7355597B2 (en) * 2002-05-06 2008-04-08 Brown University Research Foundation Method, apparatus and computer program product for the interactive rendering of multivalued volume data with layered complementary values
US6658080B1 (en) 2002-08-05 2003-12-02 Voxar Limited Displaying image data using automatic presets
JP4558645B2 (ja) * 2003-04-04 2010-10-06 株式会社日立メディコ 画像表示方法及び装置
US20050237336A1 (en) * 2004-04-23 2005-10-27 Jens Guhring Method and system for multi-object volumetric data visualization
US7339586B2 (en) * 2004-04-23 2008-03-04 Siemens Medical Solutions Usa, Inc. Method and system for mesh-to-image registration using raycasting
US8090429B2 (en) * 2004-06-30 2012-01-03 Siemens Medical Solutions Usa, Inc. Systems and methods for localized image registration and fusion
WO2006042077A2 (en) * 2004-10-09 2006-04-20 Viatronix Incorporated Sampling medical images for virtual histology
US7853309B2 (en) * 2005-03-10 2010-12-14 Toshiba Medical Systems Corporation X-ray CT apparatus and myocardial perfusion image generating system
DE102005024949A1 (de) * 2005-05-31 2006-12-07 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren zur Darstellung von Strukturen innerhalb von Volumendatensätzen
US20070014448A1 (en) * 2005-06-30 2007-01-18 Wheeler Frederick W Method and system for lateral comparative image analysis and diagnosis
JP4267598B2 (ja) * 2005-07-11 2009-05-27 ザイオソフト株式会社 画像融合処理方法、画像融合処理プログラム、画像融合処理装置
US7738683B2 (en) * 2005-07-22 2010-06-15 Carestream Health, Inc. Abnormality detection in medical images
US7740584B2 (en) * 2005-08-16 2010-06-22 The General Electric Company Method and system for mapping physiology information onto ultrasound-based anatomic structure
EP1790289A3 (en) * 2005-11-02 2007-07-18 Kabushiki Kaisha Toshiba X-ray computed tomography apparatus and method of analyzing X-ray computed tomogram data
CN100498839C (zh) * 2006-03-08 2009-06-10 杭州电子科技大学 一种多模态医学体数据三维可视化方法
US8743109B2 (en) * 2006-08-31 2014-06-03 Kent State University System and methods for multi-dimensional rendering and display of full volumetric data sets
US8125484B2 (en) * 2006-11-10 2012-02-28 General Electric Company Method, apparatus and user interface for determining an arterial input function used for calculating hemodynamic parameters
CN101178814B (zh) * 2007-11-30 2010-09-08 华南理工大学 一种融合解剖与功能成像信息数据场的半透明体绘制方法
EP2144199B1 (en) * 2008-07-11 2018-12-26 Agfa HealthCare NV Method and apparatus for multimodal visualization of volume data sets
EP2338068B1 (en) * 2008-08-26 2019-04-24 Bracco Imaging S.p.A Mri-cest diagnostic technique based on non-punctual analysis of a z-spectrum
JP5562598B2 (ja) * 2008-10-24 2014-07-30 株式会社東芝 画像表示装置、画像表示方法および磁気共鳴イメージング装置
JP5526149B2 (ja) * 2009-01-22 2014-06-18 コーニンクレッカ フィリップス エヌ ヴェ Ｐｅｔ／ｃｔ画像のためのピクセルフューチャー・ハイブリッド融合
US9521994B2 (en) * 2009-05-11 2016-12-20 Siemens Healthcare Gmbh System and method for image guided prostate cancer needle biopsy
CN101596109B (zh) * 2009-06-12 2012-01-25 深圳先进技术研究院 获取脑部特征参数的方法、系统及溶栓指征生成系统
JP2011072728A (ja) * 2009-10-01 2011-04-14 Toshiba Corp 医用画像表示装置
US8472684B1 (en) * 2010-06-09 2013-06-25 Icad, Inc. Systems and methods for generating fused medical images from multi-parametric, magnetic resonance image data
KR101212802B1 (ko) * 2011-03-31 2012-12-14 한국과학기술연구원 피사계 심도가 강조된 영상을 획득하는 방법 및 그 장치
US9119550B2 (en) * 2012-03-30 2015-09-01 Siemens Medical Solutions Usa, Inc. Magnetic resonance and ultrasound parametric image fusion
US20140180060A1 (en) * 2012-12-17 2014-06-26 Todd Parrish Methods and Systems for Automated Functional MRI in Clinical Applications
EP2987133B1 (en) * 2013-04-18 2018-06-13 Koninklijke Philips N.V. Concurrent display of medical images from different imaging modalities

Also Published As

Publication number Publication date
US10282631B2 (en) 2019-05-07
JP2014200683A (ja) 2014-10-27
CN104103083A (zh) 2014-10-15
US20140301621A1 (en) 2014-10-09

Similar Documents

Publication Publication Date Title
JP6639769B2 (ja) 画像処理装置、画像処理方法及び医用画像診断装置
US8000768B2 (en) Method and system for displaying blood flow
Schuh et al. Unbiased construction of a temporally consistent morphological atlas of neonatal brain development
Fonov et al. Unbiased average age-appropriate atlases for pediatric studies
JP5877833B2 (ja) 多重画像の融合
Brander et al. Diffusion tensor imaging of the brain in a healthy adult population: Normative values and measurement reproducibility at 3 T and 1.5 T
US9600879B2 (en) Concurrent display of medical images from different imaging modalities
US10188361B2 (en) System for synthetic display of multi-modality data
Wáng Living tissue intravoxel incoherent motion (IVIM) diffusion MR analysis without b= 0 image: an example for liver fibrosis evaluation
JP2017023457A (ja) 医用画像処理装置
KR102149369B1 (ko) 의료 영상을 시각화하는 방법 및 이를 이용한 장치
Froeling et al. DTI analysis methods: region of interest analysis
Frakes et al. New techniques for the reconstruction of complex vascular anatomies from MRI images
EP3311362B1 (en) Selecting transfer functions for displaying medical images
US10062167B2 (en) Estimated local rigid regions from dense deformation in subtraction
US9220438B2 (en) Method for combining multiple image data sets into one multi-fused image
US9895122B2 (en) Scanning apparatus, medical image device and scanning method
US8873817B2 (en) Processing an image dataset based on clinically categorized populations
JP6813759B2 (ja) 投影画像演算処理装置、投影画像演算処理方法および投影画像演算処理プログラム
Christensen et al. Improved dynamic CT angiography visualization by flow territory masking
US10552954B2 (en) Method and apparatus for generation of a physiologically-derived map correlated with anatomical image data
Olliverre et al. Pairwise mixture model for unmixing partial volume effect in multi-voxel MR spectroscopy of brain tumour patients
Sagiyama et al. An improved MR sequence for attenuation correction in PET/MR hybrid imaging
WO2012029243A1 (ja) 投影画像生成装置、方法、及びプログラム
JP6147716B2 (ja) 診断支援装置、診断支援方法および診断支援プログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160513

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181204

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181212

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190909

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191225

R150 Certificate of patent or registration of utility model

Ref document number: 6639769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150