JP6096473B2 - 医用画像診断装置、および、医用画像処理方法 - Google Patents

医用画像診断装置、および、医用画像処理方法 Download PDF

Info

Publication number
JP6096473B2
JP6096473B2 JP2012242076A JP2012242076A JP6096473B2 JP 6096473 B2 JP6096473 B2 JP 6096473B2 JP 2012242076 A JP2012242076 A JP 2012242076A JP 2012242076 A JP2012242076 A JP 2012242076A JP 6096473 B2 JP6096473 B2 JP 6096473B2
Authority
JP
Japan
Prior art keywords
region
unit
transparency
area
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012242076A
Other languages
English (en)
Other versions
JP2014090807A (ja
Inventor
智也 岡崎
智也 岡崎
智行 武口
智行 武口
玲子 野田
玲子 野田
伊藤 聡
聡 伊藤
友弘 中居
友弘 中居
松本 信幸
信幸 松本
友樹 渡辺
友樹 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Medical Systems Corp filed Critical Toshiba Medical Systems Corp
Priority to JP2012242076A priority Critical patent/JP6096473B2/ja
Publication of JP2014090807A publication Critical patent/JP2014090807A/ja
Application granted granted Critical
Publication of JP6096473B2 publication Critical patent/JP6096473B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明の実施形態は、医用画像診断装置、および、医用画像処理方法に関する。
3次元CT画像などのボリュームデータをボリュームレンダリング表示する方法において、関心領域とその周囲の領域との空間的な関係を把握するために、それら領域の透明度を制御する手段を具備するCT画像診断装置が知られている。
従来のCT画像診断装置では、重なり合った複数の領域を観察する場合に、それぞれの領域ごとに透明度を設定することができる。例えば複数の領域の空間的な関係の把握を容易にするために、観察したい領域は透明度を下げ、観察したくない領域は透明度を上げるように設定することもできる。
特開2000−287964号公報
しかしながら、従来技術では、それぞれの領域ごとに透明度のパラメータを設定するための設定画面(ウィンドウ)が、レンダリングされた画像とは別に表示され、ユーザは、レンダリングされた画像と設定画面とを交互に見ながら、それぞれの領域ごとに透明度のパラメータを設定する操作を行う必要がある。すなわち、透明度のパラメータを設定する際に、レンダリングされた画像と、設定画面との間で視線の移動が多く発生するという問題がある。
また、従来技術では、透明度のパラメータを設定する操作に加えて、設定画面を呼び出す操作等も必要になるため、ユーザによる操作が多く必要になるという問題もある。
本発明が解決しようとする課題は、ボリュームデータに含まれる各領域の透明度を設定する際のユーザの視線移動および操作を少なくすることが可能な医用画像診断装置、および、医用画像処理方法を提供することである。
実施形態の医用画像診断装置は、第1指定部と設定部と第1表示制御部とを備える。第1指定部は、入力部の操作による入力に応じて、第1領域と、第1領域の少なくとも一部を覆う第2領域とを含むボリュームデータのレンダリング結果である3次元画像を表示する表示部に表示された3次元画像内の位置を指定する。設定部は、第1指定部により指定された位置の移動に応じて、第2領域の透明度を可変に設定する。第1表示制御部は、設定部により設定された透明度に基づいて、ボリュームデータのレンダリングを行い、当該レンダリングにより得られた3次元画像を表示部に表示する制御を行う。設定部は、第1指定部により指定された位置が第1方向に移動する場合は、第1の指定部により指定された位置の移動量に比例して第2領域が透明に近くなるように第2領域の透明度を増加させる一方、第1指定部により指定された位置が第1方向とは異なる第2方向に移動する場合は、第1の指定部により指定された位置の移動量に比例して第2領域が不透明に近くなるように第2領域の透明度を減少させる。
実施形態の医用画像診断装置の構成例を示す図。 実施形態のボリュームデータの一例を説明するための図。 実施形態の画像表示装置の構成例を示す図。 実施形態の画像処理部の機能構成例を示す図。 実施形態の設定部の機能の概要を説明するための図。 実施形態の画像処理部の機能を説明するための図。 実施形態の画像処理部の機能を説明するための図。 実施形態の第2領域決定処理の一例を示すフローチャート。 実施形態の第2領域の決定方法の一例を説明するための図。 実施形態の透明度制御処理の一例を示すフローチャート。 変形例の設定部の機能を説明するための図。 変形例の第2領域の決定方法を説明するための図。 変形例の第2領域の決定方法を説明するための図。 変形例の報知画像の一例を示す図。 変形例の報知画像の一例を示す図。 変形例の設定部の機能を説明するための図。 別の実施形態の画像処理部の機能構成例を示す図。 別の実施形態の変形例の画像処理部の機能構成例を示す図。
以下、添付図面を参照しながら、本発明に係る医用画像診断装置、および、医用画像処理方法の実施の形態を詳細に説明する。
(第1実施形態)
図1は、本実施形態の医用画像診断装置1の構成例を示すブロック図である。図1に示すように、医用画像診断装置1は、医用画像診断部10と、画像保管部20と、画像表示部30とを備える。図1に例示する各部は、バス2を介して、互いに通信可能な状態となっており、各部は、医用画像等を相互に送受信することが可能である。また、各部の接続態様は任意であり、例えば各部は、病院内に設置されたLAN(Local Area Network)を介して、相互に通信可能な形態であってもよい。また、例えば各部は、インターネット等のネットワークを介して、相互に通信可能な形態であってもよい。
医用画像診断装置1は、医用画像診断部10により生成された医用画像のボリュームデータをボリュームレンダリングして得られる画像(以下、「3次元画像」と呼ぶ)をモニタ(表示部)に表示することで、立体的に見える医用画像を、病院内に勤務する医師や患者に提供する。以下、医用画像診断装置1の各部を説明する。
医用画像診断部10は、被検体を撮影することによりボリュームデータを生成する。ここでは、図2に示すように、被検体の体軸方向に沿って撮影された複数(例えば300〜500枚)のスライス画像が、ボリュームデータに相当する。図2の例では、被検体の「肺」のボリュームデータが生成されている。また、医用画像診断部10により生成されたボリュームデータの中には、骨・血管・神経・腫瘍などといった、医療現場での観察対象となる物体を示すオブジェクトが含まれる。
医用画像診断部10としては、例えば、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置等が挙げられるが、以下の説明では、医用画像診断部10は、X線CT装置で構成される場合を例に挙げて説明する。つまり、各スライス画像は、X線CT画像であり、X線CT画像に含まれる複数の画素の各々は、X線の吸収率を示すCT値を持つ。CT値の単位としては、「空気」を−1000HU、「水」を0HUと定義したHU(Hounsfield Unit)という単位を利用する。
画像保管部20は、医用画像を保管するデータベースである。具体的には、画像保管部20は、医用画像診断部10から送信されたボリュームデータを格納し、これを保管する。
画像表示部30は、医用画像診断部10により生成されたボリュームデータをボリュームレンダリングして得られる3次元画像を生成して表示する。図3は、画像表示部30の構成例を示すブロック図である。図3に示すように、画像表示部30は、画像処理部40と表示部50とを備える。画像処理部40は、ボリュームデータをボリュームレンダリングして3次元画像を生成し、生成した3次元画像を表示部50に表示する制御を行う。詳細な内容については後述する。表示部50は、画像処理部40により生成された3次元画像を表示するディスプレイ装置である。
図4は、画像処理部40の機能構成例を示すブロック図である。図4に示すように、画像処理部40は、取得部41と、記憶部42と、領域決定部43と、設定部44と、第1表示制御部45と、受付部46と、第1指定部47と、決定部48とを有する。
取得部41は、画像保管部20にアクセスして、医用画像診断部10によって生成されたボリュームデータを取得する。なお、例えば画像保管部20が設けられずに、医用画像診断部10内に、生成したボリュームデータを格納するメモリが設けられていてもよい。この場合は、取得部41は、医用画像診断部10にアクセスしてボリュームデータを取得する。要するに、取得部41は、医用画像診断部10により生成されたボリュームデータを取得する機能を有するものであればよい。
記憶部42は、取得部41により取得されたボリュームデータを記憶する。領域決定部43は、取得部41により取得されたボリュームデータを構成する複数のスライス画像(CT画像)の各々に含まれる画素のCT値に基づいて、ボリュームデータに含まれる複数の領域を決定する。例えばCT値の閾値処理によって、スライス画像の各画素が属する領域を決定することもできる。より具体的には、CT画像では、空気は−1000HU、肺の領域は−900〜−700HU、胸壁、心臓、血管などは0付近のCT値を持つ。また、塊状の病変を示す結節に含まれるソリッド領域は−500〜0HU、GGO領域は−800〜−300HU、空気領域は−1000〜−600HUに分類できる。例えばGGO領域の下限閾値を−800HU、上限閾値を−300HUとすれば、−800〜−300HUの範囲のCT値を持つ画素は、GGO領域に属すると決定することができる。
本実施形態では、領域の種類と、CT値の範囲とが予め対応付けられたテーブルが不図示のメモリに格納されている。そして、領域決定部43は、各スライス画像の画素ごとに、当該画素のCT値に対応する領域をテーブルから読み出し、読み出した領域を、当該画素が属する領域として決定する。このようにして、領域決定部43は、ボリュームデータに含まれる複数の領域を決定する。見方を変えれば、領域決定部43は、各スライス画像に含まれる複数の画素の各々のCT値に基づいて、ボリュームデータを複数の領域に分割していると捉えることもできる。なお、より高度な分割方法として、領域拡張法やLevel Set法などを用いることもできる。
設定部44は、領域決定部43により決定されたボリュームデータ内の領域ごとに、色情報および透明度を設定する。この例では、領域の種類と、色情報および透明度の各々を示す設定情報(デフォルトの設定情報)とが予め対応付けられたテーブルが不図示のメモリに格納されている。そして、設定部44は、領域決定部43により決定されたボリュームデータ内の領域ごとに、当該領域に対応する設定情報(デフォルトの設定情報)をテーブルから読み出し、読み出した設定情報が示す色情報および透明度を、当該領域に対して設定する。この設定をデフォルトの設定と呼ぶ。また、後述するように、設定部44は、デフォルトの設定を行った後、ボリュームデータに含まれる特定の領域(第2領域)の透明度を可変に設定する機能を有する。設定部44による設定が行われたボリュームデータは、ボリュームレンダリングの対象データとして記憶部42に格納される。
第1表示制御部45は、設定部44による設定が行われたボリュームデータのボリュームレンダリングを行い、当該ボリュームレンダリングにより得られた3次元画像を表示部50に表示する制御を行う。より具体的には以下のとおりである。表示部50は、複数の画素がマトリクス状に配列されたパネルを有しており、第1表示制御部45は、レイキャスティングによってボリュームデータのレンダリングを行い、パネル内の画素ごとに、当該画素の画素値(輝度値)を算出する。レイキャスティングとは、観察側の視点から光線を追跡し、光線とボリュームデータとの各交点における色情報(光線と各ボクセルとの交点における色情報)を、各交点の透明度に基づいて積算することで、その光線の先にあるパネルの画素の画素値を決定するレンダリング法である。
受付部46は、指示入力を行うためのポインティングデバイス(入力部)の操作による入力を受け付ける。例えばユーザは、マウスの操作により、表示部50に表示されるマウスカーソル(ポインタ)を移動させることで、表示部50に表示された3次元画像内の位置を指示する情報を入力することができ、受付部46は、この入力(3次元画像内の位置を指示する情報)を受け付けるという具合である。なお、ここでは、ポインティングデバイスのひとつであるマウスが利用される例を挙げて説明するが、指示入力を行うための入力部の種類はこれに限られるものではない。
第1指定部47は、受付部46で受け付けた入力に応じて、表示部50に表示された3次元画像内の位置を指定する。つまり、第1指定部47は、マウス(入力部の一例)の操作による入力に応じて、表示部50に表示された3次元画像内の位置を指定する機能を有する。
決定部48は、マウスの操作による入力に応じて、設定部44による透明度制御の対象となる領域を示す第2領域を決定する機能を有する。本実施形態では、第2領域が未決定の状態において、ユーザは、表示部50に表示されたデフォルトの3次元画像を見ながら、第2領域として設定したい領域内の任意の位置にマウスカーソルを移動させてマウスをクリックする操作を行う。そして、このクリック操作による入力を受付部47で受け付けた場合、決定部48は、その時点で第1指定部47により指定された位置を含む領域を、第2領域として決定する。
なお、決定部48は、未だ第2領域が決定されていない状態においてのみ、上記の決定処理を行い、第2領域が決定された後は、上記の決定処理は行わない。また、例えばユーザが、第2領域として設定したい領域内の任意の位置にマウスカーソルを移動させてマウスをクリックする操作を行ったときに、その時点で第1指定部47により指定された位置を含む領域が複数(例えば2つ)存在する場合は、決定部48は、複数の領域のうち、ある領域の少なくとも一部を覆う上側の領域を、第2領域として決定することができる。
ここで、前述の設定部44は、決定部48によって第2領域が決定された後、第1指定部47により指定された位置の移動(経時的変化)に応じて、第2領域の透明度を可変に設定する。より具体的には、図5に示すように、設定部44は、ユーザのマウス操作に応じて移動するマウスカーソルが、3次元画像内の第2領域に近づく場合(第1指定部47により指定された位置が第2領域に近づく場合)は、第2領域が透明に近くなるように第2領域の透明度を増加させる一方、マウスカーソルが第2領域から遠ざかる場合(第1指定部47により指定された位置が第2領域から遠ざかる場合)は、第2領域が不透明に近くなるように第2領域の透明度を減少させる。なお、以下の説明では、ボリュームデータに含まれる各領域のうち、第2領域によって少なくとも一部が覆われる領域を第1領域と呼ぶ。図5においては、ボリュームデータ内の肺結節に含まれるソリッド(Solid)領域が第1領域であり、肺結節に含まれるととともにソリッド領域の周囲を覆うGGO(Ground Glass Opacity)領域が第2領域である場合を例示している。
なお、第1指定部47により指定された位置が第2領域に近づいているか否かの判断方法は任意である。例えば第1指定部47により指定された位置と、第2領域の位置(例えば第2領域の重心位置であってもよいし、第2領域の周縁のうち第1指定部47により指定された位置との最近接点であってもよい)との間の距離の経時的変化が減少方向である場合は、第1指定部47により指定された位置が第2領域に近づいていると判断することもできる。
同様に、第1指定部47により指定された位置が第2領域から遠ざかっているか否かの判断方法も任意である。例えば第1指定部47により指定された位置と、第2領域の位置との間の距離の経時的変化が増加方向である場合は、第1指定部47により指定された位置が第2領域から遠ざかっていると判断することもできる。
また、例えば設定部44は、第1指定部47により指定された位置と、第2領域を示す位置との距離に応じて、第2領域の透明度を可変に設定することもできる。例えば設定部44は、第1指定部47により指定された位置と、第2領域を示す位置との間の距離が小さいほど、第2領域の透明度をデフォルトの透明度から増加させる一方、第1指定部47により指定された位置と第2領域を示す位置との間の距離が大きいほど、第2領域の透明度をデフォルトの透明度から減少させることもできる。
以上のように、設定部44は、第1指定部47により指定された3次元画像内の位置の移動(経時的変化)に応じて、第2領域の透明度を可変に設定する。そして、第1表示制御部45は、設定部44により設定された第2領域の透明度に基づいて、ボリュームデータのレンダリング(上述のボリュームレンダリング)を行い、当該レンダリングにより得られた3次元画像を表示部50に表示する制御を行う。すなわち、設定部44による第2領域の透明度の変更設定が行われるたびに、第1表示制御部45は、変更設定が行われたボリュームデータのボリュームレンダリングを行い、当該ボリュームレンダリングにより得られた3次元画像を表示部50に表示する制御を行う。
例えば、上述の第2領域が決定された後、ユーザが、マウスカーソルを第2領域に近づける操作を行う場合を想定する。この例では、上述の第2領域が決定された後、ユーザが、デフォルトの3次元画像内の任意の位置にマウスカーソルを移動させてマウスのボタンを押す操作(クリック操作でもよい)を行うと、設定部44は、その時点で第1指定部47により指定された位置を、透明度制御の始点に設定するが、これに限られるものではない。図6の例では、位置a0が、透明度制御の始点となる。
図6の例では、第1指定部47により指定された位置は、第2領域に近づいていく。前述したように、設定部44は、第1指定部47により指定された位置が3次元画像内の第2領域に近づく場合は、第2領域が透明に近くなるように第2領域の透明度をデフォルトの透明度から増加させるので、図6に示すように、表示部50に表示された3次元画像内の第2領域は透明に近い状態で表示される。図6においては、図5の場合と同様に、ボリュームデータ内の肺結節に含まれるソリッド(Solid)領域が第1領域であり、肺結節に含まれるとともにソリッド領域の周囲を覆うGGO(Ground Glass Opacity)領域が第2領域である場合を例示している。
一方、上述の第2領域が決定された後、例えばユーザが、マウスカーソルを第2領域から遠ざける操作を行う場合を想定する。この場合、図7に示すように、第1指定部47により指定された位置は、第2領域から遠ざかる。前述したように、設定部44は、第1指定部47により指定された位置が3次元画像内の第2領域から遠ざかる場合は、第2領域が不透明に近くなるように第2領域の透明度をデフォルトの透明度から減少させるので、図7に示すように、表示部50に表示された3次元画像内の第2領域は不透明に近い状態で表示される。図7においては、図5の場合と同様に、ボリュームデータ内の肺結節に含まれるソリッド(Solid)領域が第1領域であり、肺結節に含まれるとともにソリッド領域の周囲を覆うGGO(Ground Glass Opacity)領域が第2領域である場合を例示している。
次に、本実施形態の画像処理部40の動作例を説明する。最初に、第2領域を決定する処理(第2領域決定処理)について説明する。図8は、第2領域決定処理の一例を示すフローチャートである。
図8に示すように、まず取得部41は、医用画像診断部10により生成されたボリュームデータを取得する(ステップS1)。ここでは、ボリュームデータは、肺結節(腫瘍)を含み、肺結節は、ソリッド(Solid)領域と、ソリッド領域の周囲を覆うGGO(Ground Glass Opacity)領域とを含む場合を例に挙げて説明するが、これに限られるものではない。
次に、領域決定部43は、ステップS1で取得されたボリュームデータを構成する複数のスライス画像に含まれる複数の画素の各々のCT値に基づいて、当該ボリュームデータに含まれる各領域を決定する(ステップS2)。次に、設定部44は、領域決定部43により決定されたボリュームデータ内の領域ごとに、当該領域に対応するデフォルトの設定情報が示す色情報および透明度を設定する(ステップS3)。つまり、各領域の色情報および透明度はデフォルト値に設定される。次に、第1表示制御部45は、デフォルトの設定が行われたボリュームデータのレンダリング(ボリュームレンダリング)を行い、デフォルトの3次元画像を生成する(ステップS4)。次に、第1表示制御部45は、生成したデフォルトの3次元画像を表示部50に表示する制御を行う(ステップS5)。
次に、マウスのクリック操作による入力を受付部46で受け付けた場合(ステップS6:YES)、第1指定部47は、デフォルトの3次元画像のうち、その時点で第1指定部により指定された位置を含む領域を第2領域として決定する(ステップS7)。
例えばユーザが、デフォルトの3次元画像を見ながらマウスを操作して、デフォルトの3次元画像内のGGO領域内の任意の位置にマウスカーソルを移動させてマウスのクリック操作を行った場合を想定する。この場合、決定部48は、デフォルトの3次元画像のうち、その時点で第1指定部47により指定された位置を含むGGO領域を第2領域として決定する。
なお、これに限らず、第2領域の決定方法は任意である。例えば設定部44による透明度制御の対象となる第2領域が予め設定されていてもよい。
また、例えばデフォルトの3次元画像が表示部50に表示される前の段階において、図9に示すように、第2領域の候補となる複数種類の領域ごとに、対応するアイコンが表示部50の画面上に表示されていて、ユーザが、表示部50に表示されたアイコンをマウスやタッチ操作で選択するといった方法が考えられる。図9の例では、「ソリッド領域」に対応するアイコン101、「GGO領域」に対応するアイコン102、「骨」に対応するアイコン103、「血管」に対応するアイコン104、「神経」に対応するアイコン105が表示部50に表示されるが、第2領域の候補となる領域の種類や数は任意に変更可能である。決定部48は、ユーザによって選択されたアイコンに対応する領域を第2領域として決定する。そして、決定部48は、第2領域として決定した領域を示す情報を、領域決定部43へ出力する。これにより、領域決定部43は、ボリュームデータに含まれる各領域を決定する際に、どの領域が第2領域になるのかを把握することができる。
画像処理部40は、以上の第2領域決定処理の後に、第2領域の透明度を制御する処理(透明度制御処理)を行う。図10は、透明度制御処理の一例を示すフローチャートである。以下、図10を参照しながら、透明度制御処理の具体的な内容を説明する。設定部44は、第1指定部47により指定された3次元画像内の位置の移動(経時的変化)に応じて、決定部48により決定された第2領域の透明度を可変に設定する(ステップS10)。前述したように、例えばユーザが、マウスカーソルを第2領域に近づける操作を行うと、第1指定部47により指定された位置は、第2領域に近づいていく(図6参照)。この場合、設定部44は、第1指定部47により指定された位置が、デフォルトの3次元画像内の第2領域に近づく場合は、第2領域が透明に近くなるように第2領域の透明度をデフォルトの透明度から増加させる。
次に、第1表示制御部45は、設定部44により設定された第2領域の透明度に基づいて、ボリュームデータのボリュームレンダリングを行い、3次元画像を生成し直す(ステップS11)。次に、第1表示制御部45は、生成し直した3次元画像を表示部50に表示する制御を行う(ステップS12)。
以上に説明したように、本実施形態では、ユーザのマウス操作による入力に応じて指定された3次元画像内の位置(第1指定部47により指定された位置)の移動に応じて、3次元画像内の第2領域の透明度を変化させるので、従来のように、透明度を設定するための設定画面(ウィンドウ)を3次元画像とは別に表示する必要は無い上、3次元画像と、別の設定画面とを交互に見ながら透明度を設定する従来の構成に比べて、ユーザの視線移動を少なくすることができる。また、別の設定画面を呼び出す操作を行う必要も無いので、少ない操作で透明度を設定できる。すなわち、本実施形態によれば、透明度制御の対象となる第2領域(例えば上述のGGO領域)と、第2領域によって少なくとも一部が覆われた第1領域(例えば上述のソリッド領域)との空間的な関係をユーザが確認しやすい3次元画像を、少ない視線移動・ユーザ操作で提供することが可能になる。
(第1実施形態の変形例1)
上述の透明度制御処理において、例えば設定部44は、第2領域の輪郭部分(周縁部分)の透明度を、第2領域のうち輪郭部分以外の部分に比べて不透明に近くなるように設定することもできる。例えば設定部44は、第2領域の輪郭部分の透明度は変化させない(デフォルトの透明度のままとする)形態であってもよい。
いま、上述の第2領域が決定された後、例えばユーザが、マウスカーソルを第2領域に近づける操作を行う場合を想定する。この場合、図11に示すように、第1指定部47により指定された位置は、第2領域に近づいていく(図11に示す位置a0は透明度制御の始点を指す)。この例では、設定部44は、第1指定部47により指定された位置が3次元画像内の第2領域に近づく場合は、第2領域が透明に近くなるように第2領域の透明度をデフォルトの透明度から増加させる一方、第2領域の輪郭部分の透明度はデフォルトの透明度に設定するので、図11に示すように、表示部50に表示された3次元画像内の第2領域の輪郭部分以外の部分は透明に近い状態で表示され、第2領域の輪郭部分は、第2領域の輪郭部分以外の部分に比べて不透明に近い状態で表示される。これにより、ユーザは、現在、3次元画像内のどの領域が透明度制御の対象であるかを容易に把握することができる。なお、この例では、第2領域の輪郭部分の透明度をデフォルトの透明度に維持する例を挙げて説明したが、これに限られるものではなく、例えば第2領域の輪郭部分の透明度を、デフォルトの透明度から減少させる(さらに不透明に近くする)形態であってもよい。
(第1実施形態の変形例2)
例えば透明度制御の対象である第2領域の透明度が閾値以上になった場合、ユーザは、その第2領域によって少なくとも一部が覆われている領域(第1領域)を明瞭に認識することができる。このとき、ユーザが、第2領域と第1領域とが重なった部分にマウスカーソルを移動させて、マウスをクリックする操作を行うと、決定部48は、その時点で第1指定部47により指定された位置を含む2つの領域(第1領域、第2領域)のうち、第2領域の下側に存在する第1領域を、透明度制御の対象である第2領域として新たに決定することもできる。
要するに、設定部44により第2領域の透明度が閾値以上に設定された後、第1指定部47により、3次元画像内の第2領域と第1領域とが重なり合う領域内の位置が指定された場合、第2領域の下側に存在する第1領域を、透明度を可変に設定する対象である第2領域として新たに決定する決定部を備える形態であってもよい。
いま、上述の第2領域が決定された後、例えばユーザが、マウスカーソルを第2領域に近づける操作を行う場合を想定する。この場合、図12に示すように、第1指定部47により指定された位置は、第2領域に近づいていく(図12に示す位置a0は透明度制御の始点を指す)。前述したように、設定部44は、第1指定部47により指定された位置が3次元画像内の第2領域に近づく場合は、第2領域が透明に近くなるように第2領域の透明度をデフォルトの透明度から増加させるので、図12に示すように、3次元画像内の第2領域は透明に近い状態で表示される。図12の例では、第1指定部47により指定された3次元画像内の位置が、a0からa1に到達した場合、第2領域の透明度は閾値以上の値に設定される。このとき、図13に示すように、ユーザが、第2領域と第1領域とが重なった部分にマウスカーソルを移動させて、マウスをクリックする操作を行った場合、第2領域の下側に存在する第1領域が、透明度の制御対象である第2領域として新たに決定されるという具合である。
(第1実施形態の変形例3)
例えば図14に示すように、3次元画像に含まれる各領域の現在の透明度を示す画像(以下、「報知画像」と呼ぶ)を表示部50に表示する形態であってもよい。説明の便宜上、図14の例では、肺結節に含まれるソリッド領域とGGO領域のみを表示しているが、これに限られるものではない。また、各領域の現在の透明度を表示する形態についても任意であり、図14の例のように数値を表示する形態であってもよいし、透明度のレベルを表現可能なゲージや棒グラフなどを用いて各領域の透明度を表示する形態であってもよい。
また、ユーザが、現在、透明度制御の対象である領域(第2領域)を容易に認識できるように、報知画像のうち、透明度制御の対象である領域に対応する部分を明示して表示することもできる。図15の例では、報知画像のうち、透明度制御の対象である領域(図15の例ではGGO領域)に対応する部分を黄色の線で囲んで、透明度を示す数値を赤色で表示しているが、これに限られるものではない。例えば報知画像のうち、透明度制御の対象である領域に対応する部分を点滅させる表示を行ってもよいし、フォント等を変更して当該部分を強調する表示を行ってもよい。
また、報知画像に限らず、例えば表示部50に表示された3次元画像のうち、透明度制御の対象となる第2領域を明示して表示する形態であってもよい。例えば3次元画像内の第2領域全体を点滅させる表示を行ってもよいし、第2領域の輪郭部分を高階調の色で強調する表示を行ってもよい。
(第1実施形態の変形例4)
上述の実施形態では、設定部44は、第1指定部47により指定された位置が3次元画像内の第2領域に近づく場合は、第2領域が透明に近くなるように第2領域の透明度を増加させる一方、第1指定部47により指定された位置が3次元画像内の第2領域から遠ざかる場合は、第2領域が不透明に近くなるように第2領域の透明度を減少させているが、これに限られるものではない。
例えば、上記とは反対に、第1指定部47により指定された位置が3次元画像内の第2領域に近づく場合は、第2領域が不透明に近くなるように第2領域の透明度を減少させる一方、第1指定部47により指定された位置が3次元画像内の第2領域から遠ざかる場合は、第2領域が透明に近くなるように第2領域の透明度を増加させてもよい。
要するに、設定部44は、第1指定部47により指定された位置と第2領域との位置関係の変化(経時的変化)に応じて、第2領域の透明度を可変に設定することができる。
また、例えば図16(a)に示すように、第1指定部47により指定された位置が反時計回りの方向に移動する場合は、第2領域が透明に近くなるように第2領域の透明度を増加させる一方、例えば図16(b)に示すように、第1指定部47により指定された位置が時計回りの方向に移動する場合は、第2領域が不透明に近くなるように第2領域の透明度を減少させることもできるし、反対であってもよい。
要するに、設定部44は、第1指定部47により指定された位置が第1方向に移動する場合は、第2領域が透明に近くなるように第2領域の透明度を増加させる一方、第1指定部47により指定された位置が第1方向とは異なる第2方向に移動する場合は、第2領域が不透明に近くなるように第2領域の透明度を減少させることもできる。第1方向および第2方向の各々については任意に変更可能である。
(第1実施形態の変形例5)
例えばマウスの代わりに、ポインタの並進3自由度(X,Y,Z)とスタイラスの姿勢3自由度(θx,θy,θz)を読み取り、3自由度の並進力Ftrasと3自由度の回転力(Tx,Ty,tz)の計6自由度の力覚が出力可能な力覚デバイスを、入力部として利用することもできる。例えばユーザが、仮想平面の法線方向(奥行き方向)にスタイラスを押すと、その押し込む速度に応じた反力が、ユーザが持つスタイラスに返されるが、スタイラスの先端を、3次元画像内の所定の位置に対応させ、当該所定の位置の奥行き方向の移動に応じて、第2領域の透明度を可変に設定する形態であってもよい。より具体的には、スタイラスを押し込む速度に応じて、スタイラスに返される反力は大きくなるが、例えば反力が大きいほど、つまり、奥行き方向の移動速度が早いほど第2領域の透明度を増加させる一方、反力が小さいほど、つまり、奥行き方向の移動速度が小さいほど第2領域の透明度を減少させることもできるし、反対であってもよい。
要するに、入力部の操作による入力に応じて指定された3次元画像内の位置(指定位置)の移動に応じて、第2領域の透明度が可変に設定される形態であればよい。指定位置の移動に応じて、第2領域の透明度が可変に設定されるという概念には、上述の実施形態のように指定位置と第2領域との位置関係の変化に応じて透明度が変化する態様も含まれるし、上記変形例4のように指定位置の移動方向に応じて透明度の増減方向が決まり、その移動量に比例して透明度が変化する態様も含まれるし、上記変形例5のように指定位置の奥行き方向の移動速度に応じて透明度が変化する態様も含まれる。
(第2実施形態)
次に、第2実施形態について説明する。第2実施形態では、ユーザのマウス操作による入力に応じて指定されたスライス画像内の位置を含む領域を第2領域として決定する点で上述の第1実施形態と相違する。以下、具体的な内容を説明する。なお、上述の第1実施形態と共通する部分については適宜に説明を省略する。
図17は、第2実施形態の画像処理部400の機能構成例を示すブロック図である。第2実施形態の画像処理部400は、上述の決定部48が設けられずに、第2表示制御部401と、第2指定部402と、第2決定部403とさらに備える点で上述の第1実施形態と相違する。以下、具体的に説明する。
第2表示制御部401は、取得部41により取得されたボリュームデータに含まれる少なくとも1つの断面画像を表示する制御を行う。本実施形態では、第2表示制御部401は、デフォルトの3次元画像が表示部50に表示される前に、取得部41により取得されたボシュームデータを構成する複数のスライス画像のうちの何れか1つを表示部50に表示する制御を行うが、これに限られるものではない。例えば第2表示制御部401は、2枚以上のスライス画像を表示部50に表示する制御を行うこともできる。また、例えば第2表示制御部401は、表示部50のうちデフォルトの3次元画像が表示される領域とは別の領域に、少なくとも1つのスライス画像をデフォルトの3次元画像と同時に表示する制御を行うこともできるし、表示部50とは別のモニタに少なくとも1つのスライス画像を表示する制御を行うこともできる。また、例えば第2表示制御部401は、ボリュームデータの任意の断面におけるMPR(Multi Planar Reconstruction)画像を表示する制御を行うこともできる。
第2指定部402は、ユーザのマウス操作による入力に応じて、第2表示制御部401により表示されたスライス画像内の位置を指定する。そして、第2決定部403は、第2表示制御部401により表示されたスライス画像のうち、第2指定部402により指定された位置を含む領域を、透明度制御の対象となる第2領域によって少なくとも一部が覆われる第1領域として決定する。本実施形態では、第2決定部403により第1領域が決定された場合、第2表示制御部401は、スライス画像を非表示にする制御を行うが(次に、デフォルトの3次元画像の表示が行われるため)、表示部50のうち3次元画像が表示される領域とは別の領域にスライス画像が表示される形態や表示部50とは別のモニタにスライス画像が表示される形態においては、スライス画像を表示し続けてもよい。
第2決定部403は、第1領域として決定した領域を示す情報(例えば当該領域のCT値の範囲を示す情報)を、領域決定部43へ出力する。これにより、領域決定部43は、取得部41により取得されたボリュームデータに含まれる各領域を決定する際に、どの領域が第1領域であるかを把握することができる。そして、領域決定部43は、ボリュームデータに含まれる複数の領域のうち、第2決定部403により決定された第1領域の少なくとも一部を覆う領域を第2領域として決定する。つまり、本実施形態では、領域決定部43は、請求項の「第3決定部」に対応していると捉えることができる。
領域決定部43による第2領域の決定が行われた後、設定部44は、領域決定部43により決定されたボリュームデータ内の領域ごとに、当該領域に対応するデフォルトの設定情報が示す色情報および透明度を、当該領域に対して設定する(デフォルトの設定を行う)。そして、第1表示制御部45は、設定部44によるデフォルトの設定が行われたボリュームデータのボリュームレンダリングを行い、当該ボリュームレンダリングにより得られた3次元画像を表示部50に表示する制御を行う。その後、上述の透明度制御処理が行われるが、透明度制御処理の内容は第1実施形態と同様であるので、詳細な説明は省略する。
(第2実施形態の変形例)
図18は、第2実施形態の変形例の画像処理部410の機能構成例を示すブロック図である。図18に示すように、画像処理部410は、上述の第2決定部403の代わりに第4決定部411を備える点で上述の第2実施形態と相違する。なお、領域決定部43は、第2領域を決定する機能を有していない点でも上述の第2実施形態と相違する。
第4決定部411は、第2表示制御部401により表示されたスライス画像のうち、第2指定部402により指定された位置を含む領域を、透明度制御の対象となる第2領域として決定する。そして、第4決定部411は、第2領域として決定した領域を示す情報(例えば当該領域のCT値の範囲を示す情報)を、領域決定部43へ出力する。これにより、領域決定部43は、取得部41により取得されたボリュームデータに含まれる各領域を決定する際に、どの領域が第2領域であるかを把握することができる。その後、デフォルトの3次元画像が表示された後、上述の透明度制御処理が行われる。なお、これに限らず、例えばスライス画像とデフォルトの3次元画像が同時に表示されている場合は、第4決定部411により第2領域が決定された後、上述の透明度制御処理が行われる。
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
上述の各実施形態および変形例の画像処理部(40,400,410)は、CPU(Central Processing Unit)、ROM、RAM、および、通信I/F装置などを含んだハードウェア構成となっている。上述した各部(取得部41、領域決定部43、設定部44、第1表示制御部45、受付部46、第1指定部47、決定部48、第2表示制御部401、第2指定部402、第2決定部403、第4決定部411)の機能は、CPUがROMに格納されたプログラムをRAM上で展開して実行することにより実現される。また、これに限らず、上述した各部の機能のうちの少なくとも一部を個別の回路(ハードウェア)で実現することもできる。なお、上述の記憶部42は、ROMやRAMなどの記憶装置により実現される。上述の各実施形態および変形例の画像処理部(40,400,410)は、請求項の「画像処理装置」に対応する。
また、上述の各実施形態および変形例の画像処理部(40,400,410)で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態および変形例の画像処理部(40,400,410)で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態および変形例の画像処理部(40,400,410)で実行されるプログラムを、ROM等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。
さらに、上述の各実施形態および各変形例は、任意に組み合わせることも可能である。
1 医用画像診断装置
10 医用画像診断部
20 画像保管部
30 画像表示部
40 画像処理部
41 取得部
42 記憶部
43 領域決定部
44 設定部
45 第1表示制御部
46 受付部
47 第1指定部
48 決定部
50 表示部
400 画像処理部
401 第2表示制御部
402 第2指定部
403 第2決定部
410 画像処理部
411 第4決定部

Claims (10)

  1. 入力部の操作による入力に応じて、第1領域と、前記第1領域の少なくとも一部を覆う第2領域とを含むボリュームデータのレンダリング結果である3次元画像を表示する表示部に表示された前記3次元画像内の位置を指定する第1指定部と、
    前記第1指定部により指定された位置の移動に応じて、前記第2領域の透明度を可変に設定する設定部と、
    前記設定部により設定された前記透明度に基づいて、前記ボリュームデータのレンダリングを行い、当該レンダリングにより得られた前記3次元画像を前記表示部に表示する制御を行う第1表示制御部と、を備え、
    前記設定部は、前記第1指定部により指定された位置が第1方向に移動する場合は、前記第1の指定部により指定された位置の移動量に比例して前記第2領域が透明に近くなるように前記第2領域の透明度を増加させる一方、前記第1指定部により指定された位置が前記第1方向とは異なる第2方向に移動する場合は、前記第1の指定部により指定された位置の移動量に比例して前記第2領域が不透明に近くなるように前記第2領域の透明度を減少させる、
    医用画像診断装置。
  2. 入力部の操作による入力に応じて、第1領域と、前記第1領域の少なくとも一部を覆う第2領域とを含むボリュームデータのレンダリング結果である3次元画像を表示する表示部に表示された前記3次元画像内の位置を指定する第1指定部と、
    前記第1指定部により指定された位置の移動に応じて、前記第2領域の透明度を可変に設定する設定部と、
    前記設定部により設定された前記透明度に基づいて、前記ボリュームデータのレンダリングを行い、当該レンダリングにより得られた前記3次元画像を前記表示部に表示する制御を行う第1表示制御部と、を備え、
    前記設定部は、前記第1の指定部により指定された位置の奥行き方向の移動速度が速いほど前記第2領域が透明に近くなるように前記第2領域の透明度を増加させる一方、前記第1の指定部により指定された位置の奥行き方向の移動速度が遅いほど前記第2領域が不透明に近くなるように前記第2領域の透明度を減少させる、
    医用画像診断装置。
  3. 前記設定部は、前記第2領域の輪郭部分の透明度を、前記第2領域のうち前記輪郭部分以外の部分に比べて不透明に近くなるように設定する、
    請求項1又は2に記載の医用画像診断装置。
  4. 前記入力部の操作による入力に応じて、前記3次元画像に含まれる1つの領域を前記第2領域として決定する決定部を備える、
    請求項1又は2に記載の医用画像診断装置。
  5. 前記設定部により前記第2領域の透明度が閾値以上に設定された後、前記第1指定部により、前記3次元画像のうち前記第2領域と前記第1領域とが重なり合う領域内の位置が指定された場合、前記第2領域の下側に存在する前記第1領域を、透明度を可変に設定する対象である前記第2領域として新たに決定する決定部を備える、
    請求項1又は2に記載の医用画像診断装置。
  6. 前記ボリュームデータに含まれる少なくとも1つの断面画像を表示する制御を行う第2表示制御部と、
    前記入力部の操作による入力に応じて、前記第2表示制御部により表示された前記断面画像内の位置を指定する第2指定部と、
    前記断面画像のうち、前記第2指定部により指定された位置を含む領域を前記第1領域として決定する第2決定部と、
    前記ボリュームデータに含まれる複数の領域のうち、前記第1領域の少なくとも一部を覆う領域を、前記第2領域として決定する第3決定部と、を備える、
    請求項1又は2に記載の医用画像診断装置。
  7. 前記ボリュームデータに含まれる少なくとも1つの断面画像を表示する制御を行う第2表示制御部と、
    前記入力部の操作による入力に応じて、前記第2表示制御部により表示された前記断面画像内の位置を指定する第2指定部と、
    前記断面画像のうち、前記第2指定部により指定された位置を含む領域を前記第2領域として決定する第4決定部と、を備える、
    請求項1又は2に記載の医用画像診断装置。
  8. 前記第1領域は、前記ボリュームデータに含まれる結節内のソリッド領域であり、
    前記第2領域は、前記結節内のGGO領域である、
    請求項1又は2に記載の医用画像診断装置。
  9. 入力部の操作による入力に応じて、第1領域と、前記第1領域の少なくとも一部を覆う第2領域とを含むボリュームデータのレンダリング結果である3次元画像を表示する表示部に表示された前記3次元画像内の位置を指定する指定ステップと、
    前記指定ステップにより指定された位置の移動に応じて、前記第2領域の透明度を可変に設定する設定ステップと、
    前記設定ステップにより設定された前記透明度に基づいて、前記ボリュームデータのレンダリングを行い、当該レンダリングにより得られた前記3次元画像を前記表示部に表示する制御を行う表示制御ステップと、を含
    前記設定ステップは、前記指定ステップにより指定された位置が第1方向に移動する場合は、前記指定ステップにより指定された位置の移動量に比例して前記第2領域が透明に近くなるように前記第2領域の透明度を増加させる一方、前記指定ステップにより指定された位置が前記第1方向とは異なる第2方向に移動する場合は、前記指定ステップにより指定された位置の移動量に比例して前記第2領域が不透明に近くなるように前記第2領域の透明度を減少させる、
    医用画像処理方法。
  10. 入力部の操作による入力に応じて、第1領域と、前記第1領域の少なくとも一部を覆う第2領域とを含むボリュームデータのレンダリング結果である3次元画像を表示する表示部に表示された前記3次元画像内の位置を指定する指定ステップと、
    前記指定ステップにより指定された位置の移動に応じて、前記第2領域の透明度を可変に設定する設定ステップと、
    前記設定ステップにより設定された前記透明度に基づいて、前記ボリュームデータのレンダリングを行い、当該レンダリングにより得られた前記3次元画像を前記表示部に表示する制御を行う表示制御ステップと、を含み、
    前記設定ステップは、前記指定ステップにより指定された位置の奥行き方向の移動速度が速いほど前記第2領域が透明に近くなるように前記第2領域の透明度を増加させる一方、前記指定ステップにより指定された位置の奥行き方向の移動速度が遅いほど前記第2領域が不透明に近くなるように前記第2領域の透明度を減少させる、
    医用画像処理方法。
JP2012242076A 2012-11-01 2012-11-01 医用画像診断装置、および、医用画像処理方法 Active JP6096473B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012242076A JP6096473B2 (ja) 2012-11-01 2012-11-01 医用画像診断装置、および、医用画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012242076A JP6096473B2 (ja) 2012-11-01 2012-11-01 医用画像診断装置、および、医用画像処理方法

Publications (2)

Publication Number Publication Date
JP2014090807A JP2014090807A (ja) 2014-05-19
JP6096473B2 true JP6096473B2 (ja) 2017-03-15

Family

ID=50935348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012242076A Active JP6096473B2 (ja) 2012-11-01 2012-11-01 医用画像診断装置、および、医用画像処理方法

Country Status (1)

Country Link
JP (1) JP6096473B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102128412B1 (ko) * 2015-12-24 2020-06-30 지멘스 메디컬 솔루션즈 유에스에이, 인크. 윈도우를 제공하는 방법 및 초음파 시스템
JP7144184B2 (ja) * 2018-05-09 2022-09-29 キヤノンメディカルシステムズ株式会社 超音波診断装置、画像処理装置及び画像処理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000287964A (ja) * 1999-04-02 2000-10-17 Terarikon Inc 三次元画像表示装置
JP4615702B2 (ja) * 2000-12-15 2011-01-19 三菱電機株式会社 出力データ制御装置
US20020172409A1 (en) * 2001-05-18 2002-11-21 Motoaki Saito Displaying three-dimensional medical images
US7801346B2 (en) * 2004-09-24 2010-09-21 Hitachi Medical Corporation Medical image display device, method, and program
EP1821182B1 (en) * 2004-10-12 2013-03-27 Nippon Telegraph And Telephone Corporation 3d pointing method, 3d display control method, 3d pointing device, 3d display control device, 3d pointing program, and 3d display control program
JP2008200524A (ja) * 2008-05-12 2008-09-04 Ziosoft Inc 画像処理方法

Also Published As

Publication number Publication date
JP2014090807A (ja) 2014-05-19

Similar Documents

Publication Publication Date Title
US10545582B2 (en) Dynamic customizable human-computer interaction behavior
US9019301B2 (en) Medical image display apparatus in which specification of a medical image enables execution of image processing
JP5309109B2 (ja) 医用画像処理装置および方法、並びにプログラム
JP6088498B2 (ja) 医用画像を処理するシステム及び方法
KR20020041290A (ko) 3차원 슬랩 렌더링 시스템 및 그 방법
US7420575B2 (en) Image processing apparatus, image processing method and image processing program
JP6353827B2 (ja) 画像処理装置
JP5871705B2 (ja) 画像表示装置、方法及びプログラム
JP5492024B2 (ja) 領域分割結果修正装置、方法、及びプログラム
US9582936B2 (en) Method and apparatus for combining plurality of 2D images with 3D model
JP5980776B2 (ja) 医用画像表示装置、医用画像表示方法
WO2013014868A1 (ja) 切削シミュレーション装置および切削シミュレーションプログラム
US20160292912A1 (en) System and method for displaying volumetric images
EP2888993B1 (en) Image display device and program
JP5802767B2 (ja) 画像処理装置、立体画像表示装置、および、画像処理方法
US11488297B2 (en) Medical information processing apparatus and medical information processing system
JP6096473B2 (ja) 医用画像診断装置、および、医用画像処理方法
US10324582B2 (en) Medical image display apparatus, method for controlling the same
JP2005185405A (ja) 医用画像処理装置、関心領域抽出方法、ならびに、プログラム
JP2012085833A (ja) 3次元医用画像データの画像処理システム、その画像処理方法及びプログラム
JP2012075728A (ja) 医用画像表示装置及びこれを用いた投影像作成方法
JP4422161B2 (ja) 画像処理装置及び画像処理プログラム
US10796433B2 (en) Interpretation support apparatus, operation method thereof, and non-transitory computer readable medium
JP2019188031A (ja) コンピュータプログラム、記録媒体、表示装置及び表示方法
EP4177844A1 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150916

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161006

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170216

R150 Certificate of patent or registration of utility model

Ref document number: 6096473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350