JP5642407B2 - 診断支援システム、診断支援プログラムおよび診断支援方法 - Google Patents

診断支援システム、診断支援プログラムおよび診断支援方法 Download PDF

Info

Publication number
JP5642407B2
JP5642407B2 JP2010075093A JP2010075093A JP5642407B2 JP 5642407 B2 JP5642407 B2 JP 5642407B2 JP 2010075093 A JP2010075093 A JP 2010075093A JP 2010075093 A JP2010075093 A JP 2010075093A JP 5642407 B2 JP5642407 B2 JP 5642407B2
Authority
JP
Japan
Prior art keywords
area
tubular structure
region
color
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010075093A
Other languages
English (en)
Other versions
JP2011206155A (ja
Inventor
水野 修
修 水野
宮本 仁樹
仁樹 宮本
白坂 一
一 白坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010075093A priority Critical patent/JP5642407B2/ja
Publication of JP2011206155A publication Critical patent/JP2011206155A/ja
Application granted granted Critical
Publication of JP5642407B2 publication Critical patent/JP5642407B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、三次元画像データの解析および可視化により、肺に含まれる気管支あるいは肺血管等の肺の管状構造の診断を支援する診断支援システム、コンピュータプログラムおよび方法に関する。
慢性閉塞性肺疾患(COPD)の早期発見は、慢性呼吸不全あるいは心不全等を予防する上で極めて重要である。このため、近年、気管支解析機能を備えた診断支援装置や、気管支解析ソフトウェアが提供されている。例えば、特許文献1には、気管支ツリーをセグメンテーションし、セグメンテーションされた気管支ツリーをモデリングし、セグメンテーションおよびモデリングされた気管支ツリーで、気道内腔の直径と気道に付随する動脈の直径との比、または動脈の直径と気道壁の厚さとの比等を算出し、これらの比に基づいて、気管支ツリーをカラーリングして表示する気道評価システムが提案されている。
特開2007−61622号公報
COPDは、慢性的な炎症により厚くなってしまった気管支の壁が空気の流れを悪くし、また粘液の分泌が増加して咳や痰が出やすくなることにより発症し、発症する可能性は気管支の狭窄率が高いほど高くなる。このため、従来は、特許文献1に記載された手法を用いて示されるように、狭窄部位を正確に特定することが、気管支解析における重要課題と考えられていた。
しかしながら、特許文献1に記載された手法のように、狭窄率が高い部分を特定するのみならず、狭窄率が低い範囲も含め、狭窄が起きている範囲はすべて慎重に観察する必要がある。
本発明は、上記事情に鑑みて、診断画面のレイアウトとして、狭窄率等を考慮しつつ、気管支、肺血管(肺動脈および肺静脈)等の肺の管状構造の内壁の状態を、広範囲にわたり十分に観察することができる画面レイアウトを提案する。
本発明の診断支援装置は、以下に説明する管状構造抽出手段、CPR画像生成手段、状態推定手段、色決定手段および表示制御手段を備えた装置である。また、本発明の診断支援プログラムは、1台または複数台のコンピュータを、以下に説明する管状構造抽出手段、CPR画像生成手段、状態推定手段、色決定手段および表示制御手段として機能させるためのプログラムである。診断支援プログラムは、通常、複数のプログラムモジュールからなり、上記各手段の機能は、それぞれ、1または複数のプログラムモジュールにより実現される。これらのプログラムモジュール群は、CD−ROM,DVD等の記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。また、本発明の診断支援方法は、以下に説明する管状構造抽出処理、CPR画像生成処理、状態推定処理、色決定処理および表示制御処理を行うことにより、肺の管状構造の診断を支援する方法である。
管状構造抽出手段は、撮影により取得されたボリュームデータから、気管支および肺血管(肺動脈、肺静脈)等の肺の管状構造を表す管状領域を抽出するとともに、管状構造の芯線および芯線に垂直な複数の断面を設定する。管状領域の抽出、芯線や断面の設定については種々の方法が提案されているが、本発明では、公知のいずれの方法を採用してもよい。
CPR画像生成手段は、管状領域、芯線および各断面の情報に基づいて、管状構造の少なくとも一部の範囲を表すCPR画像を生成する。CPR画像は、ストレートCPR(Straightened CPR)画像とすることが好ましいが、ストレッチCPR(Stretched CPR)画像や、プロジェクトCPR(Projected CPR)画像でもよい。
CPR画像生成手段は、表示の要否に拘わらず管状構造全体についてCPR画像を生成してもよいし、観察範囲として指定された範囲についてのみCPR画像を生成してもよい。観察範囲は自動的に決定してもよいし、ユーザからの指定入力に基づいて決定してもよい。例えば、管状構造抽出手段により抽出された管状領域全体の画像をボリュームレンダリング画像として画面に表示し、その画像上でユーザに管状構造の範囲を指定させる。
状態推定手段は、管状領域に含まれる情報を断面ごとに解析して、各断面における管状構造の狭窄状態を推定する。具体的には狭窄状態を表す指標値を算出することにより、狭窄状態を推定する。ここで、狭窄状態とは、管状構造の状態のうち狭窄につながるあらゆる状態を意味するものとする。例えば、管状構造の狭窄率、管状構造の内腔の径、管状構造の壁厚、管状構造の内腔の面積、管状構造の壁部の面積、内腔および壁部の面積に対する内腔の面積の比率、内腔の画素値、壁部の画素値、肺門からの距離、肺門から末梢までの間の距離に応じた内腔の径、面積または画素値の平均値に対する内腔の径、面積または画素値の比率、肺門から末梢までの間の距離に応じた壁部の壁厚、面積または画素値の平均値に対する壁部の壁厚、面積または画素値の比率、呼気と吸気との間における内腔の径、面積または画素値の差、呼気と吸気との間における壁部の壁厚、面積または画素値の差、呼気と吸気との間における移動量、並びに管状構造の外壁から所定範囲内における肺野領域の画素値の少なくとも1つを狭窄状態として推定してもよい。
色決定手段は、断面ごとに、推定された狭窄状態を表す少なくとも1つの色を決定する。推定された狭窄状態が複数種類あるときには、その中の1つについて色を決定してもよいし、状態ごとにそれぞれ色を決定してもよい。色は、例えば、所定の変換テーブルや変換式に基づいて、狭窄状態を表す指標値を、色を示すRGB値に変換することにより決定する。
色決定手段は、狭窄状態を表す指標値を、予め記憶されている数式に基づく演算を行って求める手段としてもよいし、狭窄状態と色とを対応づける変換テーブルを予め記憶しておき、その変換テーブルを参照することにより色を決定する手段としてもよい。色分け表示したい状態が複数あるときには、数式や変換テーブルは状態ごとに用意することが好ましいが、複数の状態の組み合わせに対し、1つの色が割り当てられるように、数式や変換テーブルを定義してもよい。
表示制御手段は、表示画面内の所定領域にCPR画像を配置し、さらに所定領域の外側にCPR画像が表す管状構造と並行するように帯状の状態提示領域を少なくとも1つ配置して、その状態提示領域を色決定手段の決定に基づいて色分け表示する。すなわち、管状構造像そのものを色づけするのではなく、管状構造像と並行して配置される別の領域を狭窄状態に応じて色づけすることで、管状構造像の観察を妨げることなく、管状構造の各所における狭窄状態を直感的に把握できるようにする。
状態推定手段が推定する狭窄状態、すなわち色分け表示したい状態が複数あるときには、表示制御手段は、表示画面に、複数の状態提示領域を配置してもよい。例えば、色分け表示したい状態が2つのときには、CPR画像を挟み込むように、2つの状態提示領域を配置するとよい。これにより、把握すべき状態が複数あるときでも、すべての状態を色により直感的に把握することができる。また、2つの状態提示領域の間にCPR画像が挟まれるレイアウトとすれば、診断時の混同、例えばどちらの領域がどちらの状態を示すかがわからなくなるといった事態を避けることができる。
具体的な形態としては、例えば、状態推定手段が、複数の狭窄状態を表す指標値を算出し、色決定手段が、各断面について、複数の狭窄状態を表す指標値に対応する色を決定し、表示制御手段が、複数の状態提示領域のそれぞれを、複数の狭窄状態を表す指標値のそれぞれに基づいて色分けするといった形態が考えられる。
本発明の装置、プログラムおよび方法によれば、医師は、ボリュームデータから生成されたCPR画像を観察することにより所定範囲の管状構造の内壁を自らの目で確認しながら、同じボリュームデータの解析により推定された狭窄状態を、色により直感的に把握することができる。
本発明の一実施形態における診断支援装置の概略構成を示す図 抽出された気管支領域を例示する図 CPR画像生成処理および狭窄率推定処理の概要を示す図 気管支の内腔領域の平均径、最小径、面積の定義を示す図 正常時の血管径の設定方法を示す図 変換テーブルの一例を示す図 診断画面の一例を示す図 診断画面の他の例を示す図 変換テーブルの他の例を示す図 診断画面のさらに他の例を示す図
以下、本発明の診断支援装置、診断支援プログラムおよび診断支援方法の実施形態について、図面を参照しながら詳細に説明する。
図1に、医師が使用するワークステーションに、診断支援プログラムをインストールすることにより実現された診断支援装置の概略構成を示す。診断支援装置1は、標準的なワークステーションの構成として、プロセッサおよびメモリ(いずれも図示せず)を備え、さらに、HDD(Hard Disk Drive)やSSD(Solid State Drive)等のストレージ2を備えている。また、診断支援装置1には、ディスプレイ3と、マウス、キーボード等の入力装置4が接続されている。
診断支援プログラムと診断支援プログラムが参照するデータ(後述する変換テーブル等)は、インストール時にストレージ2に記憶され、起動時にメモリにロードされる。診断支援プログラムは、CPUに実行させる処理として、気管支抽出処理、CPR画像生成処理、状態推定処理、色決定処理および表示制御処理を規定している。そして、プログラムの規定にしたがって、CPUが上記各処理を実行することにより、汎用のワークステーションは、気管支抽出部101、CPR画像生成部102、状態推定部103、色決定部104および表示制御部105として機能する。
ストレージ2には、撮影を担当する検査部門から転送されたボリュームデータ、もしくはデータベース検索により取得されたボリュームデータが記憶される。ボリュームデータは、マルチスキャンCT装置等から直接出力されたボリュームデータでもよいし、従来型のCT装置等から出力された2次元のスライスデータ群を再構成することにより生成されたボリュームデータでもよい。
診断支援装置1は、選択メニューにおいて所定の診断支援機能が選択されたことを検出すると、ユーザに、ボリュームデータの特定に必要な情報の選択または入力を促す。そして、ユーザの操作により、ボリュームデータが特定されると、ストレージ2からメモリに、該当するボリュームデータをロードする。
ここでは、ある患者の検査において、マルチスキャンCT装置による胸部撮影が行われ、肺の気管支および肺血管(肺動脈、肺静脈)の情報を含むボリュームデータが取得されているものとする。ユーザが気管支の診断支援機能を選択し、その患者の識別子や検査日を入力すると、該当するボリュームデータがメモリにロードされ、以下に説明する処理が実行される。
気管支抽出部101は、上記ボリュームデータから気管支領域を抽出する。具体的には、領域拡張法により気管支領域内の画素の集合を抽出し、抽出された気管支領域に対して細線化処理を行い、得られた気管支を表す細線の連結関係に基づいて細線上の各画素を端点、エッジ(辺)および分岐点に分類することによって、気管支を表す木構造データを得る。さらに、必要に応じて、細線上の各画素における気管支の径および各エッジの長さ(気管支の分岐間の長さ)等の特徴量も木構造データとして得ることができる。これにより、ボリュームデータから、図2に例示するような気管支領域5が抽出される。
上記方法では、気管支領域5を抽出する過程で気管支の芯線が設定される。また、芯線を構成する候補点のそれぞれについて、位置と主軸方向が算出される。よって、各候補点において、算出された情報に基づき、主軸方向と垂直な断面(直交断面)を設定することができる。断面の設定は、気管支領域5を抽出し終えた後に行ってもよいし、断面ごとに、主軸方向を算出した直後に行ってもよい。また、すべての候補点において断面を設定してもよいし、サンプリングした一部の候補点に対し断面を設定してもよい。
気管支領域5が抽出されると、気管支抽出部101は、気管支領域5のボリュームレンダリング画像を生成する。そして、上記処理により設定された芯線を示す標識をボリュームレンダリング画像に合成して、ディスプレイ3に出力する。続いて、気管支抽出部101は、入力装置4から、観察範囲を設定する操作入力を受け付ける。例えば、ユーザが、ボリュームレンダリング画像上で、気管支を構成する複数の気管枝の中から一本の気管枝を指定し、その気管枝の経路上で、観察範囲の始点と終点とを指定する操作を行うことで、観察範囲が設定される。
なお、ボリュームレンダリング画像を対象とする操作としては、観察範囲の設定の他、芯線の経路変更および延長等の操作を受け付けるようにしてもよい。気管支抽出部101は、経路変更等の操作を検出した場合には、操作内容にしたがって芯線や断面を再設定する。
気管支領域、芯線および断面の情報と、ユーザが指定した観察範囲の情報は、気管支抽出部101から、CPR画像生成部102および状態推定部103へと供給される。
以下、図3を参照して、CPR画像生成部102および状態推定部103の処理について説明する。図3(a)は、CPR画像生成部102により生成されるCPR画像の一例を示す図である。図3(b)は、気管支抽出部101により抽出された気管支領域5の一部分を、模式的に示す図である。図3(c)は、気管支領域5の直交断面像を例示した図である。気管支抽出部101により設定された候補点および断面は、1から始まる識別番号により区別されるものとし、n番目の候補点はN、n番目の候補点を含む断面はPと表記する。図3(b)および(c)は、設定された断面のうち、i番目、(i+a)番目、(i+b)番目の候補点および断面を例示している(但し、a<b)。
CPR画像生成部102は、図3(b)に示される情報に基づいて、図3(a)に例示される画像を生成する。すなわち、気管支抽出部101により取得された情報(気管支領域5、各候補点の位置および主軸方向、芯線の経路、断面Pの位置や向き等)を用いて、公知の手順によりストレートCPR画像を生成する。本実施形態では、CPR画像生成部102は、観察範囲の始点および終点が設定された血管枝を選択し、その血管枝の全範囲を表すストレートCPR画像を生成する。これにより、観察範囲の変更を要求する操作が検出されたときに、後述する表示制御部が、生成済みのCPR画像を使って観察範囲を高速に切り換えられるようにしている。
状態推定部103は、図3(b)に示される情報に基づいて、図3(c)に例示するように、気管支領域5に含まれる情報を断面ごとに解析する。すなわち、ボリュームデータから個々の断面を構成するボクセルデータ群を抽出し、それらのボクセルデータ値に基づいて、気管支領域5(気管支の外壁を輪郭とする領域)および内腔領域6(気管支の内壁を輪郭とする領域)を識別する。さらに識別した領域に基づいて、内腔領域6の径と面積を求める。なお、内腔領域6の径としては平均径を用いるが、平均径に代えて最小径を求めてもよい。また、状態推定部103は、壁部領域7(気管支の外壁および気管支の内壁により囲まれる領域)を識別する。
平均径を求めるときは、各断面に対し、図4に例示するように0度、45度、90度の3つの方向を設定し(4以上の方向を設定してもよい)、方向ごとに内腔領域6の径d1、d2、d3を算出する。そして、算出された値の平均値(d1+d2+d3)/3を、その断面における平均径とする。面積は、内腔領域6を構成するボクセルデータの数に基づいて算出する。なお、平均径に代えて最小径を求めるときは、平均径を求めるときと同様の手順により径d1、d2、d3を算出し、算出された値の中の最小値(図の例ではd1)を、その断面における最小径とすればよい。
各断面における平均径および面積が求まると、状態推定部103は、健常時の平均径および面積を推定する。健常時の平均径や面積は、例えば回帰分析により自動的に推定する。図5は回帰分析による健常時の平均径の求め方を例示した図である。横軸を断面、縦軸を平均径とする平面上に、各断面において算出された平均径をプロットして回帰分析を行った場合、例えば同図に示すような回帰直線Rが算出される。但し、回帰直線Rは、回帰分析のアルゴリズムにも依存するため、同図に示す回帰直線Rは、あくまでも一例に過ぎない。回帰分析のアルゴリズムとしては、公知のあらゆるアルゴリズムを採用することができる。また、回帰直線に代えて、回帰曲線を設定してもよい。
なお、状態推定部103は、回帰直線等を設定した後、ユーザの操作入力に基づいて回帰直線等を再設定してもよい。例えば、図5に例示したプロット平面を表示画面に表示し、直線Rの位置と傾きを変更する操作入力を受け付ける。そして、ユーザの操作により設定された直線Rを、健常時における平均径を示す線と定義して、後続の処理を行う。健常時の面積も、同様の処理により、自動または半自動で推定することができる。
また、状態推定部103は、ユーザの操作入力に基づいて、健常時の平均径および面積を推定することもできる。この場合、状態推定部103は、図5に例示したようなプロット平面を表示画面に表示し、横軸方向に1つまたは複数の範囲を指定する操作を受け付ける。あるいは後述する表示制御部が画面に表示したCPR画像上で、範囲を指定する操作を受け付けてもよい。ユーザにより、健常な、すなわち狭窄がないと思われる範囲が指定されると、状態推定部103は、指定された範囲に含まれるプロットのみを結ぶ直線(または曲線)を設定する。そして、設定された直線等を、健常時における平均径を示す線と定義して、後続の処理を行う。健常時の面積も、同様の処理により推定することができる。
ボリュームデータに基づいて内腔領域6の平均径が算出され、さらに健常時における内腔領域6の平均径が推定されると、状態推定部103は、所定の演算を行って気管支の狭窄率を狭窄状態を表す指標値として算出する。ここでは狭窄率を、ボリュームデータに基づいて求められた平均径と、回帰分析等により求められた健常時の平均径との比と定義する。例えば、図5の例では、健常時の平均径は約3mmで、断面Pi+aにおける平均径は約1.5mm、断面Pi+bにおける平均径は3mm強であるので、断面Pi+aにおける狭窄率は、(3−1.5)/3×100=50%となり、断面Pi+bにおける狭窄率は、(3−3)/3×100=0%となる。なお、狭窄率の定義は平均径の比に限られるものではなく、例えば最小径の比や、面積の比としてもよい。
なお、状態推定部103は、狭窄率に加えてまたは狭窄率に代えて、内腔領域6の径、壁部領域7の壁厚、内腔領域6の面積、壁部領域7の面積、内腔領域6および壁部領域7の面積に対する内腔領域6の面積の比率、内腔領域6の画素値、壁部領域7の画素値、各断面の肺門からの距離、各断面の肺門から末梢までの間の距離に応じた内腔領域6の径、面積または画素値の平均値に対する、算出した内腔領域6の径、面積または画素値の比率、肺門から末梢までの間の距離に応じた壁部領域7の壁厚、面積または画素値の平均値に対する、算出した壁部領域7の壁厚、面積または画素値の比率、呼気と吸気との間における内腔領域6の径、面積または画素値の差、呼気と吸気との間における壁部領域7の壁厚、面積または画素値の差、呼気と吸気との間における各段面の移動量、および気管支の外壁から所定範囲内における肺野領域の画素値の少なくとも1つを狭窄状態を表す指標値として算出してもよい。
ここで、内腔領域6の径は、上述した内腔領域6の平均径または最小径を用いる。内腔領域6の面積は上述したように算出した面積を用いる。壁部領域7の壁厚は、壁部領域7の平均厚または最大厚を算出する。平均厚については、内腔領域6の平均径を算出した場合と同様に、各断面に対して、0度、45度、90度の3つの方向を設定し(4以上の方向を設定してもよい)、方向ごとに壁部領域7の厚さを算出し、算出した厚さの平均値を算出すればよい。なお、平均厚に代えて最大厚を求めるときは、平均厚を求めるときと同様の手順により壁厚を算出し、算出された値の中の最大値を、その断面における最大厚とする。壁部領域7の面積は、壁部領域7を構成するボクセルデータの数に基づいて算出する。
内腔領域6および壁部領域7の面積に対する内腔領域6の面積の比率は、内腔領域6の面積を、内腔領域6の面積および壁部領域7の面積の和により除算して算出する。内腔領域6および壁部領域7の画素値は、内腔領域6および壁部領域7内のボクセルデータ値の平均値を算出する。
各断面の肺門からの距離は、まずボリュームデータから肺門を検出し、気管支抽出部101が抽出した気管支領域5において、各断面の位置と肺門とを結ぶ線分を設定し、その線分を構成するボクセルデータの数に基づいて算出する。
各断面の肺門から末梢までの間の距離に応じた内腔領域6の径、面積または画素値の平均値に対する、算出した内腔領域6の径、面積または画素値の比率(以下、第1の比率とする)については、まず、ボリュームデータから肺門および気管支の抹消を検出し、気管支抽出部101が抽出した気管支領域5において、各断面と肺門とを結ぶ線分を設定し、その線分を構成するボクセルデータの数に基づいて、各断面と肺門との距離を算出する。一方、肺門と末梢とを結ぶ線分を設定し、その線分を構成するボクセルデータの数に基づいて、肺門と末梢との距離を算出する。そして、断面の位置を、肺門と末梢との間の距離に対する肺門と断面との間の距離の比率として算出する。一方、多数の被検体を用いて測定することにより、肺門から末梢までの間において、肺門からの距離に応じた内腔領域6の径、面積および画素値の平均値を算出することができる。したがって、断面の位置(比率)を算出し、その位置における内腔領域の径、面積または画素値の平均値を取得し、取得した内腔領域の径、面積または画素値の平均値に対する、その断面の位置における内腔領域6の径、面積または画素値の比率を第1の比率として算出する。なお、肺門から末梢までの間の距離に応じた壁部領域7の壁厚、面積または画素値の平均値に対する、算出した壁部領域7の壁厚、面積または画素値の比率(以下、第2の比率とする)についても同様に算出すればよい。
呼気と吸気との間における内腔領域6の径、面積または画素値の差は、呼気時および吸気時の双方における気管支領域5を抽出し、呼気時の気管支領域と吸気時の気管支領域との対応する断面を求め、その断面における内腔領域6の径、面積または画素値の差を算出する。
呼気と吸気との間における壁部領域7の壁厚、面積または画素値の差は、呼気時および吸気時の双方における気管支領域5を抽出し、呼気時の気管支領域と吸気時の気管支領域との対応する断面を求め、その断面における壁部領域7の壁厚、面積または画素値の差を算出する。
呼気と吸気との間における各断面の移動量は、呼気時および吸気時における気管支領域5を抽出し、呼気時の気管支領域と吸気時の気管支領域との対応する断面を求め、その断面の呼気時の気管支領域と吸気時の気管支領域との間の位置の相違を算出する。
気管支の外壁から所定範囲内における肺野領域の画素値は、ボリュームデータにおける気管支領域5の外側に存在する肺野領域の、気管支領域5から所定範囲内のボクセルデータの平均値を算出する。
状態推定部103により求められた指標値は、色決定部104に供給される。以下、色決定部104の処理と表示制御部105の処理とを関連づけながら説明する。
色決定部104は、状態推定部103から供給された指標値に基づいて、断面ごとにその断面を表す色(RGB値)を決定する。本実施形態では、指標値とRGB値とを対応づける複数種類の変換テーブルが予めメモリに記憶されており、色決定部104は、それらの変換テーブルを参照することにより色を決定する。
図6は変換テーブルの一例を示す図である。図6に示す変換テーブル10Aは、気管支の狭窄率を、RGB値と対応づけたマップである。狭窄率は4段階に分類され、狭窄率が低い順に「黒」、「青」、「黄」、「赤」を表すRGB値が対応づけられている。但し、表示画面の背景色が黒以外であるときは、「黒」の代わりに画面の背景色と同じ色を対応づけることが好ましい。
図7は表示制御部105が出力する表示画面の一例を示す図である。図7に示すように、表示画面11Aには、ストレートCPR画像14、内腔領域6の平均径を示すグラフ12、および帯状の状態提示領域13が配置される。ストレートCPR画像14は、気管支の芯線が画面の水平方向に延びるような向きで配置される。グラフ12および状態提示領域13は、CPR画像14の上方に配置される。
ストレートCPR画像14、グラフ12および状態提示領域13の位置関係は、グラフ12および状態提示領域13の水平方向のスケール/範囲が、CPR画像の水平方向のスケール/範囲と同じになるように、表示制御部105により制御される。また、表示制御部105は、観察範囲として指定された範囲のみが画面に現れるように、ストレートCPR画像14、グラフ12および状態提示領域13の表示を制御する。また、スクロール操作等による観察範囲の変更を受け付け、操作に応じて画面を更新する。
例えば、CPR画像上での断面の間隔が6ピクセルであったとすると、グラフ12は、各断面において算出された指標値を6ピクセル間隔でプロットしたグラフとなる。また状態提示領域13では、断面ごとに幅6ピクセルの領域が割り当てられ、各領域の色値として色決定部104が決定したRGB値が設定される。
なお、図7では状態提示領域13の色分け表示を濃淡で表現しているが、これは濃い順に赤、黄、青を意味するものとする。図7は、グラフ12において狭窄率が小さくなっており、CPR画像14において気管支像がそこだけ狭く表示されている部分に対し、状態提示領域13が赤く色づけされることを示している。
なお、状態提示領域13は、表示画面11AではCPR画像の上方に配置されているが、CPR画像の下方に配置してもよい。また、図8に示す表示画面11Bのように、CPR画像14の上方と下方とに、CPR画像を挟み込むように2つの状態提示領域13を配置してもよい。
表示画面11Aおよび11Bでは、気管支の各部位の狭窄率が色として提示されるので、診断を行う医師は、狭窄部位や狭窄の度合を直感的に把握することができる。特に、色に対する認識としては、赤は危険、黄色は注意、青は安全という認識が広く浸透しているので、図6に示した変換テーブルのように危険度(狭窄率)が高い状態に対し赤や黄色が割り当てられるように変換テーブルを定義しておけば、初めて診断支援装置を使用する者でも、マニュアルを見ることなく直感的に表示の意味するところを理解することができる。
図9は色決定部104が参照する変換テーブルの他の例を示す図である。図9に示す変換テーブル10Bは、狭窄率以外の他の情報(ここでは壁部領域7の壁厚)を、RGB値と対応づけたマップである。壁厚は4段階に分類され、壁厚が小さい順に「黒」、「青」、「黄」、「赤」を表すRGB値が対応づけられている。
色決定部104が、変換テーブル10Bを参照して色を決定した場合には、表示制御部105は、表示画面11Aまたは11Bにおいて、状態提示領域13を壁部領域7の壁厚によって色分け表示する。
また、色決定部104は、変換テーブル10Aを参照して狭窄率を表す色を決定し、さらに、変換テーブル10Bを参照して狭窄率以外の他の指標値(ここでは壁部領域7の壁厚)を表す色を決定することもできる。
変換テーブルを2つ参照する場合、表示制御部105が出力する画面は、図10に例示するような表示画面11Cとなる。表示画面11Cでは、CPR画像14の上方と下方とに、CPR画像14を挟み込むように状態提示領域13および状態提示領域15が配置される。状態提示領域13は、変換テーブル10Aに基づいて決定された色で色分けされた領域である。また、状態提示領域15は、変換テーブル10Bに基づいて決定された色で色分けされた領域である。
表示画面11Cでは、狭窄率および壁部領域7の壁厚を、いずれも色により直感的に把握することができる。表示画面11Cでは、状態提示領域13の表示により狭窄率を確認する一方で、状態提示領域15の表示により壁部領域7の壁厚を確認することができるので、危険な状態や注意を要する状態を、効率よく発見することができる。
状態提示領域13と状態提示領域15は、CPR画像の上方または下方に、2つ隣接させて配置してもよいが、図10の例のように上方と下方とに分散して配置するほうが、診断の際、混乱が生じにくい。
以上、変換テーブル10A、10Bと表示画面11A、11Bおよび11Cについて説明したが、診断支援装置1のメモリには、このほか、内腔領域6の径、壁部領域7の壁厚、内腔領域6の面積、壁部領域7の面積、内腔領域6および壁部領域7の面積に対する内腔領域6の面積の比率、内腔領域6の画素値、壁部領域7の画素値、各断面の肺門からの距離、各断面の肺門から末梢までの間の距離に応じた内腔領域6の径、面積または画素値の平均値に対する、算出した内腔領域6の径、面積または画素値の比率(第1の比率)、肺門から末梢までの間の距離に応じた壁部領域7の壁厚、面積または画素値の平均値に対する、算出した壁部領域7の壁厚、面積または画素値の比率(第2の比率)、呼気と吸気との間における内腔領域6の径、面積または画素値の差、呼気と吸気との間における壁部領域7の壁厚、面積または画素値の差、呼気と吸気との間における各段面の移動量、および気管支の外壁から所定範囲内における肺野領域の画素値の少なくとも1つの狭窄状態を表す指標値として算出している場合には、これらの指標値とRGB値とを対応づけた変換テーブルを記憶してもよい。
色決定部104は、これらの変換テーブルの中から、ユーザが選択した1つまたは複数の変換テーブルを選択的に参照して処理を行う。また、表示制御部105は、選択された変換テーブルの数に応じて、画面に配置する状態提示領域の数および画面レイアウトを決定する。
本実施形態の診断支援装置、プログラムおよび方法によれば、狭窄状態を表す指標値は、数値ではなく色として提示される。よって、医師は、診断支援装置が推定した狭窄状態を、直感的に把握することができる。色分けは、観察用の画像を色づけするのではなく、観察用の画像の外側の領域に配置された状態提示領域を色づけすることにより為される。よって、色分け表示により画像の観察が妨げられることはない。これにより、医師は、診断支援装置が提示する色を参照するだけでなく、自らの目で血管の内壁を表す画像を確認し、慎重に診断を下すことができる。
また、本実施形態では、観察用の画像としてCPR画像が表示され、状態提示領域の色分け表示もCPR画像と同じ範囲について行われるため、気管支の比較的広い範囲について、短時間で狭窄状態を把握することができる。さらに、ストレートCPR画像は観察範囲が変更されても常に直線状の画像になるため、画面レイアウトを、表示制御が容易なシンプルなレイアウトとすることができる。
また、本実施形態では、色決定部が参照する変換テーブルは、複数の変換テーブルの中から選択でき、表示画面に配置する状態提示領域の数も直感的把握を要する指標値の数に応じて増減される。このため、様々な診断目的に対応することができる。
なお、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、種々の変更を加えることができる。
例えば、気管支抽出部101は、前述の方法以外の種々の公知の気管支抽出方法を採用することができる(例えば、Takayuki Kitasaka ,et al.、「Extraction of bronchus regions from 3D chest X-ray CT images by using structural features of bronchus 」、Forma、2002年、Vol.17,pp.321-338等)。その際、気管支領域の抽出と同時に木構造が得られる場合には、細線化処理を行わずに得られた木構造をそのまま後続の処理で取り扱えばよい。また、気管支抽出部101は、肺動脈の領域を気管支の領域として抽出するようにしてもよい。あるいは、気管支抽出部101は、気管支と肺動脈の両方を抽出し、気管支の末梢部については、抽出された気管支の末梢部の最近傍にある肺動脈の領域上の点から肺動脈の末梢部までの肺動脈の領域を、気管支の末梢部に接続する気管支の領域として抽出するようにしてもよい。なお、肺動脈は公知の方法で抽出可能であり、例えば、肺動脈を表すシード点の設定を受け付け、設定されたシード点を用いて領域拡張法により肺動脈領域内の画素の集合を抽出し、抽出された肺動脈領域に対して細線化処理を行い、得られた肺血管を表す細線の連結関係に基づいて細線上の各画素を端点・エッジ(辺)・分岐点に分類することによって、肺動脈を表す木構造データを得ることができる。(詳細については、小林 大祐、他5名、「血管形状記述のための枝ベース木構造モデル構築の試み」、[online]、2005年3月9日、理化学研究所、理研シンポジウム 生体形状情報の数値化及びデータベース構築研究、pp.84-92、[2010年1月6日検索]、インターネット〈URL:http://www.comp-bio.riken.jp/keijyo/products/2005_1_files/kobayashi_print.pdf〉、中村 翔、他4名、「木構造解析による胸部X線CT像からの肺動脈・肺静脈の自動分類」、電子情報通信学会技術研究報告. MI, 医用画像、日本、社団法人電子情報通信学会、2006年1月21日、Vol.105, No.580、pp.105-108、[2009年11月20日検索]、インターネット〈URL:http://www.murase.nuie.nagoya-u.ac.jp/~ide/res/paper/J05-kenkyukai-snaka-1.pdf〉等参照)。
また、特願2009−48679号および特願2009−69895号において提案される方法により肺血管(肺動脈および肺静脈)抽出してもよい。この方法では、まず、ボリュームデータを構成するボクセルデータの値に基づいて、肺血管の芯線を構成する複数の候補点の位置と主軸方向を算出する。もしくは、ボリュームデータについてヘッセ行列を算出し、算出されたヘッセ行列の固有値を解析することにより、肺血管の芯線を構成する複数の候補点の位置情報および主軸方向を算出する。そして、候補点周辺のボクセルデータについて肺血管らしさを表す特徴量を算出し、算出された特徴量に基づいてそのボクセルデータが肺血管領域を表すものであるか否かを判別する。特徴量に基づく判別は、マシンラーニングにより予め取得された評価関数に基づいて行う。これにより、ボリュームデータから、肺血管領域を抽出することができる。
この場合、肺血管領域を抽出する過程で、肺血管の芯線が設定される。また、芯線を構成する候補点のそれぞれについて、位置と主軸方向が算出される。よって、各候補点において、算出された情報に基づき、主軸方向と垂直な断面(直交断面)を設定することができる。断面の設定は、血管領域を抽出し終えた後に行ってもよいし、断面ごとに、主軸方向を算出した直後に行ってもよい。また、すべての候補点において断面を設定してもよいし、サンプリングした一部の候補点に対し断面を設定してもよい。
肺血管領域が抽出されると、肺血管領域のボリュームレンダリング画像が生成される。そして、上記処理により設定された芯線を示す標識がボリュームレンダリング画像に合成されて、ディスプレイ3に出力される。続いて、観察範囲を設定する操作入力が受け付けられる。例えば、ユーザが、ボリュームレンダリング画像上で、肺血管を構成する複数の血管枝の中から一本の血管枝を指定し、その血管枝の経路上で、観察範囲の始点と終点とを指定する操作を行うことで、観察範囲が設定される。
なお、ボリュームレンダリング画像を対象とする操作としては、観察範囲の設定のほか、芯線の経路変更、延長等の操作を受け付けるようにしてもよい。経路変更等の操作が検出された場合には、操作内容にしたがって芯線や断面が再設定される。
肺血管領域、芯線および断面の情報と、ユーザが指定した観察範囲の情報とは、上記実施形態における、CPR画像生成部102および状態推定部103へと供給される。そして設定された観察範囲において、肺血管についての狭窄率等の推定、CPR画像の生成、色の決定および表示を行うようにすればよい。
また、CPR画像生成部102は、ストレートCPR画像に代えて、ストレッチCPR画像やプロジェクトCPR画像を表示してもよい。ストレッチCPR画像やプロジェクトCPR画像では、気管支像は蛇行するが、状態提示領域13,15をCPR画像と同様に蛇行する帯状領域とすれば、ストレートCPR画像の場合と同様、CPR画像と状態提示領域とを並列に配置することができる。
また、色決定部104は、変換テーブルの参照ではなく、所定の数式に基づく演算を行うことにより色を決定してもよい。例えば、狭窄率に応じてRGB値がそれぞれ変化するように数式を定義しておけば、状態提示領域の色はグラデーション表示となる。
また、上記実施形態では、表示制御部が観察範囲を制御しているが、CPR画像生成部102が、観察範囲の情報に基づいて、その範囲のみを対象とするCPR画像を生成するようにしてもよい。状態推定部103もまた、観察範囲の情報に基づいて、その範囲のみを対象として、処理を行ってもよい。
また、上記実施形態では、表示制御部105は、気管支の芯線が画面の水平方向に延びるような向きでストレートCPR画像を配置しているが、ストレートCPR画像を90度回転し、気管支の芯線が画面の垂直方向に延びるように配置してもよい。この場合には、グラフ12や状態提示領域13,15も90度回転して表示する。
また、診断支援装置は、複数台のコンピュータにより、気管支抽出部、CPR画像生成部、状態推定部、色決定部および表示制御部としての機能を分担する構成としてもよい。また、入力装置、ディスプレイ等、システムを構成する装置としては、公知のあらゆる装置を採用することができる。例えば、マウスに代えてジョイスティックを採用したり、ディスプレイに代えてタッチパネルを採用したりすることができる。
1 診断支援装置
2 ストレージ
5 気管支領域
6 内腔領域
7 壁部領域
10A,10B 変換テーブル
11A,11B,11C 表示画面
12 平均径グラフ
13,15 状態提示領域
14 CPR画像

Claims (8)

  1. 被写体の胸部の撮影により取得されたボリュームデータから、肺の管状構造を表す管状領域を抽出するとともに、該管状構造の芯線および該芯線に垂直な複数の断面を設定する管状構造抽出手段と、
    前記管状領域、前記芯線および前記各断面の情報に基づいて、前記管状構造の少なくとも一部の範囲を表すCPR画像を生成するCPR画像生成手段と、
    前記管状領域に含まれる情報を前記断面ごとに解析して、該各断面における前記管状構造の狭窄状態を推定する状態推定手段と、
    前記断面ごとに、推定された狭窄状態を表す少なくとも1つの色を決定する色決定手段と、
    表示画面内の所定領域に前記CPR画像を配置し、さらに前記CPR画像が表す管状構造と並行するように帯状の状態提示領域を複数配置して、該状態提示領域を前記色決定手段の決定に基づいて色分け表示する表示制御手段とを備えたことを特徴とする診断支援装置。
  2. 前記状態推定手段が、前記狭窄状態として、管状構造の狭窄率、管状構造の内腔の径、管状構造の壁厚、管状構造の内腔の面積、管状構造の壁部の面積、内腔および壁部の面積に対する内腔の面積の比率、内腔の画素値、壁部の画素値、肺門からの距離、肺門から末梢までの間の距離に応じた内腔の径、面積または画素値の平均値に対する内腔の径、面積または画素値の比率、肺門から末梢までの間の距離に応じた壁部の壁厚、面積または画素値の平均値に対する壁部の壁厚、面積または画素値の比率、呼気と吸気との間における内腔の径、面積または画素値の差、呼気と吸気との間における壁部の壁厚、面積または画素値の差、呼気と吸気との間における移動量、並びに管状構造の外壁から所定範囲内における肺野領域の画素値の少なくとも1つを推定することを特徴とする請求項1記載の診断支援装置。
  3. 前記表示制御手段が、前記CPR画像を挟み込むように、2つの状態提示領域を配置することを特徴とする請求項1または2記載の診断支援装置。
  4. 前記状態推定手段が、複数の前記狭窄状態を表す指標値を算出し、
    前記色決定手段が、前記断面ごとに、前記複数の狭窄状態を表す指標値に対応する色を決定し、
    前記表示制御手段が、複数の状態提示領域のそれぞれを、前記複数の狭窄状態を表す指標値のそれぞれに基づいて色分けすることを特徴とする請求項1から3のいずれか1項記載の診断支援装置。
  5. 前記CPR画像生成手段が生成するCPR画像が、ストレートCPR画像であることを特徴とする請求項1からのいずれか1項記載の診断支援装置。
  6. 前記色決定手段が、予め記憶されている一または複数の変換テーブルを用いて色を決定することを特徴とする請求項1からのいずれか1項記載の診断支援装置。
  7. 1台または複数台のコンピュータを、
    被写体の胸部の撮影により取得されたボリュームデータから、肺の管状構造を表す管状領域を抽出するとともに、該管状構造の芯線および該芯線に垂直な複数の断面を設定する管状構造抽出手段、
    前記管状領域、前記芯線および前記各断面の情報に基づいて、前記管状構造の少なくとも一部の範囲を表すCPR画像を生成するCPR画像生成手段、
    前記管状領域に含まれる情報を前記断面ごとに解析して、各断面における前記管状構造の狭窄状態を推定する状態推定手段、
    前記断面ごとに、推定された狭窄状態を表す少なくとも1つの色を決定する色決定手段、および
    表示画面内の所定領域に前記CPR画像を配置し、さらに前記所定領域の外側に前記CPR画像が表す管状構造と並行するように帯状の状態提示領域を複数配置して、該状態提示領域を前記色決定手段の決定に基づいて色分け表示する表示制御手段として機能させることを特徴とする診断支援プログラム。
  8. 被写体の胸部の撮影により取得されたボリュームデータから、肺の管状構造を表す管状領域を抽出するとともに、該管状構造の芯線および該芯線に垂直な複数の断面を設定する管状構造抽出処理と、
    前記管状領域、前記芯線および前記各断面の情報に基づいて、前記管状構造の少なくとも一部の範囲を表すCPR画像を生成するCPR画像生成処理と、
    前記管状領域に含まれる情報を前記断面ごとに解析して、各断面における前記管状構造の狭窄状態を推定する状態推定処理と、
    前記断面ごとに、推定された狭窄状態を表す少なくとも1つの色を決定する色決定処理と、
    表示画面内の所定領域に前記CPR画像を配置し、さらに前記所定領域の外側に前記CPR画像が表す管状構造と並行するように帯状の状態提示領域を複数配置して、該状態提示領域を前記色決定手段の決定に基づいて色分け表示する表示制御処理とを行うことを特徴とする診断支援方法。
JP2010075093A 2010-03-29 2010-03-29 診断支援システム、診断支援プログラムおよび診断支援方法 Active JP5642407B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010075093A JP5642407B2 (ja) 2010-03-29 2010-03-29 診断支援システム、診断支援プログラムおよび診断支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010075093A JP5642407B2 (ja) 2010-03-29 2010-03-29 診断支援システム、診断支援プログラムおよび診断支援方法

Publications (2)

Publication Number Publication Date
JP2011206155A JP2011206155A (ja) 2011-10-20
JP5642407B2 true JP5642407B2 (ja) 2014-12-17

Family

ID=44937960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010075093A Active JP5642407B2 (ja) 2010-03-29 2010-03-29 診断支援システム、診断支援プログラムおよび診断支援方法

Country Status (1)

Country Link
JP (1) JP5642407B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10049445B2 (en) 2011-07-29 2018-08-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method of a three-dimensional medical image
JP6103829B2 (ja) * 2012-06-21 2017-03-29 キヤノン株式会社 画像診断支援装置、画像診断支援方法、画像診断支援システムおよびプログラム
JP2013128704A (ja) * 2011-12-22 2013-07-04 Aze Ltd 医用画像生成装置、医用画像生成プログラムおよび医用画像生成方法
US8751961B2 (en) * 2012-01-30 2014-06-10 Kabushiki Kaisha Toshiba Selection of presets for the visualization of image data sets
JP6139090B2 (ja) * 2012-10-09 2017-05-31 東芝メディカルシステムズ株式会社 医用画像処理装置、画像診断装置及び医用画像処理プログラム
JP6242572B2 (ja) * 2012-11-29 2017-12-06 東芝メディカルシステムズ株式会社 医用画像撮影装置および画像処理装置
EP3021758A4 (en) * 2013-07-19 2017-03-15 Volcano Corporation Devices, systems, and methods for assessment of vessels
KR102205845B1 (ko) 2013-10-28 2021-01-22 삼성전자주식회사 입자에 기반한 모델링 방법 및 장치
JP6334942B2 (ja) * 2014-02-13 2018-05-30 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理方法及びプログラム
JP6476041B2 (ja) 2015-03-31 2019-02-27 株式会社Aze 医用画像診断装置、その制御方法、及びプログラム
JP6591203B2 (ja) * 2015-06-01 2019-10-16 キヤノンメディカルシステムズ株式会社 医用画像処理装置
JP7156142B2 (ja) * 2019-04-03 2022-10-19 コニカミノルタ株式会社 画像解析装置、画像解析システム及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0765154A (ja) * 1993-08-31 1995-03-10 Toshiba Corp 血管像の定量解析装置及びその定量解析方法
JP4298258B2 (ja) * 2002-10-11 2009-07-15 株式会社日立メディコ 医用画像表示装置
JP4891541B2 (ja) * 2004-12-17 2012-03-07 株式会社東芝 血管狭窄率解析システム
JP2007044121A (ja) * 2005-08-08 2007-02-22 Hitachi Medical Corp 医用画像表示方法及び装置
JP2009160235A (ja) * 2008-01-07 2009-07-23 Toshiba Corp 医用画像処理装置、医用画像診断装置、及びx線ct装置

Also Published As

Publication number Publication date
JP2011206155A (ja) 2011-10-20

Similar Documents

Publication Publication Date Title
JP5642407B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP5436125B2 (ja) 診断支援装置およびその作動方法並びに診断支援プログラム
US8994720B2 (en) Diagnosis assisting apparatus, diagnosis assisting program, and diagnosis assisting method
EP2157905B1 (en) A method for tracking 3d anatomical and pathological changes in tubular-shaped anatomical structures
JP5222082B2 (ja) 情報処理装置およびその制御方法、データ処理システム
US9678620B2 (en) Workflow for ambiguity guided interactive segmentation of lung lobes
US20110001761A1 (en) Diagnosis assisting apparatus, diagnosis assisting method, and storage medium in which a diagnosis assisting program is recorded
US8923579B2 (en) Surgery-assistance apparatus, method and computer-readable recording medium storing a program for setting a margin during organ excision
US8693759B2 (en) Image processing device and image processing method
US20130195339A1 (en) Image processing apparatus, imaging system, and image processing method
JP5226974B2 (ja) 画像診断支援装置、方法及びプログラム
JP2007202957A (ja) 壁運動測定装置及び医用画像診断装置
WO2006011545A1 (ja) 医用画像診断支援方法、装置及び画像処理プログラム
US9198603B2 (en) Device, method and program for searching for the shortest path in a tubular structure
US20100249580A1 (en) Image diagnosis support device and image diagnosis support program
JP2011212314A (ja) 血管表示制御装置および方法、並びにプログラム
KR102270934B1 (ko) 의료용 인공 신경망 기반 대표 영상을 제공하는 의료 영상 판독 지원 장치 및 방법
JP5539478B2 (ja) 情報処理装置および情報処理方法
KR20240041355A (ko) 관상동맥질환 분석 시스템
JP5047686B2 (ja) 血管画像表示方法と装置
CN107296620A (zh) 主动脉检测方法、装置、存储介质和处理器
KR102670185B1 (ko) Ct 영상을 이용하여 피험자의 구조적 및 기능적 변화를 진단할 수 있는 진단 평가 지표를 제공하는 장치 및 방법
JP6925795B2 (ja) 医用画像診断支援装置、その制御方法、及びプログラム
AU2021221669A1 (en) A coronary artery disease analysis tool
CN117836805A (zh) 冠状动脉疾病分析系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140902

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141029

R150 Certificate of patent or registration of utility model

Ref document number: 5642407

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250