JP6146952B2 - 画像処理装置、画像処理方法及びプログラム。 - Google Patents

画像処理装置、画像処理方法及びプログラム。 Download PDF

Info

Publication number
JP6146952B2
JP6146952B2 JP2012015248A JP2012015248A JP6146952B2 JP 6146952 B2 JP6146952 B2 JP 6146952B2 JP 2012015248 A JP2012015248 A JP 2012015248A JP 2012015248 A JP2012015248 A JP 2012015248A JP 6146952 B2 JP6146952 B2 JP 6146952B2
Authority
JP
Japan
Prior art keywords
sieve plate
image processing
image
tomographic image
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012015248A
Other languages
English (en)
Other versions
JP2013153844A (ja
Inventor
好彦 岩瀬
好彦 岩瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012015248A priority Critical patent/JP6146952B2/ja
Priority to US13/747,755 priority patent/US9265418B2/en
Priority to DE102013201098A priority patent/DE102013201098A1/de
Priority to GB1301356.0A priority patent/GB2500462B/en
Priority to CN201310031091.0A priority patent/CN103251379B/zh
Publication of JP2013153844A publication Critical patent/JP2013153844A/ja
Application granted granted Critical
Publication of JP6146952B2 publication Critical patent/JP6146952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に被検眼の断層画像を処理する画像処理装置、画像処理方法及びプログラムに関する。
光干渉断層計(OCT;Optical Coherence Tomography)などの眼部の断層画像撮影装置は、網膜層内部の状態を三次元的に観察することが可能である。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから近年注目を集めている。OCTの形態として、広帯域な光源とマイケルソン干渉計を組み合わせたTD−OCT(Time domain OCT)がある。これは、参照アームの遅延を走査することで、信号アームの後方散乱光との干渉光を計測し、深さ分解の情報を得るように構成されている。しかし、TD−OCTでは高速な画像取得は難しい。そのため、より高速に画像を取得する方法として、広帯域光源を用い、分光器でインターフェログラムを取得するOCTとして、SD−OCT(Spectral domain OCT)が知られている。また、光源として、高速波長掃引光源を用いることで、単一チャネル光検出器でスペクトル干渉を計測する手法によるSS−OCT(Swept Source OCT)が知られている。
ここで、断層画像における網膜の形態変化を計測できれば、緑内障などの疾病の進行度や治療後の回復具合を定量的に診断することが可能となる。これらの網膜の形態変化を定量的に計測するために、コンピュータを用いて断層画像から網膜の各層の境界を検出し、層の厚みを計測する技術が、特許文献1に開示されている。また、特許文献2では、早期緑内障の診断を目的として、脈絡膜の厚みを計測する技術が開示されている。
特開2008−073099号公報 特開2011−072716号公報
ここで、緑内障の場合、篩状板(しじょうばん)と呼ばれる領域が変形することが知られている。篩状板の内部の視神経線維が圧迫されることにより、逆行性軸索輸送による神経栄養因子の輸送が阻害され神経節細胞が死滅すると言われている。従来の方法は、網膜層や脈絡膜の厚みを計測するためのものであり、篩状板の変形をとらえるものではない。緑内障の診断を行うためには篩状板の計測を行い、この計測結果を診断に用いることが有効である。
本発明は上記課題に鑑みてなされたものであり、篩状板の形状の解析結果を視認良く提示することを目的とする。
本発明に係る画像処理装置の一つは、
被検眼の3次元断層画像を取得する画像取得手段と、
前記取得された3次元断層画像から篩状板を検出する検出手段と、
前記検出された篩状板の形状を解析することにより、前記検出された篩状板の曲率値の分布を含む解析パラメータの値の分布を取得する解析手段と、
前記取得された解析パラメータの値の分布を示す2次元マップを生成する生成手段と、
前記生成された2次元マップを、ブルッフ膜オープニングを示す表示形態を重ねた状態で表示手段に表示させる表示制御手段と、を有する。
本発明によれば、篩状板の形状の解析結果を視認良く提示することができる。
画像処理システムの構成を示す図である。 画像処理装置における処理の流れを示すフローチャートである。 形状解析を説明するための図である。 撮影パターンと撮影箇所の一例を示す図である。 解析結果の提示の一例を説明するための図である。 画像処理装置の表示の一例を示す図である。 画像処理装置の表示の一例を示す図である。 網膜の視神経乳頭部の断層画像の模式図である。 解析結果の提示の一例を説明するための図である。 画像処理装置の表示の一例を示す図である。
以下、図面を参照しながら、本発明の実施形態について説明する。なお、本実施形態に係る画像処理装置を備える画像処理システムは、篩状板の形状を解析して数値化し、その結果を表示することを特徴としている。
(実施例1:篩状板の形状を解析した結果をマップで表示)
図1は、実施例1に係る画像処理装置110を備える画像処理システム100の構成を示す図である。図1に示すように、画像処理システム100は、画像処理装置110が、インタフェースを介して断層画像撮影装置200及び表示部300と接続されることにより構成されている。
断層画像撮影装置200は、眼部(被検眼)の断層画像を撮影する装置である。断層画像撮影装置に用いる装置は、例えば、SD−OCTやSS−OCTからなる。なお、断層画像撮影装置200は既知の装置であるため、詳細な説明は省略する。ただし、光源には1000nm付近の波長を射出する光源を用いることが望ましい。光源の波長が長くなることにより、800nm付近の波長を用いた光源に比べ、組織の散乱の影響を受けにくくなる。そのため、網膜層よりも深部(図8のz方向)の組織を画像化するのに適している。また、撮影方法としては、Enhanced Depth Imaging(以下「EDI法」ともいう)による撮影を用いることが望ましい。これは脈絡膜と疾病との関連性に着目して脈絡膜を詳しく見たい時に主に使用される方法である。EDI法はコヒーレンスゲートの位置が脈絡膜よりも奥にある状態で、逆像にて断層画像を取得する方法である。ここで、コヒーレンスゲートとは、OCTにおける測定光と参照光の光学距離が等しい位置を表す。この撮影法も、網膜層よりも深部の組織を画像化するのに適している。上述したように、本実施例における断層画像撮影装置200は、深部の組織を画像化するのに適しているOCTや撮影方法で撮影することができる装置であればよい。
画像処理装置110は、画像取得部111、記憶部112、演算部113、表示制御部115を備える。演算部113は、画像処理部131、解析部132、解析結果作成部133からなる。画像取得部111は、断層画像撮影装置200により撮影された断層画像を取得し、記憶部112に格納する。画像処理部131では、記憶部112で記憶している断層画像から層を検出する。解析部132では、解析対象となる領域を解析する。解析結果作成部133では、解析結果を提示するための各種データを作成する。
次に、画像処理装置110の処理手順について、図2を用いて説明する。
<ステップS201:断層画像の取得>
ステップS201では、画像取得部111は、断層画像撮像装置200から断層画像を取得する。取得する断層画像は、図4を用いて後述する放射線状のスキャンで撮影された1組(本実施例においては6枚)の断層画像である。そして、記憶部112に断層画像を記憶する。
<ステップS202:網膜層の検出>
ステップS202において、網膜層検出部の一例である画像処理部131は、ステップS201で取得した断層画像の視神経乳頭部の各領域を検出する。視神経乳頭部の各領域の検出について図8を用いて説明をする。図8は、視神経乳頭部の断層画像801の模式図である。ここで、断層画像は、同一平面上に位置する複数のA−scan(z軸方向に並行な1列の画素列A)で構成される(B−scan:x−z面)。そして、複数の断層画像で構成される3次元データにおいて、x−y面をC−scanと呼ぶ。L1は内境界膜(ILM)、L2は神経線維層(NFL)、L3は神経節細胞層(GCL)、L4はブルッフ膜オープニング(BMO)、L5は網膜色素上皮層(RPE)、L6は篩状板(LC)、L7は脈絡膜(Choroid)を表す。画像処理部131はL1〜L7の各領域の境界を検出する。
網膜層の各領域の境界の検出について説明をする。まず、断層画像に対して、メディアンフィルタとSobelフィルタをそれぞれ適用して画像を作成する(以下、「メディアン画像」、「Sobel画像」とする)。次に、作成したメディアン画像とSobel画像から、A−scan毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Sobel画像では勾配のプロファイルとなる。そして、Sobel画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を検出する。
<ステップS203:篩状板の検出>
ステップS203において、篩状板検出部の一例である画像処理部131は、篩状板領域を検出する。この場合、まず、図8の断層画像における篩状板に関する特徴箇所の一例であるBMO(L4)を検出する。BMO(L4)の検出は、例えば、ステップS202で検出したILM(L1)とRPE(L5)の結果を用いて、視神経乳頭を特定する。この場合、特に視神経乳頭の陥凹部を特定することが好ましく、本実施例では、視神経乳頭の陥凹部の中心付近を特定する。ここで、視神経乳頭の陥凹部の特徴として、RPE(L5)が存在しないこと、ILM(L1)の形状が深部方向(図8のZ方向)に大きな勾配をもつことが挙げられる。そこで、各A−scanとその周辺A−scanを含めた局所領域を設定し、その局所領域内のRPE(L5)の存在状況とILM(L1)の深部方向への勾配を算出し、視神経乳頭の陥凹部の中心付近の点を特定する。次に、各断層画像において視神経乳頭の陥凹部の中心付近に近いRPE(L5)の点を、全ての断層画像において繋ぐことで、C−scan方向で見た場合に楕円形状となるRPE領域を設定する。それを初期位置として、適切な動的輪郭モデル(例えば、SnakesやLevelSet)を適用することで、各断層画像においてBMO(L4)を特定する。次に、先ほど特定した端部、即ちBMO端からエッジ成分を視神経乳頭の陥凹部の中心に向かってトレースすることで、BMO端の正確な位置を特定する。本実施例では、まず各BMO端について、座標値とエッジ成分を調べる。次に、各BMO端の位置を開始点として、視神経乳頭の陥凹部の中心に向かってエッジをトレースしていく。トレースは各BMO端の位置におけるエッジ成分を参照して、内側の近傍に存在するエッジ成分が一番近い位置に探索点を更新し、参照するエッジ成分も更新する。これを繰り返すことで、正確なBMO端を特定する。なお、断層画像のBMO端に色を付けて強調表示することや、2つのBMO端を結んだ線を断層画像に重ねて表示させることや、この線と篩状板の輪郭とで囲まれた領域に色を付けて強調表示させても良い。これらを篩状板の検出結果として表示させることにより、ユーザが視認し易くすることができる。
次に、1枚の断層画像(B−scan)において、2点のBMO(L4)を検出した個所で、BMOを固定端とした篩状板境界を初期値として、上述のSnakesやLevelSetのような動的輪郭モデルを実行して、篩状板領域(図8のL6)を検出する。動的輪郭モデルでは、さらに確率アトラスを用いることによって、篩状板の空間的な存在確率を利用することによって領域検出を行ってもよい。
なお、ここでは自動で篩状板領域を検出する場合の例を説明したが、不図示の操作部を用いて、操作者が自動検出結果を修正しても良いし、マニュアルで篩状板領域を設定するようにしても良い。例えば、ユーザは、表示部300の一例であるディスプレイに表示された断層画像上にカーソルを合わせ、複数の位置でクリックし、それらの位置に基づいて篩状板領域を決定しても良い。また、S203の前に、不図示の判定部が、断層画像から篩状板領域あるいは視神経乳頭を検出できるか否かを自動的に判定しても良い。また、不図示の判定部が、断層画像が視神経乳頭を含む画像として撮影されているか否かを自動的に判定しても良い。断層画像に視神経乳頭が含まれない場合、S203に進まずに、表示制御部115は取得された断層画像では篩状板に関する解析を行えないことを示す表示形態としてエラーメッセージをディスプレイに表示させることが好ましい。また、断層画像に視神経乳頭が含まれていても、EDI法やSSOCTで撮影されていない断層画像の場合には、篩状板を自動的に解析できる程度には分解能が十分でないことや、篩状板が撮影される程度には深さ方向の撮影範囲が十分でないことがある。この場合にも、表示制御部115は上記エラーメッセージをディスプレイに表示させることが好ましい。
<ステップS204:篩状板の形状の解析>
ステップS204において、解析部132は、視神経乳頭部において検出された領域の結果に基づいて各種解析を行う。篩状板領域を解析する場合として、形状の曲率解析を行う場合と、BowingAngleで解析を行う場合と、篩状板領域とBMOとのサイズ比を解析する場合について説明をする。なお、BowingAngleについては、後述する。
(篩状板の曲率の計算)
まず、曲率を計算する場合について図3(a)の断層画像301を用いて説明を行う。図3(a)において、横軸がx座標、縦軸がz座標とする。L4はBMO、L6は篩状板を表す。2点のBMO(L4)で囲まれる篩状板L6において、X座標が最小の場所minXと最大の場所maxXとの間の境界線の曲率を計算する。曲率κは境界線の各点において、数式1を計算することで求めることが出来る。曲率κの符号で上に凸か下に凸かが分かり、数値の大きさで形状の曲がり具合が分かる。そのため、上に凸を+、下に凸を−とした場合、各断層画像の篩状板L6において、曲率の符号が−領域、+領域、−領域となる場合はW形状となる。すなわち、各点における曲率を計算する事で、篩状板の形状が下に凸形状なのか、W形状なのかを把握する事が可能となる。
Figure 0006146952
(篩状板のBowingAngleによる解析)
次に、形状の解析方法としてBowingAngleで解析する場合について図3(b)の断層画像302を用いて説明を行う。ここで、BowingAngleの解析方法について説明をする。BowingAngleとは、2点のBMO(L4)を直線で結び、その直線を4分割する。そして、その分割点から篩状板に対して垂線BA1、BA2、BA3を引く。それら垂線の長さを用いて数2を計算することで求めることが出来るものである。数式2において、BA1、BA2、BA3は、各垂線の長さ(距離)の数値が入る。そして、数式2において、数値が大きい(プラス)ほど下に凸形状となり、数値が小さい(マイナス)ほどW形状となる。すなわち、BowingAngleとは、符号と数値から篩状板の形状を把握できる指標である。
Figure 0006146952
また、BowingAngleを数値ではなく、比で計算しても良い。その場合の計算式を数式3に示す。数式3において、1以上の場合下に凸形状となり、1より小さい場合W形状となる。
Figure 0006146952
(篩状板領域とBMOとのサイズ比を解析)
次に、篩状板領域とBMOとのサイズ比を解析する場合について、図3の(c)、(d)を用いて説明を行う。図3(c)は断層画像303において、BMO(L4)と篩状板L6から垂線を引きその間の距離を計測し、その比を解析する場合の例を示している。図3(d)は断層画像304において、BMO(L4)を結んだ線の距離と、結んだ線に対して平行となる篩状板L6の間の距離を計測し、その比を解析する場合の例を示している。このように、篩状板領域とBMOとのサイズ比を上述した方法で解析する。
解析部132が篩状板の形状を解析するのに用いる解析パラメータはこれらに限定されるものではない。篩状板領域内の面積(図3(d)でL4とL4を結んだ線とL6とで囲まれる領域)、体積(各断層画像で面積を算出し3次元に展開したもの)、厚み(図3(d)でL4とL4を結んだ線からL6までの垂線の距離)なども用いられる。
<ステップS205:解析結果を示す表示形態の作成>
ステップS205において、解析結果作成部133は、ステップS204において解析部132が解析した結果を出力するための2次元マップを作成する。まず、曲率の解析結果からマップを作成する場合について、図4を用いて説明をする。ここでは、放射線状のスキャンで撮影された1組の断層画像群から2次元のマップを作成する場合の例について説明を行う。図4(a)は、放射線状のスキャンパターンを示し、図4(b)は、眼底像402上におけるスキャン位置401のイメージを示している。図4(a)では、6本の放射線状のスキャンの場合(R1〜R6)で説明をする。2次元のマップの各点(例えば、図の座標(x,y))において、マップの中心(x,y)までの距離と角度を計算する。各点において算出した距離を用いることで、断層画像におけるx座標の対応点を求めることができる。なお、放射線状のスキャンは、断層画像の中心を基準に円を描いた範囲以外にはデータがないため、2次元のマップにおいても、円領域以外には対応するデータは存在しない。また、各点において算出したマップの中心に対する角度から対応するスライス番号を求めることができる。
解析結果作成部133は、2次元マップの各点において対応する断層画像の位置と対応するスライス番号を求めることで、解析部132で解析した曲率値からマップを作成することが出来る。ここで、例えば、図4(a)の(x,y)のように対応する断層画像がない場合は、最も近い断層画像(図ではR4)の値を代入する。その場合、図5(a)の501に示すように、マップの各点において、最も隣接する断層画像における対応する座標の曲率値が入るマップとなる。そのため、隣接する断層画像と断層画像の中間において、値が変化するマップとなる。ここでマップ501は、曲率値のカラーマップ、あるいはグレースケールのマップ511と、カラーバー、あるいはグレースケールバー521とで構成されるものとする。そしてこのカラーマップ511の色は、解析結果の値とカラーバー521との値が対応しているものである。
マップ501では、最も隣接する断層画像における対応する座標の曲率値が入るマップの例を示したがそれに限られるものではない。例えば、図4(a)の(x,y)のような座標点においては、両隣の隣接する断層画像(図ではR3とR4)までの距離の比に応じた値を代入するようにしてもよい。すなわち、隣接する断層画像との距離の比で値を計算するので、図5(b)の502に示すように、断層画像間で値が連続して変化するマップとなる。さらに、図5(a)、(b)において、一定の半径毎に値を平均化して、それをマップとして表示するようにしてもよい。図5(a)を一定の半径で平均化した場合の例を図5(c)の503に示す。
次に、BowingAngleの解析結果から解析結果作成部133が2次元マップを作成する場合について図5(d)を用いて説明をする。ここでも、放射線状のスキャンで撮影された断層画像群から2次元のマップを作成する場合の例について、図4(a)を用いて説明をする。BowingAngleの場合は、上述した曲率の場合と異なり、1つの断層画像に1つの数値が対応している。そのため、上述した方法と同じ方法で2次元マップの各点において対応する断層画像のスライス番号が求まれば、マップの座標点には、断層画像が持つBowingAngleの数値が入る。そのため、BowingAngleのマップは図5の504に示すようなマップとなる。ここでマップ504は、BowingAngle値のカラーマップ、あるいはグレースケールのマップ514と、カラーバー、あるいはグレースケールバー524とで構成されるものとする。
ここでは、曲率マップ、BowingAngleマップなど、各種解析結果の値からマップを作成する場合の例について示した。その他に、記憶部112に各種解析方法に対して標準データベースを備えている場合、解析結果作成部133は、標準データベースに対する適合度をマップとして作成する構成としてもよい。ここで、標準データベースとは、多数の正常眼のデータから作成されるものであり、人種別、年齢別のデータを統合して作成されるものである。なお、眼科の分野においては、眼軸長別など、眼特有のパラメータで分類されていてもよい。例えば、BowingAngleの値が標準データベースの値の範囲内か否かを判定し、マップにはその情報を判定できる値を入れる。
<ステップS206:解析結果を示す表示形態の表示>
ステップS206において、表示制御部115は、断層画像と、画像処理部131で検出した層の検出結果と、解析結果作成部133で作成した各種解析結果(マップ、数値)を表示部300に表示する。この処理について図6を用いて説明をする。図6はこの使用形態において、表示部300に表示する表示画面の一例を示している。図6において、600は断層画像観察画面、610は断層画像表示部、630は眼底画像表示部、620は第一の解析結果表示部、640は第二の解析結果表示部、650は第一の表示切替部、660は第二の表示切替部である。なお、以下実施形態においては、断層画像表示部610に断層画像を表示し、第一の解析結果表示部620にマップを表示するものとして説明を行う。
図6(a)は、断層画像601と曲率マップ602を断層画像観察画面600に並べて表示した場合の例を示す。図では、断層画像601と、断層画像上に網膜層の各層を検出したセグメンテーション結果(L1〜L7)として、各層毎に異なるカラーの実線を重畳表示したものと、篩状板の形状を解析した結果を2次元マップとした曲率マップとを表している。曲率マップ602において、曲率値のカラーマップ612の表示範囲は、断層画像601において、篩状板の領域(点線と両端矢印の範囲)に対応している。
図6(b)には、断層画像605と曲率マップ606を断層画像観察画面600に表示する際に、各断層画像におけるBMO(L4)の位置を結んだ線636を表示した例を示している。図6(b)で示すように、2次元マップの篩状板領域上にBMOの位置を重畳表示することで、高度近視眼などによる篩状板の変位状態が分かりやすくなる。
図7(a)は、断層画像701とBowingAngleマップ702を断層画像観察画面600に表示した場合の例を示す。図では、断層画像701と、断層画像上に網膜層の各層を検出したセグメンテーション結果(L1〜L7)を重畳表示したものと、篩状板の形状を解析した結果を2次元マップとしたBowingAngleマップとを表している。BowingAngleマップ702において、BowingAngle値のカラーマップ712の表示範囲は、断層画像701において、篩状板の領域(点線と両端矢印の範囲)に対応している。
図7(b)には、断層画像705とBowingAngleマップ706を断層画像観察画面600に表示する際に、断層画像上にBowingAngleを解析した際に用いた個所(BA1〜BA3)を重畳表示する場合を示している。これにより、各断層画像において、計測した箇所が視認出来るようになる。また、不図示の操作部を用いて、操作者が計測箇所(BA1〜BA3)を手動で修正出来るようにしても良い。なお、計測箇所を手動で修正する場合、表示制御部115は、BowingAngleの値を断層画像観察画面600に表示して、手動で修正すると同時にその値が更新されるように制御することが望ましい。なお、図6、図7で示したマップの種類の切り替えは、第一の表示切替部650を選択することにより、切り替えることが出来る。第一の表示切替部650には、例えばComboBoxなどを用いる。さらに、眼底画像表示部630では、第二の表示切替部660を選択することで、眼底写真、SLO、蛍光眼底画像、眼底写真+SLOの重畳表示、眼底写真+マップの重畳表示など、2次元画像と解析結果の重畳表示を切り替えて表示することが出来る。
図6、図7で示した曲率とBowingAngleにおいて、断層画像とマップを表示する際に、表示される断層画像は、各解析結果で最大の変位を示した断層画像を初期状態で表示する。すなわち、視神経乳頭を中心にラジアルスキャンして得た複数の断層画像のうち、曲率が大きい断層画像や、BowingAngleがマイナスの値の断層画像を選択的に表示することが好ましい。また、篩状板の形状は、眼底像(図4(b))において、視神経乳頭の図4(b)におけるy軸の方向に変位が生じやすい。このため、初期状態で、y軸の方向をスキャンしたスライス位置(図4(a)でのR1)の断層画像とマップとが並べて表示されることが好ましい。これにより、ユーザは、比較的に変形していると思われる篩状板を効率良く確認することができる。このとき、眼底画像上や、複数の断層画像における篩状板の形状を示す2次元の表示形態(例えば、曲率のマップ)上に、選択された断層画像の位置を示す表示形態を表示させても良い。例えば、表示された断層画像の位置がわかるように、マップ上にスキャン位置を示す直線632が重畳表示される。また、複数の断層画像から表示や解析結果を確認したい断層画像を、眼底画像上あるいは2次元の表示形態上で、ユーザが選択できるようにしても良い。例えば、表示している断層画像のスライスを変更したい場合は、不図示の操作部を用いて、操作者が表示したい断層画像に対応するマップの位置をマウスカーソル642により指示するこのとき、例えば、眼底画像上で断層画像の位置が選択された場合、その位置に対応する断層画像が表示され、2次元の表示形態上の対応する位置が連動して選択されることが好ましい。これにより、ユーザの利便性が向上する。
その他の表示方法として、計測箇所(BA1〜BA3)の表示色をBowingAngle値のカラーバー726の色と対応付けて表示してもよい。例えば、負の値の場合は赤で表示をし、正の値の場合は青で表示する。さらに、解析に用いた篩状板領域が分かるように断層画像上に色付けした領域を重畳表示するようにしてもよい。なお、篩状板領域を重畳表示する場合、色の透明度αは、0〜1の間で設定できることが望ましい。例えば、α=0.5で設定をする。
なお、図示はしないが、表示制御部115は、解析部132で解析した結果(曲率値、BowingAngle値、BowingAngle比、篩状板領域とBMOとのサイズ比、篩状板の面積、体積、厚みなど)を数値として断層画像観察画面600に表示する。マップで表示する以外に数値で示すことにより、詳細な情報を提示することが出来る。
<ステップS207:画像処理の終了の入力の有無>
ステップS207において、不図示の指示取得部は、画像処理装置110による断層画像の処理を終了するか否かの指示を外部から取得する。この指示は、不図示の操作部を用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理装置110はその処理を終了する。一方、処理を終了せずに、篩状板の解析処理を切り替える場合(例えば、曲率解析からBowingAngle解析に切り替える)には、ステップS204に処理を戻して、結果を表示する。
以上によって、画像処理装置110の処理が行われる。
以上で述べた構成によれば、篩状板の形状解析を行い、その結果をマップの形式で表示する。篩状板の形状解析を行い、その解析結果を視認良く提示することは、早期に緑内障診断を行うのに有効な指標を提示することになる。
(実施例2:篩状板の形状を解析した結果をグラフで表示)
実施例1では、篩状板の形状解析をした結果をマップの形式で表示する場合の例について述べた。実施例2では、解析結果をグラフの形式で表示する場合の例について述べる。
本実施例に係る画像処理装置の構成は、図1に示す実施例1の構成と同様であり、解析結果作成部133の機能のみ実施例1と異なる。従って、実施例1と同様の機能を有するものに関しては、ここでは説明を省略する。
解析結果作成部133は、解析部132で解析した結果からグラフを作成する。以下、図2、図9を参照して画像処理装置110の処理手順を示す。なお、ステップS205、ステップS206以外は、実施例1と同様なので説明は省略する。
<ステップS205:解析結果を示す表示形態の作成>
ステップS205において、解析結果作成部133は、ステップS204で求めた篩状板の解析結果から各種グラフを作成する。本実施例では、篩状板の曲率グラフとBowingAngleグラフを作成する場合の例を説明する。解析結果作成部133は、各断層画像において、断層画像の位置に対応する値を用いてグラフを作成する。
まず、曲率グラフを作成する場合について図9(a)を用いて説明する。曲率グラフは、複数の断層画像の各断層画像毎に作成する場合を想定している。本図において、901は曲率グラフ全体、902は1枚の断層画像における曲率値をグラフ上にプロットしたもの、903は記憶部112に保存されている標準データベースの値の範囲を表示したものであり、断層画像のスキャン位置に対応したものである。このグラフにより、各断層画像における篩状板の形状の曲がり具合の程度を把握することが出来る。
次に、BowingAngleグラフを作成する場合について図9(b)を用いて説明する。BowingAngleグラフは、放射線状のスキャンで撮影された断層画像群の場合、ボリューム全体の結果を1つのグラフに表示する。図9(b)において、911はBowingAngleグラフ全体、912は、BowingAngle値をグラフ上にプロットしたもの、913は、記憶部112に保存されている標準データベースの値の範囲を表示したものである。このグラフにより、ボリューム全体の篩状板の形状変化を把握することが出来る。
<ステップS206:解析結果を示す表示形態の表示>
ステップS206において、表示制御部115は、断層画像と、画像処理部131で検出した層の検出結果と、解析結果作成部133で作成した各種解析結果(グラフ、数値)を表示部300に表示する。この処理について図10を用いて説明をする。図10には、この使用形態において、表示部300に表示する表示画面の一例を示している。断層画像1005とBowingAngleグラフ1011とBowingAngleマップ1002を断層画像観察画面600に並べて表示する際に、断層画像上にBowingAngleを解析した際に用いた個所(BA1〜BA3)を重畳表示している。なお、これらを表示する際に、例えば、BowingAngleの値が標準データベースの値の範囲内か否かに応じて、計測箇所(BA1〜BA3)の表示色を変えて表示するようにしてもよい。例えば、標準データベース内の値のスライスにおいては青で表示をして、標準データベース外の値のスライスにおいては赤で表示をするなどにしてもよい。また、第二の解析結果表示部640に表示しているグラフの種類は、第一の表示切替部650によって、マップの種類を切り替えるのと連動して切り替えるようにする。
以上で述べた構成によれば、篩状板の形状解析を行い、その結果をグラフの形式で表示する。篩状板の形状解析を行い、その解析結果を視認良く提示することは、早期に緑内障診断を行うのに有効な指標を提示することになる。
(その他の実施例)
上記の各実施例は、本発明を画像処理装置として実現したものである。しかしながら、本発明は画像処理装置のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。画像処理装置のCPUは、RAMやROMに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。上記コンピュータプログラムはネットワーク又は各種記憶媒体を介してシステム或いは装置に供給することができる。
110 画像処理装置
111 画像取得部
112 記憶部
113 演算部
115 表示制御部
131 画像処理部
132 解析部
133 解析結果作成部

Claims (20)

  1. 被検眼の3次元断層画像を取得する画像取得手段と、
    前記取得された3次元断層画像から篩状板を検出する検出手段と、
    前記検出された篩状板の形状を解析することにより、前記検出された篩状板の曲率値の分布を含む解析パラメータの値の分布を取得する解析手段と、
    前記取得された解析パラメータの値の分布を示す2次元マップを生成する生成手段と、
    前記生成された2次元マップを、ブルッフ膜オープニングを示す表示形態を重ねた状態で表示手段に表示させる表示制御手段と、
    を有することを特徴とする画像処理装置。
  2. 前記表示制御手段は、前記3次元断層画像を構成する複数の2次元断層画像の少なくとも一つと前記2次元マップとを並べて前記表示手段に表示させ、前記表示される2次元断層画像に対応する位置を前記2次元マップに重ねて前記表示手段に表示させることを特徴とする請求項1に記載の画像処理装置。
  3. 前記表示制御手段は、前記検出された篩状板を示す表示形態を前記表示される2次元断層画像に重ねて前記表示手段に表示させることを特徴とする請求項2に記載の画像処理装置。
  4. 前記解析手段により取得される前記解析パラメータの値の分布は、前記検出された篩状板の曲率値の分布前記ブルッフ膜オープニングを用いて得られた値の分布とを含み、前記表示制御手段は、前記ブルッフ膜オープニングを結んだ線を、前記検出された篩状板を示す表示形態として前記表示される2次元断層画像に重ねて前記表示手段に表示させることを特徴とする請求項3に記載の画像処理装置。
  5. 前記表示制御手段は、前記線と前記篩状板の輪郭とで囲まれた領域を示す表示形態を、前記検出された篩状板を示す表示形態として前記表示される2次元断層画像に重ねて前記表示手段に表示させることを特徴とする請求項4に記載の画像処理装置。
  6. 前記表示制御手段は、前記取得された解析パラメータの値の分布あるいは前記被検眼における前記表示される2次元断層画像を取得した位置に基づいて、前記複数の2次元断層画像の少なくとも一つを選択的に前記表示手段に表示させることを特徴とする請求項2乃至5のいずれか1項に記載の画像処理装置。
  7. 前記表示制御手段は、
    前記被検眼の眼底画像と前記表示される2次元断層画像と前記2次元マップとを並べて前記表示手段に表示させ、
    前記表示される2次元断層画像に対応する位置を前記眼底画像と前記2次元マップとに重ねて前記表示手段に表示させ、
    前記眼底画像と前記2次元マップとのいずれか一方における前記位置の変更に応じて、他方における前記位置に関する表示が連動して変更されることを特徴とする請求項2乃至6のいずれか1項に記載の画像処理装置。
  8. 前記解析手段は、前記検出された篩状板の形状を解析することにより、前記検出された篩状板の領域と前記表示される2次元断層画像における他の領域とのサイズ比を、前記解析パラメータの値として取得することを特徴とする請求項2乃至7のいずれか1項に記載の画像処理装置。
  9. 前記表示制御手段は、前記2次元マップを前記被検眼の眼底画像に重ねて前記表示手段に表示させることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  10. 前記生成手段は、前記解析パラメータの値の分布を示すグラフを生成し、
    前記表示制御手段は、前記2次元マップと前記グラフとを並べて前記表示手段に表示させることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  11. 前記解析手段により取得される前記解析パラメータの値の分布は、前記検出された篩状板の曲率値の分布と前記ブルッフ膜オープニングを用いて得られた値の分布とを含み、
    前記生成手段は、前記2次元マップとして、前記篩状板の曲率値の分布を示す第1の2次元マップと、前記ブルッフ膜オープニングを用いて得られた値の分布を示す第2の2次元マップとを生成し、
    前記表示制御手段は、前記第1の2次元マップと前記第2の2次元マップとを切り替えることにより、前記第1の2次元マップと前記第2の2次元マップのいずれかを前記2次元マップとして前記表示手段に表示させることを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  12. 前記生成手段は、前記解析パラメータの値の分布を示すグラフとして、前記篩状板の曲率値の分布を示す第1のグラフと、前記ブルッフ膜オープニングを用いて得られた値の分布を示す第2のグラフとを生成し、
    前記表示制御手段は、前記2次元マップと前記解析パラメータの値の分布を示すグラフとを並べて前記表示手段に表示させ、前記第1の2次元マップと前記第2の2次元マップとの切り替えに応じて、前記第1のグラフと前記第2のグラフとを切り替えることにより、前記第1のグラフと前記第2のグラフのいずれかを前記解析パラメータの値の分布を示すグラフとして前記表示手段に表示させることを特徴とする請求項11に記載の画像処理装置。
  13. 被検眼の3次元断層画像から篩状板を検出する検出手段と、
    前記検出された篩状板の形状を解析することにより、前記検出された篩状板の形状の解析パラメータの値の分布を取得する解析手段と、
    前記取得された解析パラメータの値の分布を示す2次元マップに対してブルッフ膜オープニングを示す表示形態が重ねられた2次元マップを生成する生成手段と
    を有することを特徴とする画像処理装置。
  14. 前記被検眼の3次元断層画像を撮る撮像装置と通信可能に接続され、
    前記解析手段は、前記撮像装置により得た前記3次元断層画像における篩状板の形状を解析することを特徴とする請求項1乃至13のいずれか1項に記載の画像処理装置。
  15. 前記被検眼に対して測定光を走査する走査手段と、前記走査手段を介して前記測定光を照射した前記被検眼からの戻り光と前記測定光に対応する参照光とを合波して得た合波光を検出する検出手段とを有し、前記検出された合波光に基づいて前記被検眼の3次元断層画像を撮る撮像装置と通信可能に接続され、
    前記解析手段は、前記被検眼に対して前記測定光を放射線状に走査するように前記走査手段が制御されて得た前記3次元断層画像における篩状板の形状を解析することを特徴とする請求項1乃至13のいずれか1項に記載の画像処理装置。
  16. 前記検出手段は、前記3次元断層画像から前記被検眼の網膜層を検出し、前記検出された網膜層を用いて前記3次元断層画像から前記ブルッフ膜オープニングを検出することを特徴とする請求項1乃至15のいずれか1項に記載の画像処理装置。
  17. 前記検出手段は、前記3次元断層画像から前記網膜層としてILM及びRPEを検出し、前記検出されたILM及びRPEと前記被検眼の視神経乳頭部とを用いて前記3次元断層画像から前記ブルッフ膜オープニングを検出することを特徴とする請求項16に記載の画像処理装置。
  18. 請求項1乃至17のいずれか1項に記載の画像処理装置の各機能をコンピュータで実現させるためのプログラム。
  19. 被検眼の3次元断層画像を取得する工程と、
    前記取得された3次元断層画像から篩状板を検出する工程と、
    前記検出された篩状板の形状を解析することにより、前記検出された篩状板の曲率値の分布を含む解析パラメータの値の分布を取得する工程と、
    前記取得された解析パラメータの値の分布を示す2次元マップを生成する工程と、
    前記生成された2次元マップを、ブルッフ膜オープニングを示す表示形態を重ねた状態で表示手段に表示させる工程と、
    を有することを特徴とする画像処理方法。
  20. 被検眼の3次元断層画像から篩状板を検出する工程と、
    前記検出された篩状板の形状を解析することにより、前記検出された篩状板の形状の解析パラメータの値の分布を取得する工程と、
    前記取得された解析パラメータの値の分布を示す2次元マップに対してブルッフ膜オープニングを示す表示形態が重ねられた2次元マップを生成する工程と
    を有することを特徴とする画像処理方法。
JP2012015248A 2012-01-27 2012-01-27 画像処理装置、画像処理方法及びプログラム。 Active JP6146952B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012015248A JP6146952B2 (ja) 2012-01-27 2012-01-27 画像処理装置、画像処理方法及びプログラム。
US13/747,755 US9265418B2 (en) 2012-01-27 2013-01-23 Image processing apparatus, image processing method, and program
DE102013201098A DE102013201098A1 (de) 2012-01-27 2013-01-24 Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm
GB1301356.0A GB2500462B (en) 2012-01-27 2013-01-25 Image processing apparatus, image processing method, and program
CN201310031091.0A CN103251379B (zh) 2012-01-27 2013-01-25 图像处理设备、图像处理方法和图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012015248A JP6146952B2 (ja) 2012-01-27 2012-01-27 画像処理装置、画像処理方法及びプログラム。

Publications (2)

Publication Number Publication Date
JP2013153844A JP2013153844A (ja) 2013-08-15
JP6146952B2 true JP6146952B2 (ja) 2017-06-14

Family

ID=47890786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012015248A Active JP6146952B2 (ja) 2012-01-27 2012-01-27 画像処理装置、画像処理方法及びプログラム。

Country Status (5)

Country Link
US (1) US9265418B2 (ja)
JP (1) JP6146952B2 (ja)
CN (1) CN103251379B (ja)
DE (1) DE102013201098A1 (ja)
GB (1) GB2500462B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190110666A (ko) * 2018-03-21 2019-10-01 가톨릭대학교 산학협력단 녹내장 진단을 위한 영상 분석 방법 및 장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6226510B2 (ja) 2012-01-27 2017-11-08 キヤノン株式会社 画像処理システム、処理方法及びプログラム
JP6481250B2 (ja) * 2013-10-29 2019-03-13 株式会社ニデック 眼底解析装置及び眼底解析プログラム
WO2015124388A1 (en) * 2014-02-19 2015-08-27 Koninklijke Philips N.V. Motion adaptive visualization in medical 4d imaging
JP5937163B2 (ja) 2014-07-23 2016-06-22 国立大学法人東北大学 眼底解析装置及び眼底観察装置
WO2016039188A1 (ja) * 2014-09-08 2016-03-17 国立大学法人東北大学 眼底解析装置及び眼底観察装置
JP2018068778A (ja) * 2016-10-31 2018-05-10 株式会社ニデック 眼科oct解析装置及び眼科解析プログラム
EP3744254A4 (en) * 2018-01-25 2021-11-03 Osaka University STRESS CONDITION DETECTION METHOD AND STRESS DETECTION DEVICE
US10973406B2 (en) * 2018-03-06 2021-04-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer readable medium
JPWO2019203310A1 (ja) * 2018-04-18 2021-04-22 株式会社ニコン 画像処理方法、プログラム、及び画像処理装置
JP7229881B2 (ja) * 2018-08-14 2023-02-28 キヤノン株式会社 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
JP2020039430A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN112822973A (zh) 2018-10-10 2021-05-18 佳能株式会社 医学图像处理装置、医学图像处理方法和程序
JP7198950B2 (ja) * 2019-07-12 2023-01-04 ニューラリンク コーポレーション ロボット脳外科手術用の光コヒーレンストモグラフィ
US20230105247A1 (en) * 2021-10-05 2023-04-06 Topcon Corporation Medical diagnostic apparatus and method for evaluation of pathological conditions using 3d data and images of lamina cribrosa

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998034536A1 (en) 1997-02-12 1998-08-13 California Institute Of Technology Non-invasive measurement of intracranial pressure
US6171757B1 (en) 1999-07-12 2001-01-09 International Business Machines Corporation Organometallic polymers and use thereof
US7458683B2 (en) * 2003-06-16 2008-12-02 Amo Manufacturing Usa, Llc Methods and devices for registering optical measurement datasets of an optical system
US7370969B2 (en) * 2004-03-31 2008-05-13 Nidek Co., Ltd. Corneal topography analysis system
WO2006022045A1 (ja) * 2004-08-26 2006-03-02 National University Corporation Nagoya University 光干渉断層装置
JP5095167B2 (ja) * 2006-09-19 2012-12-12 株式会社トプコン 眼底観察装置、眼底画像表示装置及び眼底観察プログラム
US8223143B2 (en) * 2006-10-27 2012-07-17 Carl Zeiss Meditec, Inc. User interface for efficiently displaying relevant OCT imaging data
US7971998B2 (en) 2006-11-16 2011-07-05 Rsem, Limited Partnership Apparatus and method for measuring a displacement within an eye in vivo in situ, and method of assessment
JP4921201B2 (ja) * 2007-02-23 2012-04-25 株式会社トプコン 光画像計測装置及び光画像計測装置を制御するプログラム
JP5149535B2 (ja) 2007-04-27 2013-02-20 国立大学法人 筑波大学 偏光感受型光コヒーレンストモグラフィー装置、該装置の信号処理方法、及び該装置における表示方法
CN101778593B (zh) 2007-06-15 2013-03-20 南加州大学 用于分析光学相干断层照相图像的方法
JP5192250B2 (ja) * 2008-02-04 2013-05-08 株式会社トプコン 眼底観察装置
EP2335030A4 (en) * 2008-06-18 2014-05-07 Eyelab Group Llc SYSTEM AND METHOD FOR DETERMINING VOLUMETRIC PARAMETERS OF OCULAR TISSUES AND OTHER BIOLOGICAL TISSUES
US7703923B2 (en) * 2008-09-05 2010-04-27 Heidelberg Engineering Gmbh System and method for imaging retinal tissue with tissue generated light
US8137271B2 (en) 2009-03-04 2012-03-20 Heidelberg Engineering Gmbh System and method for assessing risk of glaucoma onset
JP2011072716A (ja) 2009-10-01 2011-04-14 Osaka Univ 緑内障の診断及び/又は監視をする装置
JP5628636B2 (ja) * 2010-11-09 2014-11-19 株式会社トプコン 眼底画像処理装置及び眼底観察装置
JP5904711B2 (ja) * 2011-02-01 2016-04-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190110666A (ko) * 2018-03-21 2019-10-01 가톨릭대학교 산학협력단 녹내장 진단을 위한 영상 분석 방법 및 장치
KR102032047B1 (ko) 2018-03-21 2019-10-14 가톨릭대학교 산학협력단 녹내장 진단을 위한 영상 분석 방법 및 장치

Also Published As

Publication number Publication date
CN103251379B (zh) 2016-04-06
US9265418B2 (en) 2016-02-23
GB2500462B (en) 2016-08-24
GB2500462A (en) 2013-09-25
US20130194546A1 (en) 2013-08-01
JP2013153844A (ja) 2013-08-15
CN103251379A (zh) 2013-08-21
DE102013201098A1 (de) 2013-08-01
GB201301356D0 (en) 2013-03-13

Similar Documents

Publication Publication Date Title
JP6146952B2 (ja) 画像処理装置、画像処理方法及びプログラム。
US10872237B2 (en) Image processing system, processing method, and storage medium
US9098742B2 (en) Image processing apparatus and image processing method
US10007989B2 (en) OCT data processing method, storage medium storing program for executing the OCT data processing method, and processing device
JP5924955B2 (ja) 画像処理装置、画像処理装置の制御方法、眼科装置およびプログラム
US11653828B2 (en) Systems and methods for improved anterior segment OCT imaging
JP5932369B2 (ja) 画像処理システム、処理方法及びプログラム
JP6526145B2 (ja) 画像処理システム、処理方法及びプログラム
JP2016002380A (ja) 画像処理装置、その作動方法及びプログラム
CN104042184B (zh) 图像处理设备、图像处理系统及图像处理方法
JP6243957B2 (ja) 画像処理装置、眼科システム、画像処理装置の制御方法および画像処理プログラム
JP7005382B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6526154B2 (ja) 画像処理装置、眼科システム、画像処理装置の制御方法及び画像処理プログラム
JP2022033290A (ja) 情報処理装置、情報処理方法およびプログラム
CN111954485A (zh) 图像处理方法、程序、图像处理装置及眼科系统
JP2018047084A (ja) 眼科検査装置
JP2019115827A (ja) 画像処理システム、処理方法及びプログラム
JP2013153880A (ja) 画像処理システム、処理方法及びプログラム
JP2013153881A (ja) 画像処理システム、処理方法及びプログラム

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20130701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170516

R151 Written notification of patent or utility model registration

Ref document number: 6146952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151