JP5587057B2 - 偏光画像計測装置、及び偏光画像計測表示システム - Google Patents
偏光画像計測装置、及び偏光画像計測表示システム Download PDFInfo
- Publication number
- JP5587057B2 JP5587057B2 JP2010147730A JP2010147730A JP5587057B2 JP 5587057 B2 JP5587057 B2 JP 5587057B2 JP 2010147730 A JP2010147730 A JP 2010147730A JP 2010147730 A JP2010147730 A JP 2010147730A JP 5587057 B2 JP5587057 B2 JP 5587057B2
- Authority
- JP
- Japan
- Prior art keywords
- polarization
- image
- display
- tissue
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本出願人の出願に係る特許文献1には、その一例として、偏光光を使用し、消化器、特に、胃壁の偏光異方性を持つ粘膜層から戻る戻り光の非偏光光の割合、すなわち戻り光の偏光度に基づいて粘膜層の厚みを算出することにより、胃壁の粘膜層の厚さの変化を検出することにより、がんの浸潤度を診断できる可能性があることが開示されている。
また、特許文献3には、近赤外光を用いて脂肪内に分布する血管の位置を認識する際に偏光光を利用することにより、脂肪内の血管像を観察する上でノイズとなる、脂肪表面での後方散乱光をカットすることで、脂肪表面で反射した光によるハレーションを防ぐことができ、脂肪内に分布する血管の位置を正確に認識可能であることが開示されている。
また、本発明の目的は、内視鏡検査や診断を容易かつ正確にすることができ、内視鏡手術や腹腔鏡手術等に用いることができる内視鏡診断装置及び腹腔鏡ナビゲーション装置を提供するものである。
は、上記第1の態様の偏光画像計測装置と、さらに、前記偏光画像計測装置の前記偏光変換処理手段で得られた前記偏光特性画像情報に表示変換処理を行って、前記偏光特性画像を前記所定部位の表層に表出する前記表出組織が前記表層の組織と識別可能に可視化して表示するための表示用偏光特性画像情報に変換する表示変換処理手段と、該表示変換処理手段で得られた前記表示用偏光特性画像情報に基づいて、前記所定部位の表層に表出する前記表出組織が前記表層の組織と識別可能に可視化して表示された前記偏光特性画像を表示する表示手段と、を備えることを特徴とする。
ここで、前記表示変換処理手段は、前記偏光特性画像情報に基づいて、前記偏光特性の強度に応じて前記表出組織及び前記表層の組織に彩色すべき色を決定し、該表出組織及び該表層の組織に前記彩色すべき色をカラーマッピングすることにより該表出組織の表出分布を可視化して表示するための前記表示用偏光特性画像情報を生成するものであり、前記表示手段は、前記表示用偏光特性画像情報に基づいて、前記彩色すべき色に彩色された前記表出組織の分布を可視化可能に表示するものであるのが好ましい。
また、前記生体観察モデルは、散乱性を表す前記偏光解消度、前記位相差、前記施光性及び前記二色性の層を複数重ねた観察モデルであることがより好ましい。
前記偏光変数分離処理手段は、リターダンス特性、吸収特性及び前記偏光解消性の3つに分離し、これらの3つから前記複数の偏光特性を求めるものであることが好ましい。
前記偏光照射手段及び前記撮像手段は、それぞれ1以上の偏光素子を備え、
前記偏光変換処理手段は、前記ミューラー画像変換手段による前記ミューラー画像変換に用いられる偏光素子特性を補正する偏光素子補正処理手段を有することが好ましい。
また、前記第1偏光フィルタ部は、前記光源より前記所定部位側に配置される第1偏光子と、該偏光子より前記所定部位側に固定配置され、前記1つの偏光状態の光のみをそれぞれ順次透過させる第1位相差付与手段と、を有し、前記第2偏光フィルタ部は、前記撮像素子より前記所定部位側に配置される第2偏光子と、該偏光子より前記所定部位側に固定配置され、前記対応する1つの偏光状態の光のみをそれぞれ順次透過させる第2位相差付与手段と、を有するのが好ましい。
さらに、前記第1及び第2偏光子は、偏光板であり、前記第1位相差付与手段は、位相差シート、回転位相差板、又は2枚の位相変調素子であり、前記第2位相差付与手段は、回転位相差板、2枚の位相変調素子、パターニング偏光板又はパターニング偏光/波長板であるのが好ましい。ここで、パターニング偏光板は、互いに偏光状態の異なる3つの偏光子のアレイからなる偏光子パターニング素子をアレイ状に配置したものであるのが好ましく、パターニング偏光/波長板は、互いに偏光状態の異なる4つの偏光子のアレイと、その中の1つの偏光子に貼付された波長板(位相子)とからなる偏光子及び位相子パターニング素子をアレイ状に配置したものであるのが好ましい。
また、本発明は、上記の腹腔鏡を用いた偏光画像計測装置を用いた上記第2の態様の偏光画像計測システムを用いることを特徴とする腹腔鏡ナビゲーション装置を提供するものであっても良い。
また、本発明は、上記の内視鏡を用いた偏光画像計測装置を用いた上記第2の態様の偏光画像計測システムを用いることを特徴とする内視鏡診断装置を提供するものであっても良い。
また、本発明の第2の態様によれば、病変部等からの表出組織を識別可能に表示することができ、内視鏡手術や腹腔鏡手術等に用いることができる内視鏡診断装置及び腹腔鏡ナビゲーション装置に適用できる。
さらに、本発明によれば、内視鏡検査や診断を容易かつ正確にすることができ、内視鏡手術や腹腔鏡手術等を容易かつ正確に行うための手助けとなる偏光画像を提供することができる。
また、本発明の第2の態様によれば、がん、粘膜内がん、粘膜下層浸潤がん等の判断基準となる「粘膜層に表出する膠原線維の有り無し」を疑似カラーでモニタ等の表示手段に表示することができる。
図1は、本発明の偏光画像計測表示システムの一実施形態の概略構成を示す模式的ブロック図である。
なお、偏光撮像系12及び偏光変換処理部14は、本発明の偏光画像計測装置を構成する。
本発明においては、偏光撮像系12は、このようなミューラー撮像システムを構成することができるものであれば、どのような撮像系であってもよく、その偏光照射部24及び撮像部26としては、種々のタイプのものを用いることができる。
同図に示す偏光撮像系12aは、図1に示す偏光撮像系12として用いられ、アザム(Azzam)方式の2重位相子型のミューラー行列偏光計の光学系をなすもので、検査対象又は観察対象となる生体の所定部位である人体腹部Aに所定の偏光状態の照射光を照射する偏光照射部24aと、人体腹部Aから反射する所定の偏光状態の反射光を検出光として受光して撮像する撮像部26aを有する。
偏光照射部24aは、光源34と、光源34より人体腹部A側に固定的に配置される本発明の第1偏光子である偏光板36a及び人体腹部A側に配置され、所定角度毎に回転される本発明の第1位相差付与手段である回転位相差板38aを備え、複数の偏光状態内の1つの偏光状態の照射光のみをそれぞれ順次透過させる照射側の第1偏光フィルタ部40aとを有する。
また、撮像部26aは、CCDカメラ42と、カメラ42より人体腹部A側に固定的に配置される本発明の第2偏光子である偏光板36b及び人体腹部A側に配置され、所定角度毎に回転される本発明の第2位相差付与手段である回転位相差板38bを備え、第1偏光フィルタ部40aを透過する照射光の1つの偏光状態に対応する1つの偏光状態の反射光のみをそれぞれ順次透過させる反射側の第2偏光フィルタ部40bとを有する。
ここで、照射光の所定の狭帯域波長としては、特に制限的ではないが、例えば、400nm〜700nm等の可視域であっても良いし、700nm〜1300nmの赤外域であっても良く、波長帯域は、例えば、5nm〜50nm、好ましくは10nm〜20nmである。
カメラ42は、デジタル画像情報として人体腹部Aの偏光光による光強度画像情報を取得するものであり、例えば、CCDやCMOSなどの撮像素子を備えた高画素密度カメラを用いることができる。画素数としては特に限定はないが、高精細な偏光画像を得るためには、20万画素以上であるのが好ましく、100万画素以上であるのがより好ましい。画素数の上限は特に限定されないが、後述する撮像部26aのカメラのCCDや後述するCCD56の画素数によって定めればよい。
また、第1及び第2偏光フィルタ部40a及び40bの回転位相差板38a及び38bは、例えば、回転する円板状のλ/4波長板が用いられ、すなわちλ/4波長板を光軸に垂直な平面内において光軸周りにそれぞれ所定角度毎に回転させることにより構成することができる。例えば、回転位相差板38aを透過した光は、直線偏光又は円(楕円)偏光した光となり、人体腹部Aで反射した光も、直線偏光又は円(楕円)偏光した光となる。なお、回転位相差板38a及び38bとなる2枚のλ/4波長板は、光軸に垂直に所定位相差となるように光軸周りに所定角度ずらした状態でそれぞれ所定角度ずつ回転される。
なお、回転位相差板38a及び38bをそれぞれ回転駆動する機構としては、特に限定的ではなく、回転位相差板38a及び38bを構成する円板の外周を保持して回転させる公知の回転駆動機構を用いることができる。
この偏光撮像系12aは、回転位相差板38a及び38bを回転駆動させる必要があるために、装置が大型化するため、偏光照射部24a及び撮像部26aを人体の腹部Aの外部に設置する必要があるが、偏光特性(偏光変数)は完全であり、腹腔鏡には好適に適用でき、腹腔鏡ナビゲーション装置に好適に用いることができる。なお、回転位相差板38a及び38bとしては、λ/4板に限定されず、λ/2板や、その他の位相差板を用いても良い。
したがって、本実施形態では、ミューラー行列に含まれる全ての偏光特性、すなわち16(=4×4)の偏光変数を全て得るためには、詳細は、後述するが、偏光状態が互いに異なる少なくとも16枚の光強度偏光画像を取得する必要がある。すなわち、第1偏光フィルタ部40aから射出され、人体の腹部Aに入射される入射光の偏光状態が互いに異なる少なくとも4種類となり、人体の腹部Aから反射され、第2偏光フィルタ部40bから射出される検出光の偏光状態が互いに異なる少なくとも4種類となり、その組み合わせが少なくとも16種類の互いに異なる偏光状態となるように、回転位相差板38a及び38bを回転させる必要がある。
なお、ストークスパラメータS0、S1、S2、及びS3は、それぞれ、偏光の全体の強度(縦と横との偏光ベクトルの和)、縦と横(水平方向と垂直方向)との偏光ベクトルの差、偏光角45度と135度との偏光ベクトルの差、及び右円偏光と左円偏光との差ということができる。
また、本発明においては、互いに異なる偏光状態の16フレーム(枚)以上の光強度偏光画像から、入射光及び出射光のストークスパラメータS0、S1、S2、及びS3を求めて、ミューラー行列を求めてもよいが、予め、互いに異なる偏光状態の16フレーム(枚)以上の光強度偏光画像から直接ミューラー行列を求めるように演算方式を設定しておけば、入射光及び出射光のストークスパラメータS0、S1、S2、及びS3は、必ずしも求めなくても良い。
例えば、第1偏光フィルタ部40aの回転位相差板38aのλ/4波長板の回転角度θを、0°から180°まで所定の角度毎に、例えば、11.25°毎に変えると共に、第2偏光フィルタ部40bの回転位相差板38bのλ/4波長板の回転角度を、その5倍以上、すなわち5θ以上の角度毎に変えながら、撮像部26は、16(=180/11.25)回撮影し、16フレームの光強度偏光画像を取得することができる。
また、詳細は後述するが、本発明では、偏光撮像系12aにおいて、λ/4波長板の偏光角度θを、0度から180度まで、例えば、7.2度毎に変えながら、撮像部26は、25(=180/7.2)回撮影し、25フレーム(枚)の光強度偏光画像、すなわち25フレームの光強度偏光画像情報を取得するのがより好ましい。
図3に、第1及び第2位相差付与手段としてそれぞれ2枚の位相変調素子を用いる偏光撮像系の一実施形態を示す。
図3に示す偏光撮像系12bは、回転位相差板38a及び38bの代わりに、それぞれ2枚の位相変調素子44a、45a及び44b、45bを用いる点を除いて、図2に示す光撮像系12aと同様の構成を有するものであるので、その詳細な説明は省略する。
偏光撮像系12bは、偏光照射部24b、及び撮像部26bを有し、偏光照射部24bは、光源34と、偏光板36a、第1位相変調素子44a及び第2位相変調素子45aからなる第1偏光フィルタ部46aと、を有し、撮像部26bは、第1及び第2位相変調素子44b及び45b、並びに偏光板36bからなる第2偏光フィルタ部46bと、カメラ42とを有する。
このような第1位相変調素子44a及び44b(例えば0度に配置)に対してそれぞれ第2位相変調素子45a及び45bを45度傾けて設置(例えば45度に配置)することにより、楕円偏光や円偏光を直線偏光にすることもできるし、楕円偏光の楕円率を変えることもできるし、様々な角度の楕円偏光にすることもできる。例えば、0°に設置された第1位相変調素子44aに、45°の方向の直線偏光光が入射する場合、位相変調素子44aの位相差(複屈折率)が0(=0°)の場合は、直線偏光光が変化せずそのまま透過して出ていき、一方、位相変調素子44aの位相差がλ/4(=90°=π/2)の場合は、直線偏光光はその影響を受けて、円偏光光として出ていくことなる。
を、例えば、その遅相軸が偏光板36aの遅相軸に対して0度、すなわち軸(屈折率の高い方向)の角度が0°となるように設定し、直線偏光の縦と横の偏光量(ベクトル)、すなわち位相差がΔ1、Δ2となるようにすると共に、第1位相変調素子44bを、その遅相軸が偏光板36aの遅相軸に対して45度、すなわち軸(屈折率の高い方向)の角度が45°となるように設定し、偏光の斜め(左右)方向の偏光量、すなわち位相差がΔ1、Δ2となるようにすることにより、偏光照射部24bからの入射光において、後述する光の偏光状態を表すストークスパラメータS0、S1、S2及びS3を互いに異なるものとすることができる。
一方、撮像部26bの第2偏光フィルタ部46aの第2位相変調素子45a及び45bについても同様に、第2位相変調素子45bを、軸(屈折率の高い方向)の角度が0°となるように設定し、位相差がΔ1、Δ2となるようにすると共に、第2位相変調素子44aを、軸(屈折率の高い方向)の角度が45°となるように設定し、位相差がΔ1、Δ2となるようにすることにより、撮像部26bの検出光においても、ストークスパラメータS0、S1、S2及びS3を互いに異なるものとすることができる。
したがって、本実施形態の偏光撮像系12bも、ミューラー撮像システムを構成し、互いに偏光状態の異なる偏光光による少なくとも16枚の光強度画像を得ることができ、ミューラー行列に含まれる全16の偏光変数を得ることができる。
なお、図2及び図3に示す例では、偏光照射部24と撮像部26に同様の偏光フィルタ部を用いているが、本発明は、これに限定されず、両者で異なる偏光フィルタ部を用いても良いし、異なる位相差付与手段を用いても良い。例えば、図2に示す偏光照射部24aと、図3に示す撮像部26bとを用いて偏光撮像系を構成しても良いし、逆に図3に示す偏光照射部24bと、図2に示す撮像部26aとを用いて偏光撮像系を構成しても良い。
図4(a)は、内視鏡に適用される偏光撮像系の一実施形態の模式図であり、図4(b)は、その偏光撮像系に用いられるパターニング偏光/波長板の1画素分の素子を拡大して示す拡大模式図である。
図4(a)に示す偏光撮像系12cは、偏光照射部24c及び撮像部26cを有し、偏光照射部24cは、光源34と、偏光板36a、第1及び第2位相変調素子44a及び45aからなる第1偏光フィルタ部46aと、光ファイバ48を備える光プローブ50と、を有し、撮像部26cは、光プローブ50内に配置されるパターニング偏光/波長板52からなる第2偏光フィルタ部54と、CCD56とを有する。
ここで、偏光照射部24cの光源34及び第1偏光フィルタ部46aは、図3に示す偏光撮像系12bと同様の構成を有するものであるので、その詳細な説明は省略する。
CCD56は、デジタル画像情報として体腔Bの表層の偏光光による光強度画像情報を取得する高画素密度撮像素子であるが、CMOSなどの他の撮像素子を用いても良い。
なお、偏光子及び位相子パターニング素子53としては、図4(b)に拡大して示すように、矩形状の偏光板55aの4つの偏光子の内の左下の偏光角(軸(屈折率の高い方向)の角度)0°の偏光子53a、左上の偏光角90°の偏光子53b、右上の偏光角45°の偏光子53c、及び右上の偏光角90°の偏光子に偏光角45°の位相子(波長板)が貼り付けられた位相子貼付偏光子53dが2×2のアレイ状に配置されて、偏光画像の1画素となるものを挙げることができる。
したがって、本実施形態の偏光撮像系12cも、ミューラー撮像システムを構成し、互いに偏光状態の異なる偏光光による少なくとも16枚の光強度画像を得ることができ、ミューラー行列に含まれる全16の偏光変数を得ることができる。
上述したように、偏光子及び位相子パターニング素子53の4つの偏光子のアレイや、偏光子パターニング素子の3つの偏光子のアレイが偏光画像の1画素となるので、CCD56の画素数は、偏光光による光強度画像の画素数の4倍又は3倍必要となる。したがって、光強度画像の画素数が、例えば20万画素であれば、CCD56の画素数は、80万画素又は60万画素となり、光強度画像の画素数が、例えば100万画素であれば、CCD56の画素数は、400万画素又は300万画素となる。
なお、偏光撮像系12c及び12dは、光プローブ50の先端に、図4(b)及び図5(b)に示す偏光子及び位相子パターニング素子53をアレイ状に配置したパターニング偏光/波長板52及びCCD56を組み込んでいるので、装置が小型化できるにもかかわらず、偏光特性(偏光変数)は完全であるので、内視鏡にはより好適に適用でき、内視鏡診断装置により好適に組み込むことができる。
この偏光撮像系12eでは、消化器Bからの偏光反射光を、光ファイバ48及びイメージファイバ58によって導光するので、解像度が低下する恐れがあるが、偏光状態の変化は少なく偏光状態は維持されるので、光プローブ50内に撮像部26dを組み込む必要がないので、装置を小型化する必要はなく、装置構成の自由度を高くすることができる。
本実施形態の偏光撮像系12eでも、偏光撮像系12c及び12dと同様に、偏光特性(偏光変数)は完全であり、内視鏡にはより容易に適用でき、内視鏡診断装置により容易に組み込むことができる。
偏光撮像系12は、基本的に以上のように、構成される。
ところで、サンプルMがミューラー行列Mの各要素で与えられる偏光特性を持ち、その偏光特性がサンプルMの特徴を表すものである場合、ミューラー行列M、すなわちその要素を求める必要がある。ここで、ミューラー行列Mは、4行4列の行列であり、下記式(1)で与えられ、16の要素を持つので、各要素によるサンプルの16個のミューラー画像を得ることになる。
なお、ミューラー行列Mの全16の要素m00〜m33を測定する場合、図7に示すような、サンプルMがミューラー行列で表わされるミューラー計測システムを構成する必要があり、このミューラー計測システムにおいて、25種類の異なる偏光状態の光による光強度画像を得る必要がある。なお、このミューラー計測システムは、図2に示す偏光撮像系12aと同じ偏光照射部24a及び撮像部26aからなるものであることが分かる。
サンプルMの16の偏光要素が、上記ミューラー行列Mで表わされ、図7に示すミューラー計測システムおいて、サンプルMへの入射光の偏光状態が、ストークスパラメータ
S0、S1、S2及びS3で表わされ、サンプルMから反射された検出光の偏光状態が、ストークスパラメータS’0、S’1、S’2及びS’3で表わされ、偏光板36a及び36bのミューラー行列がP1及びP2で、角度θにおける1/4λ板(λ/4波長板)38a及び38bのミューラー行列がR1(θ)及びR2(5θ)で表わされる場合、下記式(2)を満足する。
1/4λ板(λ/4波長板)38aの角度θの時の光強度をフーリエ変換すると、下記式(3)で表わされる。
ここで、光強度の実測値をΦ(θ)とすると、最小二乗法によってΦ(θ)とI(θ)との誤差が最小になるように、25個のフーリエ係数(振幅)a0〜a12及びb1〜b12を求めることになり、異なるθについての25個の上記式(3)が必要となるので、上記式(3)において、I(θ)=Φ(θ)としたときの25個の連立方程式を解くことになる。
m00=a0−a2+a8−a10+a12
m01=2(a2−a8−a12)
m02=2(b2+b8−b12)
m03=b1−2b11=b1+2b9=b1+b9−b11
m10=2(−a8+a10−a12)
m11=4(a8+a12)
m12=4(−b8+b12)
m13=−4b9=4b11=2(−b9+b11)
m20=2(−b8+b10−b12)
m21=4(b8+b12)
m22=4(a8−a12)
m23=4a9=−4a11=2(a9−a11)
m30=2b3−b5=−b5+2b7=b3−b5+b7
m31=−4b3=−4b7=−2(b3+b7)
m32=−4a3=4a7=2(−a3+a7)
m33=−2a4=2a6=−a4+a6) ……(4)
これらの誤差のキャリブレーション方法は、ここでは記載を省略するが、チップマン(Chipman)や、ゴールドシュタイン(Goldstein)が提案するキャリブレーション方法を適用すればよい。
以上から、ミューラー行列Mの16個の全要素についての16枚のミューラー画像を求めるには、偏光状態の異なる25枚の光強度画像が必要である。
こうして、ミューラー画像変換部28は、上記変換処理アルゴリズムによって、角度θを7.2度(180/25)毎に撮像することにより得られた光状態の異なる25枚の光強度画像(情報)から、ミューラー行列を得ることができ、全16個の要素に基づく16枚のミューラー画像(情報)を得ることができる。
一方、上記式(1)から分かるように、ミューラー行列Mは、16の要素m00〜m33を持つものであるので、これらの要素(ミューラーパラメータ)を全部求めるためには、少なくとも16種類の偏光状態の異なる光強度画像(偏光画像)が必要であることが分かる。
偏光変数分離処理部30において、ミューラー行列Mは、主として、リターダンス特性(複屈折性、旋光性)と、吸収特性(二色性、円二色性)と、偏光解消性との3つに分離される。これらの分離された偏光特性から、生体の所定部位(サンプル)の偏光解消度、位相差、方位(位相差)、方位(吸収)及び旋光性、さらに、光の偏光度及び光の偏光方位等の偏光特性を求めることができる。
ここで、位相差は、光の進行方向に垂直な面での物質の屈折率の縦と横の差であり、偏光解消度は、偏光した光がその物質に入射して、出射した光の偏光状態(偏光しているか否(偏光していない)かを示す状態)がどの程度の影響を受けるかを表す値であり、位相差の方位は、屈折率が最大の方向を角度として表すものであり、吸収の方位は、二色性の方位と同じで、吸収の最も高い方向を角度として表すものであり、旋光性は、直線偏光に対する回転特性を角度として表すもので、方位を持たないことが位相差と異なるものである。
M=MΔMRMD …(5)
したがって、上記式(1)に基づいて、ミューラー行列Mを分解することにより、行列MΔ、MR、及びMDを求め、行列MΔから偏光解消度、行列MRから位相差、及び行列MDから2色性を求めることができる。
なお、ミューラー行列の分解方法及び各特性とミューラー行列の要素との関係についても、アザム(Azzam)や、チップマン(Chipman)や、ゴールドシュタイン(Goldstein)等により、提案されている方法や関係式を適用すれば良いので、ここでは、詳細な記載を省略して、その結果を記載する(”Polarized light”, Dennis Goldstein, 2th ed., Marcel Dekker, NY (2003), Chapter 9 “Mathematics of the Mueller Matrix“ 9.5 “The Lu-Chipman Decomposition” P175-P186、及び、SPIE Vol. 3120 “Decomposition of Mueller Matrix” P385-P396参照)。
MΔ=MMD −1MR −1 …(12)
このような偏光特性としては、位相差、偏光解消度、方位(位相差)、方位(吸収)、旋光性、光の偏光度、光の偏光方位、二色性、二色性方位、p偏光及びs偏光等の偏光特性が、所定部位の表層に表出する表出組織を表層の組織と識別する上で好ましい。その結果、これらの偏光特性による偏光特性画像、すなわち、位相差画像、偏光解消度画像、方位画像(位相差)、方位画像(吸収)、旋光性画像、光の偏光度画像、光の偏光方位画
像、二色性画像、二色性方位画像、p偏光及びs偏光画像では、表出組織と表層の組織とを区別して、例えば、疑似カラーで識別可能に表示することができる。
このような偏光特性によって識別できる表出組織は、線維状組織であるのが好ましく、線維状組織は、膠原線維、神経線維、又は筋線維であるのが好ましい。
図8に示すように、偏光変数分離処理部30は、ミューラー画像変換部28で得られたミューラー行列に分解処理を行う分離部82と、分離部82で分離された偏光特性画像に生体の所定部位の表層に表出する表出組織を表層の組織と識別するための強調処理を施した強調偏光特性画像を形成する分離後画像形成部84とからなり、偏光画像計測表示システム10の偏光変換処理部14は、上述したようにミューラー画像変換部28、偏光変数分離処理部30及び偏光素子特性補正処理部32に加え、さらに、ミューラー画像変換部28から偏光変数分離処理部30で変数分離する際の生体観察モデルを設定する生体観察モデル設定部86と、分離後画像形成部84で形成する強調偏光特性画像の偏光特性の領域を設定する分離後画像形成パラメータ設定部88とを有する。
分離後画像形成部84は、生体の所定部位の表層に表出する表出組織を表層の組織と識別するために、分離部82で分離された所定の偏光特性による偏光特性画像に対して、分離後画像形成パラメータ設定部88で設定された所定の偏光特性の強調領域に強調処理を施した強調偏光特性画像を形成する部分であり、強調偏光特性画像形成部ということもできる。
本発明に用いることができる生体観察モデルとしては、まず、図9(a)に示す複数の偏光状態の照射光が観察される生体を透過する「透過モデル」90aを挙げることができる。ここで、分離部82では、この透過モデル90aを前提として、偏光変数分離処理部30で変数分離している。この透過モデル90aは、は、図9(a)に示すように、「二色性」、「位相差×旋光」及び「偏光解消度」の層を複数重ねたモデルである。なお、この透過モデル90aは、生体サンプルの偏光特性を取得するためには有効なモデルである。
なお、図8に示す生体観察モデル設定部86は、偏光変数分離処理部で変数分離する際の生体観察モデルとして、上述したこの透過モデル90aや反射モデル90b等の生体観察モデルを設定するためのものである。このように、実際の観察系に合わせて、生体観察モデル設定部86にて、生体観察モデルを選択できるようにすることで、偏光変数分離処理部30で変数分離精度が上がり、リターダンス特性、吸収特性、偏光解消性の精度アップが期待できる。
なお、本発明者らが、このような分離後画像形成パラメータ設定部88を設けたのは、特定の偏光特性が所定部位の表層に表出する表出組織を表層の組織と識別するためには、観察組織毎に、強調すべき偏光特性の領域、例えば、偏光特性が位相差であれば、強調すべき位相差領域を設定できるようにする必要があることを知見したからである。
本発明では、偏光特性画像の観察時には、分離後画像形成パラメータ設定部88から観察組織毎に適切なパラメータを選択することで、表層に表出する表出組織を明確に表層の組織と識別することができる。
例えば、偏光特性が位相差であれば、分離部82からの出力信号は0〜360°の画像情報であるので、観察組織が膠原線維である場合には、強調すべき位相差領域として、分離後画像形成パラメータ設定部88によって、140°±10°の領域を設定することができる。
なお、ここでは、強調すべき偏光特性の領域を、観察組織毎(神経、リンパ節、血管)に設定する例を示したが、観察部位(上部消化器、下部消化器、呼吸器)毎に設定するようにしても良い。
がんの進行度合いと、膠原線維の表出度合いとの関係は、以下のように考えることができる。
図10(a)は、正常な生体の表層近傍の概略構成模式図であり、図10(b)は、粘膜内がんが発生した生体の表層近傍の概略構成模式図であり、図10(c)は、粘膜下層浸潤がんに進行した生体の表層近傍の概略構成模式図である。
図10(a)に示すように、正常な生体の表層近傍の組織60aは、表面側から粘膜層62、その下側に粘膜筋板64、その下に粘膜下層66があり、膠原線維68は、粘膜筋板64の下側の粘膜下層66に存在している。
この膠原線維68は、高分子から構成されており、光学異方性があるために、上記偏光特性によって粘膜層62と識別でき、識別可能に画像表示できる。したがって、膠原線維68は、粘膜層62と識別可能に疑似カラー画像として可視化できる。
したがって、このような画像によって、所定部位の表面のがん細胞の間で膠原線維が成長しており、間質変化(粘膜への膠原線維の表出)を確認できれば、転移可能性高いと診断可能であり、がんか否か、また、粘膜内がんか粘膜下層浸潤がんかを診断することが可能となる。
ここで、表示変換処理部16による表示変換処理は、偏光特性画像情報に基づいて、所定の偏光変数の値(偏光特性の強度)に応じて表出組織及び表層の組織に彩色すべき色を決定し、この表出組織及び該表層の組織に彩色すべき色をカラーマッピングすることにより表出組織の表出分布を可視化して表示するための表示用偏光特性画像情報を生成するのが良い。
なお、表示部18による偏光特性画像の表示は、表示用偏光特性画像情報に基づいて、彩色すべき色に彩色された表出組織の分布を可視化可能に表示するのが好ましい。
また、通常カラー撮像系20は、所定部位に通常観察用の照明光を照射してその反射光を撮像することにより得られた光強度画像(情報)を得るものであり、従来公知の通常カラー画像の撮像系を用いることができる。
また、画像合成部22は、表示変換処理部16で得られた表示用偏光特性画像情報及び通常カラー撮像系20で得られた通常のカラー光強度画像情報に基づいて、表示用偏光特性画像と通常のカラー光強度画像とを重ねて、もしくは並べて表示するための合成画像情報を生成する。その結果、表示部18には、合成画像情報に基づく合成画像を表示させることができる。
本発明の偏光画像計測装置及び偏光画像計測表示システムは、基本的に以上のように構成される。
図11は、本発明の偏光画像計測装置及び偏光画像計測表示システムにおいて実施される偏光画像計測方法による偏光画像表示方法、すなわち偏光画像計測及び表示方法の一例を示すフローチャートである。
まず、本発明では、ステップS100において、生体の所定部位の表層を偏光計測するために、図1に示す偏光画像計測表示システム10を準備し、撮像する異なる偏光状態の光強度画像の枚数や、偏光画像計測表示システム10で用いられる種々の初期値や条件を設定する。
続いて、ステップS104において、偏光照射部24によって照射された所定の偏光状態の照射光による、所定部位の表層からの所定の偏光状態の反射光を撮像部26によって撮像して1枚の偏光変調された、生体の所定部位の表層の光強度画像(データ)を計測し取得する。
次に、ステップS106において、取得された光強度画像(データ)が所定枚数、好ましくは、少なくとも16枚、例えば、25枚に達しているかどうかの判断をして、所定枚数に達していなければ(NO)、ステップS102に戻り、偏光照射部24から偏光状態を変えて照射光を生体の所定部位に照射する照射光照射ステップS102と次のステップS104の、照射光の偏光状態に対応して変更された偏光状態の反射光を撮像部26で撮像して1枚の光強度画像(データ)を取得する撮像ステップS104とを、所定枚数に達するまで繰り返し、所定枚数に達していれば、次のステップS108に移る。
次に、ステップS116において、表示変換処理部16で得られた表示用画像(データ)に基づいて、所定部位の表層に表出する表出組織が表層の組織と識別可能に可視化して表示するために、医師が判断しやすい表示色として疑似カラーに着色された表示用画像を表示部18のモニタ画面に表示する。
こうして、本発明による偏光画像表示方法は終了する。
なお、本発明者らは、この偏光画像計測表示システム10を用い、上述の偏光画像表示方法を実施して、偏光撮像系12にて胃のがん部の表面を計測して、表示部18のモニタ画面に表示したところ、胃の正常部には見られなかった差が明確にあることをモニタ画面で確認できた。
この光学系にて、胃のがん部の表面を計測したところ、胃の正常部には見られなかった位相差が明確にあることを確認できた。
なお、本発明者らは、この光画像計測表示システム10を用い、偏光撮像系12にて、胃のがん部の表面を計測したところ、4枚の光強度画像の場合も、3枚の光強度画像の場合も、胃の正常部には見られなかった差が明確にあることをモニタ画面で確認できた。
以上、本発明の偏光画像計測装置、及び偏光画像計測表示システムについて詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良または変更をしてもよいのはもちろんである。
12,12a,12b,12c,12d,12e 偏光撮像系
14 偏光変換処理部
16 表示変換処理部
18 表示部
20 通常カラー撮像系
22 画像合成部
24,24a,24b,24c 偏光照射部
26,26a,26b,26c,26d 撮像部
28 ミューラー画像変換部
30 偏光変数分離処理部
32 偏光素子特性補正処理部
34 光源
36a,36b 偏光板
38a,38b 回転位相差板
40a,40b,46a,46b,54 偏光フィルタ部
42 カメラ
44a,44b,45a,45b 位相変調素子
48 光ファイバ
50 光プローブ
52 パターニング偏光/波長板
53 偏光子及び位相子パターニング素子
56 CCD
82 分離部
84 分離後画像形成部
86 生体観察モデル設定部
88 分離後画像形成パラメータ設定部
Claims (18)
- 生体の所定部位の表層の偏光画像を計測する偏光画像計測装置であって、
前記所定部位に、その表層から複数の偏光状態の照射光をそれぞれ照射する偏光照射手段と、
該偏光照射手段によって照射された前記複数の偏光状態の照射光の、前記所定部位の表層からの複数の偏光状態の反射光をそれぞれ撮像する撮像手段と、
該撮像手段によってそれぞれ撮像された前記複数の偏光状態の反射光による複数の光強度画像情報に偏光変換処理を行って、前記所定部位の表層に表出する表出組織を前記表層の組織と識別するための、所定の偏光特性による偏光特性画像情報に変換し、該偏光特性画像情報に基づいて前記偏光特性による偏光特性画像を得る偏光変換処理手段と、を備え、
前記所定の偏光特性は、位相差、偏光解消度、位相差についての方位、吸収についての方位、施光性、光の偏光度、光の偏光方位、二色性、二色方位性、P偏光及びS偏光からなる複数の偏光特性の中から、前記表層の組織及び前記表出組織に応じて、予め設定されたものであり、
前記偏光変換処理手段は、前記複数の光強度画像情報にミューラー(Mueller)画像変換を行って複数のミューラー偏光変数についての複数のミューラー画像情報を得るミューラー画像変換手段と、得られた複数のミューラー画像情報に偏光変数分離処理を行って、前記表層の組織及び前記表出組織に応じて予め設定された、前記表層の組織と前記表出組織とで異なる前記所定の偏光特性についての前記偏光特性画像情報を得る偏光変数分離処理手段とを有することを特徴とする偏光画像計測装置。 - 前記偏光変換処理手段は、更に、前記偏光変数分離処理手段による前記偏光変数分離処理の際に用いる、前記生体の所定部位の表層を観察するための生体観察モデルを設定する生体観察モデル設定手段を有し、
前記生体観察モデルは、前記複数の偏光特性の中から前記生体の所定部位の表層に応じて設定された偏光特性の層を複数重ねた観察モデルである請求項1に記載の偏光画像計測装置。 - 前記生体観察モデルは、散乱性を表す前記偏光解消度、前記位相差、前記施光性及び前記二色性の層を複数重ねた観察モデルである請求項2に記載の偏光画像計測装置。
- 前記偏光変数分離処理手段は、リターダンス特性、吸収特性及び前記偏光解消性の3つに分離し、これらの3つから前記複数の偏光特性を求めるものである請求項1〜3のいずれか1項に記載の偏光画像計測装置。
- 前記偏光照射手段及び前記撮像手段は、それぞれ1以上の偏光素子を備え、
前記偏光変換処理手段は、前記ミューラー画像変換手段による前記ミューラー画像変換に用いられる偏光素子特性を補正する偏光素子補正処理手段を有する請求項1〜4のいずれか1項に記載の偏光画像計測装置。 - 前記表出組織は、線維状組織である請求項1〜5のいずれかに記載の偏光画像計測装置。
- 前記線維状組織は、膠原線維、神経線維、又は筋線維である請求項6に記載の偏光画像計測装置。
- 前記偏光照射手段は、光源と、該光源より前記所定部位側に配置され、前記複数の偏光状態内の1つの偏光状態の光のみをそれぞれ透過させる第1偏光フィルタ部と、を有し、
前記撮像手段は、撮像素子と、該撮像素子より前記所定部位側に配置され、前記第1偏光フィルタ部を透過する前記光の前記1つの偏光状態に対応する1つの偏光状態の光のみをそれぞれ透過する第2偏光フィルタ部と、を有する請求項1〜7のいずれか1項に記載の偏光画像計測装置。 - 前記第1偏光フィルタ部は、前記光源より前記所定部位側に配置される第1偏光子と、該偏光子より前記所定部位側に固定配置され、前記1つの偏光状態の光のみをそれぞれ順次透過させる第1位相差付与手段と、を有し、
前記第2偏光フィルタ部は、前記撮像素子より前記所定部位側に配置される第2偏光子と、該偏光子より前記所定部位側に固定配置され、前記対応する1つの偏光状態の光のみをそれぞれ順次透過させる第2位相差付与手段と、を有する請求項8に記載の偏光画像計測装置。 - 前記第1及び第2偏光子は、偏光板であり、
前記第1位相差付与手段は、位相差シート、回転位相差板、又は2枚の位相変調素子であり、
前記第2位相差付与手段は、回転位相差板、2枚の位相変調素子、パターニング偏光板又はパターニング偏光/波長板である請求項9に記載の偏光画像計測装置。 - 腹腔鏡を用いた偏光画像計測装置であって、
前記偏光照射手段の前記第1位相差付与手段及び前記撮像手段の前記第2位相差付与手段は、共に、回転位相差板、又は2枚の位相変調素子である請求項9又は10に記載の偏光画像計測装置。 - 内視鏡を用いた偏光画像計測装置であって、
さらに、前記偏光照射手段の前記第1位相差付与手段から出射された偏光された光を、前記生体の所定部位に伝送する、前記内視鏡内の光ファイバと、該光ファイバで伝送された光を前記生体の所定部位に照射する光プローブと、を有し、
前記撮像手段の前記撮像素子、前記第2偏光子及び前記第2位相差付与手段としてのパターニング偏光板又はパターニング偏光/波長板は、前記光プローブ内に組み込まれる請求項9又は10に記載の偏光画像計測装置。 - 請求項1〜12のいずれか1項に記載の偏光画像計測装置と、
さらに、前記偏光画像計測装置の前記偏光変換処理手段で得られた前記偏光特性画像情報に表示変換処理を行って、前記偏光特性画像を前記所定部位の表層に表出する前記表出組織が前記表層の組織と識別可能に可視化して表示するための表示用偏光特性画像情報に変換する表示変換処理手段と、
該表示変換処理手段で得られた前記表示用偏光特性画像情報に基づいて、前記所定部位の表層に表出する前記表出組織が前記表層の組織と識別可能に可視化して表示された前記偏光特性画像を表示する表示手段と、を備えることを特徴とする偏光画像計測表示システム。 - 前記表示変換処理手段は、前記偏光特性画像情報に基づいて、前記偏光特性の強度に応じて前記表出組織及び前記表層の組織に彩色すべき色を決定し、該表出組織及び該表層の組織に前記彩色すべき色をカラーマッピングすることにより該表出組織の表出分布を可視化して表示するための前記表示用偏光特性画像情報を生成するものであり、
前記表示手段は、前記表示用偏光特性画像情報に基づいて、前記彩色すべき色に彩色された前記表出組織の分布を可視化可能に表示するものである請求項13に記載の偏光画像計測表示システム。 - 請求項11に記載の腹腔鏡を用いた偏光画像計測装置と、
さらに、前記偏光画像計測装置の前記偏光変換処理手段で得られた前記偏光特性画像情報に表示変換処理を行って、前記偏光特性画像を前記所定部位の表層に表出する前記表出組織が前記表層の組織と識別可能に可視化して表示するための表示用偏光特性画像情報に変換する表示変換処理手段と、
該表示変換処理手段で得られた前記表示用偏光特性画像情報に基づいて、前記所定部位の表層に表出する前記表出組織が前記表層の組織と識別可能に可視化して表示された前記偏光特性画像を表示する表示手段と、を備える偏光画像計測システムを用いることを特徴とする腹腔鏡ナビゲーション装置。 - 前記表示変換処理手段は、前記偏光特性画像情報に基づいて、前記偏光特性の強度に応じて前記表出組織及び前記表層の組織に彩色すべき色を決定し、該表出組織及び該表層の組織に前記彩色すべき色をカラーマッピングすることにより該表出組織の表出分布を可視化して表示するための前記表示用偏光特性画像情報を生成するものであり、
前記表示手段は、前記表示用偏光特性画像情報に基づいて、前記彩色すべき色に彩色された前記表出組織の分布を可視化可能に表示するものであることを特徴とする請求項15に記載の腹腔鏡ナビゲーション装置。 - 請求項12に記載の内視鏡を用いた偏光画像計測装置と、
さらに、前記偏光画像計測装置の前記偏光変換処理手段で得られた前記偏光特性画像情報に表示変換処理を行って、前記偏光特性画像を前記所定部位の表層に表出する前記表出組織が前記表層の組織と識別可能に可視化して表示するための表示用偏光特性画像情報に変換する表示変換処理手段と、
該表示変換処理手段で得られた前記表示用偏光特性画像情報に基づいて、前記所定部位の表層に表出する前記表出組織が前記表層の組織と識別可能に可視化して表示された前記偏光特性画像を表示する表示手段と、を備える偏光画像計測システムを用いることを特徴とする内視鏡診断装置。 - 前記表示変換処理手段は、前記偏光特性画像情報に基づいて、前記偏光特性の強度に応じて前記表出組織及び前記表層の組織に彩色すべき色を決定し、該表出組織及び該表層の組織に前記彩色すべき色をカラーマッピングすることにより該表出組織の表出分布を可視化して表示するための前記表示用偏光特性画像情報を生成するものであり、
前記表示手段は、前記表示用偏光特性画像情報に基づいて、前記彩色すべき色に彩色された前記表出組織の分布を可視化可能に表示するものであることを特徴とする請求項17に記載の内視鏡診断装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010147730A JP5587057B2 (ja) | 2010-06-29 | 2010-06-29 | 偏光画像計測装置、及び偏光画像計測表示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010147730A JP5587057B2 (ja) | 2010-06-29 | 2010-06-29 | 偏光画像計測装置、及び偏光画像計測表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012010757A JP2012010757A (ja) | 2012-01-19 |
JP5587057B2 true JP5587057B2 (ja) | 2014-09-10 |
Family
ID=45597951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010147730A Active JP5587057B2 (ja) | 2010-06-29 | 2010-06-29 | 偏光画像計測装置、及び偏光画像計測表示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5587057B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11774655B2 (en) | 2019-12-19 | 2023-10-03 | Samsung Electronics Co., Ltd. | Simultaneous phase and polarization modulation by hybrid metasurface for on-chip polarization filters |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5570321B2 (ja) * | 2010-06-29 | 2014-08-13 | 富士フイルム株式会社 | 偏光画像計測表示システム |
JP5412387B2 (ja) * | 2010-08-24 | 2014-02-12 | 富士フイルム株式会社 | 内視鏡装置および内視鏡診断装置 |
US20140055664A1 (en) | 2012-02-02 | 2014-02-27 | Panasonic Corporation | Imaging device |
JP6013102B2 (ja) * | 2012-04-05 | 2016-10-25 | 浜松ホトニクス株式会社 | 円二色性計測方法及び円二色性計測装置 |
US9645074B2 (en) * | 2014-02-06 | 2017-05-09 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus |
WO2017099253A1 (ja) | 2015-12-11 | 2017-06-15 | 株式会社ニコン | 偏光特性画像計測装置、偏光特性画像計測方法 |
JP2020091320A (ja) * | 2018-12-03 | 2020-06-11 | 株式会社ニコン | 観察装置、内視鏡装置、顕微鏡装置および観察方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5259033B2 (ja) * | 2001-08-03 | 2013-08-07 | オリンパス株式会社 | 内視鏡システム |
JP4045140B2 (ja) * | 2002-06-21 | 2008-02-13 | 国立大学法人 筑波大学 | 偏光感受型光スペクトル干渉コヒーレンストモグラフィー装置及び該装置による試料内部の偏光情報の測定方法 |
JP2006325973A (ja) * | 2005-05-26 | 2006-12-07 | Olympus Medical Systems Corp | 画像生成装置 |
JP2007143580A (ja) * | 2005-11-24 | 2007-06-14 | Olympus Medical Systems Corp | 内視鏡装置 |
JP5148071B2 (ja) * | 2006-04-19 | 2013-02-20 | オリンパスメディカルシステムズ株式会社 | 内視鏡観察装置 |
JP5149535B2 (ja) * | 2007-04-27 | 2013-02-20 | 国立大学法人 筑波大学 | 偏光感受型光コヒーレンストモグラフィー装置、該装置の信号処理方法、及び該装置における表示方法 |
JP5041936B2 (ja) * | 2007-09-12 | 2012-10-03 | オリンパスメディカルシステムズ株式会社 | 生体観測装置 |
JP5057389B2 (ja) * | 2008-03-31 | 2012-10-24 | 富士フイルム株式会社 | 撮像装置 |
JP5380725B2 (ja) * | 2008-03-31 | 2014-01-08 | 富士フイルム株式会社 | 光学システム、方法、およびプログラム |
JP4940440B2 (ja) * | 2008-03-31 | 2012-05-30 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
-
2010
- 2010-06-29 JP JP2010147730A patent/JP5587057B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11774655B2 (en) | 2019-12-19 | 2023-10-03 | Samsung Electronics Co., Ltd. | Simultaneous phase and polarization modulation by hybrid metasurface for on-chip polarization filters |
Also Published As
Publication number | Publication date |
---|---|
JP2012010757A (ja) | 2012-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5412387B2 (ja) | 内視鏡装置および内視鏡診断装置 | |
JP5587057B2 (ja) | 偏光画像計測装置、及び偏光画像計測表示システム | |
JP2012024283A (ja) | 内視鏡診断装置 | |
JP5806772B2 (ja) | 偏光画像計測表示システム | |
JP2012024140A (ja) | 偏光画像計測表示システム | |
JP4632645B2 (ja) | イメージング装置およびプロセッサ装置 | |
US9746662B2 (en) | Endoscope observation system | |
US6772003B2 (en) | Endoscope apparatus | |
JP5570321B2 (ja) | 偏光画像計測表示システム | |
JP5800308B2 (ja) | 偏光画像計測表示システム | |
WO2014073138A1 (ja) | 画像処理装置および内視鏡 | |
US20150216417A1 (en) | Diagnostic instrument and methods relating to raman spectroscopy | |
JP5341285B1 (ja) | 偏光観察装置 | |
JP2009246770A (ja) | 撮像装置、撮像方法、およびプログラム | |
US20140163389A1 (en) | In vivo detection of eosinophils | |
CN103476320A (zh) | 诊断系统 | |
JP5501155B2 (ja) | 内視鏡診断装置 | |
US11474334B2 (en) | Observation device and observation method | |
JP5740559B2 (ja) | 画像処理装置および内視鏡 | |
JP2012024252A (ja) | 光源装置および内視鏡診断装置 | |
JP2012024146A (ja) | 偏光画像計測表示システム | |
KR101109968B1 (ko) | 피검체 관측 장치 및 피검체 관측 방법 | |
Morimoto et al. | Development of a new generation endoscope system with lasers “LASEREO” | |
JP2009246840A (ja) | 撮像装置 | |
JP2004008230A (ja) | 蛍光診断情報生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131022 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140708 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140723 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5587057 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |