JP5194376B2 - 画像取得装置 - Google Patents

画像取得装置 Download PDF

Info

Publication number
JP5194376B2
JP5194376B2 JP2006101914A JP2006101914A JP5194376B2 JP 5194376 B2 JP5194376 B2 JP 5194376B2 JP 2006101914 A JP2006101914 A JP 2006101914A JP 2006101914 A JP2006101914 A JP 2006101914A JP 5194376 B2 JP5194376 B2 JP 5194376B2
Authority
JP
Japan
Prior art keywords
light
window
image
wavelength band
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006101914A
Other languages
English (en)
Other versions
JP2007278724A (ja
Inventor
貴敬 中野
恭久 玉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2006101914A priority Critical patent/JP5194376B2/ja
Publication of JP2007278724A publication Critical patent/JP2007278724A/ja
Application granted granted Critical
Publication of JP5194376B2 publication Critical patent/JP5194376B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Description

この発明は、複数波長の光強度画像を取得するためのプッシュブルーム型の画像取得装置に関する。
従来のプッシュブルーム型の画像取得装置においては、光強度を電気信号に変換する変換装置に1次元のアレイセンサを使用することによりライン状の光強度画像を取得するような構成になっていた。そして、このように構成された画像取得装置全体をライン状の取得画像と垂直方向に並進させ、ライン状の画像を並べていくことにより2次元の光強度画像を形成するような構成になっていた(例えば、非特許文献1参照)。
また、このような画像取得装置を用いて複数の波長帯の光強度画像を取得する場合には、光線を透過させる窓を有する同一のパッケージ内に、波長帯によって検出特性の異なる複数のアレイセンサを配置していた(例えば、非特許文献2参照)。
J.R.Schott, 'Remote Sensing', Oxford University Press, 1997(158-161) Tadashi Shiraishi, 'High-resolution CCD linear image sensors for the advanced visible and near-infrared radiometer', The International Society for Optical Engineering (SPIE), 1995(136-146, fig.5)
従来の画像取得装置では、複数の波長帯の光強度画像を取得する場合、被写体からの光線が変換装置を保護するためのパッケージ内の窓を透過するときに光量の損失が発生するといった問題があった。このときの光量の損失を防止するために、入射光線に対して光量損失が小さい材料を利用する必要があるが、複数の波長帯を使用する場合において、これら全ての波長帯において低光量損失となる材料を選択することは困難であるといった問題があった。
さらに、パッケージ内の窓には周辺の大気との屈折率の違いから発生する反射による光量損失を低減するために、無反射コートと呼ばれる損失低減処理が行われるのが一般的であるが、複数の波長帯の光強度を検出する場合に、検出する全ての波長帯において無反射となる損失低減処理を行うことはできないため、検出対象の波長帯の光線についても光量損失が生じてしまうといった問題があった。
この発明は、上述のような課題を解決するためになされたものであり、移動物体に搭載され、その移動物体の並進に伴い並進動作するプッシュブルーム型の画像取得装置であって、被写体の第1の領域からの第1の光線と前記被写体の第1の領域とは異なる第2の領域からの第2の光線とにより前記第1の領域の光学像と前記第2の領域の光学像とを結像する1つの結像光学系と、前記第1の光線に対して所定の波長帯での光量の損失を低減する処理が施されるとともに、前記結像光学系からの第1の光線が透過する第1の窓と、前記第1の窓を介して結像された前記第1の領域の光学像の光強度を電気信号に変換してライン状の画像データを取得するとともに、取得した前記ライン状の画像データを前記移動物体の並進方向に並べて前記所定の波長帯における前記被写体の2次元画像データを合成する第1の変換装置と、前記第1の窓と共に前記第1の変換装置を保護する第1のパッケージと、前記結像光学系からの第2の光線を反射する反射部と、前記第2の光線に対して前記所定の波長帯とは異なる波長帯での光量の損失を低減する処理が施されるとともに、前記反射部が反射した前記第2の光線を透過する第2の窓と、前記第2の窓を介して結像された前記第2の領域の光学像の光強度を電気信号に変換してライン状の画像データを取得するとともに、取得した前記ライン状の画像データを前記移動物体の並進方向に並べて前記所定の波長帯とは異なる波長帯における前記被写体の2次元画像データを合成する第2の変換装置と、前記第2の窓と共に前記第2の変換装置を保護する第2のパッケージと、を有するものである。
この発明に係る画像取得装置においては、結像光学系からの光線の一部を反射する反射部を有し、この反射部が反射した光線の光強度を計測することにより、複数の波長帯において光量の損失を低減した光強度画像を得るものである。
実施の形態1.
図1は、この発明を実施するための実施の形態1における画像取得装置を示すものである。図1において、光学結像系1が結像する被写体(図示せず)の光学像の光量を電気信号に変換するための変換装置として1次元のアレイセンサ2aが、塵等から保護されるためにパッケージ3a内に配置されている。パッケージ3aには窓4aが設けられており、光学結像系1からの光線は窓4aを介してアレイセンサ2a上で結像される。また、窓4aの表面には、アレイセンサ2aが検出する波長帯での光量の損失を低減させるために、無反射コート等の損失低減処理が施されている。
窓4a上には、光学結像系1からの光線の一部を反射する反射部としてミラー部材5が配置されている。ミラー部材5からの光線が結像する光学像の光量を電気信号に変換するための変換装置として1次元のアレイセンサ2bが、塵等から保護されるためにパッケージ3b内に配置されている。パッケージ3bには窓4bが設けられており、ミラー部材5からの光線は窓4bを介してアレイセンサ2b上で結像される。また、窓4bの表面には、アレイセンサ2bが検出する波長帯での光量の損失を低減させるために、無反射コート等の損失低減処理が施されている。ここで、アレイセンサ2aとアレイセンサ2bとは互いに異なる波長帯における光強度を電気信号に変換するものとする。従って、窓4aと窓4bとに施される損失低減処理は互いに異なった波長帯での光量の損失を低減させるためのものになっている。
次にこのように構成された画像取得装置の動作について説明する。まず、被写体からの光線は光学結像系1によって曲げられて、窓4aを介して、パッケージ3a内のアレイセンサ2aの位置で光学像が結像される。このとき、窓4aにはアレイセンサ2aが検出する波長帯での光量の損失を低減させるための損失低減処理が施されているために、窓4aを透過する際、この波長帯での光量の損失は低減される。そして、アレイセンサ2aでは結像された光学像の光量を電気信号に変換する。
一方、光学結像系1からの光線の一部はミラー部材5によって反射される。このミラー部材5は、例えば、窓4aの一部にミラー材料のメッキ加工を行うことにより形成することができる。さらに、ミラー部材5はアレイセンサ2bが検出する波長帯の光線に対して高反射率になるように形成すればよい。このように、アレイセンサ2bが検出する光線の波長帯に合わせて高反射な反射部を設けるだけでよいので、低損失なミラー部材5を容易に形成することが可能になる。また、このミラー部材5は平面ミラーによって形成されているために、ミラー部材5における反射後での光学的な性質は、反射をしない場合の工学的な性質と等価である。したがって、反射における新たなボケ等の発生は起こらない。さらにまた、ミラー部材5は窓4aの一部に形成され、窓4aの表面に配置されているものとしたが、窓4aより前方向に配置されていれば同様の効果を得ることが可能である。
ミラー部材5によって反射された光線は、窓4bを介して、パッケージ3b内のアレイセンサ2bの位置で光学像が結像される。このとき、窓4bにはアレイセンサ2bが検出する波長帯での光量の損失を低減させるための損失低減処理が施されているために、窓4bを透過する際、この波長帯での光量の損失は低減される。そして、アレイセンサ2bでは結像された光学像の光量を電気信号に変換する。
このようにして、アレイセンサ2a、2bから得たデータにより、ライン状の光強度画像を得ることができる。そして、この画像取得装置全体をライン状の取得画像と垂直方向に並進させ、並進中に取得したライン状の画像データを順に並べていくことにより2次元の光強度画像を得ることができる。このような画像取得装置の並進動作は、例えば航空機や衛星などの移動物体に搭載されている場合に簡単に実現できることはいうまでもない。
また、上述のように、アレイセンサ2bに入射する光線は結像光学系1の光軸から外れており、アレイセンサ2aとは異なる視軸になっている。しかし、プッシュブルーム型の画像取得装置では、並進動作により自動的に同じ領域の光強度画像をも取得することができるために、この視軸のずれは問題にならない。
以上のように、アレイセンサ2bに入射する光線は窓4aを介すことが無く、窓4aによる光量損失の影響を受けることが無い。従って、窓4aの材料や無反射コート等の損失低減処理は、アレイセンサ2aが検出する光線の波長帯に最適化することができる。同様に、アレイセンサ2aに入射する光線は窓4bを介すことが無いために、窓4bの材料や無反射コート等の損失低減処理は、アレイセンサ2bが検出する光線の波長帯に最適化することができる。その結果、アレイセンサ2a、2bで検出する光線の波長帯での光量損失を最小限に抑えることが可能になる。
また、一般に変換装置として利用するアレイセンサは、検出する光線の波長帯が異なる場合には、大きさや冷却器、真空状態の必要性などの設置状態が大きく異なる場合があり、特性の異なるアレイセンサを同一のパッケージ内に配置した場合、所望の特性を得ることが困難である。しかし、本実施の形態1における画像取得装置では、検出する光線の波長帯毎に異なるパッケージにアレイセンサを配置することができるために、パッケージの設計が容易になるという効果を奏する。また、それぞれのパッケージを、内部に配置されているアレイセンサに合わせて、温度等の環境を最適な条件に設定することが可能であるので、アレイセンサの検出性能を向上させることが可能である。
また、本実施の形態1における画像取得装置では、パッケージ3aの窓4aの一部にミラー部材5が形成されている他は、結像光学系1、アレイセンサ2a、パッケージ3a、窓4aの構成は、従来の画像取得装置と同一のものを使用可能である。従って、従来の画像取得装置を本実施の形態1のように変更することは容易であるし、この変更によって機能が低下するといった不具合を生じることも無い。よって、従来の画像取得装置を性能の低下を招くことなく、複数の波長帯の光強度画像を取得することが可能な装置に容易に拡張できる。
また、本実施の形態1における画像取得装置では結像光学系1がアレイセンサ2aおよびアレイセンサ2b双方の光学系として共有化された構造になっているために、この装置全体を小型・軽量化できる効果を奏する。また、同一の結像光学系を使用しているために、結像光学系の個体差による画像のボケの特性差が生じないといった利点がある。従って、アレイセンサから得られた画像データを処理する際に、ボケが均一に生じている画像は波長帯による相違のみを容易に抽出することが可能である。
さらにまた、結像光学系1はミラーだけで構成された反射型光学系であっても良い。図2に結合光学系1として反射型光学系のカセグレン型光学系100を用いたものを示す。図2において、その他の構成は図1と同様である。反射型光学系は、波長の違いにより発生するボケである色収差が原理的に発生しないために、複数の波長帯の光強度画像を取得するために波長帯の違いを考慮する必要が無くなり、設計が容易になるという効果を奏する。
実施の形態2.
図3は、この発明を実施するための実施の形態2における画像取得装置を示す図である。図3において、図1との対応部分については同一番号を付し説明を省略する。本実施の形態2における画像取得装置は、実施の形態1における画像取得装置に、ミラー部材5が反射した光線を再結像するためのリレーレンズ6を設けたものである。
アレイセンサ2aとアレイセンサ2bとは検出する光線の波長帯が異なるために、その大きさが異なる場合がある。このような場合に、結像光学系1の形成する中間像を、リレーレンズ6を用いて、アレイセンサ2aとアレイセンサ2bとの比と等しい拡大、または、縮小した大きさになるように再結像することで、2つの波長帯で同じ分解能を持った光強度画像を得ることが可能となる。または、逆にアレイセンサ2aとアレイセンサ2bとの比と異なる比の大きさの光学像をリレーレンズ6で再結像することにより、2つの波長帯で異なる分解能を持った光強度画像を得ることも可能となる。
さらに、リレーレンズ6を使用しない場合、窓4aとアレイセンサ2bとの間隔は窓4aとアレイセンサ2bとの間隔とほぼ等しくしなければならなくなり、窓4bとアレイセンサ2bの配置は大きく制限されることになる。しかし、本実施の形態2のように、リレーレンズ6を用いて結像光学系1の中間像を再結像する構成にすることにより、リレーレンズ6、窓4bおよびアレイセンサ2bの位置を自由に設定することが可能になるために、設計の自由度が向上するという効果を奏する。
また、上述の例ではリレーレンズ6は1枚のレンズとする構成であったが、複数枚のレンズとする構成であっても、同様の効果を得ることが可能である。
実施の形態3.
図4は、この発明を実施するための実施の形態3における画像取得装置を示す図である。図4において、図1または図3との対応部分については同一番号を付し説明を省略する。本実施の形態3における画像取得装置は、実施の形態2における画像取得装置に、ミラー部材5で反射した光線が形成する中間像の位置に光線の拡散を抑制するためのフィールドレンズ7を設けたものである。
ミラー部材5で反射した光線は、中間像を形成した後さらに広がりながらリレーレンズ6に入射する。このため、リレーレンズ6は大型にすると共に光線を大きく曲げる力が必要になる。この実施の形態3のように、中間像の位置にフィールドレンズ7を配置することにより、光線の広がりを抑制することができる。したがって、リレーレンズ6を小型にすることができるため、配置の制約が小さくなりため設計が容易になり、また軽量化にも効果がある。一般に、光線を大きく曲げるレンズは同時に収差の発生する量も大きくなるので、ボケの小さいレンズを設計することは困難になる。しかし、このように構成することによりリレーレンズ6が光線を曲げる力も小さくてよいので、容易に低収差なリレーレンズ6を得ることができる。
上記の例ではフィールドレンズ7は1枚のレンズとする構成であったが、数枚のレンズとする構成であっても、同様の効果を得ることが可能である。
実施の形態4.
図5は、この発明を実施するための実施の形態4における画像取得装置を示す図である。図5において、図1との対応部分については同一番号を付し説明を省略する。本実施の形態4における画像取得装置は、パッケージ3aの窓4aが結像光学系1の光軸に対して傾きを持った構成となっている点で、実施の形態1における画像取得装置と異なる。
これまでの実施の形態における画像取得装置では、ミラー部材5で反射した光線は入射光線と同じ側に現れるため、ミラー部材5への光線の入射角が小さいと窓4aによる光線の遮蔽が発生するという設計上の制約があった。本実施の形態5では、パッケージ3aの窓4aが結像光学系1の光軸に対して所定の傾きを持った構成となっている。また、結像光学系1を透過しミラー部材5で反射した光線の伝搬方向はミラー部材5への入射角により決まる。本実施例のように窓4aを任意の角度に設定することでミラー部材5への入射角そして光線の伝搬方向を自由に決定することが可能になる。その結果、アレイセンサ3bを、入射光線を遮蔽しない任意の位置に配置することが可能となり、設計が容易になるという効果がある。
また、パッケージ3aの窓4aを傾けることによりアレイセンサ2aで結像する光学像には収差が発生するが、平板により発生する収差は小さいため、一般に問題とはならない。
また、窓4aを結像光学系1の光軸に対し傾ける構成としたが、ミラー部材5の平面ミラーだけを傾けても同様に効果が得られることはいうまでもない。
さらにまた、実施の形態2や実施の形態3に記載した、リレーレンズやフィールドレンズを用いても良いことはいうまでもない。
実施の形態5.
上述の実施の形態においては、変換装置として1次元のアレイセンサ2a、2bを用いる構成だったが、これらの片方もしくは両方に2次元のアレイセンサを使用するような構成にしてもよい。2次元のアレイセンサを使用した場合、プッシュブルームの並進動作により異なるセンサに同じ領域のデータが出力されるため、それらを積算することで画像取得時に発生していた白色雑音を相対的に低減し、S/N比を向上させることができる。
あるいは、光路の途中にプッシュブルームの並進動作と同じ方向に波長に応じて光線の伝搬方向を変化させる、プリズムやグレーティングなどの波長分散素子を挿入することにより、並進動作と垂直なライン毎に異なる波長帯の光強度画像を取得することが可能になる。波長分散素子は新たに追加してもよいが、例えばアレイセンサ2aに入射する光線に対しては窓4aに透過型グレーティングを作成することにより、アレイセンサ2bに入射する光線に関してはミラー部材5の代わりに反射型グレーティングを使用することで部品点数の増加無く、機能を付加することが可能となる。
この発明の実施の形態1を示す画像取得装置を示す図である。 反射型光学系を用いた画像取得装置を示す図である。 この発明の実施の形態2を示す画像取得装置を示す図である。 この発明の実施の形態3を示す画像取得装置を示す図である。 この発明の実施の形態4を示す画像取得装置を示す図である。
符号の説明
1 結像光学系、2a、b アレイセンサ、3a、b 窓、4a、b パッケージ、5 ミラー部材、6 リレーレンズ、7 フィールドレンズ

Claims (5)

  1. 移動物体に搭載され、その移動物体の並進に伴い並進動作するプッシュブルーム型の画像取得装置であって、
    被写体の第1の領域からの第1の光線と前記被写体の第1の領域とは異なる第2の領域からの第2の光線とにより前記第1の領域の光学像と前記第2の領域の光学像とを結像する1つの結像光学系と、
    前記第1の光線に対して所定の波長帯での光量の損失を低減する処理が施されるとともに、前記結像光学系からの第1の光線が透過する第1の窓と、
    前記第1の窓を介して結像された前記第1の領域の光学像の光強度を電気信号に変換してライン状の画像データを取得するとともに、取得した前記ライン状の画像データを前記移動物体の並進方向に並べて前記所定の波長帯における前記被写体の2次元画像データを合成する第1の変換装置と、
    前記第1の窓と共に前記第1の変換装置を保護する第1のパッケージと、
    前記結像光学系からの第2の光線を反射する反射部と、
    前記第2の光線に対して前記所定の波長帯とは異なる波長帯での光量の損失を低減する処理が施されるとともに、前記反射部が反射した前記第2の光線を透過する第2の窓と、
    前記第2の窓を介して結像された前記第2の領域の光学像の光強度を電気信号に変換してライン状の画像データを取得するとともに、取得した前記ライン状の画像データを前記移動物体の並進方向に並べて前記所定の波長帯とは異なる波長帯における前記被写体の2次元画像データを合成する第2の変換装置と、
    前記第2の窓と共に前記第2の変換装置を保護する第2のパッケージと、
    を有することを特徴とする画像取得装置。
  2. 前記反射部が反射した光線を再結像するためのリレーレンズを有し、
    前記第2の変換装置は、前記リレーレンズによって再結像された光学像の光強度を電気信号に変換することを特徴とする請求項1に記載の画像取得装置。
  3. 前記反射部が反射した光線の拡散を抑制するためのフィールドレンズを有することを特徴とした請求項に記載の画像取得装置。
  4. 前記第1の窓は、前記結像光学系からの光線の光軸に対して所定の角度で傾いていることを特徴とする請求項1乃至請求項のいずれかに記載の画像取得装置。
  5. 前記反射部は、反射型のグレーティングを用いたことを特徴とする請求項1乃至請求項のいずれかに記載の画像取得装置。
JP2006101914A 2006-04-03 2006-04-03 画像取得装置 Active JP5194376B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006101914A JP5194376B2 (ja) 2006-04-03 2006-04-03 画像取得装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006101914A JP5194376B2 (ja) 2006-04-03 2006-04-03 画像取得装置

Publications (2)

Publication Number Publication Date
JP2007278724A JP2007278724A (ja) 2007-10-25
JP5194376B2 true JP5194376B2 (ja) 2013-05-08

Family

ID=38680325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006101914A Active JP5194376B2 (ja) 2006-04-03 2006-04-03 画像取得装置

Country Status (1)

Country Link
JP (1) JP5194376B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009119861A (ja) 2007-10-26 2009-06-04 Brother Ind Ltd 印刷装置
WO2009057830A1 (ja) * 2007-11-02 2009-05-07 Nippon Steel Corporation 溶接状態監視装置及び方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6176922A (ja) * 1984-09-25 1986-04-19 Asahi Glass Co Ltd 炎検出装置
JPH0575783A (ja) * 1991-07-11 1993-03-26 Matsushita Electron Corp 固体撮像装置
JPH08247846A (ja) * 1995-03-07 1996-09-27 Natl Space Dev Agency Japan<Nasda> 光学装置
JP3624978B2 (ja) * 1995-10-20 2005-03-02 株式会社ニコン 分光光学系
EP0786815A1 (en) * 1996-01-26 1997-07-30 Hewlett-Packard Company Photosensor array with compensation for optical aberrations and illumination nonuniformity
JP3752787B2 (ja) * 1997-07-04 2006-03-08 三菱電機株式会社 マルチスペクトル分光反射光学系

Also Published As

Publication number Publication date
JP2007278724A (ja) 2007-10-25

Similar Documents

Publication Publication Date Title
US7944559B2 (en) Airborne hyperspectral imaging system
US20130234009A1 (en) Imaging optics and optical device for mapping a curved image field
JP4510928B2 (ja) 測距装置
JP2012160783A (ja) 固体撮像装置およびカメラ
EP2856093B1 (en) Imaging system with multiple focal plane array sensors
JP2018200468A (ja) 集光光学系
IL113350A (en) Catadioptric optics working staring detector system
CN114353943A (zh) 用于高分辨率和宽幅光谱仪的技术
EP0490510A2 (en) Two-color focal plane array sensor arrangement
JP5194376B2 (ja) 画像取得装置
US11086111B1 (en) Telecentric reflective imager
US11375143B1 (en) Device for non-uniformity correction
Bergeron et al. Resolution capability comparison of infrared and terahertz imagers
CN105823558A (zh) 变间隙法布里-珀罗干涉式长波红外双模光谱成像系统
US8514384B2 (en) Alignment method for an image reading apparatus
Blanchard et al. Catadioptric optics for high-resolution terahertz imager
CN108801459B (zh) 一种光谱成像系统
KR102628596B1 (ko) 분광계
JP2001013412A (ja) 反射光学系
WO2022266895A1 (en) Optical detection system with anamorphic prism
EP4057615B1 (en) An arrangement for assessing ambient light in a video camera
CN101271023A (zh) 横向放大率恒定的衍射光学成像光谱仪的成像结构及其使用方法
CN117629405A (zh) 光谱仪
US9459145B1 (en) Optical relay with adjustable magnification
KR20230096844A (ko) 초분광 카메라

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5194376

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250