JP5347224B2 - 遠赤外線画像取得装置 - Google Patents

遠赤外線画像取得装置 Download PDF

Info

Publication number
JP5347224B2
JP5347224B2 JP2007038731A JP2007038731A JP5347224B2 JP 5347224 B2 JP5347224 B2 JP 5347224B2 JP 2007038731 A JP2007038731 A JP 2007038731A JP 2007038731 A JP2007038731 A JP 2007038731A JP 5347224 B2 JP5347224 B2 JP 5347224B2
Authority
JP
Japan
Prior art keywords
far
temperature
shutter
infrared
image acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007038731A
Other languages
English (en)
Other versions
JP2008203054A (ja
Inventor
敏明 山下
基彦 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2007038731A priority Critical patent/JP5347224B2/ja
Publication of JP2008203054A publication Critical patent/JP2008203054A/ja
Application granted granted Critical
Publication of JP5347224B2 publication Critical patent/JP5347224B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Radiation Pyrometers (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は遠赤外線画像取得装置及び方法に関するものであり、特に生体皮膚表面の指紋や汗腺、皮膚内部の真皮層や静脈などの生体情報を遠赤外線画像として取得する遠赤外線画像取得装置に関するものである。
近年、遠赤外線の特性(熱を持つ物体は必ず放射し、高い温度の物体ほど強く放射する)を利用した遠赤外線画像取得装置が実用化され、特に生体における温度分布を表示するサーモグラフィは、医療分野やセキュリティ分野において広く用いられている。最新のサーモグラフィ技術では、より短時間に多くの画像を演算処理すべく、100Hzを超える高速フレームレートで遠赤外線画像の取り込みとフレーム毎のデータを関連付ける演算を連続的に行い、刻々と変化する温度変化を平均化することで温度分解能を向上させる、いわゆる「ロックイン方式」と呼ばれる手法が用いられる。
例えば「矢尾板:赤外線カメラとロックインによる温度差画像、画像ラボ、pp32-35、2005.8」により開示された従来の生体情報取得可能な赤外線画像取得装置の構成例の一つを図8に示す。101は赤外線カメラ、102はチョッピング/ロックインアンプ、103は回転ブレード、104はモータ、105はフレームレート同期コントローラである。この従来の赤外線画像取得装置では、赤外線カメラ101と回転ブレード103を併用することにより、任意に設定した一定間隔のフレームレートに基づいて赤外線画像の取り込みとフレーム毎のデータを関連付けるための演算を連続的に実施することでロックイン方式を実現し、その結果を画像として連続的に作成している。
また、再公表特許WO00/42399公報「赤外線画像撮像装置およびこれを搭載した車両、並びに赤外線画像調整装置」により開示された技術では、車載の赤外線画像撮像装置における温度校正技術として、赤外線画像をより見やすく表示する技術について説明されている。以下、要点を簡潔に説明する。
図9において、遮断手段40が開状態の際、被写体70から放射された赤外線は、光学系20によって赤外線検出器100上に赤外線画像として結像する。赤外線検出器100は各画素において赤外線受光量を検出し、これに応じた信号をそれぞれ出力する。補正手段30は、画素間の感度のばらつき、画素間の信号ノイズ、いわゆるDCオフセットのばらつきや、レンズシェーディング、および光学系20の赤外放射の影響などを統括して補正する。補正にあたっては、温度設定手段51を設け、遮断手段40の温度Tcを所望の温度に設定し、さらにこのTcを特定の撮像対象物の温度近傍に設定することでより良好な結果を得ることができる旨が記載されている。
矢尾板:赤外線カメラとロックインによる温度差画像、画像ラボ、pp32-35、2005.8 再公表特許WO00/42399公報
図8に示すような赤外線カメラ装置では、コントローラより指令されるフレームレートに同期させながらの赤外線画像取込み処理、ロックイン方式の演算処理、及び測定された生体温度変化の平均化処理について高速かつ高精度に実施する必要がある。すなわち画像検出精度が回転ブレードの角速度制御性能に大きく左右されるため、高性能なロックインアンプが不可欠となり、装置の全体構成が複雑化するという課題が生じていた。
また、図9に示すような赤外線画像撮像装置には、遮断手段を温度制御して車や人など熱源が変動する場合でも補正係数の決定を簡略化する事項が開示されているのみで、ロックイン方式の課題はもとより、ロックイン方式で温度分解能を向上させた遠赤外線画像を取得する技術に関する記載自体が存在しない。
本発明は上述の点に鑑みてなされたもので、簡易な装置構成により、フレームレートに同期した赤外線画像を連続的に取得できる遠赤外線画像取得装置を提供することを目的とする。
上述した課題を鑑み、本発明の請求項1にかかる遠赤外線画像取得装置は、赤外線画像を取得する遠赤外線カメラと、上記遠赤外線カメラと撮像対象の間に配置されるシャッタと、上記シャッタに取り付けられたヒータと、上記シャッタの温度を少なくとも上記撮像対象の温度より高い温度で一定に保つよう上記ヒータの温度を制御するヒータコントローラと、上記シャッタの閉鎖時間を、上記遠赤外線カメラの温度追従特性が上記撮像対象の温度に到達する時間より長く設定するシャッタ・カメラ同期コントローラを備えてなることを特徴とする。


さらに、本発明の請求項2にかかる遠赤外線画像取得装置は、上記の構成に加え、上記シャッタ・カメラ同期コントローラが、上記シャッタの閉鎖時間を、上記遠赤外線カメラの温度追従特性が前記シャッタの設定温度に到達する時間に設定することを特徴とする。
さらに、本発明の請求項3にかかる遠赤外線画像取得装置は、前記撮像対象は人体の一部または全部であり、前記シャッタの温度を42度以下の一定温度に保つよう前記ヒータの温度を制御することを特徴とする。
さらに、本発明の請求項4にかかる遠赤外線画像取得装置は、前記撮像対象の発する遠赤外線を前記遠赤外線カメラの所定位置に結像させる調整手段を備えることを特徴とする。
さらに、本発明の請求項5にかかる遠赤外線画像取得装置は、前記調整手段は前記撮像対象を光学的に拡大することを特徴とする。
さらに、本発明の請求項6にかかる遠赤外線画像取得装置は、上記撮像対象を設置する設置手段を備えることを特徴とする。
さらに、本発明の請求項7にかかる遠赤外線画像取得装置は、上記撮像対象をサーモグラフィック表示する表示手段を備えたことを特徴とする。
以上説明したように本発明によれば、汎用シャッタの表面をヒータで撮像対象の温度より高く設定し、かつシャッタ閉鎖時間を、遠赤外線カメラの温度追従特性が撮像対象の温度に到達する時間より長く設定して撮影することにより、カメラとシャッタとの間で複雑かつ高精度な同期をとってシャッタ制御を実施せずとも、フレームレートに同期した連続する遠赤外線画像を、簡易な装置構成で取得するという効果を奏する。
図1は本発明の一実施の形態にかかる遠赤外線画像取得装置の一例を示す構成図である。この遠赤外線画像取得装置は、遠赤外線カメラ1、近接レンズ2、シャッタ3、ヒータ4、ヒータコントローラ5、シャッタ・カメラ同期コントローラ6、フレーム7、高さ微調整機構8、及びディスプレイモニタ9によって構成される。
近接レンズ2を装着した遠赤外線カメラ1が、近接レンズ2が上向きになるよう固定設置される。遠赤外線カメラ1の撮像データは所定の時間間隔(フレームレート)で連続的に取得されるよう設定されている。この遠赤外線カメラ1の図中左右にはフレーム7が立設され、両フレーム7にはそれぞれ高さ微調整機構8が取り付けられている。高さ微調整機構8は、両フレームに架け渡され支持されたシャッタ3を上下方向に自在に移動させる機構である。本実施の形態においては固定されたフレーム7をスライドレールとして摺動上下移動する摺動式を適用したが、調整精度が保証されていれば、伸縮するフレームを任意の箇所で係止する伸縮式を用いてもよい。
シャッタ3はフレーム7により、遠赤外線カメラ1に装着された近接レンズ2の真上に支持されている。これにより高さ微調整機構8で撮像対象である生体部分と近接レンズ2間の距離を0〜任意の距離に調節することができる。またシャッタ3はドーナツ状の孔空き円板構造の外枠を有するスライドシャッタであり、生体部分を上に載せた状態でシャッタ3の遮蔽板をスパイラル状にスライド開閉動作が可能なよう構成されている。そしてシャッタ3は開放時間/閉鎖時間を任意に設定調整することができる。
シャッタ3の外枠の裏面側には、穿設された孔部分の周縁を囲むように、孔の外径より大きな内径を有する環形状のヒータ4が取り付けられている。ヒータ4はヒータコントローラ5により任意の温度に制御することが可能である。すなわちシャッタ3の表面温度はヒータコントローラ5により任意の値に調節することが可能となる。
シャッタ3と遠赤外線カメラ1には、シャッタ・カメラ同期コントローラ6が接続されている。このシャッタ・カメラ同期コントローラ6により、シャッタ3が遠赤外線カメラ1の撮影動作に同期し、最適な開放時間/閉鎖時間で開閉されるよう制御される。こうして撮影された生体部分の赤外線画像データ(サーモグラフィ)は、ディスプレイモニタ9に表示される。
図2は本実施形態の遠赤外線画像取得装置の一例であり、指先端部の生体情報を取得している様子を俯瞰したイメージを示す図である。被験者自身は椅子に座るなどの安定した姿勢をとり、上腕〜手の腹部分を机に置き、撮像対象となる生体部分(指先)がシャッタ3開閉部の真上に位置するよう、指の第一関節辺りをシャッタ3上(ドーナツ孔の縁部分)に載せる。この際、被験者の体格(前腕部長さ)に応じてシャッタ3の位置を調整できるよう、シャッタ3には高さ微調整機構8に加えて、水平面内の移動を自在に調整する機構(例えば遠赤外線カメラ1が取り付けられたX−Yステージ)を設けておいてもよい。
図3は、時間を横軸、温度を縦軸とするグラフを用いて本実施形態の遠赤外線画像の取得原理を模式的に示した図である。遠赤外線カメラ1の撮像データは映像フレームとして連続的に取得され、また撮像する温度の範囲によって階調が相対的に割り振られる。すなわち最高温度を256、最低温度を0とする256階調を縦辺とし、フレーム時間を横辺とする矩形としてグラフ上に表現することができる。また、このグラフ中には、遠赤外線カメラ1の温度追従特性が太実線で示されている。この温度追従特性は、主に遠赤外線カメラ1に内蔵されるセンサの応答特性に依存するカメラ固有のものである。
最初に遠赤外線カメラ1のシャッタ3が開放されている状態では、遠赤外線カメラ1の検出データは周囲の環境温度を階調中心(階調表現で126)とする映像フレームが連続的に取得される。環境温度は季節等によって変動はあるが、基本的に撮像対象となる最適な温度帯(生体の核心温)よりも低い。
続いて撮像対象を撮影するためシャッタ3が閉鎖されると、遠赤外線カメラ1の温度追従特性が変化する。この場合撮像対象から発せられる遠赤外線がシャッタ3により遮断されるため、温度追従特性は初期値を環境温度、到達温度をシャッタ設定温度とする温度差に応じて指数関数的に変化する。またこのシャッタ3の閉鎖時間における遠赤外線カメラ1の検出データは、シャッタ設定温度を白(階調表現で256)として一定のまま推移する。
シャッタ3が閉鎖を終了し再度開放されると、検出データが白一色の状態から徐々に256階調の映像フレームとして再現される。映像フレームは遠赤外線カメラの温度追従特性に沿って下降し、以後再び周囲の環境温度を階調中心とする映像フレームが連続的に取得される。
遠赤外線カメラは所定の温度範囲に256階調を割り振ってデータを画像化する。よって本発明の成立にあたっては、まずシャッタ3の設定温度が最適な温度帯より高い値に設定されていることが必須である。そして、少なくとも温度追従特性曲線が最適な温度帯を超えるまでの時間でシャッタ閉鎖が終了し再度開放されるよう制御されれば、下降中の映像フレームの階調内に最適な温度帯を収めることはできる。
しかし、より明瞭な遠赤外線画像を取得するためには、階調中心が最適な温度帯に相当する映像フレームを連続的に取得することが求められる。これを実現するためにシャッタ3の温度は、最適な温度帯よりもある程度高く設定しておく必要がある。ただし、シャッタ設定温度と最適な温度帯との不要な温度差は、赤外線画像の階調配分にとって決して好ましいものではない。そこで、シャッタ設定温度の上限は生体として存在できる体温の最大値である「42℃」とする。また、シャッタの閉鎖時間も、最適な温度帯に達する瞬間までの時間で開放するよりは、シャッタ設定温度に到達するまでの時間で開放した方が、下降する映像フレームが最適な温度帯で連続的に現れ、より明瞭な遠赤外線画像が取得される。
図4は本実施形態の遠赤外線画像取得装置の撮像動作例のフローチャートである。
図4によれば、撮像対象となる生体部分をシャッタ上に載せ(ステップS1)、この状態で近接レンズ2の焦点距離に応じ、生体部分と近接レンズ2との距離を高さ微調整機構8で調整する(ステップS2)。生体部分と近接レンズ2の距離を調節した後、シャッタ3の下部に設置した遠赤外線カメラ1により、近接レンズ2を介して得られる生体温度情報の分布状態を画像情報として取得する(ステップS3)。ここでヒータコントローラ5は遠赤外線カメラ側のシャッタ3表面に取り付けられたヒータ4を制御して、シャッタ3の表面を人体核心温度より高く、かつ42℃以下の任意の温度で一定に保つよう調節する(ステップS4)。これによりシャッタと生体部分との温度差が強調される。シャッタ温度が設定温度に到達したら(ステップS5)、さらにシャッタ・カメラ同期コントローラ6により、シャッタ3の閉鎖時間を遠赤外線カメラの温度追従特性が上記撮像対象の温度に到達する時間より長くなるよう設定し(ステップS6)、遠赤外線カメラ1で撮像対象を撮影する(ステップS7)。これらの動作により、遠赤外線カメラ1の感度(S/N比)の大幅な改善が達成される。
図5は、本装置において、遠赤外線カメラ1の焦点が右手指先表面に合うよう、高さ微調整機構8で調整して撮影し、赤外線サーモグラフィとして表示させた画面写真の例である。
今回はシャッタ3の表面温度を42℃となるようヒータコントローラ5によりフィードバック制御を行った。この結果、指先表面の指紋(横方向に複数見られる薄白線)と汗腺(黒い斑点)を同時に取得していることが図5において確認できる。
図6は本実施の形態で用いた遠赤外線カメラ1において、シャッタ温度40℃として右手指先表面を撮影して表示させた温度分布データ画面写真の例であるが、こちらについては指先表面の指紋が確認できた。
なお、撮像範囲に関しては、高さ微調整機構8を用いることで任意に設定可能であるが、撮像範囲を狭めることで取得画像の解像度が向上させ、より精密な観測を行うために、あえて指先の皮膚表面の焦点を設定し、撮像範囲を狭くなるよう調整した上で生体情報を取得した。
以上説明したように本実施形態によれば、シャッタの設定温度を少なくとも撮像対象の温度より高い温度に設定し、かつシャッタの閉鎖時間を遠赤外線カメラの温度追従特性が上記撮像対象の温度に到達する時間より長く設定することによって、カメラとシャッタとの間で複雑かつ高精度な同期をとってシャッタ駆動制御を実施せずとも、目的とする生体情報を容易かつ効率的に取得することが可能となる。
なお、本発明の実施形態においては撮像対象が指先で、取得した生体情報が汗腺や指紋である例を示したが、これに限定するものではなく、撮像対象を手のひらや手の甲とし、生体情報を静脈や真皮層にする等、既知の遠赤外線撮影で取得可能な撮像対象や生体情報に適用し得ることは言うまでもない。例えば、本発明の他の実施形態を用いて手の甲〜上肢部を撮像対象として撮影した写真の例を図7に示す。この形態では近接レンズ2を標準ズーム用のレンズに交換して撮影している。特に手の甲から手首にかけて、静脈が黒い筋(温度の低い部分)として認識されていることが把握できる。
本発明の一実施の形態にかかる簡易型生体情報取得装置の構成イメージを示す図である。 本発明の生体情報取得装置で生体情報を取得している様子を上方から俯瞰した図である。 本発明の生体情報取得方法を示すフローチャートである。 温度の経時変化グラフを用いて本発明の生体情報撮像原理を模式的に示した図である。 本発明の生体情報取得装置で撮影し、赤外線サーモグラフィとして表示させた撮像対象の(指皮膚表面)画面写真である。 本発明の生体情報取得装置を用いずに撮影し、赤外線サーモグラフィとして表示させた生体部分(指皮膚表面)画面写真である。 本発明の生体情報取得装置で撮影し、赤外線サーモグラフィとして表示させた撮像対象(手の甲〜上肢部)の画面写真である。 従来技術の一例を示す図である。 従来技術の別の一例を示す図である。
符号の説明
1 遠赤外線カメラ
2 近接レンズ
3 シャッタ
4 ヒータ
5 ヒータコントローラ
6 シャッタ・カメラ同期コントローラ
7 フレーム
8 高さ微調整機構
9 ディスプレイモニタ
11 赤外線カメラ
12 チョッピング/ロックインアンプ
13 回転ブレード
14 モータ
15 フレームレート同期コントローラ
20 光学系
30 補正手段
40 遮断手段
50 温度測定手段
60 制御手段
70 被写体
100 赤外線検出器
101 赤外線カメラ
102 チョッピング/ロックインアンプ
103 回転ブレード
104 モータ
105 フレームレート同期コントローラ

Claims (7)

  1. 赤外線画像を取得する遠赤外線カメラと、前記遠赤外線カメラと撮像対象の間に配置されるシャッタと、前記シャッタに取り付けられたヒータと、前記シャッタの温度を少なくとも前記撮像対象の温度より高い温度で一定に保つよう前記ヒータの温度を制御するヒータコントローラと、前記シャッタの閉鎖時間を、前記遠赤外線カメラの温度追従特性が前記撮像対象の温度に到達する時間より長く設定するシャッタ・カメラ同期コントローラを備えてなることを特徴とする、遠赤外線画像取得装置。
  2. 前記シャッタ・カメラ同期コントローラが、前記シャッタの閉鎖時間を、前記遠赤外線カメラの温度追従特性が前記シャッタの設定温度に到達する時間に設定することを特徴とする、請求項1に記載の遠赤外線画像取得装置。
  3. 前記撮像対象は人体の一部または全部であり、前記シャッタの温度を42度以下の一定温度に保つよう前記ヒータの温度を制御することを特徴とする、請求項1または請求項2のいずれかに記載の遠赤外線画像取得装置。
  4. 前記撮像対象の発する遠赤外線を前記遠赤外線カメラの所定位置に結像させる調整手段を備えることを特徴とする、請求項1または請求項3のいずれかに記載の遠赤外線画像取得装置。
  5. 前記調整手段は前記撮像対象を光学的に拡大することを特徴とする、請求項4に記載の遠赤外線画像取得装置。
  6. 前記撮像対象を設置する設置手段を備えることを特徴とする、請求項1から請求項5のいずれかに記載の遠赤外線画像取得装置。
  7. 前記撮像対象をサーモグラフィック表示する表示手段を備えたことを特徴とする、請求項1から請求項6のいずれかに記載の遠赤外線画像取得装置。
JP2007038731A 2007-02-20 2007-02-20 遠赤外線画像取得装置 Expired - Fee Related JP5347224B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007038731A JP5347224B2 (ja) 2007-02-20 2007-02-20 遠赤外線画像取得装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007038731A JP5347224B2 (ja) 2007-02-20 2007-02-20 遠赤外線画像取得装置

Publications (2)

Publication Number Publication Date
JP2008203054A JP2008203054A (ja) 2008-09-04
JP5347224B2 true JP5347224B2 (ja) 2013-11-20

Family

ID=39780730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007038731A Expired - Fee Related JP5347224B2 (ja) 2007-02-20 2007-02-20 遠赤外線画像取得装置

Country Status (1)

Country Link
JP (1) JP5347224B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5781351B2 (ja) 2011-03-30 2015-09-24 日本アビオニクス株式会社 撮像装置、その画素出力レベル補正方法、赤外線カメラシステム及び交換可能なレンズシステム
JP5778469B2 (ja) 2011-04-28 2015-09-16 日本アビオニクス株式会社 撮像装置、画像生成方法、赤外線カメラシステム及び交換可能なレンズシステム
KR101736750B1 (ko) * 2015-10-19 2017-05-18 주식회사 콕스 적외선 카메라용 셔터장치
CN108182749A (zh) * 2018-02-13 2018-06-19 南京东屋电气有限公司 一种带有分离式红外图像采集装置的门锁
JP6778348B1 (ja) * 2020-05-19 2020-10-28 株式会社イーバイピー 体温測定機能付きの手のひら静脈識別装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS614932A (ja) * 1984-06-19 1986-01-10 Nippon Abionikusu Kk 赤外線映像装置
JPH0675014B2 (ja) * 1990-06-20 1994-09-21 日本アビオニクス株式会社 レンジ設定方法
JPH0638217A (ja) * 1992-07-17 1994-02-10 Fujitsu Ltd 赤外線監視システム
EP1160550A4 (en) * 1999-01-14 2008-01-30 Matsushita Electric Ind Co Ltd INFRARED IMAGING APPARATUS, A VEHICLE EQUIPPED THEREWITH, AND DEVICE FOR ADJUSTING AN INFRARED IMAGE
JP4007018B2 (ja) * 2002-02-25 2007-11-14 三菱電機株式会社 赤外線撮像装置

Also Published As

Publication number Publication date
JP2008203054A (ja) 2008-09-04

Similar Documents

Publication Publication Date Title
KR101355946B1 (ko) 적외선 어레이 센서를 이용한 온도측정장치 및 온도측정방법
US8760509B2 (en) Thermal imager with non-uniformity correction
JP5347224B2 (ja) 遠赤外線画像取得装置
US20170302864A1 (en) Methods and system for producing a temperature map of a scene
US20160300364A1 (en) Camera, computer program and method for measuring thermal radiation and thermal rates of change
WO2014171142A1 (ja) 画像処理方法および画像処理装置
JP3635937B2 (ja) 赤外線カメラ
KR20090022392A (ko) 얼굴인식 기능을 이용한 영상 촬영 장치 및 방법
JP7210246B2 (ja) 撮像装置、撮像装置の制御方法、情報処理装置、撮像システム、プログラム、および、記憶媒体
US20150358557A1 (en) Thermal recognition systems and methods
JP3788714B2 (ja) 撮像装置及びデジタルカメラ
EP3709268A1 (en) An image processing arrangement
US10078888B2 (en) Through-focus image combination
JP7254562B2 (ja) 撮像装置及びその制御装置
JP2011188258A (ja) カメラシステム
US9395812B2 (en) Method and system for presenting at least one image of at least one application on a display device
JP4744900B2 (ja) テレビドアホン装置
JP2007094536A (ja) 対象物追跡装置及び対象物追跡方法
KR101880448B1 (ko) 제스처 인식기능을 갖는 디지털 미러
JPH07101120B2 (ja) 空調装置
US20210350577A1 (en) Image analysis device, image analysis method, and program
JP7382226B2 (ja) 見守りカメラシステム
JP2008085915A (ja) 撮像装置および撮像方法
JP2015149611A (ja) 撮影機器、撮影支援方法及び撮影支援プログラム
US11549849B2 (en) Image processing arrangement providing a composite image with emphasized spatial portions

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20080613

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20090513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090820

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20110705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130805

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees