JP4937851B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4937851B2
JP4937851B2 JP2007177463A JP2007177463A JP4937851B2 JP 4937851 B2 JP4937851 B2 JP 4937851B2 JP 2007177463 A JP2007177463 A JP 2007177463A JP 2007177463 A JP2007177463 A JP 2007177463A JP 4937851 B2 JP4937851 B2 JP 4937851B2
Authority
JP
Japan
Prior art keywords
output
cycle
signal
timing
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007177463A
Other languages
English (en)
Other versions
JP2009017293A (ja
Inventor
崇 米虫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007177463A priority Critical patent/JP4937851B2/ja
Publication of JP2009017293A publication Critical patent/JP2009017293A/ja
Application granted granted Critical
Publication of JP4937851B2 publication Critical patent/JP4937851B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)

Description

本発明は、動画の撮像装置であって、特に周期的に点滅する撮像対象物の撮像に好適な撮像装置に関する。
従来、一般的にNTSC方式でカラー撮像を行うカメラ(撮像装置)は29.97fpsでインターレース記録を行っており、各フィールドの垂直同期周波数は59.94Hzである。一方、近年交通信号機の発光体は視認性の高さ、メンテナンスの容易性、消費電力の効率メリットなどから、LEDランプの使用が普及しつつあり、従来の電球式ランプとの置き換えが進んでいる。
LEDランプは電源周波数に依存した周期で点滅を繰り返す。すなわち、日本国内に於いて、関東圏では50Hz、関西圏では60Hzの周期で点滅しているため、特に関西圏での点滅周期に撮像タイミングが同期してしまうと、長時間にわたり信号機の点灯状態が記録できないことが発生する。
近年事故発生時の証拠記録や、事故の未然防止の目的で自動車や鉄道車両等の運転状態や、走行状態を映像として記録するために、車両に動画を記録する装置を設置し車両前方や側方などを記録する装置が開発されている(特許文献1)。この種の装置は業務用用途を中心として広まりつつある。
特開2000−280821号公報
上述のようにLED信号機の消灯周期と動画の撮像周期が同期してしまうと、信号機のLEDの点灯状態が撮像されないという問題が生じる。特に西日本のLED信号機の点滅周期は60Hzであり、NTSC方式の撮像周期である59.94Hzと非常に近い。そのため、同期しやすく、図7に示すように、LED信号機の点滅周期とNTSC方式の撮像周期が同期する領域Rにおいては、信号機のLEDの点灯状態が撮像された映像に長時間連続して記録されない現象が生じる。以下この問題を「LED点滅問題」と呼ぶ。車両運転中に事故などが発生した場面を記録した映像に、信号機の点灯状態が記録されていないと記録映像の証拠価値が低下してしまう。
LED点滅問題を具体的に説明する。なお、LEDの発光輝度は電源周波数により時々変化するが、以降の説明では、便宜上、撮像した映像を再生した際にLEDの発光を確認できる限界の輝度を想定し、その輝度を上回る状態を「LEDの点灯状態」、その輝度を下回る状態を「LEDの消灯状態」と称する。
前述したNTSC方式の撮像周期である59.94Hzと関西圏でのLED信号機の点滅周期である60Hzの差は0.06Hzである。よって、LED信号機が撮像された際に、記録に残るLED信号機の映像は所定の点滅周期xで点滅することとなり、式(1)のとおり、その周期は約1000秒となる。即ち撮像されたLEDは約1000秒の周期で明暗を繰り返すこととなる。
x=59.94 Hz / |60Hz -59.94Hz| ≒ 1000 (sec) … (1)
また東日本でのLED信号機の点滅周期である50Hzにおいては、NTSC方式の撮像周期である59.94HzとLED信号機の点滅周期である50Hzの差は9.94Hzであるので、式(2)の通り撮像されるLED信号機の点滅周期xは約5秒となり、撮像されたLEDは約5秒の周期で明暗を繰り返すこととなる。
x=50Hz / |50Hz -59.94Hz| ≒ 5(sec) … (2)
ここで仮に信号機LEDの点灯期間と消灯期間の割合をn:1とし、撮像カメラのシャッタスピードを1/m(s)、LED信号機の点滅周期をf(Hz)とすると、式(3)を満たすときに、カメラのシャッタ間隔の間に信号機のLEDが全く点灯しない状態が生じる。
m > f×(n+1) … (3)
この全く点灯しない状態とカメラの撮像周期が同期すると、記録画像に連続して信号機LEDの点灯状態が記録されないという問題が生じる。
本発明は上述のLED点滅問題を解決すべくなされたものであり、その目的とするところは、一定周期で点滅を繰り返す被写体に対しても、確実に点灯状態の記録を可能とする撮像装置を提供することにある。
本発明に係る第1の撮像装置は、撮像した動画像データを所定の出力周期で出力する撮像装置であって、光学情報を電気信号に変換する撮像素子と、撮像素子の露光開始タイミング及び露光終了タイミングを制御するシャッタタイミング制御部と、撮像素子の出力信号に所定の信号処理を行う信号処理部と、信号処理部の出力信号を一時的に格納し、出力周期で出力するバッファ手段と、出力周期を制御する出力タイミング制御部とを備える。シャッタタイミング制御部は、出力周期と略同一の周期で点滅する被写体像を撮像するに際して、露光開始タイミング及び露光終了タイミングを、出力周期に同期したタイミングから、所定時間だけ前またはの何れかに交互にシフトさせたタイミングに設定する。
本発明に係る第2の撮像装置は、撮像した動画像データを所定の出力周期で出力する撮像装置であって、光学情報を電気信号に変換する撮像素子と、出力周期と略同一の周期で点滅する被写体像を撮像するに際して、出力周期よりも小さい撮像周期で、撮像素子の露光開始タイミング及び露光終了タイミングを制御するシャッタタイミング制御部と、撮像素子の出力信号に所定の信号処理を行う信号処理部と、映像信号のフレーム毎に信号処理部から出力される複数の映像信号の中からランダムに1つを選択する選択手段と、選択手段の出力信号を一時的に格納し、出力周期で出力するバッファ手段と、出力周期を制御する出力タイミング制御部とを備える。
本発明に係る第3の撮像装置は、光学情報を電気信号に変換する撮像素子と、撮像素子の露光時間を制御するシャッタタイミング制御部と、撮像素子の出力信号に所定の信号処理を行う信号処理部と、信号処理部の出力信号を一時的に格納し、所定の出力周期で出力するバッファ手段と、出力周期を制御する出力タイミング制御部とを備える。シャッタタイミング制御部は、所定の撮像回数に対して1回の割合で露光時間を拡張させる。
本発明によれば、撮像タイミングと被写体(例えばLED信号機)の点滅タイミングが同期することにより生じる連続的に信号機の点灯状態が撮像されない現象を防止できる。
以下、添付の図面を用いて本発明に係る撮像装置の実施の形態について説明する。
(実施の形態1)
図1に本発明の実施の形態1の撮像装置の構成を示す。撮像装置1は動画を撮像する装置であって、レンズ2と、レンズ2の透過光の情報を電気信号に変換するCCD3と、CCD3からの電気信号を処理する信号処理回路5と、信号処理回路5からの画像データを一時的に格納するバッファメモリ6と、CCD3のシャッタタイミングを制御するシャッタタイミング制御部4と、バッファメモリ6からの出力タイミングを制御する出力タイミング制御部7とを備える。
レンズ2は被写体からの光を集光し、CCD3上に結像する。CCD3は受けた光情報を電気信号に変換する。CCD3は、シャッタタイミング制御部4からタイミング信号に基づき、撮像するタイミング及び信号処理部5へ映像信号を出力するタイミングを制御する。信号処理部5はCCD3から入力した電荷を映像信号として処理する。信号処理部5からの映像信号は、バッファメモリ6に一時的に記憶され、出力タイミング制御部7から与えられるタイミングに基づいてバッファメモリ6から読み出され、外部へ出力される。本実施形態では、撮像装置1はNTSC方式に準拠した映像信号を出力する。このため、CCD3から出力された映像信号は、バッファメモリ6に一旦蓄積され、NTSC方式の撮像周期(1/59.94Hz)に同期したタイミングでバッファメモリ6から出力される。出力タイミング制御部7は、このNTSC方式の撮像周期(1/59.94Hz)に同期したタイミングを与える。なお、バッファメモリ6からデータを出力する周期は必ずしもNTSC方式に準拠する必要はなく、出力タイミング制御部7により、撮像装置1からの信号を受ける装置の仕様に応じた所望の周期に設定可能である。
ここで、図2を参照してCCD3の一般的な動作について説明する。CCD3は図2(b)に示すように撮像周期Tsを持つ。ここで、撮像周期Tsは撮像装置1が映像信号を出力する周期に等しく、NTSC方式の撮像周期(1/59.94Hz)に等しい。CCD3はこの撮像周期Ts毎に蓄積された電荷を出力する。
CCD3の撮像動作に関して2つのタイミングが与えられる。すなわち、電荷の蓄積を開始するシャッタタイミングと、蓄積(露光)を終了し、蓄積した電荷を出力する出力タイミングである。CCD3は、シャッタタイミングte1、te2、…から蓄積された電荷を、出力タイミングts1、ts2、…で外部へ出力する(出力A、出力B)。CCD3は電荷が出力されると、クリアされる。つまり、CCD3はシャッタタイミングで露光を開始し、出力タイミングで露光を終了する。シャッタタイミングと出力タイミングの間の期間Tcは、電子シャッタが開放されている期間(以下「シャッタ期間」という。)であり、シャッタ期間Tcの長さはシャッタスピードに相当する。
シャッタ期間以外の期間、すなわち、前のサイクルの出力タイミングから次のサイクルのシャッタタイミングまでの間は、CCD3に電荷は蓄積されるが、蓄積された電荷は画像情報としては使用されず、シャッタタイミングでクリア(リフレッシュ)される。このように、シャッタ期間に蓄積された電荷が画像データとして出力される。このため、図2(a)、(b)に示すように、LEDの輝度が暗くなるタイミングがシャッタ期間Tcと同期した場合、CCD3は常に非点灯状態にあるLEDを撮像することになり、LED信号機の点灯状態を連続して記録できないという問題が生じる。
この問題を解決すべく、本実施形態の撮像装置1では、NTSC方式の撮像周期に対してシャッタ期間をシフトさせる。具体的には、出力タイミングを、NTSC方式の撮像周期に同期したタイミングから所定時間だけ前または後に適宜シフトさせる。これにより、LEDが暗くなる周期とNTSC方式の撮像周期が同期した場合であっても、点灯状態にあるLEDの撮像を可能とする。以下、これを詳細に説明する。
図2においては、CCD3が蓄積した電荷を外部へ出力する出力タイミングte0、te1、te2、…はNTSC方式の撮像周期Tsに同期している。
これに対して、本実施形態の撮像装置1では、図3に示すように、CCD3が蓄積した電荷を外部へ出力する出力タイミングは、NTSC方式の撮像周期Tsに同期したタイミング(タイミングte0、te1、te2、…)から所定量Δtだけ前または後にシフトしたタイミングt'e0、t'e1、t'e2、…に設定されている。シャッタタイミングは、シャッタスピードを一定に保持する必要があることから、出力タイミングから時間Tcだけ前にシフトしたタイミングに設定される。CCD3のシャッタタイミング及び出力タイミングはシャッタタイミング制御部4により与えられる。このように、図3のシャッタ期間は、図2のシャッタ期間に対して所定量Δtだけ時間的に前後にシフトされる。
すなわち、シャッタタイミング制御部4からのタイミング信号に基づきCCD3からの信号出力の出力間隔を変化させることができ、これによりLED点滅問題を解決できる。この間、出力タイミング制御部7によって生成されるタイミングは一定とすることで、撮像装置1の外部へ出力される映像信号の周期を一定(例えばNTSC規格を順守するために1/59.94Hz)に保つことができる。
以上のようにシフトしたシャッタ期間を設定することで、LEDが暗くなる周期とNTSC方式の撮像周期が同期した場合であっても、シャッタが開放されるタイミングを、LEDが暗くなるタイミングとずらせることができる。このため、LED信号機の点灯状態を連続して記録できないという現象を回避することができる。
(実施の形態2)
図4は、本発明の実施の形態2の撮像装置の構成を示す。実施の形態1のものと異なる点は、セレクタ8を備えた点である。セレクタ8は出力タイミング制御回路7からタイミング信号を受け、このタイミング信号に基づいて信号処理回路5からの映像信号を選択して、バッファメモリ6に出力する。
本実施形態では、CCD3の撮像周波数(周期)を、撮像装置1がデータを出力する周波数、すなわち、NTSC方式の撮像周波数(周期)よりも大きい値(小さい値)に設定する。本実施形態では、一例として、CCD3の撮像周波数を、NTSC方式の撮像周波数(59.94Hz)よりも大きい180Hzに設定している。このため、本実施形態では、図5に示すように、1フレーム(60Hz)期間内に3回電子シャッタが切られることになる。
よって、1フレーム期間において、3つの画像データがCCD3から取り出され、信号処理回路5で処理され、出力される。セレクタ8は、この1フレーム期間に含まれる3つの画像データのうちのいずれか1つだけを選択して、バッファメモリ6へ出力する。
セレクタ8が、バッファメモリ6へ出力するデータを各フレーム期間内でランダムに選択することにより、LED信号機の点灯状態を連続して記録できない現象を回避することができる。
出力タイミング制御部7はセレクタ8に対して、外部へ画像を出力するタイミングを通知する。セレクタ8は、出力タイミング制御部7から通知された一つの出力タイミングとその次の出力タイミングの間において、3つのデータのうちの1つだけを選択し、バッファメモリ6へ出力する。
セレクタ8は、1フレームにおいて選択するデータの順序をランダムに変化させることにより、CCD3から電荷を取り出すタイミングの周期性を実質的に変更することができる。例えば、1フレーム中で順に出力される3つのデータをそれぞれ、データ1、データ2、データ3とする。図5では、セレクタにより、データ1、データ1、データ3、データ2、データ1、・・・の順で選択され、バッファメモリ6に出力される。これにより、例えば、範囲Aに含まれるデータ2、範囲Bに含まれるデータ1は、非点灯状態を記録した撮像データとなるが、それ以外は点灯状態を記録した撮像データとなり、LED信号機の点灯状態を連続して記録できない現象を回避することができる。
以上のように、本実施形態では、被写体の点滅周期(周波数)またはNTSC方式の撮像周期(周波数)よりも短い周期(高い周波数)で、CCDから画像データを取り出し、さらに、1フレーム期間において画像データをランダムに選択し、出力する。これにより、被写体の点滅周期と撮像周期とを実質的にずらすことができ、LED信号機の点灯状態を連続して記録できない現象を回避することができる。
(実施の形態3)
本発明の撮像装置のさらに別の実施形態を説明する。本実施形態の撮像装置の構成は図1に示すとおりである。本実施形態の撮像装置のシャッタタイミング制御部4は、図6に示すように、シャッタ周期について所定回数に1回の割合で、出力タイミングを後方にシフトする。すなわち、N個のシャッタ期間の中の1つの出力タイミングを後方にシフトし、これにより、そのシャッタ期間を拡張する。
図6において、シャッタ期間T'cが拡張された期間である。出力タイミングは、本来のタイミングte1からタイミングt'e1にΔmだけシフトされており、これにより、シャッタ期間はΔmだけ拡張される。
このように、所定の周期毎に1つのシャッタ期間を拡張することで、所定の周期において少なくとも1回は、LEDの点灯状態が必ず撮像されることになり、LED信号機の点灯状態を連続して記録できない現象を回避することができる。なお、出力タイミングのシフト量は、拡張されたシャッタ期間において必ずLEDの点灯状態が含まれるような値に設定する。
また、実施の形態1ないし3で説明した撮像装置から出力される映像信号は、所定の方式(NTSC方式)に準拠した信号であるので、撮像装置からの信号を受信する装置側において信号処理のための特別な構成を必要としない。
本発明は、CCDから電荷を取り出すタイミングの周期性を崩すことが可能となり、LED信号機の点灯状態が連続して記録できない現象を回避することができる。このため、所定の周期で点滅を繰り返す被写体を撮像対象とする、例えば自動車や鉄道車両等に搭載される事故検証等に用いられる撮像装置に有用である。
本発明の実施の形態1の撮像装置の構成を示す図 CCDのシャッタイミングを説明するための図 実施の形態1のCCDのシャッタイミングを説明するための図 本発明の実施の形態2の撮像装置の構成を示す図 実施の形態2の撮像装置の動作を説明するための図 実施の形態3のCCDのシャッタイミングを説明するための図 LED信号機の点灯状態を連続して記録できない現象を説明するための図
符号の説明
1 撮像装置
2 撮影レンズ
3 CCD
4 シャッタタイミング制御部
5 信号処理部
6 バッファメモリ
7 出力タイミング制御部

Claims (4)

  1. 撮像した動画像データを所定の出力周期で出力する撮像装置であって、
    光学情報を電気信号に変換する撮像素子と、
    前記撮像素子の露光開始タイミング及び露光終了タイミングを制御するシャッタタイミング制御部と、
    前記撮像素子の出力信号に所定の信号処理を行う信号処理部と、
    前記信号処理部の出力信号を一時的に格納し、前記出力周期で出力するバッファ手段と、
    前記出力周期を制御する出力タイミング制御部とを備え、
    前記シャッタタイミング制御部は、前記出力周期と略同一の周期で点滅する被写体像を撮像するに際して、前記露光開始タイミング及び露光終了タイミングを前記出力周期に同期したタイミングから所定時間だけ前またはの何れかに交互にシフトさせたタイミングに設定する、
    ことを特徴とする撮像装置。
  2. 撮像した動画像データを所定の出力周期で出力する撮像装置であって、
    光学情報を電気信号に変換する撮像素子と、
    前記出力周期と略同一の周期で点滅する被写体像を撮像するに際して、前記出力周期よりも小さい撮像周期で、前記撮像素子の露光開始タイミング及び露光終了タイミングを制御するシャッタタイミング制御部と、
    前記撮像素子の出力信号に所定の信号処理を行う信号処理部と、
    映像信号のフレーム毎に前記信号処理部から出力される複数の映像信号の中からランダムに1つを選択する選択手段と、
    前記選択手段の出力信号を一時的に格納し、前記出力周期で出力するバッファ手段と、
    前記出力周期を制御する出力タイミング制御部と
    を備えたことを特徴とする撮像装置。
  3. 光学情報を電気信号に変換する撮像素子と、
    前記撮像素子の露光時間を制御するシャッタタイミング制御部と、
    前記撮像素子の出力信号に所定の信号処理を行う信号処理部と、
    前記信号処理部の出力信号を一時的に格納し、所定の出力周期で出力するバッファ手段と、
    前記出力周期を制御する出力タイミング制御部とを備え、
    前記シャッタタイミング制御部は、所定の撮像回数に対して1回の割合で前記露光時間を拡張させる、
    ことを特徴とする撮像装置。
  4. 前記出力周期はNTSC方式の撮像周期に等しいことを特徴とする請求項1ないし3のいずれか1つに記載の撮像装置。
JP2007177463A 2007-07-05 2007-07-05 撮像装置 Expired - Fee Related JP4937851B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007177463A JP4937851B2 (ja) 2007-07-05 2007-07-05 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007177463A JP4937851B2 (ja) 2007-07-05 2007-07-05 撮像装置

Publications (2)

Publication Number Publication Date
JP2009017293A JP2009017293A (ja) 2009-01-22
JP4937851B2 true JP4937851B2 (ja) 2012-05-23

Family

ID=40357615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007177463A Expired - Fee Related JP4937851B2 (ja) 2007-07-05 2007-07-05 撮像装置

Country Status (1)

Country Link
JP (1) JP4937851B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027666A (ja) * 2007-07-24 2009-02-05 Optex Co Ltd Led信号機対策用カメラ付きレコーダ
JP2009200726A (ja) * 2008-02-20 2009-09-03 Olympus Corp 撮像装置
JP5423283B2 (ja) * 2009-09-28 2014-02-19 富士通株式会社 撮影装置
JP5360589B2 (ja) * 2009-12-14 2013-12-04 株式会社リコー 画像撮像装置
CN103676409B (zh) * 2012-09-18 2016-07-06 浙江大华技术股份有限公司 基于智能交通监控系统的多种闪光灯控制方法及装置
JP6398679B2 (ja) * 2014-12-12 2018-10-03 Smk株式会社 撮像装置
JP2016134695A (ja) 2015-01-16 2016-07-25 株式会社Jvcケンウッド 撮像処理装置及び撮像処理方法
JP6645494B2 (ja) * 2015-04-09 2020-02-14 ソニー株式会社 撮像装置および方法、電子機器、並びに車載用電子機器
US10412309B2 (en) 2015-04-13 2019-09-10 Sony Corporation Image capture device, method of image capture, signal processing device, method of signal processing, and program
CN106412454B (zh) * 2016-10-18 2019-06-04 南京大学 暗场景下基于ccd传感器实时获取清晰图像的装置和方法
US10084967B1 (en) 2017-03-24 2018-09-25 Qualcomm Incorporated Systems and methods for regionally controlling exposure time in high dynamic range imaging
JP6958199B2 (ja) * 2017-09-29 2021-11-02 株式会社ジェイテクト 設備管理システム
CN113160590B (zh) * 2020-01-23 2023-02-03 华为技术有限公司 智能汽车的控制方法、装置及相关设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4979933B2 (ja) * 2005-12-16 2012-07-18 株式会社オートネットワーク技術研究所 車載カメラ及びドライブレコーダ

Also Published As

Publication number Publication date
JP2009017293A (ja) 2009-01-22

Similar Documents

Publication Publication Date Title
JP4937851B2 (ja) 撮像装置
CN109905611B (zh) 摄像装置及图像传感器的驱动方法
JP6700723B2 (ja) 撮像装置及び撮像素子の駆動方法
CN106847845B (zh) 摄像设备、摄像系统和摄像设备的驱动方法
JP2011193065A (ja) 撮像装置
US11044417B2 (en) HDR image sensor with LFM and reduced motion blur
JP2011234318A (ja) 撮像装置
JP6300118B2 (ja) 撮像装置、フリッカ検出方法及びプログラム
WO2008056789A1 (fr) Dispositif de traitement d'image embarqué et procédé de commande pour un dispositif de traitement d'image embarqué
JP2005128413A (ja) 照明制御装置
JP2003507911A (ja) ダイナミックレンジが改善されたビデオカメラ、記憶システム及び記憶方法
WO2016163248A1 (ja) 撮像装置および方法、電子機器、並びに車載用電子機器
CN112672009B (zh) 一种视频处理方法、装置、设备及存储介质
JP3793487B2 (ja) 撮像システム
WO2005064922A1 (ja) 撮像システム
JP2004048455A (ja) 撮像システム
JP2009278496A (ja) 撮像装置
JP2009265269A (ja) 撮影用照明装置、撮影装置
JP6398679B2 (ja) 撮像装置
JP2010154433A (ja) 車載カメラ及びそれを用いたドライブレコーダ
JP2009200726A (ja) 撮像装置
JP2009253316A (ja) 車載カメラ及びドライブレコーダ
JP2015109590A (ja) 固体撮像装置
JP2009027666A (ja) Led信号機対策用カメラ付きレコーダ
JP2016036122A (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4937851

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees