JP4592647B2 - カメラの露出制御装置及び露出制御方法 - Google Patents

カメラの露出制御装置及び露出制御方法 Download PDF

Info

Publication number
JP4592647B2
JP4592647B2 JP2006166220A JP2006166220A JP4592647B2 JP 4592647 B2 JP4592647 B2 JP 4592647B2 JP 2006166220 A JP2006166220 A JP 2006166220A JP 2006166220 A JP2006166220 A JP 2006166220A JP 4592647 B2 JP4592647 B2 JP 4592647B2
Authority
JP
Japan
Prior art keywords
gain
solid
given
imaging lens
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006166220A
Other languages
English (en)
Other versions
JP2007336286A (ja
Inventor
裕真 工藤
整 飯沼
保彦 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006166220A priority Critical patent/JP4592647B2/ja
Publication of JP2007336286A publication Critical patent/JP2007336286A/ja
Application granted granted Critical
Publication of JP4592647B2 publication Critical patent/JP4592647B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

この発明は、例えば暗所監視用の超高感度カメラ等における自動露光調整に使用して好適するカメラの露出制御装置及び露出制御方法に関する。
周知のように、首記の如きカメラにあっては、絞りにより撮像レンズに入射される光量を制御する機械的な露光調整と、電子増倍型の固体撮像素子に対するゲインを制御する電気的な露光調整とを併用することにより、常に一定の明るさで被写体が撮像されるように自動露光調整を施すことが考えられている。
この場合、電子増倍型の固体撮像素子は、受光面に結像された光学像に対応する映像信号を生成し、その映像信号のレベルを、外部制御によって設定されるゲインに基づいて電子増倍して出力するものであるが、電子増倍される前の映像信号は取り出すことができない構造となっている。
このため、現状では、絞りによる機械的な露光調整とゲイン制御による電気的な露光調整とが共に施された、つまり、両方の露光調整の効果が含まれた映像信号レベルに基づいて、絞り及びゲインを指示するための制御信号を生成し、その制御信号により絞り及びゲインを調整することによって自動露光調整を実現している。
ところで、電子増倍型の固体撮像素子でのゲイン制御による電気的な露光調整は、増倍されて出力される映像信号にノイズが混入される可能性が高くなる。このため、自動露光調整を行なうにあたっては、まず、絞りによる機械的な露光調整を優先させ、絞りを全開させても所定の明るさが得られない場合に、電子増倍型の固体撮像素子でのゲイン制御による露光調整を施すことが要求される。
この場合、絞りが全開になったことを正確に検知することができれば、絞りが全開となった直後から、電子増倍型の固体撮像素子でのゲイン制御による露光調整を開始することができる。ところが、絞りの開放状態は、絞りを調整するための制御信号のレベルによって検知しており、絞りが全開になるレベルにはばらつきがあるため、例えば未校正の絞りを用いた場合には、絞りの正確な状態を検知することはできなくなる。
このため、現在では、絞りが全開になったことに対応する制御信号のレベルに一定幅のマージンを持たせ、制御信号がそのマージンを超えたレベルに達したとき絞りが全開になったと判断して、電子増倍型の固体撮像素子でのゲイン制御による露光調整を開始するようにしている。
しかしながら、実際には、制御信号のレベルがマージンを超える前に絞りが全開になってしまうことが多く、その場合、実際に絞りが全開になった時点から制御信号のレベルがマージン分を超えるまでの期間、絞り及びゲイン制御による露光調整が共に行なわれなくなるという問題が生じる。
特許文献1には、固体撮像素子の出力を増幅手段で増幅し、その増幅手段の出力を積分した値に基づいて、アイリス制御を行なうとともに増幅手段の増幅率を制御することにより、アイリス制御と増幅率自動制御との緩衝を図り、高画質の映像を映し出す映像信号を形成可能としたCCDカメラの構成が開示されている。
特開平9−284641号公報
そこで、この発明は上記事情を考慮してなされたもので、絞りによる露光調整と電子増倍型固体撮像素子のゲイン制御による露光調整とを併用して自動露光調整を行なう際、絞り及びゲイン制御による露光調整が共に行なわれなくなる期間が発生することを防止し得るカメラの露出制御装置及び露出制御方法を提供することを目的とする。
この発明に係るカメラの露出制御装置は、絞り制御信号に基づいて開閉される絞り機能が付加された撮像レンズと、撮像レンズを介して入射された光学像に対応した映像信号に、与えられたゲインに基づく電子増倍処理を施して出力する電子増倍型の固体撮像素子と、固体撮像素子から出力される映像信号のレベルに基づいて、固体撮像素子に与える電子増倍のためのゲインを生成するとともに、その生成したゲインの逆数を固体撮像素子から出力される映像信号に乗算した信号を絞り制御信号として撮像レンズに与える制御手段とを備えるようにしたものである。
また、この発明に係るカメラの露出制御方法は、絞り制御信号に基づいて開閉される絞り機能が付加された撮像レンズと、撮像レンズを介して入射された光学像に対応した映像信号に、与えられたゲインに基づく電子増倍処理を施して出力する電子増倍型の固体撮像素子とを備えたカメラを対象としている。そして、固体撮像素子から出力される映像信号のレベルに基づいて、固体撮像素子に与える電子増倍のためのゲインを生成するとともに、その生成したゲインの逆数を固体撮像素子から出力される映像信号に乗算した信号を絞り制御信号として撮像レンズに与えるようにしたものである。
上記した発明によれば、固体撮像素子から出力される映像信号のレベルに基づいて、固体撮像素子に与える電子増倍のためのゲインを生成するとともに、その生成したゲインの逆数を固体撮像素子から出力される映像信号に乗算した信号を絞り制御信号として撮像レンズに与えるようにしたので、絞りによる露光調整と電子増倍型固体撮像素子のゲイン制御による露光調整とを併用して自動露光調整を行なう際、絞り及びゲイン制御による露光調整が共に行なわれなくなる期間が発生することを防止することができる。
以下、この発明の実施の形態について図面を参照して詳細に説明する。図1(a)は、この実施の形態で説明する監視用カメラ11の概略を示している。この監視用カメラ11は、例えば略箱状に形成されたカメラ本体12の前端部12aに、絞り機能付きの撮像レンズ13が交換可能に取着される構成となっている。
そして、この監視用カメラ11は、そのカメラ本体12から絞り制御用ケーブル14を介して、絞り機能付きの撮像レンズ13に絞り制御信号を供給することで、絞り機能付きの撮像レンズ13の絞りを開閉制御することができるようになっている。
また、この監視用カメラ11は、そのカメラ本体12の背面12bに取着された取付具15が、例えば天井16に支持された台座17に、回動軸18を介して回動自在に支持されることにより、天井16の所定位置に吊設されている。
さらに、この監視用カメラ11は、そのカメラ本体12の後端部12cに、撮像した映像信号を出力するためのビデオケーブル19、電源電力を得るための電源ケーブル20等が接続されるようになっている。
すなわち、このカメラ本体12の後端部12cには、図1(b)に示すように、ビデオケーブル19を接続するためのビデオ出力端子21、電源ケーブル20を接続するための電源入力端子22、各種の操作釦で構成される操作部23、後述するPC(personal computer)35と接続するための通信コネクタ24等が配置されている。
図2は、上記カメラ本体12の信号処理系を示している。すなわち、上記した絞り機能付きの撮像レンズ13から入射された被写体の光学像は、電子増倍型の固体撮像素子であるCCD(charge coupled device)25に結像されて光学像に対応した映像信号に変換される。
このCCD25から出力される映像信号は、CDS(co-related double sampling)26によってノイズ低減処理が施され、可変利得増幅部27によって所定の利得で増幅された後、制御信号生成部28及び映像信号処理部29にそれぞれ供給される。
このうち、制御信号生成部28は、入力された映像信号レベルを一定の期間で積算し、その積算値Vに基づいて、電子増倍型のCCD25に与えるゲインAを指示するゲイン制御信号と、可変利得増幅回路27に与える利得Bを指示する利得制御信号とを生成している。
また、この制御信号生成部28は、可変利得増幅部27から出力される映像信号レベルを一定の期間で積算した積算値Vに、上記ゲインAと利得Bとを乗算した値の逆数1/ABを乗算したV/ABを用いて絞り制御信号を生成し、上記絞り制御用ケーブル14を介して絞り機能付きの撮像レンズ18に出力している。
また、上記映像信号処理部29では、入力された映像信号に対して、例えば、シャープネス処理、コントラスト処理、ガンマ補正処理、ホワイトバランス処理、白傷補正処理、圧縮処理等の映像信号処理を施している。そして、この映像信号処理部29から出力された映像信号は、上記ビデオ出力端子21及びビデオケーブル19を介して外部のモニタ30に供給されて映像表示に供される。
そして、このカメラ本体12は、上記した撮像動作を含むその全ての動作を制御部31によって統括的に制御している。この制御部31は、CPU(central processing unit)を内蔵しており、上記操作部23からの操作情報をI/F(interface)部32を介して受信することにより、その制御内容が反映されるように各部をそれぞれ制御している。
この場合、制御部31は、メモリ部33を利用している。このメモリ部33は、主として、CPUが実行する制御プログラムを格納したROM(read only memory)と、CPUに作業エリアを提供するRAM(random access memory)と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。
また、上記制御部31は、通信I/F部34及び上記通信コネクタ24を介して外部の上記PC35に接続されている。これにより、制御部31は、映像信号処理部29で信号処理された映像信号をPC35に出力し、PC35での映像表示に供させることができるとともに、PC35から供給される制御情報に基づいて各部を制御することができる。
ここで、上記したように、制御信号生成部28は、可変利得増幅部27から出力される映像信号レベルを一定の期間で積算した積算値Vに、ゲインAと利得Bとを乗算した値の逆数1/ABを乗算したV/ABを用いて絞り制御信号を生成し、この絞り制御信号によって絞り機能付きの撮像レンズ13の絞りを制御するようにしている。
このことは、取りも直さず、電子増倍型のCCD25による電子増倍の影響と、可変利得増幅部27による増幅の影響(自動利得制御AGCの影響)とを受けていない映像信号に基づいて、絞り機能付きの撮像レンズ13の絞りが制御されることを意味している。
すなわち、図3に等価的に示すように、電子増倍型のCCD25を、受光面に結像された光学像に対応した映像信号を生成するためのCCD部25aと、CCD部25aで生成された映像信号を電子増倍する電子増倍部25bとに分けて表わした場合、CCD部25aで生成された映像信号、つまり、電子増倍部25bによって電子増倍される前の映像信号(この映像信号は先にも述べたように電子増倍型のCCD25では取り出すことができない)によって絞り機能付きの撮像レンズ13の絞りを制御することと等価となる。
これにより、絞りにより撮像レンズ13に入射される光量を制御する機械的な露光調整と、電子増倍型のCCD25に対するゲインを制御する電気的な露光調整とを、相互に影響されることなく独立して実現することが可能となる。
図4は、被写体の明るさが明るい状態から暗い状態に順次変化した場合の、撮像レンズ13に対する絞り制御の特性と、電子増倍型のCCD25に対するゲイン制御の特性とを示している。
まず、時刻T1で撮像が開始されると、制御信号生成部28は、映像信号のレベルが目標値に達するまで、絞りを開方向に制御するとともに、ゲインを大きくなる方向に制御する。この場合、機械的な絞りよりも、電気的なゲインによる露光調整の方が反応が速いため、ゲインによる方が目標値となる映像信号レベルに速く到達する。
そして、目標値となる映像信号レベルに時刻T2で到達すると、以後、被写体が暗くなるのに応じて入射光量が不足していくため、絞りは引き続き開方向に制御される。これに伴ない、映像信号の積算値Vは大きくなるので、ゲインは小さくなる方向に制御されるようになる。
このため、先にも述べたように、絞りが全開になったことを正確に検知することができなくても、実際に絞りが全開になってからゲイン制御による露光調整が行なわれるようになるまでに、絞り及びゲイン制御による露光調整が共に行なわれなく期間、つまり、不感帯が生じることを防止することができる。この効果は、例えば未校正の絞り機能付きの撮像レンズ13を用いた場合でも同様に得られる。
すなわち、現状では、図5に示すように、被写体の明るさが減少していくに連れて、映像信号の明るさを一定に保つように自動露光調整を行なう際に、光量の減少に伴なって絞りが開かれるが、時刻T3で絞りが全開されても、絞りが全開されたことを検知するためにマージンを持たせているため、実際に電子増倍型のCCDでのゲイン制御による露光調整が開始されるのは時刻T4である。つまり、時刻T3〜T4の期間は、絞り及びゲイン制御による露光調整が共に行なわれない不感帯となる。
これに対し、絞りによる機械的な露光調整とゲインを制御による電気的な露光調整とを独立して行なえるようにすることにより、露光調整に対する不感体の発生を容易に防止することができるようになる。
なお、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
この発明の実施の形態を示すもので、監視カメラの概略を説明するために示す図。 同実施の形態における監視カメラに使用されたカメラ本体の信号処理系を説明するために示すブロック構成図。 同実施の形態におけるカメラ本体の信号処理系の要部を等価的に説明するために示すブロック構成図。 同実施の形態におけるカメラ本体の信号処理系の要部の動作を説明するために示す特性部。 現状のカラーカメラにおける自動露光調整で生じる不感帯を説明するために示す図。
符号の説明
11…監視カメラ、12…カメラ本体、13…絞り機能付きの撮像レンズ、14…絞り制御用ケーブル、15…取付具、16…天井、17…台座、18…回動軸、19…ビデオケーブル、20…電源ケーブル、21…ビデオ出力端子、22…電源入力端子、23…操作部、24…通信コネクタ、25…電子増倍型のCCD、26…CDS、27…可変利得増幅部、28…制御信号生成部、29…映像信号処理部、30…モニタ、31…制御部、32…I/F部、33…メモリ部、34…通信I/F部、35…PC。

Claims (7)

  1. 絞り制御信号に基づいて開閉される絞り機能が付加された撮像レンズと、
    前記撮像レンズを介して入射された光学像に対応した映像信号に、与えられたゲインに基づく電子増倍処理を施して出力する電子増倍型の固体撮像素子と、
    前記固体撮像素子から出力される映像信号のレベルに基づいて、前記固体撮像素子に与える電子増倍のためのゲインを生成するとともに、その生成したゲインの逆数を前記固体撮像素子から出力される映像信号に乗算した信号を前記絞り制御信号として前記撮像レンズに与える制御手段とを具備することを特徴とするカメラの露出制御装置。
  2. 前記制御手段は、前記固体撮像素子から出力される映像信号のレベルを一定の期間で積算し、その積算値に基づいて前記固体撮像素子に与える電子増倍のためのゲインを生成するとともに、その生成したゲインの逆数を前記積算値に乗算した信号を前記絞り制御信号として前記撮像レンズに与えることを特徴とする請求項1記載のカメラの露出制御装置。
  3. 絞り制御信号に基づいて開閉される絞り機能が付加された撮像レンズと、
    前記撮像レンズを介して入射された光学像に対応した映像信号に、与えられたゲインに基づく電子増倍処理を施して出力する電子増倍型の固体撮像素子と、
    前記固体撮像素子から出力される映像信号に対して、与えられた利得に基づく増幅処理を施して出力する増幅手段と、
    前記増幅手段から出力される映像信号のレベルに基づいて、前記固体撮像素子に与える電子増倍のためのゲインと、前記増幅手段に与える利得とを生成するとともに、その生成したゲインと利得とを乗算した値の逆数を前記増幅手段から出力される映像信号に乗算した信号を前記絞り制御信号として前記撮像レンズに与える制御手段とを具備することを特徴とするカメラの露出制御装置。
  4. 前記制御手段は、前記増幅手段から出力される映像信号のレベルを一定の期間で積算し、その積算値に基づいて前記固体撮像素子に与える電子増倍のためのゲインと、前記増幅手段に与える利得とを生成するとともに、その生成したゲインと利得とを乗算した値の逆数を前記積算値に乗算した信号を前記絞り制御信号として前記撮像レンズに与えることを特徴とする請求項3記載のカメラの露出制御装置。
  5. 絞り制御信号に基づいて開閉される絞り機能が付加された撮像レンズと、
    前記撮像レンズを介して入射された光学像に対応した映像信号に、与えられたゲインに基づく電子増倍処理を施して出力する電子増倍型の固体撮像素子と、
    前記固体撮像素子から出力される映像信号に対して、与えられた利得に基づく増幅処理を施して出力する増幅手段と、
    前記増幅手段から出力される映像信号のレベルに基づいて、前記固体撮像素子に与える電子増倍のためのゲインと、前記増幅手段に与える利得とを生成するとともに、その生成したゲインと利得とを乗算した値の逆数を前記増幅手段から出力される映像信号に乗算した信号を前記絞り制御信号として前記撮像レンズに与える制御手段と、
    前記増幅手段から出力される映像信号に所定の信号処理を施して外部に出力する処理手段とを具備することを特徴とするカメラ。
  6. 絞り制御信号に基づいて開閉される絞り機能が付加された撮像レンズと、
    前記撮像レンズを介して入射された光学像に対応した映像信号に、与えられたゲインに基づく電子増倍処理を施して出力する電子増倍型の固体撮像素子とを備えたカメラであって、
    前記固体撮像素子から出力される映像信号のレベルに基づいて、前記固体撮像素子に与える電子増倍のためのゲインを生成するとともに、その生成したゲインの逆数を前記固体撮像素子から出力される映像信号に乗算した信号を前記絞り制御信号として前記撮像レンズに与えることを特徴とするカメラの露出制御方法。
  7. 絞り制御信号に基づいて開閉される絞り機能が付加された撮像レンズと、
    前記撮像レンズを介して入射された光学像に対応した映像信号に、与えられたゲインに基づく電子増倍処理を施して出力する電子増倍型の固体撮像素子と、
    前記固体撮像素子から出力される映像信号に対して、与えられた利得に基づく増幅処理を施して出力する増幅手段とを備えたカメラであって、
    前記増幅手段から出力される映像信号のレベルに基づいて、前記固体撮像素子に与える電子増倍のためのゲインと、前記増幅手段に与える利得とを生成するとともに、その生成したゲインと利得とを乗算した値の逆数を前記増幅手段から出力される映像信号に乗算した信号を前記絞り制御信号として前記撮像レンズに与えることを特徴とするカメラの露出制御方法。
JP2006166220A 2006-06-15 2006-06-15 カメラの露出制御装置及び露出制御方法 Expired - Fee Related JP4592647B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006166220A JP4592647B2 (ja) 2006-06-15 2006-06-15 カメラの露出制御装置及び露出制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006166220A JP4592647B2 (ja) 2006-06-15 2006-06-15 カメラの露出制御装置及び露出制御方法

Publications (2)

Publication Number Publication Date
JP2007336286A JP2007336286A (ja) 2007-12-27
JP4592647B2 true JP4592647B2 (ja) 2010-12-01

Family

ID=38935328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006166220A Expired - Fee Related JP4592647B2 (ja) 2006-06-15 2006-06-15 カメラの露出制御装置及び露出制御方法

Country Status (1)

Country Link
JP (1) JP4592647B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010200089A (ja) * 2009-02-26 2010-09-09 Mitsubishi Electric Corp 撮像装置
JP5329312B2 (ja) * 2009-06-15 2013-10-30 三菱電機株式会社 監視カメラシステム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104510A (ja) * 2005-10-07 2007-04-19 Hitachi Kokusai Electric Inc テレビジョンカメラの感度調整方法および感度調整装置
JP2007274050A (ja) * 2006-03-30 2007-10-18 Nec Corp 電子増倍ゲイン校正機構および電子増倍ゲイン校正方法
JP2007318735A (ja) * 2006-04-27 2007-12-06 Hitachi Kokusai Electric Inc 撮像装置の感度補正方法および感度補正装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104510A (ja) * 2005-10-07 2007-04-19 Hitachi Kokusai Electric Inc テレビジョンカメラの感度調整方法および感度調整装置
JP2007274050A (ja) * 2006-03-30 2007-10-18 Nec Corp 電子増倍ゲイン校正機構および電子増倍ゲイン校正方法
JP2007318735A (ja) * 2006-04-27 2007-12-06 Hitachi Kokusai Electric Inc 撮像装置の感度補正方法および感度補正装置

Also Published As

Publication number Publication date
JP2007336286A (ja) 2007-12-27

Similar Documents

Publication Publication Date Title
JP5249077B2 (ja) 撮像装置及び画像処理方法
JP5869808B2 (ja) 撮像装置及びその制御方法
JP4516503B2 (ja) 撮像システムおよびその制御方法
US9892497B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2006203477A (ja) 撮影装置
JP2009284136A (ja) 電子カメラ
JP2011119944A (ja) 撮像装置およびその制御方法
JP2009017030A (ja) 画像撮像装置、撮像制御方法
JP4592647B2 (ja) カメラの露出制御装置及び露出制御方法
JP2008205635A (ja) 撮像装置
US10411667B2 (en) Sound signal processing apparatus and imaging device using same
JP4458194B2 (ja) 撮像装置及びその露出制御方法並びに記録媒体
JP4288965B2 (ja) 電子カメラ及び撮像制御プログラム
JP6231814B2 (ja) 露出決定装置、撮像装置、制御方法、及びプログラム
JP4408940B2 (ja) 撮像装置及びその制御方法
JP2000092379A (ja) 撮像装置及びその露出制御方法並びに記録媒体
JP2010147817A (ja) 撮像装置、その制御方法及びプログラム
JP5587045B2 (ja) 撮像装置及びその制御方法
JP4623178B2 (ja) 画像信号処理装置、画像信号処理方法、プログラム、撮像装置および撮像システム
EP3462728A1 (en) Imaging device
JP5460909B2 (ja) 撮像装置及び画像処理方法
JP2014027460A (ja) 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体
JP2010062975A (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP2018191141A (ja) 撮像装置
JP2007282133A (ja) 画像処理装置、画像処理プログラム、画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100914

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4592647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130924

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees