JP4094253B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4094253B2 JP4094253B2 JP2001212613A JP2001212613A JP4094253B2 JP 4094253 B2 JP4094253 B2 JP 4094253B2 JP 2001212613 A JP2001212613 A JP 2001212613A JP 2001212613 A JP2001212613 A JP 2001212613A JP 4094253 B2 JP4094253 B2 JP 4094253B2
- Authority
- JP
- Japan
- Prior art keywords
- exposure
- image
- exposure time
- blur
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Diaphragms For Cameras (AREA)
- Adjustment Of Camera Lenses (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、電子カメラ（デジタルスチルカメラ）などの撮像装置に係わり、特にぶれ補正機能を備えた撮像装置に関する。
【０００２】
【従来の技術】
電子カメラ等の撮像装置における静止画撮像に関して、長時間撮像を行う場合の手ぶれや被写体の動きによって、像にぶれを生じることは広く知られている。この像の「ぶれ」は、１次元（曲線状も含む）の像ぼけであるため「ぼけ」と称される場合もあるが、本明細書においては「ぶれ」と表現することとする。像ぶれは、流し取りなど撮影術に積極的に応用される場合もあるが、通常は画質の劣化と見なされ、これを防止することが必須となっている。その代表的方法の一つは、三脚等を用いてカメラを安定に固定することであり、他の一つは短時間露出（高速シャッタ）の使用であるが、何れも状況が許さないと適用できず、手持ちの低照度撮影には適用不可能である。
【０００３】
このような場合でも利用可能な技術として、例えば特開平１０−３３６５１０号公報記載のものがある。即ち、撮像面に対する被写体像の相対的な動きを事前に検出し、その情報を基に撮像時において結像画像をシフトさせる光学系（「光学系＋撮像素子」として捕らえれば撮像ブロック）を駆動し、撮像面に対して被写体像を相対的に静止させるものである。また、この公開公報には公知の従来技術として、特に動画を対象とした「手ぶれ補正制御手段」についても記載があり、補正手段として光学式（上記のような結像画像をシフトさせる光学系を用いるもの）と電子式（メモリや撮像素子駆動によって、全撮像可能領域から抜き出す画枠を移動させるもの）が挙げられている。また、「手ぶれ検出方法」としても、画像処理で被写体の移動量と方向を検出する動きベクトル検出と、角速度センサによってカメラ本体の揺れを直接検出する角速度検出とが挙げられている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記公開公報における指摘を待つまでもなく、従来の動画を対象とした手ぶれ補正技術では、静止画撮像における長時間撮影の一画像中の像ぶれを解消することはできない。そして、上記公開公報開示の技術に関しては、以下の２つの問題点を有するものである。即ち、
(1) 結像画像をシフトさせる特殊な光学系（撮像ブロック）が必要であるから、装置の形状・消費電力・コストの増大を来たし、更に特殊光学系の採用による結像性能の低下が生じる。
(2) 撮像に先立つ事前情報に基づいて補正を行うから、像の動きに変化があった場合は誤補正となり、却って画質が劣化してしまう。
【０００５】
また、本出願人による特願２０００−２１３８９４号では、所定値よりも長い露光時間が設定された場合に、露光時間が所定値以下になるように複数回の連続した露光時間に分割して露光する手法を提示している。そして、この分割された露光時間として、一般的な撮影者がカメラを手持ち撮影した場合を想定し、撮影動作に伴う手ぶれによって生じる記録画像の像ぶれが、許容限界以下に収まるような限界の値に設定している。しかしながら、手ぶれの大きさと時間の関係は一様ではないため、全ての撮影者に対してぶれのない画像を提供しようとすると、上記分割する露出時間の値をかなり短い値に設定する必要があった。この場合、繰り返し露光される画像信号を記憶するメモリの容量が増大したり、動き補償の演算などに長時間を要するという問題があった。
【０００６】
本発明は、上記事情を考慮して成されたもので、その目的とするところは、簡単な構成により必要最小限の演算量でぶれのない画像を得ることが可能な撮像装置を提供することにある。
【０００７】
【課題を解決するための手段】
（構成）
上記課題を解決するために本発明は次のような構成を採用している。
【０００８】
即ち本発明は、電子カメラなどの撮像装置において、撮影レンズによって結像された被写体像を光電変換し電気信号に変換する撮像素子と、露光開始からの装置本体のぶれ量を検出するためのぶれ量検出手段と、該ぶれ量検出手段による露光開始からのぶれ量が所定量に達すると前記撮像素子の画像信号を読み出すという露光動作を、当初の露光動作の露光開始からの露光時間が所定の時間に達するまで繰り返し行う露光制御手段と、前記読み出された複数の画像信号の相互の位置ずれを補正する補正手段と、該補正手段により補正された画像信号の対応する画素同士の画像信号を加算する加算手段と、を有することを特徴とする。
【０００９】
また本発明は、電子カメラなどの撮像装置において、撮影レンズによって結像された被写体像を光電変換し電気信号に変換する撮像素子と、該撮像素子の適正露光を得るために必要な露光時間を演算する露光時間演算手段と、該露光時間演算手段により演算された露光時間が所定の時間より長時間であると判断したとき、前記撮影レンズの絞り開口の大きさを大きくする絞り制御手段と、前記露光時間内に露光と画像信号の読み出しを繰り返し行う露光制御手段と、前記読み出された複数の画像信号の相互の位置ずれを補正する補正手段と、該補正手段により補正された画像信号の対応する画素同士の画像信号を加算する加算手段と、を有することを特徴とする。
【００１１】
（作用）
本発明によれば、露光開始からの装置本体のぶれ量を検出するためのぶれ量検出手段を設け、このぶれ量検出手段による露光開始からのぶれ量が所定量に達したことを検知して撮像素子の画像信号を読み出すという動作を、当初の露光開始からの露光時間が所定の時間に達するまで繰り返し行い、この繰り返し読み出された画像信号を加算することにより一つの画像信号を得ている。ここで、分割した各々の画像信号同士にはぶれに伴う位置ずれがあるが、これは補正手段により補正することができ、従って加算して得られる画像信号においてぶれを許容範囲内に収めることができる。
【００１２】
即ち、ぶれが大きい一つの画像信号を得る代わりに、ぶれが少ない複数の画像信号を得てこれらをずれ補正して加算することにより、ぶれが少ない一つの画像信号を得ることができる。そしてこの場合、特殊な光学系を要することはなく、像の動きに変化があった場合にも対応できる。しかも、ぶれ量検出手段によるぶれ量に基づいて分割する露出時間の値を定めているため、該露出時間の値を比較的長い値にすることができ、メモリ容量の増大や動き補償の演算などを最小限に抑えることができる。従って、簡単な構成により必要最小限の演算量でぶれのない画像を得ることが可能となる。
【００１３】
また、低輝度の被写体においては露光時間が長くなる。この場合、撮像素子に蓄積される電荷が少なくなるため、あとで複数回の露光動作により読み出された画像信号を加算しＳ／Ｎの向上は図れるにしても、読み出しや加算処理に伴う誤差が伴うために全体としてのＳ／Ｎは期待よりも低いものである。そこで、露光時間が所定より長くなると予測した場合は、絞りの開口の大きさを大きくし、撮像素子の電荷蓄積量をなるべく大きくすることにより、ぶれのないしかもＳ／Ｎの良好な画像を得ることが可能となる。
【００１４】
【発明の実施の形態】
以下、本発明の詳細を図示の実施形態によって説明する。
【００１５】
図１は、本発明の一実施形態に係わる電子カメラの回路構成を示すブロック図である。
【００１６】
図中の１２は被写体像を撮像するためのＣＣＤイメージセンサ、１４は相関二重サンプリング回路（ＣＤＳ）、１６はゲインコントロールアンプ（ＡＭＰ）、１８はＡ／Ｄ変換器、２０はタイミングジェネレータ（ＴＧ）、２２はシグナルジェネレータ（ＳＧ）、２４はＣＰＵ、２６は情報処理部、２８はＤＲＡＭ、３０は圧縮伸張回路、３２は記録媒体、３４は液晶表示部、３６はインターフェース部、３８はレンズ駆動系、４０はレンズ、４２は絞り駆動系、４４は絞り、５０，５１は角速度センサ、５２，５３はＡ／Ｄ変換器を示している。
【００１７】
ＣＣＤイメージセンサ１２は、例えば１００万を越える画素を有するインターライン型のＣＣＤイメージセンサであり、線順次走査による全画素読み出しに適したベイヤー配列の色フィルタを有している。そして、ＴＧ２０から供給される転送パルスに従って駆動される。ＣＤＳ１４は、ＴＧ２０から供給されるサンプルホールドパルスに従って駆動される。ＴＧ２０は、ＳＧ２２で生成される同期信号に従って互いに同期して駆動する。
【００１８】
情報処理部２６は、Ａ／Ｄ変換器１８から供給される画素信号を処理して画像を形成する。ＤＲＡＭ２８は情報処理部２６から供給される画像データを一時的に記憶し、圧縮伸張回路３０はＤＲＡＭ２８に記憶されている画像データを圧縮し、記録媒体３２は圧縮伸張回路３０から供給される圧縮された画像データを記録する。また、圧縮伸張回路３０は記録媒体３２に記録されている圧縮された画像データを伸張し、ＤＲＡＭ２８は圧縮伸張回路３０から供給される伸張された画像データを一時的に記録する。
【００１９】
インターフェース部３６は、モニタ，パソコン等の外部装置とのデータのやりとりを可能とする端子であり、情報処理部２６或いはＤＲＡＭ２８から供給される画像データを外部装置へ出力することを可能とし、或いは場合によっては外部装置から画像データを装置内に取り込むことを可能にする。
【００２０】
液晶表示部３４は、情報処理部２６から供給される画像データ或いはＤＲＡＭ２８から供給される伸張された画像データを表示する。ＣＰＵ２４は、ＴＧ２０，ＳＧ２２，レンズ駆動系３８，及び絞り駆動系４２の制御を行う。具体的には、静止画像の取り込みを指示するトリガー４６からの指令に従ってＣＣＤイメージセンサ１２の駆動モードの切り換えを行ったり、ＤＲＡＭ２８から供給される画像データに基づいてレンズ４０を駆動させるオートフォーカス制御や絞り４４の開口を変更する制御やＣＣＤイメージセンサ１２の露光量の制御などを行う。
【００２１】
角速度センサ５０は、カメラから被写体を見たとき、左右の方向であるＸ軸方向を回転中心としてカメラを回転したときの角速度を検出するためのものである。角速度センサ５０により検出された角速度を表すアナログ信号は、Ａ／Ｄ変換器５２により所定の時間間隔でデジタル信号に変換され、該変換されたデジタル信号はＣＰＵ２４により時間積分される。時間積分されたデジタル信号は、カメラ本体の上記Ｘ軸を回転中心とする回転量に相当する。また、角速度センサ５０のアナログ出力信号の正又は負により回転方向が判別される。
【００２２】
一方、角速度センサ５１は、カメラの上下方向をＹ軸方向としたとき、Ｙ軸方向を回転中心としてカメラを回転したときの角速度を検出するためのものである。この角速度センサ５１により検出された角速度を表すアナログ信号は、Ａ／Ｄ変換器５３により所定の時間間隔でデジタル信号に変換され、該変換されたデジタル信号はＣＰＵ２４により時間積分される。時間積分されたデジタル信号は、カメラ本体の上記Ｙ軸を回転中心とする回転量に相当する。また、角速度センサ５１のアナログ出力信号の正又は負により回転方向が判別される。
【００２３】
図２は、本実施形態においてぶれ補正を行うための機能に関する回路構成を示す機能ブロック図である。
【００２４】
撮影レンズによって結像された被写体像は、前記撮像素子１２により光電変換される。露光開始からのカメラ本体のぶれ量は、前記角速度センサ５０，５１及びＣＰＵ２４等から構成されるぶれ量検出回路６２により検出される。そして、ぶれ量検出回路６２の出力を基に露光量制御回路６３では、露光開始からのぶれ量が所定量に達すると撮像素子１２から画像信号を読み出すという露光動作を、当初の露光動作の露光開始からの露光時間が所定の時間に達するまで繰り返し行うようになっている。なお、露光量制御回路６３は、前記ＴＧ２０，ＳＧ２２及びＣＰＵ２４等から構成されるものである。
【００２５】
露光量制御回路６３の制御の下に撮像素子１２から順次読み出された画像信号は、前記ＣＤＳ１４，ＡＭＰ１６，Ａ／Ｄ１８，情報処理部２６等から構成される信号処理回路６４で処理された後に、複数のフレームメモリを備えたメモリ６５に記憶される。なお、メモリ６５は、前記ＤＲＡＭ２８でも良いし、複数画像の一時記憶専用に特別に設けたものであってもよい。
【００２６】
一方、ぶれ量検出回路３２の出力信号に基づいて補正回路６６では、メモリ６５に各々記憶された画像信号の相互の位置ずれが補正される。具体的には、各フレーム毎にずれ量に応じてアドレスをシフトさせる、又は各フレーム毎にアドレスをシフトすべき量を設定する。そして、この補正回路６６により補正された画像信号の対応する画素同士の画像信号が加算回路６７により加算されて、１つの画像信号が得られる。そして、この加算された画像信号が前記記録媒体３２に記録されるようになっている。
【００２７】
図３及び図４は、本実施形態における全体の動作の流れを説明するためのフローチャートである。
【００２８】
Ｓ１００においてスタートする。この動作は、カメラの電源投入や、図示しない動作開始スイッチを操作することなどにより起動するものとする。Ｓ１０１において、レリーズ操作により第１レリーズスイッチ（図１のＳＷ１）が閉じたかどうかを判断する。ＳＷ１が閉じていない場合は、Ｊ１００に分岐し同様の動作を繰り返す。実際はＪ１００とＳ１０１の動作の間に、表示やその他の図示しないキー入力の状態を検出するなどの動作をするのであるが、本発明とは直接関係ないため簡単のために、図２においてはＳＷ１の状態の検出を繰り返すものとする。
【００２９】
Ｓ１０１においてＳＷ１が閉じていると、次にＳ１０２において測光を行う。この測光は、ＣＣＤ撮像素子１２から繰り返し出力される画像信号のレベルをモニタすることにより、適正露光を得るための絞りやシャッター速度を演算するためのものである。即ち、ＣＣＤ撮像素子１２から読み出された画像信号はＡ／Ｄ変換回路１８でデジタル値に変換され、ＤＲＡＭ２８に一時的に記憶される。この記憶された画像信号のうち、全体画像の中の中央付近の所定領域の画像信号がＣＰＵ２４により読み出され、そのレベルの加算平均値が求められ、その値に基づいて適正露光を得るに必要なシャッター速度や絞り値を計算する。
【００３０】
次に、Ｓ１０３において、上記のようにして求められた適正露光を得るに必要なシャッター速度が所定時間ｔL よりも長時間であると判定された場合は、Ｓ１０４において絞り４４の開口を大きくし、ＣＣＤ撮像素子１２に入射する光の強さを大きくする。これは、後述するように手ぶれが発生しない所定の手ぶれ限界露光時間ｔB で複数回の露光を行う場合、被写体の明るさが暗いと上記手ぶれ限界露光時間ｔB では十分な画像信号が得られずＳ／Ｎが悪くなるが、これを防止するために光量を増やすためである。そして、Ｓ１０５において、前記Ｓ１０２における測光値、及び上記Ｓ１０４で再設定した絞り値を基に、改めて露光時間ｔE を演算する。なお、Ｓ１０３でシャッター速度がｔL 以下の高速のときはＪ１０１に分岐し、Ｓ１０２で求めたシャッター速度そのものが露光時間ｔE となる。
【００３１】
次に、Ｓ１０６において第２レリーズスイッチＳＷ２が閉じているか否かを検出する。ＳＷ２が閉じていれば、Ｓ１０７においてぶれの発生するぶれ限界露光時間ｔB による露光を行った回数を記憶するメモリｎに初期値０を入力する。そして、Ｓ１０８で露光を開始する。なお、露光開始はＣＣＤ撮像素子１２の電荷蓄積部の電荷を排出することにより開始する。これについては周知の技術であるので、ここでは詳述しない。
【００３２】
次に、ぶれ検出用の角速度センサ５０，５１の検出出力に基づき、露光開始からのカメラのＸ軸，Ｙ軸周りの回転量から、画像の水平方向及び垂直方向の像のぶれ量が演算される。このぶれ量は逐次一定の時間間隔で求められるものであるが、演算の遅れや角速度センサ５０，５１の応答遅れなどに起因して、演算の結果求められるぶれ量は実際よりも若干遅れる。従って、特開平５−２０４０１２号公報等で公知の予測演算を行うことによりこの応答遅れを補償する。そして、Ｓ１０９において、露光開始からのぶれ量が許容限界のぶれ量に達するぶれ限界露光時間ｔB を求める。
【００３３】
次に、Ｓ１１０において、上記Ｓ１０９で求めたぶれ限界露光時間ｔB と上記Ｓ１０７で初期設定したｎとの積ｎｔB と、上記Ｓ１０５で求めた露光時間ｔE との差（以下この差を「未露光時間」とよぶ。）を求め、この未露光時間が上記ぶれ限界露光時間ｔB より長いか否かを判定する。未露光時間がぶれ限界露光時間ｔB よりも長い時間であるときは、次にＳ１１１で上記Ｓ１０８からの露光時間がぶれ限界露光時間ｔB に達しているかどうかを判断し、もし露光が終了しておれば、次にＳ１１２で画像信号を読み出し、Ｓ１１３でこの読み出された画像信号を一時的にＤＲＡＭ２８に記憶し、Ｓ１１４でｎに１を加えてＪ１０２に分岐する。
【００３４】
ｎ回の上記ぶれ限界露光時間ｔB による露光を行った後、上記Ｓ１１０において上記未露光時間が上記ぶれ限界露光時間ｔB 以下の短い時間であるときは、Ｓ１１５において露光が終了したかどうかを判断する。露光終了と判断すると、Ｓ１１６において画像信号を読み出し、Ｓ１１７でこの読み出された画像信号を一時的にＤＲＡＭ２８に記憶する。次に、Ｓ１１８において、ｎ回の手ぶれ限界露光時間による露光による画像信号と、最後に手ぶれ限界露光時間以下の露光時間で露光され読み出された画像信号の位置合わせを行う。この位置合わせを行うのは、各々のぶれ限界露光時間で露光し読み出された画像はぶれてはいないものの、各画像は相対的にはぶれ限界以上にぶれている可能性があり、後述する画像信号を加算する前に各画像間の相対的な位置ずれを補正する必要があるからである。この位置合わせは公知の画像処理により行うことも可能であり、また上記角速度センサーの出力により求めた画像のずれ量を用いて行うこともできる。
【００３５】
次に、Ｓ１１９において上記位置合わせされた複数の画像信号を加算し、Ｓ１２０においてこの加算された画像信号を画像圧縮したのち記録媒体３２に記録して終了する。
【００３６】
このように本実施形態によれば、カメラ本体のぶれ量に応じて露光時間を分割し、分割して得られた複数の画像信号に対し位置ずれを補正し、位置ずれ補正された各画像信号を加算することにより、ぶれの少ない一つの画像信号を得ることができる。そしてこの場合、特殊な光学系を要することはなく、像の動きに変化があった場合にも対応できる。しかも、ぶれ量検出回路６２によるぶれ量に基づいて分割する露出時間の値を定めているため、該露出時間の値を比較的長い値にすることができ、メモリ容量の増大や動き補償の演算などを最小限に抑えることができる。また、低輝度の被写体においては絞り開口の大きさを大きくし、ぶれ量が許容限界に達する露光時間での撮像素子の電荷蓄積量をなるべく大きくすることにより、ぶれのないしかもＳ／Ｎの良好な画像を得ることが可能となる。
【００３７】
なお、本発明は上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で、種々変形して実施することができる。
【００３８】
【発明の効果】
以上詳述したように本発明によれば、露光開始からの装置本体のぶれ量が許容限界以上になった時間で撮像素子の電荷を露光量が適正になるまで繰り返し読み出し、その読み出された画像の位置ずれを補正したのちに加算するようにしているので、簡単な構成により必要最小限の演算量でぶれのない画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わる電子カメラの回路構成を示すブロック図。
【図２】同実施形態においてぶれ補正を行うための回路構成を示す機能ブロック図。
【図３】同実施形態における全体の動作の流れを説明するためのフローチャート。
【図４】同実施形態における全体の動作の流れを説明するためのフローチャート。
【符号の説明】
１２…ＣＣＤ撮像素子
１４…相関二重サンプリング回路（ＣＤＳ）
１６…ゲインコントロールアンプ（ＡＭＰ）
１８，５２，５３…Ａ／Ｄ変換器
２０…タイミングジェネレータ（ＴＧ）
２２…シグナルジェネレータ（ＳＧ）
２４…ＣＰＵ
２６…情報処理部
２８…ＤＲＡＭ
３０…圧縮伸張回路
３２…記録媒体
３４…液晶表示部
３６…インターフェース部
３８…レンズ駆動系
４０…レンズ
４２…絞り駆動系
４４…絞り
５０，５１…角速度センサ
６２…ぶれ量検出回路
６３…露光量制御回路
６４…信号処理回路
６５…メモリ
６６…補正回路
６７…加算回路
【発明の属する技術分野】
本発明は、電子カメラ（デジタルスチルカメラ）などの撮像装置に係わり、特にぶれ補正機能を備えた撮像装置に関する。
【０００２】
【従来の技術】
電子カメラ等の撮像装置における静止画撮像に関して、長時間撮像を行う場合の手ぶれや被写体の動きによって、像にぶれを生じることは広く知られている。この像の「ぶれ」は、１次元（曲線状も含む）の像ぼけであるため「ぼけ」と称される場合もあるが、本明細書においては「ぶれ」と表現することとする。像ぶれは、流し取りなど撮影術に積極的に応用される場合もあるが、通常は画質の劣化と見なされ、これを防止することが必須となっている。その代表的方法の一つは、三脚等を用いてカメラを安定に固定することであり、他の一つは短時間露出（高速シャッタ）の使用であるが、何れも状況が許さないと適用できず、手持ちの低照度撮影には適用不可能である。
【０００３】
このような場合でも利用可能な技術として、例えば特開平１０−３３６５１０号公報記載のものがある。即ち、撮像面に対する被写体像の相対的な動きを事前に検出し、その情報を基に撮像時において結像画像をシフトさせる光学系（「光学系＋撮像素子」として捕らえれば撮像ブロック）を駆動し、撮像面に対して被写体像を相対的に静止させるものである。また、この公開公報には公知の従来技術として、特に動画を対象とした「手ぶれ補正制御手段」についても記載があり、補正手段として光学式（上記のような結像画像をシフトさせる光学系を用いるもの）と電子式（メモリや撮像素子駆動によって、全撮像可能領域から抜き出す画枠を移動させるもの）が挙げられている。また、「手ぶれ検出方法」としても、画像処理で被写体の移動量と方向を検出する動きベクトル検出と、角速度センサによってカメラ本体の揺れを直接検出する角速度検出とが挙げられている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記公開公報における指摘を待つまでもなく、従来の動画を対象とした手ぶれ補正技術では、静止画撮像における長時間撮影の一画像中の像ぶれを解消することはできない。そして、上記公開公報開示の技術に関しては、以下の２つの問題点を有するものである。即ち、
(1) 結像画像をシフトさせる特殊な光学系（撮像ブロック）が必要であるから、装置の形状・消費電力・コストの増大を来たし、更に特殊光学系の採用による結像性能の低下が生じる。
(2) 撮像に先立つ事前情報に基づいて補正を行うから、像の動きに変化があった場合は誤補正となり、却って画質が劣化してしまう。
【０００５】
また、本出願人による特願２０００−２１３８９４号では、所定値よりも長い露光時間が設定された場合に、露光時間が所定値以下になるように複数回の連続した露光時間に分割して露光する手法を提示している。そして、この分割された露光時間として、一般的な撮影者がカメラを手持ち撮影した場合を想定し、撮影動作に伴う手ぶれによって生じる記録画像の像ぶれが、許容限界以下に収まるような限界の値に設定している。しかしながら、手ぶれの大きさと時間の関係は一様ではないため、全ての撮影者に対してぶれのない画像を提供しようとすると、上記分割する露出時間の値をかなり短い値に設定する必要があった。この場合、繰り返し露光される画像信号を記憶するメモリの容量が増大したり、動き補償の演算などに長時間を要するという問題があった。
【０００６】
本発明は、上記事情を考慮して成されたもので、その目的とするところは、簡単な構成により必要最小限の演算量でぶれのない画像を得ることが可能な撮像装置を提供することにある。
【０００７】
【課題を解決するための手段】
（構成）
上記課題を解決するために本発明は次のような構成を採用している。
【０００８】
即ち本発明は、電子カメラなどの撮像装置において、撮影レンズによって結像された被写体像を光電変換し電気信号に変換する撮像素子と、露光開始からの装置本体のぶれ量を検出するためのぶれ量検出手段と、該ぶれ量検出手段による露光開始からのぶれ量が所定量に達すると前記撮像素子の画像信号を読み出すという露光動作を、当初の露光動作の露光開始からの露光時間が所定の時間に達するまで繰り返し行う露光制御手段と、前記読み出された複数の画像信号の相互の位置ずれを補正する補正手段と、該補正手段により補正された画像信号の対応する画素同士の画像信号を加算する加算手段と、を有することを特徴とする。
【０００９】
また本発明は、電子カメラなどの撮像装置において、撮影レンズによって結像された被写体像を光電変換し電気信号に変換する撮像素子と、該撮像素子の適正露光を得るために必要な露光時間を演算する露光時間演算手段と、該露光時間演算手段により演算された露光時間が所定の時間より長時間であると判断したとき、前記撮影レンズの絞り開口の大きさを大きくする絞り制御手段と、前記露光時間内に露光と画像信号の読み出しを繰り返し行う露光制御手段と、前記読み出された複数の画像信号の相互の位置ずれを補正する補正手段と、該補正手段により補正された画像信号の対応する画素同士の画像信号を加算する加算手段と、を有することを特徴とする。
【００１１】
（作用）
本発明によれば、露光開始からの装置本体のぶれ量を検出するためのぶれ量検出手段を設け、このぶれ量検出手段による露光開始からのぶれ量が所定量に達したことを検知して撮像素子の画像信号を読み出すという動作を、当初の露光開始からの露光時間が所定の時間に達するまで繰り返し行い、この繰り返し読み出された画像信号を加算することにより一つの画像信号を得ている。ここで、分割した各々の画像信号同士にはぶれに伴う位置ずれがあるが、これは補正手段により補正することができ、従って加算して得られる画像信号においてぶれを許容範囲内に収めることができる。
【００１２】
即ち、ぶれが大きい一つの画像信号を得る代わりに、ぶれが少ない複数の画像信号を得てこれらをずれ補正して加算することにより、ぶれが少ない一つの画像信号を得ることができる。そしてこの場合、特殊な光学系を要することはなく、像の動きに変化があった場合にも対応できる。しかも、ぶれ量検出手段によるぶれ量に基づいて分割する露出時間の値を定めているため、該露出時間の値を比較的長い値にすることができ、メモリ容量の増大や動き補償の演算などを最小限に抑えることができる。従って、簡単な構成により必要最小限の演算量でぶれのない画像を得ることが可能となる。
【００１３】
また、低輝度の被写体においては露光時間が長くなる。この場合、撮像素子に蓄積される電荷が少なくなるため、あとで複数回の露光動作により読み出された画像信号を加算しＳ／Ｎの向上は図れるにしても、読み出しや加算処理に伴う誤差が伴うために全体としてのＳ／Ｎは期待よりも低いものである。そこで、露光時間が所定より長くなると予測した場合は、絞りの開口の大きさを大きくし、撮像素子の電荷蓄積量をなるべく大きくすることにより、ぶれのないしかもＳ／Ｎの良好な画像を得ることが可能となる。
【００１４】
【発明の実施の形態】
以下、本発明の詳細を図示の実施形態によって説明する。
【００１５】
図１は、本発明の一実施形態に係わる電子カメラの回路構成を示すブロック図である。
【００１６】
図中の１２は被写体像を撮像するためのＣＣＤイメージセンサ、１４は相関二重サンプリング回路（ＣＤＳ）、１６はゲインコントロールアンプ（ＡＭＰ）、１８はＡ／Ｄ変換器、２０はタイミングジェネレータ（ＴＧ）、２２はシグナルジェネレータ（ＳＧ）、２４はＣＰＵ、２６は情報処理部、２８はＤＲＡＭ、３０は圧縮伸張回路、３２は記録媒体、３４は液晶表示部、３６はインターフェース部、３８はレンズ駆動系、４０はレンズ、４２は絞り駆動系、４４は絞り、５０，５１は角速度センサ、５２，５３はＡ／Ｄ変換器を示している。
【００１７】
ＣＣＤイメージセンサ１２は、例えば１００万を越える画素を有するインターライン型のＣＣＤイメージセンサであり、線順次走査による全画素読み出しに適したベイヤー配列の色フィルタを有している。そして、ＴＧ２０から供給される転送パルスに従って駆動される。ＣＤＳ１４は、ＴＧ２０から供給されるサンプルホールドパルスに従って駆動される。ＴＧ２０は、ＳＧ２２で生成される同期信号に従って互いに同期して駆動する。
【００１８】
情報処理部２６は、Ａ／Ｄ変換器１８から供給される画素信号を処理して画像を形成する。ＤＲＡＭ２８は情報処理部２６から供給される画像データを一時的に記憶し、圧縮伸張回路３０はＤＲＡＭ２８に記憶されている画像データを圧縮し、記録媒体３２は圧縮伸張回路３０から供給される圧縮された画像データを記録する。また、圧縮伸張回路３０は記録媒体３２に記録されている圧縮された画像データを伸張し、ＤＲＡＭ２８は圧縮伸張回路３０から供給される伸張された画像データを一時的に記録する。
【００１９】
インターフェース部３６は、モニタ，パソコン等の外部装置とのデータのやりとりを可能とする端子であり、情報処理部２６或いはＤＲＡＭ２８から供給される画像データを外部装置へ出力することを可能とし、或いは場合によっては外部装置から画像データを装置内に取り込むことを可能にする。
【００２０】
液晶表示部３４は、情報処理部２６から供給される画像データ或いはＤＲＡＭ２８から供給される伸張された画像データを表示する。ＣＰＵ２４は、ＴＧ２０，ＳＧ２２，レンズ駆動系３８，及び絞り駆動系４２の制御を行う。具体的には、静止画像の取り込みを指示するトリガー４６からの指令に従ってＣＣＤイメージセンサ１２の駆動モードの切り換えを行ったり、ＤＲＡＭ２８から供給される画像データに基づいてレンズ４０を駆動させるオートフォーカス制御や絞り４４の開口を変更する制御やＣＣＤイメージセンサ１２の露光量の制御などを行う。
【００２１】
角速度センサ５０は、カメラから被写体を見たとき、左右の方向であるＸ軸方向を回転中心としてカメラを回転したときの角速度を検出するためのものである。角速度センサ５０により検出された角速度を表すアナログ信号は、Ａ／Ｄ変換器５２により所定の時間間隔でデジタル信号に変換され、該変換されたデジタル信号はＣＰＵ２４により時間積分される。時間積分されたデジタル信号は、カメラ本体の上記Ｘ軸を回転中心とする回転量に相当する。また、角速度センサ５０のアナログ出力信号の正又は負により回転方向が判別される。
【００２２】
一方、角速度センサ５１は、カメラの上下方向をＹ軸方向としたとき、Ｙ軸方向を回転中心としてカメラを回転したときの角速度を検出するためのものである。この角速度センサ５１により検出された角速度を表すアナログ信号は、Ａ／Ｄ変換器５３により所定の時間間隔でデジタル信号に変換され、該変換されたデジタル信号はＣＰＵ２４により時間積分される。時間積分されたデジタル信号は、カメラ本体の上記Ｙ軸を回転中心とする回転量に相当する。また、角速度センサ５１のアナログ出力信号の正又は負により回転方向が判別される。
【００２３】
図２は、本実施形態においてぶれ補正を行うための機能に関する回路構成を示す機能ブロック図である。
【００２４】
撮影レンズによって結像された被写体像は、前記撮像素子１２により光電変換される。露光開始からのカメラ本体のぶれ量は、前記角速度センサ５０，５１及びＣＰＵ２４等から構成されるぶれ量検出回路６２により検出される。そして、ぶれ量検出回路６２の出力を基に露光量制御回路６３では、露光開始からのぶれ量が所定量に達すると撮像素子１２から画像信号を読み出すという露光動作を、当初の露光動作の露光開始からの露光時間が所定の時間に達するまで繰り返し行うようになっている。なお、露光量制御回路６３は、前記ＴＧ２０，ＳＧ２２及びＣＰＵ２４等から構成されるものである。
【００２５】
露光量制御回路６３の制御の下に撮像素子１２から順次読み出された画像信号は、前記ＣＤＳ１４，ＡＭＰ１６，Ａ／Ｄ１８，情報処理部２６等から構成される信号処理回路６４で処理された後に、複数のフレームメモリを備えたメモリ６５に記憶される。なお、メモリ６５は、前記ＤＲＡＭ２８でも良いし、複数画像の一時記憶専用に特別に設けたものであってもよい。
【００２６】
一方、ぶれ量検出回路３２の出力信号に基づいて補正回路６６では、メモリ６５に各々記憶された画像信号の相互の位置ずれが補正される。具体的には、各フレーム毎にずれ量に応じてアドレスをシフトさせる、又は各フレーム毎にアドレスをシフトすべき量を設定する。そして、この補正回路６６により補正された画像信号の対応する画素同士の画像信号が加算回路６７により加算されて、１つの画像信号が得られる。そして、この加算された画像信号が前記記録媒体３２に記録されるようになっている。
【００２７】
図３及び図４は、本実施形態における全体の動作の流れを説明するためのフローチャートである。
【００２８】
Ｓ１００においてスタートする。この動作は、カメラの電源投入や、図示しない動作開始スイッチを操作することなどにより起動するものとする。Ｓ１０１において、レリーズ操作により第１レリーズスイッチ（図１のＳＷ１）が閉じたかどうかを判断する。ＳＷ１が閉じていない場合は、Ｊ１００に分岐し同様の動作を繰り返す。実際はＪ１００とＳ１０１の動作の間に、表示やその他の図示しないキー入力の状態を検出するなどの動作をするのであるが、本発明とは直接関係ないため簡単のために、図２においてはＳＷ１の状態の検出を繰り返すものとする。
【００２９】
Ｓ１０１においてＳＷ１が閉じていると、次にＳ１０２において測光を行う。この測光は、ＣＣＤ撮像素子１２から繰り返し出力される画像信号のレベルをモニタすることにより、適正露光を得るための絞りやシャッター速度を演算するためのものである。即ち、ＣＣＤ撮像素子１２から読み出された画像信号はＡ／Ｄ変換回路１８でデジタル値に変換され、ＤＲＡＭ２８に一時的に記憶される。この記憶された画像信号のうち、全体画像の中の中央付近の所定領域の画像信号がＣＰＵ２４により読み出され、そのレベルの加算平均値が求められ、その値に基づいて適正露光を得るに必要なシャッター速度や絞り値を計算する。
【００３０】
次に、Ｓ１０３において、上記のようにして求められた適正露光を得るに必要なシャッター速度が所定時間ｔL よりも長時間であると判定された場合は、Ｓ１０４において絞り４４の開口を大きくし、ＣＣＤ撮像素子１２に入射する光の強さを大きくする。これは、後述するように手ぶれが発生しない所定の手ぶれ限界露光時間ｔB で複数回の露光を行う場合、被写体の明るさが暗いと上記手ぶれ限界露光時間ｔB では十分な画像信号が得られずＳ／Ｎが悪くなるが、これを防止するために光量を増やすためである。そして、Ｓ１０５において、前記Ｓ１０２における測光値、及び上記Ｓ１０４で再設定した絞り値を基に、改めて露光時間ｔE を演算する。なお、Ｓ１０３でシャッター速度がｔL 以下の高速のときはＪ１０１に分岐し、Ｓ１０２で求めたシャッター速度そのものが露光時間ｔE となる。
【００３１】
次に、Ｓ１０６において第２レリーズスイッチＳＷ２が閉じているか否かを検出する。ＳＷ２が閉じていれば、Ｓ１０７においてぶれの発生するぶれ限界露光時間ｔB による露光を行った回数を記憶するメモリｎに初期値０を入力する。そして、Ｓ１０８で露光を開始する。なお、露光開始はＣＣＤ撮像素子１２の電荷蓄積部の電荷を排出することにより開始する。これについては周知の技術であるので、ここでは詳述しない。
【００３２】
次に、ぶれ検出用の角速度センサ５０，５１の検出出力に基づき、露光開始からのカメラのＸ軸，Ｙ軸周りの回転量から、画像の水平方向及び垂直方向の像のぶれ量が演算される。このぶれ量は逐次一定の時間間隔で求められるものであるが、演算の遅れや角速度センサ５０，５１の応答遅れなどに起因して、演算の結果求められるぶれ量は実際よりも若干遅れる。従って、特開平５−２０４０１２号公報等で公知の予測演算を行うことによりこの応答遅れを補償する。そして、Ｓ１０９において、露光開始からのぶれ量が許容限界のぶれ量に達するぶれ限界露光時間ｔB を求める。
【００３３】
次に、Ｓ１１０において、上記Ｓ１０９で求めたぶれ限界露光時間ｔB と上記Ｓ１０７で初期設定したｎとの積ｎｔB と、上記Ｓ１０５で求めた露光時間ｔE との差（以下この差を「未露光時間」とよぶ。）を求め、この未露光時間が上記ぶれ限界露光時間ｔB より長いか否かを判定する。未露光時間がぶれ限界露光時間ｔB よりも長い時間であるときは、次にＳ１１１で上記Ｓ１０８からの露光時間がぶれ限界露光時間ｔB に達しているかどうかを判断し、もし露光が終了しておれば、次にＳ１１２で画像信号を読み出し、Ｓ１１３でこの読み出された画像信号を一時的にＤＲＡＭ２８に記憶し、Ｓ１１４でｎに１を加えてＪ１０２に分岐する。
【００３４】
ｎ回の上記ぶれ限界露光時間ｔB による露光を行った後、上記Ｓ１１０において上記未露光時間が上記ぶれ限界露光時間ｔB 以下の短い時間であるときは、Ｓ１１５において露光が終了したかどうかを判断する。露光終了と判断すると、Ｓ１１６において画像信号を読み出し、Ｓ１１７でこの読み出された画像信号を一時的にＤＲＡＭ２８に記憶する。次に、Ｓ１１８において、ｎ回の手ぶれ限界露光時間による露光による画像信号と、最後に手ぶれ限界露光時間以下の露光時間で露光され読み出された画像信号の位置合わせを行う。この位置合わせを行うのは、各々のぶれ限界露光時間で露光し読み出された画像はぶれてはいないものの、各画像は相対的にはぶれ限界以上にぶれている可能性があり、後述する画像信号を加算する前に各画像間の相対的な位置ずれを補正する必要があるからである。この位置合わせは公知の画像処理により行うことも可能であり、また上記角速度センサーの出力により求めた画像のずれ量を用いて行うこともできる。
【００３５】
次に、Ｓ１１９において上記位置合わせされた複数の画像信号を加算し、Ｓ１２０においてこの加算された画像信号を画像圧縮したのち記録媒体３２に記録して終了する。
【００３６】
このように本実施形態によれば、カメラ本体のぶれ量に応じて露光時間を分割し、分割して得られた複数の画像信号に対し位置ずれを補正し、位置ずれ補正された各画像信号を加算することにより、ぶれの少ない一つの画像信号を得ることができる。そしてこの場合、特殊な光学系を要することはなく、像の動きに変化があった場合にも対応できる。しかも、ぶれ量検出回路６２によるぶれ量に基づいて分割する露出時間の値を定めているため、該露出時間の値を比較的長い値にすることができ、メモリ容量の増大や動き補償の演算などを最小限に抑えることができる。また、低輝度の被写体においては絞り開口の大きさを大きくし、ぶれ量が許容限界に達する露光時間での撮像素子の電荷蓄積量をなるべく大きくすることにより、ぶれのないしかもＳ／Ｎの良好な画像を得ることが可能となる。
【００３７】
なお、本発明は上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で、種々変形して実施することができる。
【００３８】
【発明の効果】
以上詳述したように本発明によれば、露光開始からの装置本体のぶれ量が許容限界以上になった時間で撮像素子の電荷を露光量が適正になるまで繰り返し読み出し、その読み出された画像の位置ずれを補正したのちに加算するようにしているので、簡単な構成により必要最小限の演算量でぶれのない画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わる電子カメラの回路構成を示すブロック図。
【図２】同実施形態においてぶれ補正を行うための回路構成を示す機能ブロック図。
【図３】同実施形態における全体の動作の流れを説明するためのフローチャート。
【図４】同実施形態における全体の動作の流れを説明するためのフローチャート。
【符号の説明】
１２…ＣＣＤ撮像素子
１４…相関二重サンプリング回路（ＣＤＳ）
１６…ゲインコントロールアンプ（ＡＭＰ）
１８，５２，５３…Ａ／Ｄ変換器
２０…タイミングジェネレータ（ＴＧ）
２２…シグナルジェネレータ（ＳＧ）
２４…ＣＰＵ
２６…情報処理部
２８…ＤＲＡＭ
３０…圧縮伸張回路
３２…記録媒体
３４…液晶表示部
３６…インターフェース部
３８…レンズ駆動系
４０…レンズ
４２…絞り駆動系
４４…絞り
５０，５１…角速度センサ
６２…ぶれ量検出回路
６３…露光量制御回路
６４…信号処理回路
６５…メモリ
６６…補正回路
６７…加算回路
Claims (2)
- 撮影レンズによって結像された被写体像を光電変換し電気信号に変換する撮像素子と、
露光開始からの装置本体のぶれ量を検出するためのぶれ量検出手段と、
該ぶれ量検出手段による露光開始からのぶれ量が所定量に達すると前記撮像素子の画像信号を読み出すという露光動作を、当初の露光動作の露光開始からの露光時間が所定の時間に達するまで繰り返し行う露光制御手段と、
前記読み出された複数の画像信号の相互の位置ずれを補正する補正手段と、
該補正手段により補正された画像信号の対応する画素同士の画像信号を加算する加算手段と、
を有することを特徴とする撮像装置。 - 撮影レンズによって結像された被写体像を光電変換し電気信号に変換する撮像素子と、
該撮像素子の適正露光を得るために必要な露光時間を演算する露光時間演算手段と、
該露光時間演算手段により演算された露光時間が所定の時間より長時間であると判断したとき、前記撮影レンズの絞り開口の大きさを大きくする絞り制御手段と、
前記露光時間内に露光と画像信号の読み出しを繰り返し行う露光制御手段と、
前記読み出された複数の画像信号の相互の位置ずれを補正する補正手段と、
該補正手段により補正された画像信号の対応する画素同士の画像信号を加算する加算手段と、
を有することを特徴とする撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001212613A JP4094253B2 (ja) | 2001-07-12 | 2001-07-12 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001212613A JP4094253B2 (ja) | 2001-07-12 | 2001-07-12 | 撮像装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003032540A JP2003032540A (ja) | 2003-01-31 |
| JP2003032540A5 JP2003032540A5 (ja) | 2005-10-20 |
| JP4094253B2 true JP4094253B2 (ja) | 2008-06-04 |
Family
ID=19047748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001212613A Expired - Fee Related JP4094253B2 (ja) | 2001-07-12 | 2001-07-12 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4094253B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005130159A (ja) | 2003-10-23 | 2005-05-19 | Sony Corp | 撮像装置および撮像装置の手振れ補正方法 |
| JP4916095B2 (ja) * | 2004-05-13 | 2012-04-11 | ソニー株式会社 | 固体撮像装置および固体撮像装置の駆動方法 |
| JP4434939B2 (ja) * | 2004-12-27 | 2010-03-17 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP4390274B2 (ja) * | 2004-12-27 | 2009-12-24 | キヤノン株式会社 | 撮像装置及び制御方法 |
| JP4708479B2 (ja) * | 2005-09-14 | 2011-06-22 | ノキア コーポレイション | 動き主導のマルチショット画像安定化を実現するためのシステム及び方法 |
| JP2007189472A (ja) * | 2006-01-13 | 2007-07-26 | Hitachi Ltd | 撮像装置および撮像素子 |
| JP2009017078A (ja) | 2007-07-03 | 2009-01-22 | Fujifilm Corp | ディジタル・スチル・カメラおよびその動作制御方法 |
| JP2009284394A (ja) * | 2008-05-26 | 2009-12-03 | Olympus Imaging Corp | 撮像装置および撮像方法 |
| JP2021077935A (ja) * | 2019-11-05 | 2021-05-20 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 制御装置、撮像装置、制御方法、及びプログラム |
-
2001
- 2001-07-12 JP JP2001212613A patent/JP4094253B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003032540A (ja) | 2003-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4987355B2 (ja) | 撮像装置および撮像方法 | |
| JP5002412B2 (ja) | 撮像装置 | |
| US7042507B2 (en) | Digital camera, pixel data read-out control apparatus and method, blur-detection apparatus and method | |
| JP4024581B2 (ja) | 撮像装置 | |
| JP4912694B2 (ja) | 電子的ぶれ補正装置及び電子的ぶれ補正方法 | |
| KR20070033272A (ko) | 흐림 현상 감소 시스템을 갖는 촬상 장치 | |
| JP4285889B2 (ja) | 撮像装置 | |
| JP4094253B2 (ja) | 撮像装置 | |
| JP2005236662A (ja) | 撮像方法、撮像装置及び撮像システム | |
| JP3370438B2 (ja) | スチルビデオカメラの露出制御装置 | |
| JP2007020109A (ja) | 電子的ぶれ補正装置 | |
| JP2006148550A (ja) | 画像処理装置及び撮像装置 | |
| JPH11225284A (ja) | 画像入力装置 | |
| JP2004363857A (ja) | 画像歪み補正機能付き撮像装置 | |
| JP4612848B2 (ja) | 撮像装置及びその制御方法 | |
| JP2001166351A (ja) | 電子カメラ装置 | |
| JPH11205690A (ja) | デジタルスチルカメラ | |
| JP4602541B2 (ja) | 撮像装置 | |
| JP4072214B2 (ja) | 撮像装置及び撮像方法 | |
| JP4146186B2 (ja) | 固体撮像装置およびその欠陥補正方法 | |
| JP4569342B2 (ja) | 撮像装置 | |
| JP2009212603A (ja) | 撮像装置、及び撮像装置の制御方法 | |
| JP2004120391A (ja) | 固体撮像装置 | |
| JP2007025129A (ja) | 露出設定方法及び装置 | |
| JP4798501B2 (ja) | 撮像素子、画像入力装置及び撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050701 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050701 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080305 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130314 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140314 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |