JP4131948B2 - ビデオカメラ - Google Patents

ビデオカメラ Download PDF

Info

Publication number
JP4131948B2
JP4131948B2 JP2003347744A JP2003347744A JP4131948B2 JP 4131948 B2 JP4131948 B2 JP 4131948B2 JP 2003347744 A JP2003347744 A JP 2003347744A JP 2003347744 A JP2003347744 A JP 2003347744A JP 4131948 B2 JP4131948 B2 JP 4131948B2
Authority
JP
Japan
Prior art keywords
zoom
camera shake
zooming
shake correction
focal length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003347744A
Other languages
English (en)
Other versions
JP2005117283A (ja
Inventor
重男 藤司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2003347744A priority Critical patent/JP4131948B2/ja
Publication of JP2005117283A publication Critical patent/JP2005117283A/ja
Application granted granted Critical
Publication of JP4131948B2 publication Critical patent/JP4131948B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像素子上に被写体像を結像し所定のフレーム間隔で連続する一連の画像データを生成するビデオカメラに関する。
ビデオカメラの中には、手ぶれ補正を自動的に行なう機能を内部に有するものがある。この手ぶれ補正を行なうビデオカメラには、撮影光学系の光軸を手ぶれに応じてうまく調節する手ぶれ補正機構を備えたものやデジタルカメラ内部で電子的に画像データの中央部分を切り出し、その切出し位置を順次調整することにより手ぶれに起因する被写体像の動きを補正するものがある(例えば特許文献1、特許文献2、非特許文献1参照)。
しかし電子的に手ぶれ補正を行なうものにあっては、切出し位置を順次調整するために、撮像サイズを小さくしなければならず、撮像素子が有する撮像サイズが有効に活用されないという欠点がある。
特開平5−130484号公報 特開2001−86398号公報 インターネット<URL:http://pc.watch.impress.co.jp/docs/2003/0610/sony.htm>
本発明は上記問題点を解決し、本発明は、上記事情に鑑み、撮像素子が有する撮像サイズが有効に活用されるデジタルカメラを提供することを目的とする。
上記目的を達成する本発明の第1のビデオカメラは、撮像素子上に被写体像を結像し所定のフレーム間隔で連続する一連の画像データを生成するビデオカメラであって、
ズームレンズを具備し最短焦点距離と最長焦点距離との間で焦点距離を変化させる光学ズームを行なう光学ズーム手段と、
上記撮像素子上に形成された被写体像の中央部分を、切出し自在に切出すことにより電子ズームを行なう電子ズーム手段と、
操作に応じてズーミングを指示するズーミング操作手段と、
上記ズーミング操作手段の指示に応じて上記光学ズーム手段と上記電子ズーム手段との双方によるズーミングを制御するズーミング制御手段とを備え、
さらに被写体像の切出し位置を順次調整することにより手ぶれに起因する被写体像の動きを補正する手ぶれ補正手段を備えるとともに、その手ぶれ補正手段を作用させる手ぶれ補正モードを有し、
上記ズーミング制御手段は、
上記手ぶれ補正モード未設定時には、上記ズームレンズが最短焦点距離の状態にあるとともに上記電子ズームの倍率を1.0倍にある状態を初期状態として上記ズーミング操作手段によりズーミングが最大倍率側に指示されたときに、上記電子ズーム手段の作用を停止したまま上記光学ズーム手段を作用させて上記ズームレンズを最短焦点距離から最長焦点距離まで変化させ、その後上記電子ズーム手段を作用させてさらなる高倍率を実現し、
上記手ぶれ補正モード設定時には、上記ズームレンズが最短焦点距離の状態にあるとともに前記電子ズームの倍率が1.0倍にある状態を初期状態として上記ズーミング操作手段によりズーミングが最大倍率側に指示されたときに、上記ズームレンズを最短焦点距離に維持したまま、上記電子ズーム手段により所定の第1の倍率に達するまでズーミングを行い、ついで電子ズーム手段によるズーミングはその第1の倍率に達した状態を維持したまま上記光学ズーム手段を作用させて上記ズームレンズを最短焦点距離から最長焦点距離まで変化させ、その後前記電子ズーム手段によりさらなる高倍率を実現するように、上記電子ズーム手段および上記光学ズーム手段を制御するものであることを特徴とする。
上記本発明の第1のビデオカメラによれば、上記手ぶれ補正モード設定時には、上記電子ズームの倍率が1.0倍にある状態を初期状態として上記ズーミング操作手段によりズーミングが最大倍率側に指示されたときに、上記ズームレンズを上記最短焦点距離に維持したまま、上記電子ズーム手段により上記所定の第1の倍率に達するまでズーミングが行なわれる。そうすると上記ズームレンズが最短の焦点距離の状態にあるときには、被写体が縮小されていることを利用して手ぶれの影響があまり被写体に現われないものとして電子ズームの倍率を下げて手ぶれ補正が行なわれる。すなわち、電子ズームの倍率を下げることにより撮像素子が有する撮像サイズを活用した撮影が行なわれる。
また、上記目的を達成する本発明の第2のデジタルカメラは、撮影素子上に被写体像を結像し所定のフレーム間隔で連続する一連の画像データを生成するビデオカメラであって、
ズームレンズを具備し最短焦点距離と最長焦点距離との間で焦点距離を変化させる光学ズームを行なう光学ズーム手段と、
上記撮影素子上に形成された被写体像の中央部分を、切出し自在に切出すことにより電子ズームを行なう電子ズーム手段と、
操作に応じてズーミングを指示するズーミング操作手段と、
上記ズーミング操作手段の指示に応じて上記光学ズーム手段と上記電子ズーム手段との双方によるズーミングを制御するズーミング制御手段とを備え、
さらに被写体像の切出し位置を順次調整することにより手ぶれに起因する被写体像の動きを補正する手ぶれ補正手段を備えるとともに、その手ぶれ補正手段を作用させる手ぶれ補正モードを有し、
上記ズーミング制御手段は、
上記手ぶれ補正モード未設定時には、上記ズームレンズが最短焦点距離の状態にあるとともに前記電子ズームの倍率を1.0倍にある状態を初期状態として上記ズーミング操作手段によりズーミングが最大倍率側に指示されたときに、上記電子ズーム手段の作用を停止したまま上記光学ズーム手段を作用させて上記ズームレンズを最短焦点距離から最長焦点距離まで変化させ、その後上記電子ズーム手段を作用させてさらなる高倍率を実現し、
上記手ぶれ補正モード設定時には、上記ズームレンズが最短焦点距離の状態にあるとともに上記電子ズームの倍率が1.0倍にある状態を初期状態として上記ズーミング操作手段によりズーミングが最大倍率側に指示されたときに、上記ズームレンズが最長焦点距離に達するまでは上記光学ズーム手段と上記電子ズーム手段との双方を作用させ、上記ズームレンズが最長焦点距離に達した後は上記電子ズーム手段のみを作用させてさらなる高倍率を実現するように、上記電子ズーム手段および上記光学ズーム手段を制御するものであることを特徴とする。
上記本発明の第1のビデオカメラでは、上記ズームレンズが最短焦点距離にあるときに電子ズームの倍率が1.0倍にある状態を初期状態として、上記ズーミング操作手段によりズーミングが最大倍率側に指示されたときに、上記所定の第1の倍率までは電子ズームのみを作用させて、その所定の第1の倍率に達した後は上記光学ズーム手段のみを作用させるといった様にいずれか一方のズーム手段を作用させていたが、上記本発明の第2のビデオカメラにおいては、上記ズームレンズが最短焦点距離にあるとともに電子ズームの倍率が1.0倍にある状態を初期状態として、上記ズーミング操作手段によりズーミングが最大倍率側に指示されたときに上記電子ズーム手段と上記光学ズーム手段との双方を作用させている。
このようにすると、上記第1のビデオカメラでは上記光学ズーム手段により光学ズームが行なわれているときには、上記所定の第1の倍率で固定的に電子ズームが行なわれて手ぶれ補正が行なわれるが、上記第2のビデオカメラでは、上記ズームレンズが最長焦点距離側に達するまでの光学ズームの過程において、そのズームレンズによる光学ズームの倍率に応じて手ぶれ補正用の電子ズームの倍率が効果的に設定される。したがって、手ぶれ補正用の電子ズームの倍率が光学ズームにより定められ、上記所定の第1の倍率に固定するよりも切出しサイズを大きくすることができるようになり、固体撮像素子が有する撮像サイズがさらに有効に活用される。
上記本発明の第1のビデオカメラが、複数のフレーム間隔に亘る長時間露光を行なう高感度モードを有し、
上記高感度モードと上記手ぶれ補正モードとの双方が設定されたときに作用する、画像データを上記フレーム間隔で生成させ、上記手ぶれ補正手段により上記フレーム間隔で手ぶれ補正を行なわせ手ぶれ補正後の画像データを複数のフレームに亘って相互に加算させることにより高感度画像データを生成させる高感度手ぶれ補正制御手段を備えていることが好ましい。
このように上記高感度モードのときには、上記手ぶれ補正手段によりフレーム間隔で手ぶれ補正を行なわせ、さらに上記高感度手ぶれ補正制御手段により、複数フレームに亘って相互に加算させることにより高感度の画像データが生成される。
上記本発明の第2のビデオカメラが、複数のフレーム間隔に亘る長時間露光を行なう高感度モードを有し、
上記高感度モードと前記手ぶれ補正モードとの双方が設定されたときに作用する、画像データを上記フレーム間隔で生成させ、上記手ぶれ補正手段により上記フレーム間隔で手ぶれ補正を行なわせ手ぶれ補正後の画像データを複数のフレームに亘って相互に加算させることにより高感度画像データを生成させる高感度手ぶれ補正制御手段を備えていることが好ましい。
そうすると、上記第2のビデオカメラにおいても上記第1のビデオカメラと同様の効果が得られる。
ここで、上記高感度手ぶれ補正制御手段は、上記手ぶれ補正手段に、順次連続する高感度画像データどうしの手ぶれ補正を行なわさせるものであることが好ましい。
このように上記高感度モードのときには、高感度画像データどうしの手ぶれ補正が行なわれると、例えば夜景など撮影する場合において、順次連続する高感度画像データどうしの手ぶれが補正され鮮明な画像が得られる。
また、第1のビデオカメラにおいては、上記ズーミング制御手段は、上記高感度モードと上記手ぶれ補正モードとの双方が設定されている状態にあるときは、上記初期状態に代えて、上記ズームレンズが最短焦点距離状態にあるとともに上記電子ズームが1.0倍を超え、かつ上記所定の第1の倍率よりも低い上記所定の第2の倍率にある状態を初期状態として上記ズーミング操作手段によるズーミングが最大倍率側に指示されたときに、上記ズームレンズを最短焦点距離に維持したまま、上記電子ズーム手段により上記第1の倍率に達するまでズーミングを行ない、ついで電子ズーム手段によるズーミングはその第1の倍率に達した状態を維持したまま上記光学ズーム手段を作用させて上記ズームレンズを最短焦点距離から最長焦点距離まで変化させ、その後上記電子ズーム手段によりさらなる高倍率を実現するように、上記電子ズーム手段および上記光学ズーム手段を制御するものことが好ましい。
そうすると上記高感度モードと上記手ぶれ補正モードとの双方が設定されている状態にあるときには、上記1.0倍を超え、かつ前記所定の第1の倍率よりも低い上記第2の所定の倍率を初期状態として上記ズームレンズが最短焦点距離にあるときにも電子ズームが行なわれ手ぶれ補正が行なわれる。
このように高感度モードと手ぶれ補正モードとの双方が設定された場合においては、初期状態として第2の所定の倍率が設定されて若干撮像サイズが小さくなりはするものの、上記第2の所定の倍率を上記所定の第1の倍率よりも下げた分、撮像サイズが有効に活用されて高感度の画像データが得られる。
上記第2のビデオカメラにおいては、上記ズーミング制御手段が、上記高感度モードと上記手ぶれ補正モードとの双方が設定されている状態にあるときは、上記初期状態に代えて、上記電子ズームが1.0倍を超え、かつ上記所定の第1の倍率よりも低い所定の第2の倍率にある状態を初期状態として上記ズーミング操作手段によりズーミングが最大倍率側に指示されたときに、上記ズームレンズが最長焦点に達するまでは上記光学ズーム手段と上記電子ズーム手段との双方を作用させ、上記ズームレンズが最長焦点距離に達した後は上記電子ズーム手段のみを作用させてさらなる高倍率を実現するように、上記電子ズーム手段および上記光学ズーム手段を制御するものであることが望ましい。
そうすると、この第2のビデオカメラにおいても上記第1のビデオカメラと同様の効果が得られる。
上記本発明のデジタルカメラによれば、撮像素子が有する撮像サイズが有効に活用されるデジタルカメラが実現される。
以下図面を参照して本発明の実施の形態を説明する。
以下、本発明の実施形態について説明する。
図1は本発明の実施形態であるビデオカメラ1を背面斜め上方から見た斜視図である。
図1に示すように前方にはレンズ鏡胴10が配備されている。そのレンズ鏡胴10を前方側としてこのビデオカメラ1の背面側にはモード切替スイッチ103が設けられており、このモード切替スイッチ103の操作により、録画モードと再生モードとが切り替えられる。
またそのモード切替スイッチ103の隣には録画ボタン11があり、録画モードに切り替えられた後、この録画ボタン11が一度押下されると動画の録画が開始され、再度押されると動画の録画が停止される。
このビデオカメラ1は手ぶれ補正モードを有しており、モード切替スイッチ103の下方にはその手ぶれ補正モードをオフさせるための手ぶれ補正オフスイッチ12が設けられている。本実施形態のビデオカメラ1ではデフォルトの設定として手ぶれ補正モードがオンとなるため、その手ぶれ補正オフスイッチ13がオフされない限り、手ぶれ補正モードが設定されて撮影が行なわれる。このビデオカメラ1で撮影を行なう場合に手ぶれが起こる危険性が少ないと撮影者に判定された場合、あるいは手ぶれ補正が必要ないと撮影者に判定された場合には、この手ぶれ補正オフスイッチ12が撮影者によりオフされ、手ぶれ補正モードが設定されずに通常の撮影が行なわれる。
さらに手ぶれ補正スイッチ12の下方には高感度モード設定スイッチ13があり、この切り替えスイッチ13がON側に切り替えられると、高感度モードでの撮影が行なわれる。さらに手ぶれ補正スイッチ13の隣にあるズーミング操作子14が操作されると、そのズーミング操作子14の操作に応じて、光学ズームが行なわれたり、電子ズームが行なわれたりする。
また、このビデオカメラ1本体にはファインダとなるLCD1090が設けられており、そのLCD1090が回動自在な保持部109bに保持されている。この保持部109bが回動され、図1に示すように展開されるとLCDパネル109aをファインダ代わりに使用することができる。一方、図1に示した展開状態からLCD保持部109bを反対方向に回動するとLCDパネル109aを含むLCD109がビデオカメラ1本体に収容される。
また、ビデオ端子(図示せず)も備えられており、このビデオ端子を通してテレビジョンなどが接続されると、このビデオカメラ1内のメモリカードに記録された既撮影画像が再生され、テレビジョンの画面に表示される。
図2はビデオカメラ1の内部構成を示す図である。
このビデオカメラ1が備えるCPU100内にはROMが内蔵されており、その内蔵されたROM内にプログラムが格納されている。このプログラムの手順にしたがってデジタルカメラ1全体の動作がCPU100により制御される。電源スイッチ102が投入され、撮影・再生モード切替レバー103、ズーミング操作子14、高感度設定スイッチ13、手ぶれ補正モードオフスイッチ12のうちいずれかが操作されるとCPU100に操作信号が入力される。
まず、電源スイッチ102が投入されると、CPU100により電源スイッチ102が投入されたことが検知され、電源が投入されたときにCPU100は撮影・再生モード切替レバー103の切替位置を検知して、その検知した切替位置が撮影モード103aであったら撮影処理を開始して画像をLCDパネル109a上に表示させ、切替位置が再生モード103bであったら記録メディア140に記録されている画像データに基づく画像をLCDパネル109aに表示させる。
ここで、図2を参照して動作を簡単に説明する。
CPU100は、モード切替レバー103が図2に示すように撮影モード103a側に切り替えられていることを検知して撮影処理を開始し、レンズ鏡胴に内蔵されている撮影レンズで撮像素子(以降CCDという)110に結像させた被写体を表わす画像データを所定のフレーム間隔ごとにCDSAMP111に出力させる。ここではタイミングジェネレータ(図示せず)からCCD110に所定の間隔ごとにタイミング信号を供給させて画像データをCDSAMP111に出力させている。CDSAMP111では、CCD110から出力させた画像データの雑音の低減を行なってその雑音を低減した画像データがA/D変換部112に供給される。このようにして撮影レンズでCCD110に結像させた被写体像を所定のフレーム間隔ごとにA/D部112側へ出力させ、その出力させた画像データをA/D変換部112以降の信号処理段で処理して表示に適した画像データを得て、その表示に適した画像データに基づく画像をLCDパネル109aにスルー画像として表示させている。
このLCDパネル109a上に表示されているスルー画像に基づいてユーザによって任意にフレーミングが行なわれ撮影が行なわれるため、このデジタルカメラ100を向けた方向の被写体がすぐにスルー画像として表示されるように、AF検出回路(図示せず)で常に合焦点位置を検出して撮影レンズ101の中のフォーカスレンズ101aをピント調整機構により合焦点位置に移動させている。また、このピント調整機構でのピント調整のほか、ズーミング操作子14が操作されたことを受けてCPU100は、ドライバ1013に指示を与えてモータ1012の回転によりレンズ鏡胴部内のカム筒1011を回転させることによりズームレンズ101bの位置を最短焦点距離と最長焦点距離との間で変化させて光学ズームも行なっている。図1には、撮影レンズの中のズームレンズ101bがドライバ1013とモータ1012とレンズ鏡胴10内のカム筒1011からなるズーム機構によって駆動されることが模式的に示されている。この実施形態ではカム筒1011とモータ1012とドライバ1013とが本発明にいう光学ズーム手段にあたり、ズーミング操作子14の操作に応じてズーミング制御手段にあたるCPU100がその光学ズーム手段の中のドライバ1013を制御して光学ズーム手段の中のモータ1012の回転によりカム筒1011を回転させてズームレンズ101bの位置を変更させ光学ズームを行なっている。以降の記載においては、カム筒1011とモータとドライバとを含めて光学ズーム手段1011〜1013と記載する。
また、CCD110から出力させた画像データがCDS部111、A/D部112を経て画像信号処理回路113に供給され、この画像信号処理回路113内のフレームメモリに画像データが取り込まれる。ズーミング操作子14が操作された場合に光学ズームを行なえない場合もあるのでその場合にはこの画像信号処理回路113でこの取り込んだ画像データの中央部分を、切出し面積自在に切り出す処理を画像データ上で行うことにより電子ズームの処理が行なわれる。このズーミング操作子14が本発明にいうズーミング操作手段にあたり、画像信号処理回路113が本発明にいう電子ズーム手段にあたり、CPU100がズーミング制御手段にあたる。以降の記載においては画像信号処理回路113を電子ズーム手段113と記載することもある。
このビデオカメラ1では、手ぶれ補正オフスイッチ12がオフ側に切り換えられない限り、手ぶれ補正を行なうようにしてあり、撮影時に手ぶれ検出用角度センサ119からCPU100に供給される角速度を検出して、CPU100からの位置信号に基づいて画像信号処理回路113が被写体像の切出し位置を順次調整して手ぶれ補正を行なっている。
このようにモード切替スイッチ11が撮影モードに設定され、手ぶれ補正モードオフスイッチ12、高感度モード設定スイッチ13、ズーミング操作子14の少なくとも一つが操作されたら、その操作内容に応じて、図2の各部で処理が行なわれる。
このようなビデオカメラの前方にあるレンズ鏡胴10が被写体に向けられて録画釦12が押下されると動画撮影が開始される。
この録画釦11が押下されたら、その押下を受けてその録画釦11の押下のタイミングを初めとしてその録画釦11が再度押下されるまで、所定のフレーム間隔で連続する一連の画像データがCCD110で生成される。このときにはCCD110で画像データが生成されるごとに画像データがA/D部112側に出力され、その出力された画像データがYC信号処理回路113を経て圧縮伸張処理回路114に供給される。この供給された画像データが圧縮伸張処理回路3で圧縮され、その圧縮された画像データがメディアコントロール回路115により記録メディア140に画像ファイルとして所定のフレーム間隔で次々と記録される。この動画データが記録メディアに次々と記録されていくときには、動画データにあわせて音声データも記録される。
このようにこのビデオカメラ1は、ズーミング操作子14の操作に応じて、光学ズーム手段1011〜1013をズーミング制御手段であるCPU100によって制御してズームレンズ101bを所定の最短焦点距離と所定の最長焦点距離との間で焦点距離を変化させることにより光学ズームを行なうとともに、電子ズーム手段113をCPU100によって制御して、光学ズームを行なえない範囲をカバーするように電子ズームを行なって高倍率を実現して、いろいろな倍率での動画撮影を可能にしている。
次に再生処理に係る操作を簡単に説明する。
CPU100は、撮影・再生モード切替レバー103が再生103b側に切り替えられたことを検知したら、記録メディア140内に記録されている画像データをメディアコントロール回路115により読み出させ、圧縮・伸張処理回路114で伸張処理を行なった後、その伸張された画像データを画像再生処理回路117に供給させる。この画像再生処理回路114では、伸張された画像データにLCDモニタ109aで表示するのに適した処理が施されその処理が施された画像データがLCDドライブ回路109に出力される。LCDドライブ回路109ではその画像データを受けてLCDモニタ109aを駆動し、画像データに基づく画像をLCDパネル109a上に表示させる。このときには撮影時にマイク1002で収録された音声データが音声処理回路116に供給され、この音声処理回路116でスピーカ1003に適した音声データに変換され、音声再生回路116aを介してスピーカ1003から動画撮影時に収録した音声が動画像にあわせて発音される。
また、このビデオカメラ100にはTVモニタ端子1004を用いて再生画像をTVモニタ上で楽しむことができるようにもするため、記録メディア140から読み出された画像データがビデオエンコード回路118でビデオ信号に変換され外部に出力されている。
以上のような撮影・再生機能を持ったビデオカメラで撮影が行なわれる。
図3を参照して手ぶれ補正モードスイッチ13がオフされていない場合の処理を説明する。
図3は、手ぶれ補正が行なわれるときの切出しサイズとCCDの最大撮像サイズとを示す図である。
図3には手ぶれ補正モードが設定されているときに、所定の第1の倍率ここでは1.2倍の電子ズームが行なわれて、手ぶれ補正の動きに応じて切出し位置を順次調整することにより手ぶれ補正が行なわれることが示されている。
この電子ズームの処理は、電子ズーム手段である画像信号処理回路113で行なわれており、画像信号処理回路113内において、CCD110が有する最大撮像サイズを基準(1.0倍)として画像データの中央部分Aを切出すことにより電子ズームが行なわれる。
ここでは、最外郭に表わされている最大撮像サイズの画像データの中央部分Aが1/1.2の比率で切出されて記録媒体に記録されたり、表示画面に表示されたりする例が示されている。この図3に示すように1/1.2で中央部分Aが切出されると、1.2倍の倍率で電子ズームが行なわれたことになる。つまり、この電子ズームの倍率が1.0倍であるということは、切出しが行なわれずに最大撮像サイズの画像データがそのまま使用されて電子ズームが行なわれないということになる。
手ぶれ補正を行なうときには所定の倍率例えば1.2倍の電子ズーム倍率で切り出す位置を、手ぶれ検出用角度センサ119の検出信号に応じて点線の枠B、Cで示すように順次調整することによって手ぶれに起因する被写体像の動きを補正する。ズーミング制御手段であるCPU100内では手ぶれ検出用角度センサ119により検出された角速度の積分を行なって手ぶれ時のビデオカメラの位置が割り出されているので、その割り出された位置が画像信号処理回路113に通知され、画像信号処理回路113で切出し位置の調整が行なわれている。
このようにすると、手ぶれに起因する被写体像の動きに応じて、略同一の被写体像がCCD110で生成された画像データの中から1.2倍の電子ズーム倍率で画像データの中央部分が切出し自在に切出され手ぶれ補正が行なわれた後、その手ぶれ補正が行なわれた画像データが記録メディア140に記録される。
図4は本実施形態のビデオカメラにおいて、ズーミング操作子14によりズーミングが行なわれた場合の電子ズームの倍率を示す図である。
図4の横軸はズーミング操作子の操作位置を示し、縦軸は電子ズームの倍率を示す。
手ぶれ補正モード未設定時(手ぶれ補正OFF時)には、CPU100は、ズームレンズが最短焦点距離の状態にあるときに電子ズームの倍率を1.0倍にある状態を初期状態としてズーミング操作子によりズーミングが最大倍率側に指示されたときに、電子ズーム手段の作用を停止したまま光学ズーム手段を作用させてズームレンズ101bを最短焦点距離から最長焦点距離まで変化させ、その後電子ズーム手段を作用させてさらなる高倍率を実現している。
これに対し、手ぶれ補正モード時(手ぶれ補正ON時)には、CPU100は、ズームレンズ101bが最短焦点距離の状態にあるとともに電子ズームの倍率が1.0倍にある状態を初期状態としてズーミング操作子14によりズーミングが最大倍率側に指示されたときに、ズームレンズ101bを最短焦点距離に維持したまま、電子ズーム手段113により所定の第1の倍率(1.2倍:図3参照)に達するまでズーミングを行い、ついで電子ズーム手段113によるズーミングはその第1の倍率に達した状態を維持したまま光学ズーム手段1011〜1013を作用させてズームレンズを最短焦点距離から最長焦点距離まで変化させ、その後電子ズーム手段によりさらなる高倍率を実現している。
このように手ぶれ補正モードオフスイッチ12がオフされず手ぶれ補正モードが設定された状態にあるときには、広角側においてまず電子ズームを行なって、次に光学ズームを行った後、さらに電子ズームを行なって1倍〜20倍の電子ズームを実現させている。つまり、広角側では手ぶれの影響が小さいことが利用され、電子ズームの倍率が下げられて広角撮影におけるCCD110の撮像サイズが有効に活用される。
図5は、別の実施形態を示す図である。図1と図2の構成を持つビデオカメラではあるが、ズーミング制御手段であるCPU100および画像信号処理回路113の処理が異なる。図5にはズーミング操作子14によりズーミングが行なわれた場合の電子ズームの倍率が示されている。
この別の実施形態と上記実施形態とを区別するために、以降の記載においては、上記実施形態のビデオカメラを第1のビデオカメラと記載し、この別の実施形態のビデオカメラを第2のビデオカメラと記載する。
図5に示すようにズーミング制御手段であるCPU100は、手ぶれ補正モード未設定時には、ズームレンズ101bが最短焦点距離の状態にあるとともに電子ズームの倍率を1.0倍にある状態を初期状態としてズーミング操作子14によりズーミングが最大倍率側に指示されたときに、電子ズーム手段113の作用を停止したまま光学ズーム手段を作用させてズームレンズ101bを最短焦点距離から最長焦点距離まで変化させ、その後電子ズーム手段113を作用させてさらなる高倍率を実現している。これに対し、手ぶれ補正モード設定時には、ズームレンズ101bが最短焦点距離の状態にあるときに電子ズームの倍率が1.0倍にある状態を初期状態としてズーミング操作子14によりズーミングが最大倍率側に指示されたときに、ズームレンズ101bが最長焦点距離に達するまでは光学ズーム手段1011〜1013と電子ズーム手段113との双方を作用させ、ズームレンズ101bが最長焦点距離に達した後は前記電子ズーム手段113のみを作用させてさらなる高倍率を実現するようにしている。
このようにすると、光学ズームの倍率に応じて手ぶれ補正用のズーム倍率が設定されるため、CCD110が有する撮像サイズが第1のビデオカメラに比べてさらに有効に活用される。
図6は、第1または第2のビデオカメラにより撮影が行なわれるときに手ぶれ補正モードスイッチがオフされ、通常の高感度モードが指定された場合の処理を説明する図である。
図6の横軸は時間であり、縦軸には通常CCD110で生成した1フレーム分の画像データの出力タイミングが符号Vdとして示され、高感度モードが指定されたときに複数のフレーム間隔に亘る長時間露光が行なわれるときに画像信号処理回路113内のフレームメモリに取り込まれる画像データの取り込みタイミングが符号Viとして示されている。
高感度モードが指定されていなければ、CPU100の指示に応じて所定の出力タイミングVdごとにCCD110で画像データが生成されるが、手ぶれ補正モードがオフされて高感度モードが指定された場合には自動的に長時間露光がCPU100からCCD110に指示される。ここでは、複数フレームに亘って長時間露光が行なわれる例として所定の出力タイミングVdで定められる周期の4倍の周期分の時間で露光が行なわれる例が長時間露光の例として示されている。例えば夜景を撮影する場合などにこの高感度モードが指定されると、長時間露光が行なわれてその長時間の間に所定の光量がCCDに与えられて感度の高い画像データが得られる。
ここで高感度モードに加えて手ぶれ補正モードがオン側に切り替えられると、図7に示す処理が行なわれる。
図7は第1のビデオカメラで手ぶれ補正モードと高感度モードとの双方が指定された場合の処理を説明する図である。
図7の横軸は時間であり、縦軸には図6と同様の出力タイミングVd、取り込みタイミングViに加えて、高感度画像データを得るための加算タイミングがそれぞれ示されている。
図7にはCCD110で生成した画像データの出力タイミングの4倍の周期でつまり複数のフレーム亘り高感度の画像データが生成される例が示されている。
このように、高感度モードと手ぶれ補正モードとの双方が設定されたときに作用する、画像データをフレーム間隔で生成させ、手ぶれ補正手段である画像処理回路113によりフレーム間隔で手ぶれ補正を行なわせ、さらに高感度手ぶれ補正制御手段でもある画像処理回路113で手ぶれ補正後の画像データを複数のフレームに亘って相互に加算させることにより高感度画像データを生成させる。つまり、高感度モードが指定されたときには、手ぶれ補正を行なわせてフレームごとに略同一のデータを得るようにしてこれらを加算して高感度の画像データを得て、図6に示す通常の高感度モードで得られた画像と同等の画像を得るようにしている。
図8は、第1のビデオカメラで手ぶれ補正モードと高感度モードとの双方が指定された場合のズーム処理を説明する図である。
図8に示すように高感度モードが指定された場合には、図4に示すように初期状態の倍率を1.0としてしまうと、画像の中央部分を切り出す余裕分がなくなってしまい、画像の中央部分を自在に切り出すことにより電子ズームを行なって手ぶれ補正を行なうという訳にはいかなくなるので、電子ズームの倍率の下げ方に制限を加えている。つまり、CPU100は、高感度モードと手ぶれ補正モードとの双方が設定されている状態にあるときは、図4に示す初期状態に代えて、ズームレンズ101bが最短焦点距離状態にあるとともに電子ズームが1.0倍を超え、かつ所定の第1の倍率ここでは1.2倍よりも低い所定の第2の倍率にある状態を初期状態としてズーミング操作子14によりズーミングが最大倍率側に指示されたときに、ズームレンズ101bを最短焦点距離に維持したまま、電子ズーム手段113により第1の倍率に達するまでズーミングを行ない、ついで電子ズーム手段113によるズーミングはその所定の第1の倍率に達した状態を維持したまま光学ズーム手段1011〜1013を作用させてズームレンズ101bを最短焦点距離から最長焦点距離まで変化させ、その後電子ズーム手段113によりさらなる高倍率を実現するように、CPU100により電子ズーム手段113および光学ズーム手段1011〜1013が制御される。
このようにするとCCD110の撮像サイズが活用されるとともにフレームごとに手ぶれ補正が行なわれた画像データを相互に加算することにより長時間露光が行なわれて高感度データが生成される。さらに順次連続して生成される高感度データどうしの手ぶれ補正が画像信号処理回路113で行なわれて、鮮明な画像が長時間露光ごとに生成される。
図9はズーミング制御手段であるCPU100が行なう処理の手順を示すフローチャートである。
ステップS901で高感度モードであるかとうかを判定する。ここで高感度設定スイッチがON側に切り替えられていて高感度モードであると判定したらYes側に進み、ステップS902でズームレンズを最短焦点距離の状態にあるときの電子ズームの倍率を、1.0を超え、かつ所定の第1の倍率ここでは1.2倍よりも低い第2の倍率にする。
またステップS901で高感度設定スイッチがオフ側に切り換えられておらず高感度モードではないと判定したら、No側に進みステップS903でズームレンズが最短焦点距離の状態にあるときの電子ズームの倍率を1.0にする。
このようにすると、高感度モードでないときには、CCDの撮像サイズがフルに活用され、高感度モードのときには長時間露光を行なえる程度の電子ズームが初期状態として設定されて高感度データが順次連続して生成される。さらにその順次連続して生成された高感度データどうしの手ぶれ補正も行なわれ、一つ間に長時間露光された画像と現在長時間露光された画像どうしに相関を持たせた、鮮明な画像が得られる。
図10は、第2のビデオカメラで手ぶれ補正モードと高感度モードとの双方が指定された場合のズーム処理を説明する図である。
また、このビデオカメラは、高感度モードと手ぶれ補正モードとの双方が設定されている状態にあるときは、初期状態に代えて、電子ズームが1.0倍を超える所定の第2の倍率にある状態を初期状態としてズーミング操作子によりズーミングが最大倍率側に指示されたときに、ズームレンズが最長焦点に達するまでは光学ズーム手段1011〜1013と電子ズーム手段113との双方を作用させ、ズームレンズ101bが最長焦点距離に達した後は電子ズーム手段113のみを作用させてさらなる高倍率を実現するように、電子ズーム手段113および光学ズーム手段1011〜1013がCPU100により制御される。
図11は図10の場合にCPU100が行なう処理手順を示すフローチャートである。
ステップS1101で高感度モードであるかとうかを判定する。ここで高感度設定スイッチがON側に切り替えられていて高感度モードであると判定したらYes側に進み、ステップS1102でズームレンズ101bを最短焦点距離の状態にあるときの電子ズームの倍率を、1.0を超え、かつ所定の第1の倍率ここでは1.2倍よりも低い所定の第2の倍率にするように画像信号処理回路113に電子ズームを行なわせるとともに、ズーミング操作子14の操作に応じて光学ズーム手段1011〜1013による光学ズームと電子ズーム手段113による電子ズームとの双方を作用させてズーム倍率を定めて高感度の画像データを生成する。
またステップS1101で高感度設定スイッチ13がオフ側に切り換えられておらず高感度モードではないと判定したら、No側に進みステップS1103でズームレンズ101bが最短焦点距離の状態にあるときの電子ズームの倍率を1.0にして電子ズーム手段113による電子ズームと光学ズーム手段1011〜1013による光学ズームとの双方を作用させてズーム倍率を定めて図5と同様の処理を行なって画像データを生成する。
このようにCCD110の撮像サイズがフルに活用され、高感度モードのときには長時間露光を行なえる程度の電子ズームが初期状態として設定されて長時間露光が行なわれ、一つ前の長時間露光と現在の長時間露光とで生成された画像データどうしの手ぶれ補正も行なわれて、それら画像データどうしに相関を持たせた高感度データが順次連続して生成される。
なお、本実施形態のビデオカメラでは角速度センサで検出された角速度をCPUで積分することによって手ぶれに起因する動きに応じた位置を割り出しているが、動きベクトル検出部を有するビデオカメラであれば、動きベクトル検出部の検出結果に応じて切出し位置を調整することができるため、角速度センサを設けなくても良い。
本発明の実施形態であるビデオカメラ1を背面斜め上方から見た斜視図である。 ビデオカメラ1の内部構成を示す図である。 最大撮像サイズ、および手ぶれ補正スイッチがオフされずに手ぶれ補正が行なわれるときの電子ズームによる切出しサイズとを示す図である。 ズーミング操作子14によりズーム操作が行なわれた場合の電子ズームの倍率を示す図である。 別の実施形態を示す図である。 手ぶれ補正モードスイッチがオフされ、高感度モードスイッチがON側に切り替えられて通常の高感度モードで撮影が行なわれる場合の処理を説明する図である。 第1のビデオカメラまたは第2のビデオカメラで手ぶれ補正モードと高感度モードとの双方が設定された場合の処理を説明する図である。 第1のビデオカメラで手ぶれ補正モードと高感度モードとの双方が指定された場合のズーム処理を説明する図である。 図8の場合にズーミング制御手段であるCPU100が行なう処理の手順を示すフローチャートである。 第2のビデオカメラで手ぶれ補正モードと高感度モードとの双方が指定された場合のズーム処理を説明する図である。 図10の場合にCPU100が行なう処理手順を示すフローチャートである。
符号の説明
1 ビデオカメラ
10 レンズ鏡胴
101a フォーカスレンズ
101b ズームレンズ
1011 カム筒
11 録画釦
12 手ぶれ補正モードオフスイッチ
13 高感度モード設定スイッチ
14 ズーミング操作子(ズーミング操作手段)
100 CPU(ズーミング制御手段)
1011〜1013 光学ズーム手段
1011 カム筒
1012 モータ
1013 ドライバ
109 LCDドライブ回路
109a LCDモニタ
110 CCD
111 CDSAMP
112 A/D変換部
113 画像信号処理回路(電子ズーム手段、手ぶれ補正手段、高感度手ぶれ補正制御手段)
114 圧縮・伸張処理回路
115 メディアコントロール回路
116 音声処理回路
117 画像再生処理回路
118 ビデオエンコード回路
119 手ぶれ検出用角度センサ

Claims (7)

  1. 撮像素子上に被写体像を結像し所定のフレーム間隔で連続する一連の画像データを生成するビデオカメラにおいて、
    ズームレンズを具備し最短焦点距離と最長焦点距離との間で焦点距離を変化させる光学ズームを行なう光学ズーム手段と、
    前記撮像素子上に形成された被写体像の中央部分を、切出し自在に切出すことにより電子ズームを行なう電子ズーム手段と、
    操作に応じてズーミングを指示するズーミング操作手段と、
    前記ズーミング操作手段の指示に応じて前記光学ズーム手段と前記電子ズーム手段との双方によるズーミングを制御するズーミング制御手段とを備え、
    さらに被写体像の切出し位置を順次調整することにより手ぶれに起因する被写体像の動きを補正する手ぶれ補正手段を備えるとともに、該手ぶれ補正手段を作用させる手ぶれ補正モードを有し、
    前記ズーミング制御手段は、
    前記手ぶれ補正モード未設定時には、前記ズームレンズが最短焦点距離の状態にあるとともに前記電子ズームの倍率を1.0倍にある状態を初期状態として前記ズーミング操作手段によりズーミングが最大倍率側に指示されたときに、前記電子ズーム手段の作用を停止したまま前記光学ズーム手段を作用させて前記ズームレンズを最短焦点距離から最長焦点距離まで変化させ、その後前記電子ズーム手段を作用させてさらなる高倍率を実現し、
    前記手ぶれ補正モード設定時には、前記ズームレンズが最短焦点距離の状態にあるとともに前記電子ズームの倍率が1.0倍にある状態を初期状態として前記ズーミング操作手段によりズーミングが最大倍率側に指示されたときに、前記ズームレンズを最短焦点距離に維持し、前記電子ズーム手段により所定の第1の倍率に達するまでズーミングを行い、次いで該電子ズーム手段によるズーミングは該第1の倍率に達した状態を維持したまま前記光学ズーム手段を作用させて前記ズームレンズを最短焦点距離から最長焦点距離まで変化させ、その後前記電子ズーム手段によりさらなる高倍率を実現するように、前記電子ズーム手段および前記光学ズーム手段を制御するものであることを特徴とするビデオカメラ。
  2. 撮像素子上に被写体像を結像し所定のフレーム間隔で連続する一連の画像データを生成するビデオカメラにおいて、
    ズームレンズを具備し最短焦点距離と最長焦点距離との間で焦点距離を変化させる光学ズームを行なう光学ズーム手段と、
    前記撮影素子上に形成された被写体像の中央部分を、切出し自在に切出すことにより電子ズームを行なう電子ズーム手段と、
    操作に応じてズーミングを指示するズーミング操作手段と、
    前記ズーミング操作手段の指示に応じて前記光学ズーム手段と前記電子ズーム手段との双方によるズーミングを制御するズーミング制御手段とを備え、
    さらに被写体像の切出し位置を順次調整することにより手ぶれに起因する被写体像の動きを補正する手ぶれ補正手段を備えるとともに、該手ぶれ補正手段を作用させる手ぶれ補正モードを有し、
    前記ズーミング制御手段は、
    前記手ぶれ補正モード未設定時には、前記ズームレンズが最短焦点距離の状態にあるとともに前記電子ズームの倍率を1.0倍にある状態を初期状態として前記ズーミング操作手段によりズーミングが最大倍率側に指示されたときに、前記電子ズーム手段の作用を停止したまま前記光学ズーム手段を作用させて前記ズームレンズを最短焦点距離から最長焦点距離まで変化させ、その後前記電子ズーム手段を作用させてさらなる高倍率を実現し、
    前記手ぶれ補正モード設定時には、前記ズームレンズが最短焦点距離の状態にあるとともに前記電子ズームの倍率が1.0倍にある状態を初期状態として前記ズーミング操作手段によりズーミングが最大倍率側に指示されたときに、前記ズームレンズが最長焦点距離に達するまでは前記光学ズーム手段と前記電子ズーム手段との双方を作用させ、前記ズームレンズが最長焦点距離に達した後は前記電子ズーム手段のみを作用させてさらなる高倍率を実現するように、前記電子ズーム手段および前記光学ズーム手段を制御するものであることを特徴とするビデオカメラ。
  3. このビデオカメラが、複数のフレーム間隔に亘る長時間露光を行なう高感度モードを有し、
    前記高感度モードと前記手ぶれ補正モードとの双方が設定されたときに作用する、画像データを前記フレーム間隔で生成させ前記手ぶれ補正手段により前記フレーム間隔で手ぶれ補正を行なわせ手ぶれ補正後の画像データを複数のフレームに亘って相互に加算させることにより高感度画像データを生成させる高感度手ぶれ補正制御手段を備えたことを特徴とする請求項1記載のビデオカメラ。
  4. このビデオカメラが、複数のフレーム間隔に亘る長時間露光を行なう高感度モードを有し、
    前記高感度モードと前記手ぶれ補正モードとの双方が設定されたときに作用する、画像データを前記フレーム間隔で生成させ前記手ぶれ補正手段により前記フレーム間隔で手ぶれ補正を行なわせ手ぶれ補正後の画像データを複数のフレームに亘って相互に加算させることにより高感度画像データを生成させる高感度手ぶれ補正制御手段を備えたことを特徴とする請求項2記載のビデオカメラ。
  5. 前記高感度手ぶれ補正制御手段は、前記手ぶれ補正手段に、順次連続する高感度画像データどうしの手ぶれ補正を行なわさせるものであることを特徴とする請求項3又は4記載のビデオカメラ。
  6. 前記ズーミング制御手段は、前記高感度モードと前記手ぶれ補正モードとの双方が設定されている状態にあるときは、前記初期状態に代えて、前記ズームレンズが最短焦点距離状態にあるとともに前記電子ズームが1.0倍を超え、かつ前記第1の倍率よりも低い所定の第2の倍率にある状態を初期状態として前記ズーミング操作手段によりズーミングが最大倍率側に指示されたときに、前記ズームレンズを最短焦点距離に維持したまま前記電子ズーム手段により前記第1の倍率に達するまでズーミングを行ない、ついで電子ズーム手段によるズーミングは該第1の倍率に達した状態を維持したまま前記光学ズーム手段を作用させて前記ズームレンズを最短焦点距離から最長焦点距離まで変化させ、その後前記電子ズーム手段によりさらなる高倍率を実現するように、前記電子ズーム手段および前記光学ズーム手段を制御するものであることを特徴とする請求項3記載のビデオカメラ。
  7. 前記ズーミング制御手段は、前記高感度モードと前記手ぶれ補正モーととの双方が設定されている状態にあるときは、前記初期状態に代えて、前記電子ズームが1.0倍を超える所定の第2の倍率にある状態を初期状態として、前記ズーミング操作手段によりズーミングが最大倍率側に指示されたときに、前記ズームレンズが最長焦点に達する迄は前記光学ズーム手段と前記電子ズーム手段との双方を作用させ、前記ズームレンズが最長焦点距離に達した後は前記電子ズーム手段のみを作用させてさらなる高倍率を実現するように、前記電子ズーム手段および前記光学ズーム手段を制御するものであることを特徴とする請求項4記載のビデオカメラ。
JP2003347744A 2003-10-07 2003-10-07 ビデオカメラ Expired - Fee Related JP4131948B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003347744A JP4131948B2 (ja) 2003-10-07 2003-10-07 ビデオカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003347744A JP4131948B2 (ja) 2003-10-07 2003-10-07 ビデオカメラ

Publications (2)

Publication Number Publication Date
JP2005117283A JP2005117283A (ja) 2005-04-28
JP4131948B2 true JP4131948B2 (ja) 2008-08-13

Family

ID=34540153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003347744A Expired - Fee Related JP4131948B2 (ja) 2003-10-07 2003-10-07 ビデオカメラ

Country Status (1)

Country Link
JP (1) JP4131948B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240733A (ja) * 2006-03-07 2007-09-20 Pentax Corp 防振機能付きカメラ
JP2007306353A (ja) * 2006-05-12 2007-11-22 Opt Kk 動画の表示方法、動画表示システムおよび広角動画撮像装置
JP5043635B2 (ja) * 2007-12-28 2012-10-10 キヤノン株式会社 撮像装置
JP5159573B2 (ja) * 2008-11-14 2013-03-06 キヤノン株式会社 撮像装置、ズーム制御方法
JP5207955B2 (ja) 2008-12-24 2013-06-12 三洋電機株式会社 電子カメラ

Also Published As

Publication number Publication date
JP2005117283A (ja) 2005-04-28

Similar Documents

Publication Publication Date Title
JP5083855B2 (ja) 撮影装置
JP4979969B2 (ja) 撮像装置および撮像方法
JP4761146B2 (ja) 撮像装置及びそのプログラム
US7526195B2 (en) Digital photographing apparatus having two display panels, and method of controlling the same
JP2001203930A (ja) 撮像装置
JP4752466B2 (ja) 撮像装置
JP4621152B2 (ja) 撮像装置、その制御方法、およびプログラム
WO2017090233A1 (ja) 撮像装置
JP4822430B2 (ja) 撮像装置および撮影方法
JP5061631B2 (ja) 撮影装置及び撮影方法
KR20110055241A (ko) 손 떨림 보정 모듈을 구비하는 디지털 촬영 장치 및 이의 제어 방법
JP4977569B2 (ja) 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置
JP2006033123A (ja) 撮像装置
JP2005228400A (ja) 音声記録装置及び音声記録方法
JP4131948B2 (ja) ビデオカメラ
JP4399668B2 (ja) 撮影装置
JP2011216958A (ja) 撮像装置、及びプログラム
US9648220B2 (en) Imaging apparatus, imaging apparatus body and image sound output method
JP6663282B2 (ja) 撮像装置、撮像システム、撮像方法およびプログラム
JP5105298B2 (ja) 撮像装置及びそのプログラム
JP2006339728A (ja) 撮像装置及びそのプログラム
JP2005181456A (ja) 撮像装置及び遮蔽板駆動方法
JP2007088747A (ja) 画像再生表示方法及び装置並びに撮影装置
JP4938101B2 (ja) 撮像装置および撮影方法
JP2011186375A (ja) 撮影装置、撮影方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060518

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080529

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees