JP4924321B2 - Imaging apparatus, camera shake detection element calibration execution method, and program - Google Patents

Imaging apparatus, camera shake detection element calibration execution method, and program Download PDF

Info

Publication number
JP4924321B2
JP4924321B2 JP2007242101A JP2007242101A JP4924321B2 JP 4924321 B2 JP4924321 B2 JP 4924321B2 JP 2007242101 A JP2007242101 A JP 2007242101A JP 2007242101 A JP2007242101 A JP 2007242101A JP 4924321 B2 JP4924321 B2 JP 4924321B2
Authority
JP
Japan
Prior art keywords
value
camera shake
calibration
reference voltage
average value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007242101A
Other languages
Japanese (ja)
Other versions
JP2009077021A (en
Inventor
俊弘 大沢
隆広 水品
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2007242101A priority Critical patent/JP4924321B2/en
Publication of JP2009077021A publication Critical patent/JP2009077021A/en
Application granted granted Critical
Publication of JP4924321B2 publication Critical patent/JP4924321B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

本発明は、手振れ等による撮影画像の振れを手振れ検出素子により検出し、この撮影画像の振れを補正する補正機構を備えた撮像装置等に関する。   The present invention relates to an imaging apparatus or the like provided with a correction mechanism that detects shake of a captured image due to camera shake or the like by a camera shake detection element and corrects the shake of the captured image.

近年、CCD(Charge−Coupled Devices)やCMOS(Complementary Metal−Oxide Semiconductor)センサ等の固体撮像素子の高解像度化に伴い、撮影機能を有する様々な情報機器の需要が急速に高まっている。また、こうした状況に対応して、これら情報機器の小型、軽量化が進められている。しかし、これらの小型、軽量の情報機器は、携帯に便利であるという利点がある反面、撮影時のカメラの保持状態によっては、手振れの問題を起こしやすいという問題がある。   In recent years, with the increase in the resolution of solid-state imaging devices such as CCD (Charge-Coupled Devices) and CMOS (Complementary Metal-Oxide Semiconductor) sensors, the demand for various information devices having imaging functions is rapidly increasing. In response to this situation, the size and weight of these information devices are being reduced. However, these small and lightweight information devices have an advantage that they are convenient to carry, but there is a problem that camera shake is likely to occur depending on the holding state of the camera at the time of shooting.

そのため、撮影画像の手振れを機械的に防止するため、例えば、ジャイロセンサ等の手振れ検出素子を備え、ジャイロセンサからの出力電圧から手振れの方向と手振れ量を検出し、この値に応じて、イメージセンサをシフトさせるような方法があった。   Therefore, in order to mechanically prevent camera shake of the photographed image, for example, a camera shake detection element such as a gyro sensor is provided, and the direction and the amount of camera shake are detected from the output voltage from the gyro sensor. There was a way to shift the sensor.

ところが、ジャイロセンサには、キャリブレーションが必要であるが、従来の手ぶれ補正機構では、ジャイロセンサからの出力電圧値が「手ぶれ」動作による出力なのか、撮像装置が置かれている状態なのか、または、ノイズ信号によるものなのか判断するのが困難であった。従って、ジャイロセンサのキャリプレーションを実行する場合、工場や修理作業場などの振動やノイズから遮断された環境下で行われていた。   However, the gyro sensor needs to be calibrated, but in the conventional camera shake correction mechanism, whether the output voltage value from the gyro sensor is an output due to the “camera shake” operation or whether the imaging device is placed, Or, it was difficult to determine whether it was due to a noise signal. Therefore, when the calibration of the gyro sensor is executed, it is performed in an environment that is shielded from vibration and noise in a factory, a repair work place, or the like.

こうした問題を回避するために、撮像装置が三脚に取り付けられた状態にあり、かつ、振れの少ない状態で、ジャイロセンサ等の手振れ検出素子のキャリプレーションを実行する技術が知られている(例えば、特許文献1参照。)。
特開2003−189164号公報
In order to avoid such a problem, a technique for performing calibration of a shake detection element such as a gyro sensor in a state in which the imaging apparatus is attached to a tripod and with little shake is known (for example, , See Patent Document 1).
JP 2003-189164 A

しかしながら、上記のような従来の手ぶれ補正機構では、撮像装置の工場出荷時や故障による修理時に行うジャイロセンサのキャリブレーションを実行する為、経年劣化、環境変化等によって、ジャイロセンサの基準電圧値が変化しても、再度、キャリブレーションを実行することが出来ず、手ぶれ補正の精度が劣化してしまうといった問題があった。また、上記特許文献1に記載の技術では、三脚を用いることが必須の要件となっているために、三脚を用いない場合には、上記と同様に、キャリブレーションを実行することが出来ず、手ぶれ補正の精度が劣化してしまうといった問題があった。   However, in the conventional image stabilization mechanism as described above, since the calibration of the gyro sensor is performed at the time of factory shipment of the imaging device or at the time of repair due to a failure, the reference voltage value of the gyro sensor is changed due to aging deterioration, environmental change, etc. Even if it changes, there is a problem that the calibration cannot be executed again and the accuracy of camera shake correction deteriorates. Further, in the technique described in Patent Document 1, since it is an essential requirement to use a tripod, if the tripod is not used, the calibration cannot be performed as described above, There has been a problem that the accuracy of camera shake correction deteriorates.

そこで、本発明は、上述の課題に鑑みてなされたものであり、適切なタイミングでジャイロセンサ等の手振れ検出素子のキャリプレーションを実行することができる撮像装置、手振れ検出素子のキャリブレーション実行方法およびプログラムを提供することを目的とする。   Therefore, the present invention has been made in view of the above-described problem, and an imaging apparatus capable of executing calibration of a shake detection element such as a gyro sensor at an appropriate timing, and a calibration execution method of the shake detection element And to provide a program.

本発明は、上記の課題を解決するために、以下の事項を提案している。   The present invention proposes the following matters in order to solve the above problems.

(1)本発明は、充電状態を検出する検出手段と、手振れ検出素子のキャリブレーションを実行するキャリブレーション実行手段と、該検出手段が充電開始を検出したときに、該キャリブレーション実行手段におけるキャリブレーションの開始を制御する制御手段と、を備えたことを特徴とする撮像装置を提案している。   (1) The present invention relates to a detection unit that detects a charge state, a calibration execution unit that performs calibration of a camera shake detection element, and a calibration in the calibration execution unit when the detection unit detects the start of charging. And an image pickup apparatus characterized by comprising control means for controlling the start of an image.

(2)本発明は、(1)の撮像装置について、手振れ検出素子の出力値を所定数取得して、出力値の平均値を算出する算出手段と、該算出した出力値の平均値と基準電圧値との差が所定値以下であるか否かを判断する差分判定手段と、前記算出した出力値の平均値と基準電圧値との差が所定値以下である場合に基準電圧値を平均値で更新する更新手段と、をさらに備えたことを特徴とする撮像装置を提案している。   (2) According to the present invention, with respect to the imaging device of (1), a predetermined number of output values of the camera shake detection element are obtained, and a calculation means for calculating an average value of the output values, an average value of the calculated output values and a reference A difference determining means for determining whether or not a difference from the voltage value is equal to or less than a predetermined value; and if the difference between the average value of the calculated output value and the reference voltage value is equal to or less than a predetermined value, the reference voltage value is averaged An image pickup apparatus characterized by further comprising update means for updating with a value is proposed.

(3)本発明は、(1)または(2)の撮像装置について、前記制御手段は、前記検出手段が充電開始あるいは充電中止であることを検出したときに、該キャリブレーション実行手段にキャリブレーション開始信号あるいはキャリブレーション終了信号を送信して、該キャリブレーション実行手段を制御することを特徴とする撮像装置を提案している。   (3) According to the present invention, in the imaging device of (1) or (2), when the control unit detects that the detection unit starts or stops charging, the calibration execution unit performs calibration. There has been proposed an imaging apparatus characterized by transmitting a start signal or a calibration end signal to control the calibration execution means.

(4)本発明は、(1)または(2)の撮像装置について、前記制御手段は、前記検出手段が充電開始あるいは充電中止であることを検出したときに、該キャリブレーション実行手段にキャリブレーション開始信号あるいはキャリブレーション終了信号を送信して、該キャリブレーション実行手段を制御することを特徴とする撮像装置を提案している。   (4) According to the present invention, in the imaging device of (1) or (2), when the control unit detects that the detection unit has started charging or stopped charging, the calibration execution unit performs calibration. There has been proposed an imaging apparatus characterized by transmitting a start signal or a calibration end signal to control the calibration execution means.

(5)本発明は、撮像装置における手振れ検出素子のキャリブレーション実行方法であって、該撮像装置本体の充電状態を検出する第1のステップと、該充電開始を検出したときに、手振れ補正モジュールを起動させる第2のステップと、手振れ検出素子の出力値を所定数取得して、出力値の平均値を算出する第3のステップと、該算出した出力値の平均値と基準電圧値との差が所定値以下であるか否かを判断する第4のステップと、前記算出した出力値の平均値と基準電圧値との差が所定値以下である場合に、基準電圧値を平均値で更新し、前記算出した出力値の平均値と基準電圧値との差が所定値よりも大きい場合に、前記第1のステップに処理を戻す第5のステップと、を有することを特徴とする手振れ検出素子のキャリブレーション実行方法を提案している。   (5) The present invention is a method for performing calibration of a camera shake detection element in an imaging apparatus, the first step of detecting a charging state of the imaging apparatus main body, and a camera shake correction module when detecting the start of charging. A second step of activating the first step, a third step of obtaining a predetermined number of output values of the shake detecting element and calculating an average value of the output values, and an average value of the calculated output values and a reference voltage value A fourth step of determining whether or not the difference is less than or equal to a predetermined value; and if the difference between the calculated average value of the output value and the reference voltage value is less than or equal to a predetermined value, the reference voltage value is A fifth step of updating and returning the processing to the first step when the difference between the average value of the calculated output value and the reference voltage value is greater than a predetermined value. Calibration of detector element It has proposed a line method.

(6)本発明は、撮像装置内のコンピュータに、撮像装置における手振れ検出素子のキャリブレーション実行させるためのプログラムであって、該撮像装置本体の充電状態を検出する第1のステップと、該充電開始を検出したときに、手振れ補正モジュールを起動させる第2のステップと、手振れ検出素子の出力値を所定数取得して、出力値の平均値を算出する第3のステップと、該算出した出力値の平均値と基準電圧値との差が所定値以下であるか否かを判断する第4のステップと、前記算出した出力値の平均値と基準電圧値との差が所定値以下である場合に、基準電圧値を平均値で更新し、前記算出した出力値の平均値と基準電圧値との差が所定値よりも大きい場合に、前記第1のステップに処理を戻す第5のステップと、をコンピュータに実行させるためのプログラムを提案している。   (6) The present invention is a program for causing a computer in an imaging apparatus to execute calibration of a camera shake detection element in the imaging apparatus, the first step of detecting a charging state of the imaging apparatus body, and the charging A second step of activating the camera shake correction module when the start is detected, a third step of obtaining a predetermined number of output values of the camera shake detection element and calculating an average value of the output values, and the calculated output A fourth step of determining whether or not the difference between the average value of the values and the reference voltage value is less than or equal to a predetermined value, and the difference between the calculated average value of the output values and the reference voltage value is less than or equal to a predetermined value A reference voltage value is updated with an average value, and if the difference between the calculated average value of the output value and the reference voltage value is greater than a predetermined value, the fifth step returns the processing to the first step. And the computer It has proposed a program to be executed by the.

本発明によれば、撮影装置の充電中にキャリブレーションを実施することによって、常に、適切なタイミングで手ぶれ補正の精度を保つことができるという効果がある。また、手ぶれ補正の精度が低下したときに、ユーザーにメンテナンスを行わせることが無い為、ユーザーの負担が大幅に軽減されるという効果がある。   According to the present invention, it is possible to always maintain the accuracy of camera shake correction at an appropriate timing by performing calibration while the photographing apparatus is being charged. In addition, since the user is not allowed to perform maintenance when the accuracy of camera shake correction is reduced, there is an effect that the burden on the user is greatly reduced.

以下、本発明の実施形態について、図面を用いて、詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Note that the constituent elements in the present embodiment can be appropriately replaced with existing constituent elements and the like, and various variations including combinations with other existing constituent elements are possible. Therefore, the description of the present embodiment does not limit the contents of the invention described in the claims.

<第1の実施形態>
図1から図3を用いて、第1の実施形態について説明する。
<First Embodiment>
The first embodiment will be described with reference to FIGS. 1 to 3.

<撮像装置の電気的構成>
本実施形態に係る撮像装置100は、図1に示すように、キー入力部10と、ストロボ発光部20と、LCD21と、レンズ30と、レンズ駆動ブロック31と、絞り兼用シャッター32と、CCD40と、画像処理部41と、充電状態検出部42と、外部通信I/F(Interface)43と、ストロボ駆動部44と、記録メディア45と、記録メディアI/F(Interface)46と、メモリ47と、DRAM(Dynamic Random Access Memory)48と、手振れ補正部50と、CPU(Central Processing Unit)60と、を備えており、記録メディアI/F46には、図示しない撮像装置100本体のカードスロットにメモリカード等の記録メディア45が着脱可能に接続される。
<Electrical configuration of imaging device>
As shown in FIG. 1, the imaging apparatus 100 according to the present embodiment includes a key input unit 10, a strobe light emitting unit 20, an LCD 21, a lens 30, a lens driving block 31, an aperture / shutter 32, and a CCD 40. , Image processing unit 41, charging state detection unit 42, external communication I / F (Interface) 43, strobe drive unit 44, recording medium 45, recording medium I / F (Interface) 46, memory 47, , A DRAM (Dynamic Random Access Memory) 48, a camera shake correction unit 50, and a CPU (Central Processing Unit) 60. The recording medium I / F 46 has a memory in a card slot of the imaging apparatus 100 main body (not shown). A recording medium 45 such as a card is detachably connected. That.

キー入力部10は、モードダイヤル、電源ボタン、シャッターボタン、Playボタン、Recボタン、動画ボタン、SETキー、コントロールボタン、MENUボタン、DISPキー等の複数の操作キーを含み、ユーザーのキー操作に応じた操作信号をCPU60に出力する。   The key input unit 10 includes a plurality of operation keys such as a mode dial, a power button, a shutter button, a Play button, a Rec button, a moving image button, a SET key, a control button, a MENU button, a DISP key, and the like according to a user's key operation. The operation signal is output to the CPU 60.

レンズ30は、フォーカスレンズ、ズームレンズを含み、レンズ駆動ブロック31が接続されている。このレンズ駆動ブロック31は、図示しないフォーカスレンズ、ズームレンズをそれぞれ撮像面と平行な光軸方向に駆動させるフォーカスモータおよびズームモータと、CPU60からの制御信号にしたがってフォーカスモータおよびズームモータをそれぞれ駆動させるフォーカスドライバおよびズームモータドライバから構成されている。   The lens 30 includes a focus lens and a zoom lens, and a lens driving block 31 is connected thereto. The lens drive block 31 drives a focus motor and a zoom motor that drive a focus lens and a zoom lens (not shown) in an optical axis direction parallel to the imaging surface, respectively, and a focus motor and a zoom motor according to a control signal from the CPU 60, respectively. It consists of a focus driver and a zoom motor driver.

絞り兼用シャッター32は、図示しない駆動回路を含み、この駆動回路はCPU60から送られてくる制御信号にしたがって絞り兼用シャッターを動作させる。なお、この絞り兼用シャッター32は、絞りとシャッターとして機能する。   The aperture / shutter 32 includes a drive circuit (not shown), and this drive circuit operates the aperture / shutter according to a control signal sent from the CPU 60. The aperture / shutter 32 functions as an aperture and a shutter.

ここで、絞りとは、撮像レンズ30から入ってくる光の量を制御する機構をいい、シャッターとは、CCD40に光を当てる時間を制御する機構をいう。また、CCD40に光を当てる時間(露出時間)は、シャッターの開閉速度(シャッター速度)によって変化するため、露出量は、この絞りとシャッター速度とによって定めることができる。   Here, the aperture refers to a mechanism that controls the amount of light that enters from the imaging lens 30, and the shutter refers to a mechanism that controls the time during which light is applied to the CCD 40. In addition, since the time during which light is applied to the CCD 40 (exposure time) varies depending on the shutter opening / closing speed (shutter speed), the amount of exposure can be determined by the aperture and the shutter speed.

CCD40は、撮像レンズ30および絞り兼用シャッター32を介して投影された被写体の光を電気信号に変換し、撮像信号として画像処理部41に出力する。   The CCD 40 converts the light of the subject projected through the imaging lens 30 and the aperture / shutter 32 into an electrical signal, and outputs the electrical signal to the image processing unit 41.

画像処理部41は、CCD40から出力される撮像信号を相関二重サンプリングして保持するCDS(Correlated Double Sampling)回路、そのサンプリング後の撮像信号の自動利得調整を行うAGC(Automatic Gain Control)回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するA/D変換器等から構成されている。また、このデジタル信号の画像処理(画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等)を実行する。   The image processing unit 41 is a CDS (Correlated Double Sampling) circuit that holds the imaging signal output from the CCD 40 by correlated double sampling, an AGC (Automatic Gain Control) circuit that performs automatic gain adjustment of the imaging signal after the sampling, The analog gain signal after the automatic gain adjustment is composed of an A / D converter that converts it into a digital signal. Further, image processing (pixel interpolation processing, γ correction, generation of luminance / color difference signals, white balance processing, exposure correction processing, etc.) of the digital signal is executed.

CPU60は、撮像装置100の各部を制御プログラムにしたがって制御するワンチップマイコンであって、時刻を計時するクロック回路を含む。   The CPU 60 is a one-chip microcomputer that controls each unit of the imaging apparatus 100 according to a control program, and includes a clock circuit that measures time.

DRAM48は、表示データ等の各種データを一時保存する。また、CPU60のワーキングメモリとしても使用される。   The DRAM 48 temporarily stores various data such as display data. It is also used as a working memory for the CPU 60.

外部通信I/F43は、外部の電子機器(例えば、パーソナルコンピュータ)との間でデータの入出力を行うものであり、USB規格、IEEE1394規格等の各種インターフェース規格による入出力を可能としており、これらの規格によるデータ入出力が可能なパソコン等の電子機器と接続可能となっている。また、IrDA規格による赤外線通信、Bluetooth規格による無線通信により外部の電子機器と画像データの入出力を可能としているものでも良い。   The external communication I / F 43 performs data input / output with an external electronic device (for example, a personal computer), and enables input / output according to various interface standards such as the USB standard and the IEEE 1394 standard. It can be connected to electronic devices such as personal computers that can input and output data according to the above standards. In addition, image data may be input / output to / from an external electronic device by infrared communication based on the IrDA standard or wireless communication based on the Bluetooth standard.

ストロボ駆動部44は、CPU60の制御信号にしたがって、ストロボ発光部20を閃光駆動させ、ストロボ発光部20は、これによりストロボを閃光させる。CPU60は、図示しない測光回路により、撮影シーンが暗いか否かを判断し、撮影シーンが暗いと判断し、かつ、撮影を行う場合(シャッターボタン4の押下時)には、ストロボ駆動部44に制御信号を出力する。   The strobe driving unit 44 drives the strobe light emitting unit 20 to flash in accordance with a control signal from the CPU 60, and the strobe light emitting unit 20 thereby causes the strobe to flash. The CPU 60 determines whether or not the shooting scene is dark by a photometric circuit (not shown), and determines that the shooting scene is dark and when shooting is performed (when the shutter button 4 is pressed), the flash drive unit 44 Output a control signal.

メモリ47は、CPU60による撮像装置100の各部の制御に必要なプログラムおよび各部の制御に必要なデータを記録格納しており、CPU60は、このプログラムにしたがって処理を実行する。   The memory 47 records and stores a program necessary for controlling each part of the imaging apparatus 100 by the CPU 60 and data necessary for controlling each part, and the CPU 60 executes processing according to this program.

充電状態検出部42は、充電台からの充電用電流を検出し、充電の開始および終了(充電途中に撮像装置100が充電台から切り離された場合も含む。)を検出し、その状態に応じた信号をCPU60に送信する。   The charging state detection unit 42 detects the charging current from the charging stand, detects the start and end of charging (including the case where the imaging device 100 is disconnected from the charging stand during charging), and according to the state. The received signal is transmitted to the CPU 60.

手振れ補正部50は、撮像装置100の撮像動作時にCPU60により起動され、手振れ補正処理を行う。また、手振れ補正部50は、撮像装置100の充電開始時にCPU60により起動され、キャリブレーション処理を行う。このとき、キャリブレーション処理において、手振れ補正部50内の手振れ検出素子の出力値を所定数取得して、出力値の平均値を算出し、算出した出力値の平均値と基準電圧値との差が所定値以下であるか否かを判断した上で、算出した出力値の平均値と基準電圧値との差が所定値以下である場合には、基準電圧値を平均値で更新し、算出した出力値の平均値と基準電圧値との差が所定値よりも大きい場合には、最初のステップに戻る処理を実行する。なお、構成や処理の詳細については、後述する。   The camera shake correction unit 50 is activated by the CPU 60 during the imaging operation of the imaging apparatus 100 and performs camera shake correction processing. In addition, the camera shake correction unit 50 is activated by the CPU 60 when charging of the imaging device 100 is started, and performs a calibration process. At this time, in the calibration process, a predetermined number of output values of the camera shake detection element in the camera shake correction unit 50 are obtained, an average value of the output values is calculated, and a difference between the calculated average value of the output values and the reference voltage value If the difference between the calculated average value of the output value and the reference voltage value is equal to or less than the predetermined value, the reference voltage value is updated with the average value and calculated. If the difference between the average value of the output values and the reference voltage value is larger than the predetermined value, the process of returning to the first step is executed. Details of the configuration and processing will be described later.

<手振れ補正部の構成>
図2に示すように、本実施形態に係る手振れ補正部は、CCD40と、アクチュエータ51と、手振れ補正制御部52と、移動量検出部53と、作業用メモリ54と、フラッシュROM55とから構成されている。また、CCD40は、画像処理部41と接続され、画像処理部41はDRAM48およびCPU60と接続されている。また、手振れ補正制御部52は、CPU60に接続され、CPU60は、充電状態検出部42と接続されている。なお、図1と同一の符号を付す構成要素については、同様の機能を有するため、その詳細な説明は省略する。
<Configuration of image stabilization unit>
As shown in FIG. 2, the camera shake correction unit according to this embodiment includes a CCD 40, an actuator 51, a camera shake correction control unit 52, a movement amount detection unit 53, a work memory 54, and a flash ROM 55. ing. The CCD 40 is connected to the image processing unit 41, and the image processing unit 41 is connected to the DRAM 48 and the CPU 60. Further, the camera shake correction control unit 52 is connected to the CPU 60, and the CPU 60 is connected to the charging state detection unit 42. In addition, since it has the same function about the component which attaches | subjects the same code | symbol as FIG. 1, the detailed description is abbreviate | omitted.

アクチュエータ51は、補正ステージ上に搭載されたCCD40を手振れ補正制御部52からの制御信号に基づいて、前後左右に移動させるものであり、入力された制御信号を物理量に変換するものである。   The actuator 51 moves the CCD 40 mounted on the correction stage from front to back and right and left based on a control signal from the camera shake correction control unit 52, and converts the input control signal into a physical quantity.

移動量検出部53は、ジャイロセンサ等の手振れ検出素子を含み、撮像素子100の移動量すなわち手振れ量を検出し、これを電圧に変換して出力するものである。   The movement amount detection unit 53 includes a camera shake detection element such as a gyro sensor, detects the movement amount of the image sensor 100, that is, the camera shake amount, converts this to a voltage, and outputs the voltage.

手振れ補正制御部52は、CPUからの制御開始コマンドあるいは、制御終了コマンドに基づいて、フラッシュROM55内に格納された手振れ補正制御プログラムを読出し、手振れ補正処理を実行あるいは、停止する。手振れ補正制御部52は、移動量検出部53が出力した電圧を基準電圧と比較し、これに基づき手振れを打ち消すようにアクチュエータ51に対して制御信号を出力する。アクチュエータ51は手振れ補正制御部52からの制御信号に基づいて、CCD40を配置した補正ステージを前後左右に移動させることで、手振れを補正する。   Based on the control start command or control end command from the CPU, the camera shake correction control unit 52 reads the camera shake correction control program stored in the flash ROM 55 and executes or stops the camera shake correction process. The camera shake correction control unit 52 compares the voltage output from the movement amount detection unit 53 with a reference voltage, and outputs a control signal to the actuator 51 so as to cancel the camera shake based on the voltage. Based on the control signal from the camera shake correction control unit 52, the actuator 51 corrects the camera shake by moving the correction stage on which the CCD 40 is arranged back and forth and right and left.

また、手振れ補正制御部52は、フラッシュROM55内に格納されたキャリブレーションプログラムを読出し、手振れ補正部のキャリブレーション処理を実行あるいは、停止する。手振れ補正制御部52は、静止状態において、移動量検出部53に含まれるジャイロセンサ等の手振れ検出素子の出力電圧を取得し、これを新たな基準電圧とすることで、移動量検出部53に含まれるジャイロセンサ等の手振れ検出素子のキャリブレーションを行う。作業用メモリ54は、前記移動量検出部53から検出された出力電圧値等のデータを一時保存するメモリである。フラッシュROM55は、補正制御プログラムやキャリブレーションプログラム、基準電圧情報等を格納する。   Further, the camera shake correction control unit 52 reads the calibration program stored in the flash ROM 55, and executes or stops the calibration process of the camera shake correction unit. In a stationary state, the camera shake correction control unit 52 acquires the output voltage of a camera shake detection element such as a gyro sensor included in the movement amount detection unit 53, and sets this as a new reference voltage, thereby allowing the movement amount detection unit 53 to Calibration of a shake detection element such as a gyro sensor included is performed. The work memory 54 is a memory that temporarily stores data such as an output voltage value detected from the movement amount detection unit 53. The flash ROM 55 stores a correction control program, a calibration program, reference voltage information, and the like.

<手振れ補正部のキャリブレーション処理>
次に、図3を用いて、手振れ補正部のキャリブレーション処理について説明する。
まず、充電状態検出部42は、撮像装置100の充電が開始されたか否かを検出する(ステップS101)。このとき、撮像装置100の充電が開始されていないことを検出した場合には、元に、戻って待機する(ステップS101の「No」)。
<Calibration process of camera shake correction unit>
Next, the calibration process of the camera shake correction unit will be described with reference to FIG.
First, the charging state detection unit 42 detects whether or not charging of the imaging device 100 has been started (step S101). At this time, when it is detected that charging of the imaging device 100 has not been started, the process returns to the original and waits (“No” in step S101).

一方で、充電状態検出部42が、撮像装置100の充電が開始されたことを検出した場合(ステップS101の「Yes」)には、CPU60がキャリブレーション開始コマンドを手振れ補正部50内の手振れ補正制御部52に送信する。通常、充電時には、撮像装置100はOFF状態にある。待機状態にあった手ぶれ補正部52は、キャリブレーション開始コマンドにより起動した後、手振れ補正部50に通電し、これを起動させる(ステップS102)。   On the other hand, when the charging state detection unit 42 detects that charging of the imaging device 100 has started (“Yes” in step S101), the CPU 60 issues a calibration start command to the camera shake correction in the camera shake correction unit 50. It transmits to the control part 52. Normally, the imaging apparatus 100 is in an OFF state during charging. After being activated by the calibration start command, the camera shake correction unit 52 in the standby state energizes the camera shake correction unit 50 and activates it (step S102).

そして、通電開始直後は、移動量検出部53の出力電圧が不安定であるのでこれを避けるため、所定時間待機(ステップS103)した後、作業メモリ54内の図示しないバッファをクリアし(ステップS104)、手振れ補正制御部52内の図示しないカウンタに取得回数カウント値を設定する(ステップS105)。   Immediately after the start of energization, since the output voltage of the movement amount detection unit 53 is unstable, in order to avoid this, after waiting for a predetermined time (step S103), a buffer (not shown) in the work memory 54 is cleared (step S104). ), An acquisition count value is set in a counter (not shown) in the camera shake correction control unit 52 (step S105).

次に、手振れ補正制御部52がフラッシュROM55から読み出した手振れ補正制御プログラムにしたがって、ジャイロセンサからの出力電圧を移動量検出部53から取得し(ステップS106)、取得した値を作業メモリ54内の図示しないバッファに加算する(ステップS107)。そして、手振れ補正制御部52内の図示しないカウンタの取得カウンタ値を1つ減らす。   Next, according to the camera shake correction control program read from the flash ROM 55 by the camera shake correction control unit 52, the output voltage from the gyro sensor is acquired from the movement amount detection unit 53 (step S106), and the acquired value is stored in the work memory 54. It adds to the buffer which is not illustrated (step S107). Then, the acquisition counter value of a counter (not shown) in the camera shake correction control unit 52 is decreased by one.

このとき、手振れ補正制御部52内の図示しないカウンタの取得カウンタ値が「0」であるか否かを確認し(ステップS109)、取得カウンタ値が「0」でない場合(ステップS109の「No」)には、さらに、充電状態検出部42により、撮像装置100の充電が終了されたか否かを検出する(ステップS110)。そして、充電状態検出部42により、撮像装置100の充電が終了されたことを検出した場合(ステップS110の「Yes」)には、ステップS101に処理を戻し、充電状態検出部42により、撮像装置100の充電が終了されていないことを検出した場合(ステップS110の「No」)には、ステップS106に処理を戻す。   At this time, it is confirmed whether or not the acquisition counter value of a counter (not shown) in the camera shake correction control unit 52 is “0” (step S109). If the acquisition counter value is not “0” (“No” in step S109). ) Further detects whether or not the charging of the imaging device 100 is terminated by the charging state detection unit 42 (step S110). When the charging state detection unit 42 detects that charging of the imaging device 100 has been completed (“Yes” in step S110), the process returns to step S101, and the charging state detection unit 42 causes the imaging device to When it is detected that the charging of 100 has not been completed (“No” in step S110), the process returns to step S106.

一方、取得カウンタ値が「0」である場合(ステップS109の「Yes」)には、作業メモリ54内の図示しないバッファ内の値をカウンタに設定した取得回数で除算して、ジャイロセンサからの出力電圧の平均値を算出する(ステップS111)。   On the other hand, if the acquisition counter value is “0” (“Yes” in step S109), the value in the buffer (not shown) in the work memory 54 is divided by the number of acquisitions set in the counter, and the value from the gyro sensor is obtained. The average value of the output voltage is calculated (step S111).

そして、算出した平均値とフラッシュROM55に格納された基準電圧とを比較して、平均値と基準電圧値との差が予め定められた所定値以下であるか否かを判定する(ステップS112)。このとき、平均値と基準電圧値との差が予め定められた所定値以下である場合(ステップS112の「Yes」)には、フラッシュROM55に格納されている基準電圧値を求めた平均値に更新して格納する(ステップS113)。そして、手ぶれ補正部50をOFFして(ステップS114)、キャリブレーション処理を終了する。一方、平均値と基準電圧値との差が予め定められた所定値以下でない場合(ステップS112の「No」)、ステップS101に処理を戻す。   Then, the calculated average value is compared with the reference voltage stored in the flash ROM 55 to determine whether or not the difference between the average value and the reference voltage value is equal to or smaller than a predetermined value (step S112). . At this time, if the difference between the average value and the reference voltage value is equal to or less than a predetermined value (“Yes” in step S112), the reference voltage value stored in the flash ROM 55 is calculated to the average value obtained. Update and store (step S113). Then, the camera shake correction unit 50 is turned off (step S114), and the calibration process is terminated. On the other hand, if the difference between the average value and the reference voltage value is not less than or equal to a predetermined value (“No” in step S112), the process returns to step S101.

したがって、本実施形態によれば、撮像装置の充電中に、ジャイロセンサ等の手振れ検出素子のキャリブレーションを実行することにより、適当なタイミングでキャリブレーションが実施されるため、常に、手振れ補正の精度を高く維持できる。また、充電中であるのでキャリブレーションからバッテリー電圧低下などの不安定要素を排除できる。   Therefore, according to the present embodiment, calibration of a shake detection element such as a gyro sensor is performed during charging of the imaging apparatus, so that calibration is performed at an appropriate timing. Can be kept high. Moreover, since charging is in progress, unstable factors such as battery voltage drop can be eliminated from calibration.

<第2の実施形態>
図4を用いて、第2の実施形態について説明する。
図4に示すように、本実施形態に係る手振れ補正部は、充電状態検出部42と手振れ補正制御部52とが直接接続されている。つまり、第1の実施形態では、充電状態検出部42は、撮像装置100の充電が開始されたか否か、あるいは終了されたか否かの検出結果をCPU60に信号で通知し、CPU60が、充電状態検出部42から受信した信号によって、手振れ補正部50内の手振れ補正制御部52にキャリブレーション開始コマンドあるいはキャリブレーション終了コマンドを送って、キャリブレーションの開始および終了に関する制御を行っていたが、本実施形態では、CPU60を介することなく、充電状態検出部42から直接、手振れ補正部50内の手振れ補正制御部52に例えば、「Hレベル」信号あるいは「Lレベル」信号を送信することによって、手振れ補正部50の起動が制御される。
<Second Embodiment>
The second embodiment will be described with reference to FIG.
As shown in FIG. 4, in the camera shake correction unit according to the present embodiment, a charge state detection unit 42 and a camera shake correction control unit 52 are directly connected. That is, in the first embodiment, the charging state detection unit 42 notifies the CPU 60 of a detection result of whether or not charging of the imaging device 100 has been started or ended by a signal, and the CPU 60 has the charging state. In this embodiment, the calibration start command or the calibration end command is sent to the camera shake correction control unit 52 in the camera shake correction unit 50 according to the signal received from the detection unit 42 to control the start and end of the calibration. In the embodiment, the camera shake correction is performed by transmitting, for example, an “H level” signal or an “L level” signal directly from the charging state detection unit 42 to the camera shake correction control unit 52 in the camera shake correction unit 50 without using the CPU 60. The activation of the unit 50 is controlled.

したがって、本実施形態によれば、CPUを介することなく、充電状態検出部から信号で、直接、手振れ補正部50の起動が制御できるため、手振れ補正部50の起動時間をさらに短縮しつつ、常に、手振れ補正の精度を高く維持できる。   Therefore, according to the present embodiment, since the activation of the camera shake correction unit 50 can be directly controlled by a signal from the charge state detection unit without using the CPU, the activation time of the camera shake correction unit 50 is further shortened, and always High accuracy of camera shake correction can be maintained.

なお、撮像装置の処理をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを撮像装置に読み込ませ、実行することによって本発明の撮像装置を実現することができる。ここでいうコンピュータシステムとは、OSや周辺装置等のハードウェアを含む。   Note that the imaging apparatus of the present invention can be realized by recording the processing of the imaging apparatus on a computer-readable recording medium, causing the imaging apparatus to read and execute a program recorded on the recording medium. The computer system here includes an OS and hardware such as peripheral devices.

また、「コンピュータシステム」は、WWW(World Wide Web)システムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されても良い。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。   Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW (World Wide Web) system is used. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。更に、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。   The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   The embodiments of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to the embodiments, and includes designs and the like that do not depart from the gist of the present invention.

第1の実施形態に係る撮像装置の構成図である。It is a block diagram of the imaging device which concerns on 1st Embodiment. 第1の実施形態に係る手振れ補正部の構成図である。It is a block diagram of the camera-shake correction part which concerns on 1st Embodiment. 第1の実施形態に係る手振れ補正部の処理フローである。3 is a processing flow of a camera shake correction unit according to the first embodiment. 第2の実施形態に係る手振れ補正部の構成図である。It is a block diagram of the camera-shake correction part which concerns on 2nd Embodiment.

符号の説明Explanation of symbols

10・・・キー入力部、20・・・ストロボ発光部、21・・・LCD、30・・・レンズ、31・・・レンズ駆動ブロック、32・・・絞り兼用シャッター、40・・・CCD、41・・・画像処理部、42・・・充電状態検出部、43・・・外部通信I/F(Interface)、44・・・ストロボ駆動部、45・・・記録メディア、46・・・記録メディアI/F(Interface)、47・・・メモリ、48・・・DRAM(Dynamic Random Access Memory)、50・・・手振れ補正部、51・・・アクチュエータ、52・・・手振れ補正制御部、53・・・移動量検出部、54・・・作業用メモリ、55・・・フラッシュROM、60・・・CPU(Central Processing Unit)、100・・・撮像装置   DESCRIPTION OF SYMBOLS 10 ... Key input part, 20 ... Strobe light emission part, 21 ... LCD, 30 ... Lens, 31 ... Lens drive block, 32 ... Shutter combined shutter, 40 ... CCD, DESCRIPTION OF SYMBOLS 41 ... Image processing part, 42 ... Charge state detection part, 43 ... External communication I / F (Interface), 44 ... Strobe drive part, 45 ... Recording medium, 46 ... Recording Media I / F (Interface), 47... Memory, 48... DRAM (Dynamic Random Access Memory), 50... Shake Correction Unit, 51... Actuator, 52. ... Moving amount detection unit, 54 ... Working memory, 55 ... Flash ROM, 60 ... CPU (Central Processing U) nit), 100 ... imaging device

Claims (6)

充電状態を検出する検出手段と、
手振れ検出素子のキャリブレーションを実行するキャリブレーション実行手段と、
該検出手段が充電開始を検出したときに、該キャリブレーション実行手段におけるキャリブレーションの開始を制御する制御手段と、
を備えたことを特徴とする撮像装置。
Detection means for detecting the state of charge;
Calibration execution means for calibrating the hand movement detection element;
Control means for controlling the start of calibration in the calibration execution means when the detection means detects the start of charging;
An imaging apparatus comprising:
手振れ検出素子の出力値を所定数取得して、出力値の平均値を算出する算出手段と、
該算出した出力値の平均値と基準電圧値との差が所定値以下であるか否かを判断する差分判定手段と、
前記算出した出力値の平均値と基準電圧値との差が所定値以下である場合に基準電圧値を平均値で更新する更新手段と、
をさらに備えたことを特徴とする請求項1に記載の撮像装置。
Obtaining a predetermined number of output values of the camera shake detection element, and calculating means for calculating an average value of the output values;
Difference determining means for determining whether or not a difference between the average value of the calculated output values and a reference voltage value is equal to or less than a predetermined value;
Updating means for updating the reference voltage value with the average value when the difference between the calculated average value of the output value and the reference voltage value is equal to or less than a predetermined value;
The imaging apparatus according to claim 1, further comprising:
前記制御手段は、前記検出手段が充電開始あるいは充電中止であることを検出したときに、該キャリブレーション実行手段にキャリブレーション開始コマンドあるいはキャリブレーション終了コマンドを送信して、該キャリブレーション実行手段を制御することを特徴とする請求項1または2に記載の撮像装置。   The control means transmits a calibration start command or a calibration end command to the calibration execution means and controls the calibration execution means when the detection means detects that charging is started or stopped. The imaging apparatus according to claim 1 or 2, wherein 前記制御手段は、前記検出手段が充電開始あるいは充電中止であることを検出したときに、該キャリブレーション実行手段にキャリブレーション開始信号あるいはキャリブレーション終了信号を送信して、該キャリブレーション実行手段を制御することを特徴とする請求項1または2に記載の撮像装置。   The control means controls the calibration execution means by transmitting a calibration start signal or a calibration end signal to the calibration execution means when the detection means detects that charging is started or stopped. The imaging apparatus according to claim 1 or 2, wherein 撮像装置における手振れ検出素子のキャリブレーション実行方法であって、
該撮像装置本体の充電状態を検出する第1のステップと、
該充電開始を検出したときに、手振れ補正モジュールを起動させる第2のステップと、
手振れ検出素子の出力値を所定数取得して、出力値の平均値を算出する第3のステップと、
該算出した出力値の平均値と基準電圧値との差が所定値以下であるか否かを判断する第4のステップと、
前記算出した出力値の平均値と基準電圧値との差が所定値以下である場合に、基準電圧値を平均値で更新し、前記算出した出力値の平均値と基準電圧値との差が所定値よりも大きい場合に、前記第1のステップに処理を戻す第5のステップと、
を有することを特徴とする手振れ検出素子のキャリブレーション実行方法。
A method for performing calibration of a camera shake detection element in an imaging apparatus,
A first step of detecting a charging state of the imaging device body;
A second step of activating a camera shake correction module when detecting the start of charging;
A third step of obtaining a predetermined number of output values of the camera shake detection element and calculating an average value of the output values;
A fourth step of determining whether or not a difference between the average value of the calculated output values and a reference voltage value is a predetermined value or less;
When the difference between the average value of the calculated output value and the reference voltage value is equal to or less than a predetermined value, the reference voltage value is updated with the average value, and the difference between the calculated average value of the output value and the reference voltage value is A fifth step of returning the processing to the first step when greater than a predetermined value;
A method for performing calibration of a camera shake detection element, comprising:
撮像装置内のコンピュータに、撮像装置における手振れ検出素子のキャリブレーション実行させるためのプログラムであって、
該撮像装置本体の充電状態を検出する第1のステップと、
該充電開始を検出したときに、手振れ補正モジュールを起動させる第2のステップと、
手振れ検出素子の出力値を所定数取得して、出力値の平均値を算出する第3のステップと、
該算出した出力値の平均値と基準電圧値との差が所定値以下であるか否かを判断する第4のステップと、
前記算出した出力値の平均値と基準電圧値との差が所定値以下である場合に、基準電圧値を平均値で更新し、前記算出した出力値の平均値と基準電圧値との差が所定値よりも大きい場合に、前記第1のステップに処理を戻す第5のステップと、
をコンピュータに実行させるためのプログラム。
A program for causing a computer in the imaging apparatus to execute calibration of a camera shake detection element in the imaging apparatus,
A first step of detecting a charging state of the imaging device body;
A second step of activating a camera shake correction module when detecting the start of charging;
A third step of obtaining a predetermined number of output values of the camera shake detection element and calculating an average value of the output values;
A fourth step of determining whether or not a difference between the average value of the calculated output values and a reference voltage value is a predetermined value or less;
When the difference between the average value of the calculated output value and the reference voltage value is equal to or less than a predetermined value, the reference voltage value is updated with the average value, and the difference between the calculated average value of the output value and the reference voltage value is A fifth step of returning the processing to the first step when greater than a predetermined value;
A program that causes a computer to execute.
JP2007242101A 2007-09-19 2007-09-19 Imaging apparatus, camera shake detection element calibration execution method, and program Expired - Fee Related JP4924321B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007242101A JP4924321B2 (en) 2007-09-19 2007-09-19 Imaging apparatus, camera shake detection element calibration execution method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007242101A JP4924321B2 (en) 2007-09-19 2007-09-19 Imaging apparatus, camera shake detection element calibration execution method, and program

Publications (2)

Publication Number Publication Date
JP2009077021A JP2009077021A (en) 2009-04-09
JP4924321B2 true JP4924321B2 (en) 2012-04-25

Family

ID=40611603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007242101A Expired - Fee Related JP4924321B2 (en) 2007-09-19 2007-09-19 Imaging apparatus, camera shake detection element calibration execution method, and program

Country Status (1)

Country Link
JP (1) JP4924321B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9581466B2 (en) 2011-11-11 2017-02-28 Qualcomm Incorporated Sensor auto-calibration
KR101824741B1 (en) 2011-11-29 2018-03-14 엘지이노텍 주식회사 Auto calibration method of ois camera

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3985280B2 (en) * 1996-11-20 2007-10-03 ソニー株式会社 Video camera and gain adjustment method for image stabilization signal in video camera
JP2005189406A (en) * 2003-12-25 2005-07-14 Sharp Corp Camera apparatus and charging holder
JP2007158853A (en) * 2005-12-06 2007-06-21 Konica Minolta Opto Inc Shake correcting device

Also Published As

Publication number Publication date
JP2009077021A (en) 2009-04-09

Similar Documents

Publication Publication Date Title
JP5919543B2 (en) Digital camera
US7830416B2 (en) Imaging device with erroneous shake correction prevention due to front curtain shock
US8259184B2 (en) Imaging apparatus with shake correction
US8611739B2 (en) Focus adjusting apparatus and imaging apparatus
US20080007643A1 (en) Digital camera and controlling method for digital camera
US8358927B2 (en) Imaging apparatus
JP5052389B2 (en) Imaging device
JP4614143B2 (en) Imaging apparatus and program thereof
JP2009251491A (en) Imaging apparatus and control method for imaging apparatus
JP5020800B2 (en) Imaging apparatus and control method thereof
JP4924321B2 (en) Imaging apparatus, camera shake detection element calibration execution method, and program
JP5478677B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
US8373766B2 (en) Image shooting device and image shooting method
JP2007251656A (en) Image sensing device, its control method and program
JP4883468B2 (en) Blur detection system apparatus, imaging apparatus, external recording medium, and program thereof
JP3919783B2 (en) Electronic still camera
JP4086332B2 (en) Electronic still camera
JP2005252800A (en) Digital camera
JP6112761B2 (en) Imaging apparatus and control method thereof
JP2005175961A (en) Imaging apparatus, image sensitivity control method, shutter control method, and program
KR20140124431A (en) Photographing apparatus
JP2011250235A (en) Imaging apparatus
JP4174552B2 (en) Electronic still camera
JP2013225104A (en) Imaging device
JP2008076511A (en) Imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4924321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees