JP6299188B2 - Blur correction device, lens barrel and camera - Google Patents
Blur correction device, lens barrel and camera Download PDFInfo
- Publication number
- JP6299188B2 JP6299188B2 JP2013248630A JP2013248630A JP6299188B2 JP 6299188 B2 JP6299188 B2 JP 6299188B2 JP 2013248630 A JP2013248630 A JP 2013248630A JP 2013248630 A JP2013248630 A JP 2013248630A JP 6299188 B2 JP6299188 B2 JP 6299188B2
- Authority
- JP
- Japan
- Prior art keywords
- reference value
- angular velocity
- image
- blur correction
- target position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 claims description 56
- 239000013598 vector Substances 0.000 claims description 44
- 230000003287 optical effect Effects 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000006641 stabilisation Effects 0.000 claims description 6
- 238000011105 stabilization Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 description 18
- 238000000034 method Methods 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000003825 pressing Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000003292 diminished effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Description
本発明は、ブレ補正装置、レンズ鏡筒及びカメラに関するものである。 The present invention relates to a shake correction device, a lens barrel, and a camera.
角速度センサ(ジャイロ)の信号を基に、光学手ブレ補正を行う技術がある。この技術においては、角速度センサの基準値(0deg/s時のジャイロ出力値)を正確に求める必要があるが、角速度センサの基準値は、起動直後のドリフト特性や、温度特性等により変化するため、正確に求めるのは困難である。
そこで、角速度センサの出力信号をLPF(ローパスフィルタ)処理により算出し、更に、動きベクトル情報を用いて、基準値を補正する技術が提案されている。
また、ブレ補正レンズが可動端に到達することを防ぐ為に、センタバイアス処理を行う場合があるが、特許文献1では、センタバイアス量の大きさに応じて、ジャイロ基準値の補正ゲインを変更する技術も提案されている(特許文献1参照)。
There is a technique for performing optical camera shake correction based on a signal from an angular velocity sensor (gyro). In this technique, it is necessary to accurately obtain the reference value (gyro output value at 0 deg / s) of the angular velocity sensor, but the reference value of the angular velocity sensor changes depending on drift characteristics immediately after startup, temperature characteristics, and the like. It is difficult to find accurately.
Therefore, a technique has been proposed in which the output signal of the angular velocity sensor is calculated by LPF (low-pass filter) processing, and the reference value is corrected using the motion vector information.
In addition, center bias processing may be performed to prevent the blur correction lens from reaching the movable end. However, in
しかし、動きベクトル情報を用いて基準値を補正する場合、動きベクトル情報は、半押し中のみしか得ることができないため、露光中は、通常の基準値演算に切換えざるを得ない。
この為、露光中の基準値は、半押し中に対して悪化してしまう場合もあり、基準値補正の効果が薄れてしまう、という課題がある。
本発明の課題は、精度の良い基準値補正が可能なブレ補正装置、レンズ鏡筒及びカメラを提供することである。
However, when the reference value is corrected using the motion vector information, the motion vector information can be obtained only during half-pressing, so that it is necessary to switch to normal reference value calculation during exposure.
For this reason, the reference value during exposure may be worse than that during half-pressing, and there is a problem that the effect of correcting the reference value is diminished.
An object of the present invention is to provide a shake correction device, a lens barrel, and a camera capable of correcting a reference value with high accuracy.
本発明のブレ補正装置は、被写体からの光が入射し、前記被写体の像を形成する光学系と、前記光学系で形成された前記被写体の像を撮像する撮像素子と、前記被写体の像のブレを補正するために駆動可能なブレ補正素子と、前記光学系を備える撮像装置の角速度を検出する角速度センサと、前記角速度センサの出力信号の基準値を、前記出力信号を基に演算する基準値演算部と、撮像を指示する操作部の操作前は、前記操作部の操作前に撮像した複数の前記被写体の像から算出した動きベクトルを用いて補正した補正基準値及び前記角速度センサの前記出力信号により前記ブレ補正素子の目標位置を演算し、前記操作部の操作後は、操作部が操作される所定時間前から前記操作部が操作されるまでの間の、補正された前記補正基準値の平均値及び前記角速度センサの前記出力信号により前記ブレ補正素子の目標位置を演算する目標位置演算部と、を有する構成とした。
本発明の光学機器は、光学系で形成された被写体像を撮像し、前記被写体像のブレを補正するように駆動可能な撮像素子と、前記撮像素子を備える光学機器の角速度を検出する角速度センサと、前記角速度センサの出力信号の基準値を演算する基準値演算部と、撮像動作を指示するために操作される操作部と、前記操作部の操作前に、前記撮像素子で撮像した複数の前記被写体像から算出した動きベクトルを用いて前記基準値を補正する基準値補正部と、前記操作部の操作前は、前記補正後の基準値及び前記角速度センサの前記出力信号により前記撮像素子の目標位置を演算し、前記操作部の操作後は、操作部が操作される所定時間前から前記操作部が操作されるまでの間の、前記補正後の基準値の平均値及び前記角速度センサの前記出力信号により前記撮像素子の目標位置を演算する目標位置演算部と、
を有する構成とした。
An image stabilization apparatus according to the present invention includes an optical system that receives light from a subject and forms an image of the subject, an image sensor that captures the image of the subject formed by the optical system, and an image of the subject image. A blur correction element that can be driven to correct blur, an angular velocity sensor that detects an angular velocity of an imaging apparatus including the optical system, and a reference that calculates a reference value of an output signal of the angular velocity sensor based on the output signal Before the operation of the value calculation unit and the operation unit instructing imaging, the correction reference value corrected using the motion vectors calculated from the plurality of images of the subject imaged before the operation of the operation unit and the angular velocity sensor The target position of the blur correction element is calculated based on the output signal, and after the operation of the operation unit , the corrected correction standard from before the operation unit is operated until the operation unit is operated Average value And it was configured to have a target position calculating section for calculating a target position of the blur correction element by the output signal of the angular velocity sensor.
An optical apparatus of the present invention captures an image of a subject formed by an optical system, an image sensor that can be driven to correct blur of the object image, and an angular velocity sensor that detects an angular velocity of the optical apparatus including the image sensor. A reference value calculation unit that calculates a reference value of an output signal of the angular velocity sensor, an operation unit that is operated to instruct an imaging operation, and a plurality of images that are captured by the image sensor before the operation unit is operated A reference value correction unit that corrects the reference value using a motion vector calculated from the subject image, and before operation of the operation unit, the reference value after correction and the output signal of the angular velocity sensor calculates a target position, after the operation of the operation unit, before a predetermined operation unit is operated time until the operation portion is operated, the average value and the angular velocity sensor of the reference value of the corrected The output signal And the target position calculating section for calculating a target position of the imaging element by,
It was set as the structure which has.
本発明によれば、精度の良い基準値補正が可能なブレ補正装置、レンズ鏡筒及びカメラを提供することができる。 According to the present invention, it is possible to provide a shake correction apparatus, a lens barrel, and a camera that are capable of correcting a reference value with high accuracy.
(第1実施形態)
以下、図面等を参照して、本発明の第1実施形態について説明する。
図1は、第1実施形態のブレ補正装置を備えるカメラ1を模式的に示す断面図である。
カメラ1は、デジタル一眼レフカメラであり、カメラ筐体1Aと、このカメラ筐体1Aに対して着脱自在に装着されるレンズ鏡筒(光学部材)1Bとを備えている。
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings and the like.
FIG. 1 is a cross-sectional view schematically showing a
The
カメラ筐体1Aは、カメラCPU2A、撮像素子3、記録媒体13、EEPROM14、信号処理回路15、AFセンサ16、レリーズスイッチ17、背面液晶18、ミラー19、サブミラー19a及びシャッタ20を備えている。
The
カメラCPU2Aは、カメラ1の全体の制御を行う中央処理装置であり、本実施形態のブレ補正装置の一部を構成する。
撮像素子3は、撮影レンズ(4,5,6)により形成された被写体像を撮像する素子であり、被写体光を露光して電気的な画像信号に変換し、信号処理回路15へ出力する。撮像素子3は、例えばCCD、CMOSなどの素子により構成されている。
The
The imaging element 3 is an element that captures a subject image formed by the photographing lenses (4, 5, 6), exposes the subject light to convert it into an electrical image signal, and outputs it to the
記録媒体13は、撮像された画像データを記録するための媒体であり、SDカード、CFカード等が使用される。
EEPROM14は、角速度センサ12のゲイン値などの調整値情報、レンズ鏡筒固有の情報等を記憶するメモリであって、CPU2に出力する。
信号処理回路15は、撮像素子3からの出力を受けて、ノイズ処理やA/D変換等の処理を行う回路である。
The
The EEPROM 14 is a memory that stores adjustment value information such as the gain value of the
The
AFセンサ16は、AF(自動焦点調節)を行うためのセンサであって、CCD等を用いることができる。
レリーズスイッチ17は、カメラ1の撮影操作を行う部材であって、シャッタ駆動のタイミング等を操作するスイッチである。
The
The release switch 17 is a member that performs a photographing operation of the
背面液晶18は、カメラ1のカメラ筐体1Aの背面に設けられ、撮像素子3で撮影した被写体像(再生画像、ライブビュー画像)や操作に関連した情報(メニュー)などを表示するカラー液晶ディスプレイである。
The rear liquid crystal 18 is provided on the rear surface of the
シャッタ20は、ミラー19の後方に配置されている。シャッタ20には、ミラー19が上へ回転して撮影可能状態となったときに、被写体光が入射される。シャッタ20は、レリーズスイッチ17などによる撮影指示に応じてシャッタ幕を走行させ、撮像素子3に入射する被写体光を制御する。ミラー19の後方には、サブミラー19aが設けられており、被写体光をAFセンサ16に導いている。
The
レンズ鏡筒1Bは、ズームレンズ群4、フォーカスレンズ群5、ブレ補正レンズ群(光学素子)6、ズームレンズ群駆動機構7、フォーカスレンズ群駆動機構8、ブレ補正レンズ群駆動機構(光学素子駆動部)9、絞り10、絞り駆動機構11、角速度センサ12、及びレンズCPU2Bを備える。
The lens barrel 1B includes a zoom lens group 4, a focus lens group 5, a shake correction lens group (optical element) 6, a zoom lens group drive mechanism 7, a focus lens group drive mechanism 8, and a shake correction lens group drive mechanism (optical element drive). Part) 9, a diaphragm 10, a diaphragm drive mechanism 11, an
レンズCPU2Bは、ズームレンズ群4、フォーカスレンズ群5、ブレ補正レンズ群6等のレンズ群の移動量演算を行う。ズームレンズ群駆動機構7、フォーカスレンズ群駆動機構8、ブレ補正レンズ群駆動機構9、及び絞り駆動機構11に移動量を指示してズームレンズ群4、フォーカスレンズ群5、ブレ補正レンズ群6を移動させる。
The
ズームレンズ群4は、ズームレンズ群駆動機構7により駆動され、光軸方向に沿って移動することにより、像の倍率を連続的に変化させるレンズ群である。
フォーカスレンズ群5は、フォーカスレンズ群駆動機構8により駆動され、光軸方向に移動して、焦点を合わせるレンズ群である。
ブレ補正レンズ群6(光学素子)は、VCM等のブレ補正レンズ群駆動機構9により光学的にブレ補正駆動され、光軸に垂直な面上で可動なレンズ群である。
The zoom lens group 4 is a lens group that is driven by the zoom lens group drive mechanism 7 and moves along the optical axis direction to continuously change the magnification of the image.
The focus lens group 5 is a lens group that is driven by the focus lens group drive mechanism 8 and moves in the optical axis direction to focus.
The shake correction lens group 6 (optical element) is a lens group that is optically shake-corrected and driven on a plane perpendicular to the optical axis by a shake correction lens
絞り10は、絞り駆動機構11に駆動され、撮影レンズ(4,5,6)を通過する被写体光の光量を制御する機構である。
角速度センサ12は、それぞれセンサユニットに生じる振れの角速度を検出するセンサである。
The diaphragm 10 is a mechanism that is driven by the diaphragm drive mechanism 11 and controls the amount of subject light passing through the photographing lenses (4, 5, 6).
The
図2は、本実施形態のブレ補正装置100のブロック図である。
ブレ補正装置100は、カメラCPU2A、レンズCPU2B、角速度センサ12、ブレ補正レンズ群駆動機構(レンズ駆動部)9、レンズ位置検出部21、及びブレ補正レンズ群6を備える。
FIG. 2 is a block diagram of the
The
カメラCPU2Aは、撮像素子3、信号処理部40及び動きベクトル演算部41を備える。
レンズCPU2Bは、増幅部31と、第1A/D変換部32、第2A/D変換部33、基準値演算部34、基準値補正量演算部35、積分部を内部に含む目標位置演算部36、センタバイアス演算部37、センタバイアス除去部38、駆動量演算部39を備える。
角速度センサ12は、レンズ鏡筒1BのX軸回り(Pitch)、Y軸回り(Yaw)、(X軸は、カメラの正位置での撮像素子3の受光面の水平方向の軸、Y軸は、鉛直方向の軸である)の角速度を検出する振動ジャイロ等のセンサである。
The camera CPU 2 </ b> A includes an image sensor 3, a
The
The
増幅部31は、角速度センサ12の出力を増幅する。
第1A/D変換部32は、増幅部31の出力をA/D変換する。
基準値演算部34は、角速度センサ12から得られた振動検出信号(第1A/D変換部32の出力)の基準値(補正角速度基準値)を演算する。
そして、基準値演算部34において演算された基準値を、第1A/D変換部32の出力から減算部43において減算する。
目標位置演算部36は、減算部43において基準値が減算された後の角速度センサ12の出力を基に、ブレ補正レンズ群6の目標位置を演算する。
The amplifying
The first A /
The reference
Then, the reference value calculated by the reference
The target
センタバイアス演算部37は、目標位置演算部36によって算出された像振れ補正レンズ6の目標位置に基づいて、像振れ補正レンズ6を、その可動範囲の中心に向かって移動させるための向心力をバイアス量として演算する。
そして、像振れ補正レンズ6の目標位置から、算出したバイアス量を減算することにより像振れ補正レンズ6の制御位置を算出する。
このようにセンタリングバイアス処理を行うことで、像振れ補正レンズ6がハードリミットに衝突することを有効に防止することができ、さらには、撮影画像の見栄えを向上させることができる。
The center
Then, the control position of the image blur correction lens 6 is calculated by subtracting the calculated bias amount from the target position of the image blur correction lens 6.
By performing the centering bias processing in this way, it is possible to effectively prevent the image blur correction lens 6 from colliding with the hard limit, and it is possible to improve the appearance of the captured image.
駆動量演算部39は、目標位置演算部36からの目標位置と、レンズ位置検出部21により検出され、第2A/D変換部33によりA/D変換された値から求められたブレ補正レンズ群6の現在位置から、ブレ補正レンズ群駆動機構9の駆動量を演算する。
The drive
撮像素子3は、撮影光学系の予定焦点面に設けられている。撮像素子3はCCDやCMOSなどのデバイスから構成され、入力される被写体の像を光電変換してアナログ画像信号を生成する。
信号処理部40は、撮像素子3により生成された画像信号について、所定の処理を行なう。実際には、図1の構成で動きベクトルを得るためには、ミラーアップし、スルー画(ライブビュー)を得て、撮像素子3に光(像)が届いた状態で演算する。
The image sensor 3 is provided on the planned focal plane of the photographing optical system. The image pickup device 3 is composed of a device such as a CCD or a CMOS, and generates an analog image signal by photoelectrically converting an input subject image.
The
動きベクトル演算部41は、信号処理部40により処理された撮影された画像から、像の動き(動き方向、動き量)を示す動きベクトル(第1動きベクトル)を演算する。
具体的には、動きベクトル演算部41は、撮像素子3により撮像された連続する2つのフレーム画像データに含まれる輝度情報を比較することで、像の動き方向および動き量を検出し、第1動きベクトルを演算する。実際には、像の動きから手振れ相当の動きベクトルの演算を行う。
The motion
Specifically, the motion
センタバイアス除去部38は、動きベクトル演算部41の出力である第1動きベクトル(MV1)から、センタバイアス演算部37において演算された(像振れ補正レンズ6の目標位置から減算された)バイアス量を減算する。
基準値補正量演算部(基準値補正部)35は、センタバイアス除去部38においてセンタバイアス量が除去された第2動きベクトル(MV2)をもとに、基準値補正量を演算する。
そして、減算部(基準値補正部)42は、基準値演算部34の出力から、基準値補正量演算部35により求めた基準値補正量を減算する。
また、本実施形態においては、スイッチ部46が設けられており、撮像素子3の露光前はA側に接続され、減算部(基準値補正部)42により基準値補正量が減算された基準値が、減算部43において減算に用いられる。
また、撮像素子3の露光中はB側に接続され、露光直前における補正後の基準値の所定時間の平均値が、減算部43において減算に用いられる。
The center
The reference value correction amount calculation unit (reference value correction unit) 35 calculates a reference value correction amount based on the second motion vector (MV2) from which the center bias amount has been removed by the center
Then, the subtraction unit (reference value correction unit) 42 subtracts the reference value correction amount obtained by the reference value correction
Further, in the present embodiment, a
In addition, the image sensor 3 is connected to the B side during exposure, and an average value for a predetermined time of a corrected reference value immediately before exposure is used for subtraction in the
次に、本実施形態のブレ補正装置100の動作の流れについて説明する。
図3は、本実施形態のブレ補正装置100の動作の流れを示したフローチャートである。
Next, an operation flow of the
FIG. 3 is a flowchart showing an operation flow of the
カメラ1の電源がONにされた後、ブレ補正装置100は光学防振の為の演算を開始する。カメラによっては、半押しスイッチ45が押された場合、ブレ補正装置100が光学防振の為の演算を開始する(ステップS001)。
After the
角速度センサ12の出力を、増幅部31で増幅した後、第1A/D変換部32によりA/D変換する(ステップS002)。
基準値演算部34は、角速度センサ12の出力のA/D変換後の信号を基に、演算上の角速度の基準値(ゼロdeg/s相当の値)を算出する。角速度の基準値は、温度特性や、起動直後のドリフト特性等により変化するため、例えば、工場出荷時における角速度センサ12の静止時出力を基準値に用いることはできない。
After the output of the
The reference
基準値を算出方法について、所定時間の移動平均を演算する方法や、LPF処理により演算する方法が知られている。本実施形態では、LPF処理による基準値演算を用いることとする。 As a method for calculating the reference value, a method of calculating a moving average for a predetermined time and a method of calculating by LPF processing are known. In the present embodiment, reference value calculation by LPF processing is used.
図4は基準値演算部34を説明する図であり、図4(a)は、基準値演算部34(HPF)、図4(b)は基準値演算部34のLPF34aを示した図である。
4A and 4B are diagrams for explaining the reference
LPF34のカットオフ周波数fcは、0.1[Hz]程度の低い周波数に設定するのが一般的である。これは、手ブレは1〜10[Hz程度の周波数が支配的であることに起因する。0.1[Hz]のfcであれば、手ブレ成分に与える影響は少なく、良好なブレ補正を行うことができる。
The cut-off frequency fc of the
しかしながら、実際の撮影時には、構図の微調整(パンニング検出できないレベルの)等、低周波の動きが加わるため、ω0演算結果に誤差を持ってしまうこともある。また、fcが低い(時定数が大きい)為に、一端誤差が大きくなってしまった場合、真値に収束するまでに時間を要してしまうという課題がある。本実施形態は、このω0の誤差を補正するものである。 However, during actual shooting, low-frequency motion such as fine adjustment of the composition (a level at which panning cannot be detected) is added, which may cause an error in the ω0 calculation result. In addition, since fc is low (time constant is large), there is a problem that it takes time to converge to a true value when the error is once increased. In the present embodiment, this ω0 error is corrected.
図3に戻り、第1動きベクトルMV1の情報が更新された場合(S004,YES)、S005へ進み、更新されていない場合(S004,NO)は、S006へ進む。なお、このS004〜S005の説明については後に詳述する。
また、露光中は第1動きベクトルMV1の情報が得られないため、このステップは、露光直前までの実施となる。
基準値減算後の角速度センサ12の出力を積算し、焦点距離、被写体距離、撮影倍率、ブレ補正レンズ特性情報を基に、ブレ補正レンズ群6の目標位置を演算する(S006)。
ブレ補正レンズ群6が可動端へ到達することを防ぐため、センタバイアス処理を行う(S007)。
Returning to FIG. 3, when the information of the first motion vector MV1 is updated (S004, YES), the process proceeds to S005, and when it is not updated (S004, NO), the process proceeds to S006. The description of S004 to S005 will be described later in detail.
In addition, since information on the first motion vector MV1 cannot be obtained during exposure, this step is performed until immediately before the exposure.
The outputs of the
Center bias processing is performed to prevent the blur correction lens group 6 from reaching the movable end (S007).
センタバイアス処理の方法については、目標位置情報に応じてバイアス量を設定する方法や、HPF処理(S006にて)等、種々あるが、ここでは方法は問わない。 There are various methods for the center bias processing, such as a method for setting a bias amount in accordance with the target position information, an HPF processing (in S006), and the method is not limited here.
センタバイアス成分を加味した目標位置情報と、ブレ補正レンズ位置情報の差分から、レンズ駆動量を演算する(S008)。
ブレ補正レンズ群6を目標位置まで駆動させ(S009)、S002へ戻る。
The lens driving amount is calculated from the difference between the target position information including the center bias component and the blur correction lens position information (S008).
The blur correction lens group 6 is driven to the target position (S009), and the process returns to S002.
次に、基準値補正(S004〜S005、S011〜S016)について説明する。図5は、基準値補正演算を示すフローチャートである。
上述のように、第1動きベクトルMV1の情報が更新された場合(S004)、S005へ進む。更新されていない場合は、S006へ進む。
光学ブレ補正の制御周期は、MV1の更新周期に対して十分早い為、MV1が更新されるまでは、通常の防振と同様の演算処理を行う。ここでは、光学ブレ補正の制御周期1[ms]、第1動きベクトルMV1の更新周期:33[ms](=30[fps])とする。第1動きベクトルMV1の演算方法については、公知技術を用いる。
Next, reference value correction (S004 to S005, S011 to S016) will be described. FIG. 5 is a flowchart showing the reference value correction calculation.
As described above, when the information of the first motion vector MV1 is updated (S004), the process proceeds to S005. If it has not been updated, the process proceeds to S006.
Since the optical blur correction control cycle is sufficiently early with respect to the MV1 update cycle, the same arithmetic processing as normal image stabilization is performed until the MV1 is updated. Here, it is assumed that the control period of optical blur correction is 1 [ms] and the update period of the first motion vector MV1 is 33 [ms] (= 30 [fps]). A well-known technique is used for the calculation method of the first motion vector MV1.
受信した第1動きベクトルMV1を全て合計する(S011)。
S007にて演算したセンタバイアス成分を、第1動きベクトルMV1と同一スケールに換算する(S012)。
換算方法は、焦点距離、被写体距離、撮影倍率、第1動きベクトルMV1の分解能情報を基に演算する。
Bias_MV=Bias_θ*f(1+β)/MV_pitch
Bias_MV:センタバイアス成分(動きベクトル同一スケール)
Bias_θ:センタバイアス成分(角度)
f:焦点距離
β:撮影倍率
MV_pitch:MV1ピッチサイズ
All the received first motion vectors MV1 are summed (S011).
The center bias component calculated in S007 is converted to the same scale as the first motion vector MV1 (S012).
The conversion method is calculated based on the focal length, the subject distance, the shooting magnification, and the resolution information of the first motion vector MV1.
Bias_MV = Bias_θ * f (1 + β) / MV_pitch
Bias_MV: Center bias component (same motion vector scale)
Bias_θ: Center bias component (angle)
f: Focal length β: Image magnification MV_pitch: MV1 pitch size
また、第1動きベクトルMV1は検出するまでに遅れ時間が発生するため、センタバイアス成分も、第1動きベクトルMV1と同等の遅れ時間を持たせることが好ましい。例えば、30[fps]で、3フレーム分の遅れ時間を持っている場合、約100[ms]遅れることになる。このため、100[ms]前のバイアス情報を用いることで、より正確に第1動きベクトルMV1に含まれる、センタバイアス成分が演算できる。 In addition, since a delay time occurs until the first motion vector MV1 is detected, it is preferable that the center bias component also has a delay time equivalent to that of the first motion vector MV1. For example, if there is a delay time of 3 frames at 30 [fps], the delay is about 100 [ms]. Therefore, the center bias component included in the first motion vector MV1 can be calculated more accurately by using the bias information before 100 [ms].
S012で演算したセンタバイアス成分を第1動きベクトルMV1から減算する(S013)。これにより、基準値誤差による第2動きベクトルMV2の情報を取得することができる。
最新の第2動きベクトルMV2(n)と1フレーム前の第2動きベクトルMV2(n−1)の差分:MV_diffを取得(S014)。
MV_diffを基に、基準値を補正する量を設定する。基準値は、以下の考えにより、補正量を設定する(S015)。
MV_diff>0:ω0_comp=−ω0_comp_def
MV_diff<0:ω0_comp=+ω0_comp_def
MV_diff=0:ω0_comp=0
ω0_comp :基準値補正量
ω0_comp_def:基準値補正常数
The center bias component calculated in S012 is subtracted from the first motion vector MV1 (S013). Thereby, the information of the second motion vector MV2 due to the reference value error can be acquired.
A difference: MV_diff between the latest second motion vector MV2 (n) and the second motion vector MV2 (n-1) one frame before is acquired (S014).
An amount for correcting the reference value is set based on MV_diff. As the reference value, a correction amount is set based on the following idea (S015).
MV_diff> 0: ω0_comp = −ω0_comp_def
MV_diff <0: ω0_comp = + ω0_comp_def
MV_diff = 0: ω0_comp = 0
ω0_comp: reference value correction amount ω0_comp_def: reference value correction constant
S015にて演算したω0_compをS003にて演算した基準値から減算する(S016)。具体的には、図4(b)中の、V4’の値を補正する。 Ω0_comp calculated in S015 is subtracted from the reference value calculated in S003 (S016). Specifically, the value of V4 ′ in FIG. 4B is corrected.
ここで、動きベクトル情報を用いて角速度基準値を補正するが、動きベクトル情報は、半押し中のみしか得ることができない。このため、露光中は、補正を行わない基準値演算に切換える。 Here, the angular velocity reference value is corrected using the motion vector information, but the motion vector information can be obtained only during half-pressing. For this reason, during exposure, the reference value calculation without correction is switched.
説明のために、まず、比較形態について説明する。図6は、角速度(ω5)が加わった場合の、角速度基準値ω0の演算結果を示したものである。
破線で示したω01は、角速度情報のみを用いて補正を行わなかった場合の基準値を演算した結果を示す。
一点鎖線のω02は、露光前は動きベクトル情報を用いて補正を行うが、露光後は補正を行わない場合の基準値の結果である。
図中、時刻t1は、レリーズスイッチが押された時刻である。
t1以前では、角速度基準値ω02は、補正を行わない場合のω01に対してより真値に近い値をとっている。しかし、t1以降は、ω01に対しての改善は僅かとなっている。
また、補正後露光中の基準値(露光前のみ補正)は、半押し中に対して悪化してしまう場合があることを示しており、比較形態においては、基準値補正の効果が薄れてしまう、という課題がある。
For the sake of explanation, first, a comparative embodiment will be described. FIG. 6 shows the calculation result of the angular velocity reference value ω0 when the angular velocity (ω5) is added.
Ω01 indicated by a broken line indicates a result of calculating a reference value when correction is not performed using only angular velocity information.
A dot-dash line ω02 is a result of a reference value when correction is performed using motion vector information before exposure, but correction is not performed after exposure.
In the figure, time t1 is the time when the release switch is pressed.
Prior to t1, the angular velocity reference value ω02 is closer to the true value than ω01 when correction is not performed. However, after t1, there is little improvement over ω01.
In addition, the reference value during exposure after correction (correction only before exposure) indicates that it may be worse than during half-pressing, and in the comparative form, the effect of correcting the reference value is diminished. There is a problem.
本実施形態では、上記比較形態の課題を解決するため、露光中の基準値ω03Aは、露光直前の基準値ω03Bを基に設定する。具体的には、露光中の基準値ω03Aは、露光直前のω03Bの所定時間T1内の平均値を用いる。
この処理により、露光中においても、より真値に近いω0値をとることが可能となり、防振性能が向上する。
In the present embodiment, in order to solve the problem of the comparative embodiment, the reference value ω03A during exposure is set based on the reference value ω03B immediately before exposure. Specifically, an average value within a predetermined time T1 of ω03B immediately before exposure is used as the reference value ω03A during exposure.
By this processing, it becomes possible to take a ω0 value closer to the true value even during exposure, and the image stabilization performance is improved.
(第2実施形態)
次に、本発明の第2実施形態について説明する。第2実施形態は、第1実施形態に対して、平均値を取得するための所定時間T1を、焦点距離により変更する。それ以外は同様であるので同様な部分の説明は省略する。
本実施形態において、平均値を取得するための所定時間T1を、焦点距離により変更する理由は以下の通りである。
図7は、焦点距離が異なる場合の角速度基準値波形(半押し中)を示すグラフである。
図示するように、角速度基準値を補正するシステムにおいては、動きベクトル情報を用いて、焦点距離が長い場合(ω0_f=長)と焦点距離が短い場合(ω0_f=短)に比べて補正効果が高い傾向にある。これは、焦点距離が長いほど、微小なω0誤差も動きベクトル情報として検出できる為である。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. In the second embodiment, the predetermined time T1 for obtaining the average value is changed according to the focal length as compared to the first embodiment. Since other than that is the same, description of the same part is abbreviate | omitted.
In the present embodiment, the reason why the predetermined time T1 for obtaining the average value is changed according to the focal length is as follows.
FIG. 7 is a graph showing an angular velocity reference value waveform (half pressed) when the focal lengths are different.
As shown in the figure, in the system for correcting the angular velocity reference value, using the motion vector information, the correction effect is higher than when the focal length is long (ω0_f = long) and when the focal length is short (ω0_f = short). There is a tendency. This is because the smaller the ω0 error can be detected as the motion vector information as the focal length is longer.
また、第1実施形態に示した様に、露光中の基準値をレリーズ直前の値とする場合、焦点距離が短い場合の方が、焦点距離が長い場合に対して、誤差が大きくなる確率が増すことになる。
図8は、平均値を取得する時間T1と、焦点距離との関係を示した図である。本実施形態では、焦点距離が短い場合には、図8に示すように平均値を取得する所定時間T1を長めに設定する。
これによって、より誤差の少ない値をとることができる。
Further, as shown in the first embodiment, when the reference value during exposure is set to a value immediately before the release, there is a probability that the error is larger when the focal length is shorter than when the focal length is longer. Will increase.
FIG. 8 is a diagram showing the relationship between the time T1 for obtaining the average value and the focal length. In the present embodiment, when the focal length is short, a predetermined time T1 for obtaining the average value is set longer as shown in FIG.
As a result, a value with less error can be taken.
(第3実施形態)
次に、本発明の第3実施形態について説明する。第3実施形態は、第1実施形態に対して、平均値を取得するための所定時間T1を、動きベクトルの検出分解能によって変更する。それ以外は同様であるので同様な部分の説明は省略する。
図9は、平均値を取得する時間T1と、分解のとの関係を示した図である。本実施形態では、分解能が高い場合には、図9に示すように平均値を取得する所定時間T1を長めに設定する。理由は、第2実施形態と同様である。
これによって、より誤差の少ない値をとることができる。
(Third embodiment)
Next, a third embodiment of the present invention will be described. Compared to the first embodiment, the third embodiment changes a predetermined time T1 for obtaining an average value depending on the detection resolution of the motion vector. Since other than that is the same, description of the same part is abbreviate | omitted.
FIG. 9 is a diagram showing the relationship between the time T1 for obtaining the average value and the decomposition. In the present embodiment, when the resolution is high, the predetermined time T1 for obtaining the average value is set longer as shown in FIG. The reason is the same as in the second embodiment.
As a result, a value with less error can be taken.
(第4実施形態)
次に、本発明の第4実施形態について説明する。第4実施形態は、第1実施形態に対して、平均値を取得するための所定時間T1を、焦点距離と分解能に応じて変更する点が異なる。それ以外は同様であるので同様な部分の説明は省略する。
図10は、平均値を取得する時間T1と、分解能及び焦点距離との関係を示した図である。本実施形態では、分解能が高い場合には、図10に示すように平均値を取得する所定時間T1を長めに設定する。そして、焦点距離が長いほど図10に示すように平均値を取得する所定時間T1を長めに設定する。
これによって、より誤差の少ない値をとることができる。
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described. The fourth embodiment differs from the first embodiment in that the predetermined time T1 for obtaining the average value is changed according to the focal length and the resolution. Since other than that is the same, description of the same part is abbreviate | omitted.
FIG. 10 is a diagram showing the relationship between the time T1 for obtaining the average value, the resolution, and the focal length. In the present embodiment, when the resolution is high, the predetermined time T1 for obtaining the average value is set longer as shown in FIG. As the focal length is longer, the predetermined time T1 for obtaining the average value is set longer as shown in FIG.
As a result, a value with less error can be taken.
(第5実施形態)
次に、本発明の第5実施形態について説明する。第5実施形態は、第1実施形態に対して、角速度基準値の演算時間が所定時間T2以上である場合のみ、露光中の基準値を、所定時間:T1間の平均値とする点が異なる。それ以外は同様であるので同様な部分の説明は省略する。
基準値演算時間がT2に満たない場合は、基準値演算処理(図4のLPF処理)により、露光中の基準値を演算する。
これは、基準値演算は、時定数の大きな(fc=0.1[Hz]程度)LPF処理により演算しているため、基準値演算が収束するためにはある程度の時間が必要となるからである。
基準値演算が収束しきっていない場合に、前述の処理(露光中の基準値を一定とする)を行った場合、むしろ、誤差を悪化させてしまう場合がある。このため、演算時間により露光中処理を切換える必要がある。
(Fifth embodiment)
Next, a fifth embodiment of the present invention will be described. The fifth embodiment is different from the first embodiment in that the reference value during exposure is set as an average value during a predetermined time: T1 only when the calculation time of the angular velocity reference value is equal to or longer than the predetermined time T2. . Since other than that is the same, description of the same part is abbreviate | omitted.
If the reference value calculation time is less than T2, the reference value during exposure is calculated by reference value calculation processing (LPF processing in FIG. 4).
This is because the reference value calculation is performed by LPF processing with a large time constant (about fc = 0.1 [Hz]), so that a certain amount of time is required for the reference value calculation to converge. is there.
If the reference value calculation is not fully converged, the error may be worsened if the above-described processing (the reference value during exposure is made constant) is performed. For this reason, it is necessary to switch the process during exposure depending on the calculation time.
以下に演算開始直後の基準値演算結果の一例を示す。
図11は、時刻t0時点で、基準値演算を開始した場合の波形例である。動きベクトル情報を用いる事で、基準値の収束性も改善されているが、それでも、安定するまでに、時間がかかっている(T2)。この為、t0〜t1間にレリーズされた場合に、実施形態1〜4に記載した処理を行うと、むしろ誤差を悪化させてしまう場合もある。
そこで、実施形態1〜4の処理を実施する際は、基準値の演算時間が、所定時間T2以上経過している場合にのみ行うこととする。
また、実施形態2〜3と同様の理由により、所定時間T2は、焦点距離、動きベクトル検出分解能によって変更してもよい。
An example of the reference value calculation result immediately after the start of calculation is shown below.
FIG. 11 is a waveform example when the reference value calculation is started at time t0. Although the convergence of the reference value is improved by using the motion vector information, it still takes time to stabilize (T2). For this reason, when the release is performed between t0 and t1, if the processing described in the first to fourth embodiments is performed, the error may be worsened.
Therefore, when the processing of the first to fourth embodiments is performed, it is performed only when the calculation time of the reference value has exceeded the predetermined time T2.
For the same reason as in the second to third embodiments, the predetermined time T2 may be changed depending on the focal length and the motion vector detection resolution.
(変形形態)
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
本実施形態では、ブレ補正レンズ群を移動させることによりブレ補正を行う形態について説明したが、これに限定されない。例えば、撮像素子を移動させることによりブレ補正を行うものであっても良く、またブレ補正レンズ群と撮像素子とを移動させることによりブレ補正を行うものであっても良い。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
(Deformation)
The present invention is not limited to the above-described embodiment, and various modifications and changes as described below are possible, and these are also within the scope of the present invention.
In the present embodiment, the form of performing the shake correction by moving the shake correction lens group has been described, but the present invention is not limited to this. For example, blur correction may be performed by moving the image sensor, or blur correction may be performed by moving the blur correction lens group and the image sensor.
In addition, although embodiment and a deformation | transformation form can also be used combining suitably, detailed description is abbreviate | omitted. Further, the present invention is not limited to the embodiment described above.
1:カメラ、1A:カメラ筐体、1B:レンズ鏡筒、2A:カメラCPU、2B:レンズCPU、3:撮像素子、4:ズームレンズ群、5:フォーカスレンズ群、6:ブレ補正レンズ群、7:ズームレンズ群駆動機構、8:フォーカスレンズ群駆動機構、9:ブレ補正レンズ群駆動機構、12:角速度センサ、21:レンズ位置検出部、31:増幅部、32:第1A/D変換部、33:第2A/D変換部、34:基準値演算部、35:センタバイアス除去部、35:基準値補正量演算部、36:目標位置演算部、37:センタバイアス演算部、38:センタバイアス除去部、39:駆動量演算部、40:信号処理部、41:ベクトル演算部、42:基準値補正部、43:減算部、100,200:ブレ補正装置 1: camera, 1A: camera housing, 1B: lens barrel, 2A: camera CPU, 2B: lens CPU, 3: image sensor, 4: zoom lens group, 5: focus lens group, 6: blur correction lens group, 7: Zoom lens group drive mechanism, 8: Focus lens group drive mechanism, 9: Blur correction lens group drive mechanism, 12: Angular velocity sensor, 21: Lens position detection unit, 31: Amplification unit, 32: First A / D conversion unit 33: second A / D conversion unit, 34: reference value calculation unit, 35: center bias removal unit, 35: reference value correction amount calculation unit, 36: target position calculation unit, 37: center bias calculation unit, 38: center Bias removal unit, 39: drive amount calculation unit, 40: signal processing unit, 41: vector calculation unit, 42: reference value correction unit, 43: subtraction unit, 100, 200: blur correction device
Claims (8)
前記光学系で形成された前記被写体の像を撮像する撮像素子と、
前記被写体の像のブレを補正するために駆動可能なブレ補正素子と、
前記光学系を備える撮像装置の角速度を検出する角速度センサと、
前記角速度センサの出力信号の基準値を、前記出力信号を基に演算する基準値演算部と、
撮像を指示する操作部の操作前は、前記操作部の操作前に撮像した複数の前記被写体の像から算出した動きベクトルを用いて補正した補正基準値及び前記角速度センサの前記出力信号により前記ブレ補正素子の目標位置を演算し、前記操作部の操作後は、操作部が操作される所定時間前から前記操作部が操作されるまでの間の、補正された前記補正基準値の平均値及び前記角速度センサの前記出力信号により前記ブレ補正素子の目標位置を演算する目標位置演算部と、
を有するブレ補正装置。 An optical system that receives light from a subject and forms an image of the subject;
An image sensor that captures an image of the subject formed by the optical system;
A blur correction element that can be driven to correct blur of the image of the subject;
An angular velocity sensor for detecting an angular velocity of an imaging device including the optical system;
A reference value calculation unit for calculating a reference value of an output signal of the angular velocity sensor based on the output signal;
Before the operation of the operation unit instructing imaging, the blurring is performed based on the correction reference value corrected using the motion vector calculated from the plurality of images of the subject imaged before the operation of the operation unit and the output signal of the angular velocity sensor. calculates a target position of the correction elements, after the operation of the operation unit, before a predetermined operation unit is operated time until the operation portion is operated, the average value of corrected said corrected reference value and A target position calculation unit that calculates a target position of the shake correction element based on the output signal of the angular velocity sensor;
An image stabilization apparatus having
前記目標位置演算部は、前記光学系の焦点距離が長い場合は、前記補正基準値の平均値を算出する時間を短くする、
ブレ補正装置。 The blur correction device according to claim 1,
The target position calculation unit shortens the time for calculating the average value of the correction reference values when the focal length of the optical system is long.
Blur correction device.
前記目標位置演算部は、前記動きベクトルの分解能が小さい場合は、前記補正基準値の平均値を算出する時間を短くする、
ブレ補正装置。 The blur correction apparatus according to claim 1 or 2,
The target position calculator, when the resolution of the motion vector is small, shortens the time for calculating the average value of the correction reference values;
Blur correction device.
前記ブレ補正素子は、前記光学系の一部である、
ブレ補正装置。 The blur correction device according to claim 1,
The blur correction element is a part of the optical system,
Blur correction device.
前記ブレ補正素子は、前記撮像素子である、
ブレ補正装置。 The blur correction device according to claim 1,
The blur correction element is the imaging element.
Blur correction device.
前記撮像素子を備える光学機器の角速度を検出する角速度センサと、
前記角速度センサの出力信号の基準値を演算する基準値演算部と、
撮像動作を指示するために操作される操作部と、
前記操作部の操作前に、前記撮像素子で撮像した複数の前記被写体像から算出した動きベクトルを用いて前記基準値を補正する基準値補正部と、
前記操作部の操作前は、前記補正後の基準値及び前記角速度センサの前記出力信号により前記撮像素子の目標位置を演算し、前記操作部の操作後は、操作部が操作される所定時間前から前記操作部が操作されるまでの間の、前記補正後の基準値の平均値及び前記角速度センサの前記出力信号により前記撮像素子の目標位置を演算する目標位置演算部と、
を有する光学機器。 An image sensor that can be driven to capture a subject image formed by an optical system and correct blur of the subject image;
An angular velocity sensor for detecting an angular velocity of an optical device including the imaging element;
A reference value calculation unit for calculating a reference value of the output signal of the angular velocity sensor;
An operation unit operated to instruct an imaging operation;
A reference value correction unit that corrects the reference value using a motion vector calculated from a plurality of the subject images imaged by the imaging element before the operation of the operation unit;
Before the operation of the operation unit, the target position of the image sensor is calculated based on the corrected reference value and the output signal of the angular velocity sensor. After the operation of the operation unit , a predetermined time before the operation unit is operated and the target position calculating section for calculating a target position of the imaging element by the output signal of the average value and the angular velocity sensor reference value, of the corrected until the operating portion is operated from,
An optical instrument.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013248630A JP6299188B2 (en) | 2013-11-29 | 2013-11-29 | Blur correction device, lens barrel and camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013248630A JP6299188B2 (en) | 2013-11-29 | 2013-11-29 | Blur correction device, lens barrel and camera |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018034227A Division JP6590013B2 (en) | 2018-02-28 | 2018-02-28 | Interchangeable lens and imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015106087A JP2015106087A (en) | 2015-06-08 |
JP6299188B2 true JP6299188B2 (en) | 2018-03-28 |
Family
ID=53436223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013248630A Active JP6299188B2 (en) | 2013-11-29 | 2013-11-29 | Blur correction device, lens barrel and camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6299188B2 (en) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100292475B1 (en) * | 1993-12-08 | 2001-06-01 | 구자홍 | Device for compensating digital image shake |
JPH0980500A (en) * | 1995-09-07 | 1997-03-28 | Nikon Corp | Blur correcting device |
JPH10148858A (en) * | 1996-11-19 | 1998-06-02 | Canon Inc | Vibration proof controller |
JP2004226692A (en) * | 2003-01-23 | 2004-08-12 | Nikon Corp | Vibration detecting device and blur correction camera |
JP4360147B2 (en) * | 2003-07-25 | 2009-11-11 | 株式会社ニコン | Photography lens and camera system |
JP4869579B2 (en) * | 2003-10-21 | 2012-02-08 | 株式会社ニコン | Blur correction device and camera system |
JP4740008B2 (en) * | 2006-03-27 | 2011-08-03 | 三洋電機株式会社 | Camera shake detection device and digital camera |
JP2008236289A (en) * | 2007-03-20 | 2008-10-02 | Sanyo Electric Co Ltd | Image sensing device |
-
2013
- 2013-11-29 JP JP2013248630A patent/JP6299188B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015106087A (en) | 2015-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4757185B2 (en) | Optical equipment | |
JP5409342B2 (en) | Imaging apparatus and control method thereof | |
JP6543946B2 (en) | Shake correction device, camera and electronic device | |
JP6171575B2 (en) | Blur correction device and optical apparatus | |
JP6268981B2 (en) | Blur correction device, interchangeable lens and camera | |
JP6171576B2 (en) | Blur correction device and optical apparatus | |
JP2019091063A (en) | Shake correction device, electronic apparatus and camera | |
JP6590013B2 (en) | Interchangeable lens and imaging device | |
US20200366846A1 (en) | Control apparatus, lens apparatus, imaging apparatus, control method, and storage medium | |
JP6717396B2 (en) | Image stabilization apparatus and image pickup apparatus | |
JP6468343B2 (en) | Interchangeable lenses and optical equipment | |
JP6299188B2 (en) | Blur correction device, lens barrel and camera | |
JP2011013555A (en) | Camera-shake correction device and optical instrument | |
JP6590018B2 (en) | Blur correction device and camera | |
JP6485499B2 (en) | Blur correction device and optical apparatus | |
JP6610722B2 (en) | Blur correction device and optical apparatus | |
JP6414285B2 (en) | Blur correction device and optical apparatus | |
JP5699806B2 (en) | Imaging device | |
JP6318502B2 (en) | Blur correction device and optical apparatus | |
JP6943323B2 (en) | interchangeable lens | |
JP2015106086A (en) | Tremor correction device and optical device | |
WO2020012960A1 (en) | Imaging device | |
JP2019003220A (en) | interchangeable lens | |
JP2015102755A (en) | Shake correction device, lens barrel, and camera | |
WO2020012961A1 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161003 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161003 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6299188 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |