JP5869876B2 - Imaging apparatus and control method thereof - Google Patents
Imaging apparatus and control method thereof Download PDFInfo
- Publication number
- JP5869876B2 JP5869876B2 JP2011286630A JP2011286630A JP5869876B2 JP 5869876 B2 JP5869876 B2 JP 5869876B2 JP 2011286630 A JP2011286630 A JP 2011286630A JP 2011286630 A JP2011286630 A JP 2011286630A JP 5869876 B2 JP5869876 B2 JP 5869876B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image blur
- blur correction
- mode
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像装置に関し、特に手ブレ補正機能を有する撮像装置およびその制御方法に関するものである。 The present invention relates to an imaging apparatus, and more particularly to an imaging apparatus having a camera shake correction function and a control method thereof.
撮像装置の振れを検出して撮像レンズを駆動することにより、検出した振れに起因する像ブレを補正する像ブレ補正装置(手ブレ補正装置ともいう)を備えた撮像装置が知られている。近年では、歩きながらの撮影によって生じる大きな揺れに対して手ブレ補正効果を高める技術や、望遠での撮影において生じる細かな揺れや低い周波数の揺れに対して手ブレ補正効果を高める技術、など様々な手ブレ補正技術がある。そして、予め用意された複数種類の手ブレ補正機能のなかから撮影の状況に応じた機能が自動的に選択されることで、最適な手ブレ補正制御が行われるようになっている。 2. Description of the Related Art An imaging apparatus including an image blur correction apparatus (also referred to as a camera shake correction apparatus) that corrects an image blur caused by the detected shake by detecting a shake of the imaging apparatus and driving an imaging lens is known. In recent years, there are various technologies such as a technology that enhances camera shake correction for large shakes caused by shooting while walking, and a technology that improves camera shake correction effects for fine shakes and low frequency shakes that occur when shooting at telephoto. There is a special camera shake correction technology. Then, an optimum camera shake correction control is performed by automatically selecting a function corresponding to the shooting situation from among a plurality of types of camera shake correction functions prepared in advance.
動画の撮影においては、カメラを意図的に動かすパンニングやチルティングなどのカメラワークを行いながら撮影を行う場合がある。これらのカメラワークを行いながらの撮影では、手ブレ補正に制限をかけて補正能力を低下させることにより、補正レンズが補正端に突き当って生じる撮影画像の乱れを防止し、撮影画像の動きがなめらかになるように制御する。一方、カメラを動かさず固定点を撮影するような場合には、手ブレ補正の制限を解除して補正能力を上げ、ユーザの意図しない細かな揺れや低い周波数の揺れに対する補正効果を高めるように制御する。 When shooting a moving image, shooting may be performed while performing camera work such as panning or tilting that intentionally moves the camera. In shooting while performing these camera works, by restricting camera shake correction and reducing the correction capability, the correction lens prevents the shot image from being disturbed by hitting the correction end, and the movement of the shot image is reduced. Control to be smooth. On the other hand, when shooting a fixed point without moving the camera, the restriction of camera shake correction is lifted to increase the correction capability, and the correction effect for fine shaking and low frequency shaking not intended by the user is enhanced. Control.
このような撮影者の意図した振れと意図しない振れを区別する手法として、例えば、特許文献1に記載の技術が提案されている。そして、このような技術を用いることにより、様々な手ブレ補正のなかから撮影の状況に応じた機能を自動的に選択することができる。それとともに、選択された手ブレ補正機能に対応した表示アイテムを表示画面に表示することによって実行中の手ブレ補正制御をユーザが容易に認識できるようにすることが可能となっている。 For example, a technique described in Patent Document 1 has been proposed as a technique for distinguishing between a shake intended by the photographer and an unintended shake. By using such a technique, it is possible to automatically select a function according to the shooting situation from various camera shake corrections. At the same time, by displaying a display item corresponding to the selected camera shake correction function on the display screen, the user can easily recognize the camera shake correction control being executed.
従来技術を用いて、撮影の状況に応じた手ブレ補正機能を自動的に選択して実行し、実行中の手ブレ補正機能に対応した表示アイテムを表示する例として、次のようなカメラを例にして説明する。撮影状況として、意図的にカメラを動かすパン・チルト撮影モード、カメラを動かさずに固定点を撮影する固定点撮影モードを区別し、それぞれの撮影状況に適した手ブレ補正モードを実行する。そして、実行中の手ブレ補正モードに対応した表示アイテムを表示画面に表示する。撮影状況の判定には特許文献1に開示されている手法を用いる。このような従来技術を用いたカメラにおいて、撮影の状況に応じた手ブレ補正機能を自動的に選択して実行し、実行中の手ブレ補正機能に対応した表示アイテムを表示する場合、次のような課題があった。 As an example of using the conventional technology to automatically select and execute the camera shake correction function according to the shooting situation and display the display items corresponding to the camera shake correction function being executed, the following camera is used. An example will be described. As shooting conditions, a pan / tilt shooting mode in which the camera is intentionally moved and a fixed point shooting mode in which a fixed point is shot without moving the camera are distinguished, and a camera shake correction mode suitable for each shooting situation is executed. Then, display items corresponding to the camera shake correction mode being executed are displayed on the display screen. The method disclosed in Patent Document 1 is used for determining the shooting situation. In such a conventional camera, when the camera shake correction function corresponding to the shooting situation is automatically selected and executed, and the display item corresponding to the camera shake correction function being executed is displayed, the following There was such a problem.
特許文献1では、振れの大きさ、あるいは振れ量から算出する振れ補正手段の補正量に応じて意図したカメラワークかそうでない手ブレかを判定していた。しかしながら振れの大きさは撮影者によって様々であり、撮影者の意図した揺れではないが大きな揺れ(手ブレ)が加わった場合、これを意図したカメラワークと判定してしまう場合があった。そのため、ユーザの意図に反して表示アイテムが切り替わってしまい、ユーザに不快感を与えるという課題があった。手ブレの大きさに対して意図したブレと判定する閾値を大きくして手ブレ補正機能が頻繁に切り替わらないようにするという対策も考えられるが、これはすなわち上述した補正レンズが補正端に突き当りやすくなることを意味しており、根本的な解決には至らなかった。 In Patent Literature 1, it is determined whether the camera work is intended or camera shake is not so according to the magnitude of the shake or the correction amount of the shake correction means calculated from the shake amount. However, the magnitude of the shake varies depending on the photographer. When a large shake (camera shake) is added, which is not the shake intended by the photographer, this may be determined as the intended camera work. Therefore, the display item is switched against the user's intention, and there is a problem that the user feels uncomfortable. A measure to prevent the camera shake correction function from switching frequently by increasing the threshold value for determining the intended camera shake relative to the size of the camera shake can be considered. It meant that it would be easier, and it did not lead to a fundamental solution.
本発明は上述した課題に鑑みてなされたものであり、ユーザが意図した撮影状況を示す表示アイテムを表示画面に表示できる撮像装置およびその制御方法を提供することを目的とする。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an imaging apparatus capable of displaying a display item indicating a shooting situation intended by a user on a display screen and a control method thereof.
本発明に係わる撮像装置は、複数の像ブレ補正モードを有する撮像装置であって、光学系によって結像された被写体像を撮像する撮像手段と、前記撮像装置の振れを検出する振れ検出手段と、前記振れ検出手段の出力に応じて前記複数の像ブレ補正モードからひとつを選択して実行する補正手段と、前記複数の像ブレ補正モードのそれぞれに対応付けられた複数の表示アイテムを表示する表示手段と、時系列的に連続する複数の画像間における動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルを積算して撮像装置の空間的な位置変化によって生じる画面移動量を算出する算出手段と、前記補正手段により実行されている像ブレ補正モードと前記画面移動量に応じて、前記複数の表示アイテムからひとつの表示アイテムを選択して前記表示手段に表示させる制御手段と、を備えることを特徴とする。 Imaging device according to the present invention is an imaging apparatus having a plurality image blur correction mode, an imaging unit for imaging the subject image formed by the optical system, vibration detection means for detect a shake of the image pickup device And a correction unit that selects and executes one of the plurality of image blur correction modes according to the output of the shake detection unit, and a plurality of display items associated with each of the plurality of image blur correction modes. Display means, motion vector detection means for detecting a motion vector between a plurality of time-sequential images, and calculating the amount of screen movement caused by a spatial position change of the imaging apparatus by integrating the motion vectors. One display item is selected from the plurality of display items according to the calculation unit, the image blur correction mode executed by the correction unit, and the screen movement amount. Characterized in that it comprises a control means for displaying on said display means in.
本発明によれば、ユーザが意図した撮影状況を示す表示アイテムを表示画面に表示することが可能な撮像装置およびその制御方法を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the imaging device which can display the display item which shows the imaging | photography situation which the user intended on the display screen, and its control method can be provided.
以下、本発明の一実施形態について、図面を参照して詳細に説明する。なお、以下の実施形態では、実行可能な複数の像ブレ補正モードを有する撮像装置として、動画像の撮影を行うデジタルビデオカメラを例示して説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings. In the following embodiments, a digital video camera that captures a moving image will be described as an example of an imaging apparatus having a plurality of executable image blur correction modes.
図1は、一実施形態に係る撮像装置の構成を示すブロック図である。図1において、撮像光学系102は、撮像装置100の撮像面に被写体像を結像させる。補正光学系103は、撮像光学系102の光軸と垂直な二次元平面内で移動されることにより、撮像面への光軸の入射角度を変更する。補正光学系103の移動によって、撮像装置100の撮像画像に生じる像ブレを光学的に補正することができる。撮像部104は、撮像光学系102及び補正光学系103によって入射された光学像を光電変換し、画像信号を出力する。撮像信号処理部105は、撮像部104から出力された画像信号を信号処理し、映像信号に変換する。映像信号処理部106は、撮像信号処理部105から出力された映像信号に基づいた画像(スルー画)の他、設定メニュー画像、撮影済みの画像などを用途に応じて加工する。表示部107は、映像信号処理部106から出力された信号に基づいた画像を表示する液晶表示素子(LCD)などの表示デバイスである。
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to an embodiment. In FIG. 1, the imaging
振れ検出センサとしての角速度センサ108(振れ検出手段)は撮像装置100の揺れの検出を行う。例えば、角速度センサ108は振動ジャイロ等のセンサであり、手ブレ等による撮像装置100の揺れを検出して電気信号に変換する。アンプ109は、角速度センサ108の出力を最適な感度に増幅して、A/D変換器110に供給する。A/D変換器110は、アンプ105から出力された電気信号をデジタル信号に変換し、uCOM101に取り込む。
An angular velocity sensor 108 (a shake detection unit) serving as a shake detection sensor detects a shake of the
HPF111は、カットオフ周波数を任意に変更することができ、角速度信号に含まれる低周波成分を減衰する。積分器112は、時定数を任意に変更することができ、HPF111で低周波数成分を減衰された角速度信号を積分処理して角変位信号に変換する。算出された角変位信号が、撮像装置100に加わった揺れとして検出された揺れ角に相当し、この信号に基づいてブレ補正を行う。
The HPF 111 can arbitrarily change the cutoff frequency, and attenuates a low frequency component included in the angular velocity signal. The
焦点距離補正部113は、ズームエンコーダ120の出力から撮像光学系102の焦点距離を算出し、積分器112から出力される角変位信号に算出した焦点距離を加味して補正光学系103の駆動目標位置を算出する。
The focal
制御フィルタ114、パルス幅変調部115、モータ駆動部116、モータ117、位置検出センサ118、A/D変換器119は、補正光学系103の駆動を制御するフィードバックループを構成している。位置検出センサ118は、補正光学系103の位置を検出し電気信号を出力する。A/D変換器119は、位置検出センサ118からの電気信号をデジタル信号に変換し、uCOM101に取り込む。取り込まれた信号が補正光学系103の現在位置である。制御フィルタ114には、駆動目標位置と現在位置の差分である偏差が入力され、偏差が零に近づくように種々の演算を行い、補正光学系103を駆動するための制御信号を出力する。制御フィルタ114から出力される制御信号はパルス幅変調部115に送られ、PWM(Pulse Width Modulation)信号に変換される。モータ駆動部116は、パルス幅変調部115からのPWM信号に基づいてモータ117を駆動し、補正光学系103を駆動する。このように、補正光学系103の駆動目標位置と現在位置の差分が零になるようにフィードバックループを制御することによって、補正光学系103の位置を駆動目標位置に追従させる。そして、駆動目標位置は、角変位信号に基づいて算出されており、撮像装置100に加わった揺れによって生じる像ブレを補正するように補正光学系103を駆動することで手ブレ補正が行われる。
The
補正モード判定部122は、振れ検出センサからの出力に基づいた角速度および角変位に応じて撮影状況の判定を行い、様々の手ブレ補正モードから最適な手ブレ補正モードを選択する。補正特性制御部123は、補正モード判定部122が選択した手ブレ補正モードに応じてHPF111の周波数特性および積分器112の時定数を設定することにより、様々な手ブレ補正の効果に切り替えるためのものである。まず、手ブレ補正モードに応じてHPF111のカットオフ周波数を設定し、ブレ補正の対象とする周波数成分を変更する。また、補正光学系103が補正可能範囲の限界位置に突き当らないように滑らかに制御するため、角変位が大きくなるにつれて徐々に積分器112の時定数を小さくし、補正効果を弱めている。時定数の変化を表す特性は、積分器112の出力である角変位を補正可能範囲の限界位置で正規化した正規化角変位との関数で与えられ、手ブレ補正モードによって異なる特性を適用する。
The correction
表示アイテム判定部124は、動きベクトル検出部121(動きベクトル検出手段)から出力される動きベクトル及び補正モード判定部122の選択した手ブレ補正モードに応じて、表示アイテムを決定する。このように、補正モード判定部122で判定された手ブレ補正モードに対応した表示アイテムをそのまま表示部に表示するのではなく、動きベクトルに基づいた画面移動量を加味して表示アイテムの判定を行う点が、本実施形態において最も特徴とする点である。詳細な説明は後述する。
The display
動きベクトル検出部121は、撮像信号処理部105で処理される信号に含まれる輝度信号を基に、ひとつ前のフィールド又はフレームを基準とした画像(時系列的に連続する画像間)の動き量(動きベクトル)を検出する。動きベクトル検出法としては、相関法やブロックマッチング法等が知られているが、ここではその一例として、ブロックマッチング法を動きベクトル検出部121に採用するものとする。このブロックマッチング法とは、まず入力画像信号を複数の適当な大きさのブロック(例えば、8×8画素)に分割し、ブロック単位に前のフィールド又はフレームの一定範囲の画素との差を計算する。そして、この差の絶対値の和が最小となる前のフィールド又はフレームのブロックを検索し、当該ブロックの相対的なずれをそのブロックの動きベクトルとして検出する方法である。
The motion
図2に手ブレ補正モードの例と、それぞれの手ブレ補正モードに対応付けられた表示アイテム(本実施形態ではアイコンを使用する)を示す。本実施形態では、通常補正モード、定点撮影モード、三脚モードの3つの手ブレ補正モードから、撮影状況に応じたモードが選択され実行される。また、図2では、各手ブレ補正モードに対応付けられた表示アイテムとしてのアイコンの例を示している。なお、図2に示した表示アイコンの種類は各種手ブレ補正モードを表現したアイコンの一例である。 FIG. 2 shows an example of the camera shake correction mode and display items associated with the respective camera shake correction modes (in this embodiment, icons are used). In the present embodiment, a mode corresponding to the shooting situation is selected and executed from the three camera shake correction modes of the normal correction mode, the fixed point shooting mode, and the tripod mode. FIG. 2 shows an example of an icon as a display item associated with each camera shake correction mode. Note that the types of display icons shown in FIG. 2 are examples of icons representing various camera shake correction modes.
以下に実行可能な複数の手ブレ補正モードの各々について詳細例を述べる。 A detailed example will be described below for each of a plurality of camera shake correction modes that can be executed.
[通常補正モード] 手持ちによる動画撮影における通常の手ブレ補正モードであり、撮影者が意図したカメラワークを行った撮影においても滑らかに撮影できることに重きを置いた手ブレ補正モードである。 [Normal Correction Mode] This is a normal camera shake correction mode for hand-held moving image shooting, and is a camera shake correction mode that emphasizes that smooth shooting can be performed even in shooting with camera work intended by the photographer.
通常補正モードが選択されている場合、HPF111のカットオフ周波数を例えば0.2Hz程度に設定する。これは検出される揺れ信号のうち、手ブレの主な周波数成分である2〜10Hz程度の周波数を補正するように設定さえている。また、図3(a)に示す特性となるように積分器112の時定数を変更する。正規化角変位が40%程度から時定数を徐々に小さくすることで、大きな揺れや撮影者が意図したカメラワークを行った場合においても補正限界に突き当ることがなく、滑らかな補正が可能となっている。
[定点撮影モード] 主に望遠側でカメラを意図して動かすことなく撮影するようなときに適した手ブレ補正モードである。定点撮影モードでは通常補正モードよりも低い周波数帯域のブレに対する防振効果を高め、防振の効きを強くすることを目的とする。その理由としては、撮影者がしっかりとカメラを構えていても、呼吸による揺れや体全体のゆったりとした振れによって低い周波数の振れが生じていることが多く、特に望遠側での撮影においてはこのような低い周波数の揺れによる画像の揺らぎが目立ってしまうからである。
When the normal correction mode is selected, the cutoff frequency of the
[Fixed point shooting mode] This is a camera shake correction mode that is suitable for shooting mainly on the telephoto side without intentionally moving the camera. The purpose of the fixed-point shooting mode is to enhance the vibration-proofing effect against blurring in a frequency band lower than that in the normal correction mode, and to strengthen the vibration-proofing effect. The reason for this is that even if the photographer holds the camera firmly, there is often a low frequency shake due to shaking caused by breathing or a loose shake of the entire body, especially when shooting on the telephoto side. This is because image fluctuations due to such low frequency fluctuations are conspicuous.
定点撮影モードが選択されている場合、HPF111のカットオフ周波数を例えば0.05Hz程度に設定することで、通常補正モードより低い周波数まで補正対象としている。これは、上述した呼吸による揺れや体全体のゆったりとした振れによって生じる低い周波数の振れまでしっかりと補正するためである。また、図3(b)に示す特性となるように積分器112の時定数を変更する。時定数を小さくし始める正規化角変位を90%付近まで広げ、通常補正モードより大きなブレにも対応できるようにしている。
When the fixed point shooting mode is selected, the cutoff frequency of the
[三脚モード] 三脚台に固定した時などカメラの揺れ量が小さい時に手ブレ補正の効果を弱める。手ブレを弱める理由としては角速度センサから出力される低周波数の揺らぎノイズによりカメラが静止しているにも関わらず撮影画像が揺らいでしまうことを防ぐことなどが挙げられる。 [Tripod mode] Reduces the effect of camera shake correction when the camera shake is small, such as when mounted on a tripod stand. The reason for reducing camera shake is to prevent the captured image from fluctuating even though the camera is stationary due to low-frequency fluctuation noise output from the angular velocity sensor.
三脚モードが選択されている場合、HPF111のカットオフ周波数を例えば2Hz程度に設定し、角速度センサの低域の揺らぎ成分を取り除いている。また、図3(c)に示す特性となるように積分器112の時定数を変更し、通常モードよりもさらに補正効果を弱めるように設定している。
When the tripod mode is selected, the cutoff frequency of the
次に、図4を参照して、補正モード判定部122で実行される、複数の手ブレ補正モードから撮影状況に合わせて手ブレ補正モードを選択するための処理について説明する。図4に示される手ブレ補正モードの判定の処理は、映像のフレームレートに同期して行われ、例えば、NTSCであれば16.67msの周期で実行される。
Next, with reference to FIG. 4, the process for selecting the camera shake correction mode according to the shooting situation from the plurality of camera shake correction modes, which is executed by the correction
まず、S101において、積分器112の出力である角変位を補正可能範囲の限界位置で正規化し、正規化角変位を算出する。S102において、現在の手ブレ補正モードが三脚モードか否かを判定する。三脚モードと判定された場合はS103に進み、角速度センサ108によって検出された角速度が所定値以上か否かを判定する。角速度が所定値以上と判定された場合は、S106に進み、定点撮影モードの判定に移る。S103で角速度が所定値以上ではないと判定された場合はS105に進み、手ブレ補正モードとして三脚モードが選択される。
First, in S101, the angular displacement that is the output of the
S102において、手ブレ補正モードが三脚モードと判定されなかった場合は、S104に進み、角速度が所定値以下か否かを判定する。角速度が所定値以下と判定された場合は、S105に進み、手ブレ補正モードとして三脚モードが選択される。S104において、角速度が所定値以下と判定されなかった場合は、S106に進み定点撮影モードの判定に移る。また、S104での判定に用いる閾値は通常の手ブレで生じる角速度より十分小さい値にし、S103での判定に用いる閾値はS104の判定に用いる閾値より十分大きい値にしている。 If the camera shake correction mode is not determined to be the tripod mode in S102, the process proceeds to S104, and it is determined whether the angular velocity is equal to or less than a predetermined value. If it is determined that the angular velocity is equal to or less than the predetermined value, the process proceeds to S105, and the tripod mode is selected as the camera shake correction mode. If the angular velocity is not determined to be equal to or less than the predetermined value in S104, the process proceeds to S106 and the determination is made for the fixed point shooting mode. Further, the threshold used for the determination in S104 is set to a value sufficiently smaller than the angular velocity generated by normal camera shake, and the threshold used for the determination in S103 is set to a value sufficiently larger than the threshold used for the determination in S104.
S106において、現在の手ブレ補正モードが定点撮影モードか否かを判定する。定点撮影モードと判定された場合はS107に進み、S101で算出した正規化角変位が所定値以上か否かを判定する。正規化角変位が所定値以上と判定された場合は、S110に進み、手ブレ補正モードとして通常補正モードが選択される。S107で正規化角変位が所定値以上ではないと判定された場合はS108に進み、手ブレ補正モードとして定点撮影モードが選択される。 In S106, it is determined whether or not the current camera shake correction mode is the fixed point shooting mode. If it is determined that the fixed-point shooting mode is selected, the process proceeds to S107, and it is determined whether the normalized angular displacement calculated in S101 is equal to or greater than a predetermined value. When it is determined that the normalized angular displacement is equal to or greater than the predetermined value, the process proceeds to S110, and the normal correction mode is selected as the camera shake correction mode. If it is determined in S107 that the normalized angular displacement is not equal to or greater than the predetermined value, the process proceeds to S108, and the fixed point shooting mode is selected as the camera shake correction mode.
S106において、手ブレ補正モードが定点撮影モードと判定されなかった場合は、S109に進み、正規化角変位が所定値以下か否かを判定する。正規化角変位が所定値以下と判定された場合は、S108に進み、手ブレ補正モードとして定点撮影モードが選択される。S109において、正規化角変位が所定値以下と判定されなかった場合は、S110に進み通常補正モードが選択される。 If the camera shake correction mode is not determined to be the fixed point shooting mode in S106, the process proceeds to S109 to determine whether the normalized angular displacement is equal to or less than a predetermined value. When it is determined that the normalized angular displacement is equal to or smaller than the predetermined value, the process proceeds to S108, and the fixed point shooting mode is selected as the camera shake correction mode. If it is not determined in S109 that the normalized angular displacement is equal to or less than the predetermined value, the process proceeds to S110 and the normal correction mode is selected.
ここで、S107で通常補正モードと判定する正規化角変位の閾値は例えば95%として、補正範囲の限界位置に突き当る前に通常補正モードに切り替える。また、定点撮影モードと通常補正モードが頻繁に切り替わらないようにするため、S109で定点撮影モードと判定する閾値はS107の判定に用いる閾値より十分に小さい値とし例えば30%に設定する。 Here, the normalization angular displacement threshold value determined to be the normal correction mode in S107 is, for example, 95%, and the normal correction mode is switched to the limit position of the correction range. In order to prevent frequent switching between the fixed point shooting mode and the normal correction mode, the threshold value for determining the fixed point shooting mode in S109 is set to a value sufficiently smaller than the threshold value used for the determination in S107, for example, 30%.
次に、図5を参照して、表示アイテム判定部124で実行される、手ブレ補正モードの表示アイコンを表示するための処理について説明する。すなわち、表示アイテム判定部124は手ブレ補正モードの表示アイコンを表示させる制御手段として機能する。なお、図5に示される表示アイコン判定の処理は、映像のフレームレートに同期して行われ、例えば、NTSCであれば16.67msの周期で実行される。
Next, with reference to FIG. 5, the process for displaying the display icon of the camera shake correction mode, which is executed by the display
まず、S201において、補正モード判定部122の判定結果が定点撮影モードか否かを判定する。定点撮影モードと判定された場合、処理はS202に進み、前回のアイコン判定処理における補正モードが定点撮影モードか否かを判定する。前回の補正モードが定点撮影モードでないと判定された場合、S204に進み、画面移動量を零にリセットする。
First, in S201, it is determined whether or not the determination result of the correction
S201とS202の処理によって、定点撮影モード以外の補正モードから定点撮影モードへの切り替わるタイミングを検出することができる。そして定点撮影モードに切り替わった時点から定点撮影モードを継続している間の画面移動量を求めるために、この定点撮影モード以外の補正モードから定点撮影モードへの切り換りを検出した時点を画面移動の起点として画面移動量をリセットして積算を開始する。 By the processing of S201 and S202, the timing for switching from the correction mode other than the fixed point shooting mode to the fixed point shooting mode can be detected. In order to determine the amount of screen movement while the fixed-point shooting mode is continued from the time when the mode is switched to the fixed-point shooting mode, the screen displays the time when the switching from the correction mode other than the fixed-point shooting mode to the fixed-point shooting mode is detected. As a starting point of movement, the screen movement amount is reset and integration is started.
S201で定点撮影モードと判定されなかった場合、あるいは、S202で前回の補正モードが定点撮影モードと判定された場合はS203に進む。S203では、動きベクトル検出部121から出力される動きベクトルを積算して画面移動量を算出する。言い換えれば、動きベクトルを積算して撮像装置の空間的な位置変化によって生じる画面移動量量を算出する。つまり、表示アイテム判定部124は、動きベクトルを積算して撮像装置の空間的な位置変化によって生じる動き量を算出する算出手段として機能する。動きベクトルは、実際にはX方向(横方向)成分とY方向(縦方向)成分に分解されており、それぞれ独立して積算処理を行う。従って、画面移動量も同様にX方向画面移動量とY方向画面移動量が算出される。
If the fixed point shooting mode is not determined in S201, or if the previous correction mode is determined to be the fixed point shooting mode in S202, the process proceeds to S203. In S203, the motion vectors output from the motion
S205で、補正モード判定部122の判定結果が三脚モードか否かを判定する。三脚モードと判定された場合はS206に進み、三脚モード用の表示アイコンを表示する。S205で三脚モードと判定されなかった場合はS207に進む。
In S205, it is determined whether or not the determination result of the correction
S207で、補正モード判定部122の判定結果が定点撮影モードか否かを判定する。定点撮影モードと判定された場合はS211に進み、定点撮影モード用の表示アイコンを表示する。S207で定点撮影モードと判定されなかった場合はS208に進み、定点撮影モード用の表示アイコンを表示しているか否かを判定する。定点撮影モード用の表示アイコンを表示していると判定された場合はS209に進み、S203で求めた画面移動量が所定値以上か否かを判定する。ここでの画面移動量は、X方向画面移動量とY方向画面移動量のそれぞれに対して判定がなされ、いずれか一方でも所定値以上の場合に画目移動量が所定値以上であると判定する。S209で画面移動量が所定値以上でないと判定された場合はS211に進み、定点撮影モード用の表示アイコンを表示する。S208で定点撮影モード用の表示アイコンを表示していないと判定された場合、あるいはS209で画面移動量が所定値以上と判定された場合はS210に進み、通常補正モード用の表示アイコンを表示する。これによって内部の処理としては定点撮影モードを抜けるものの定点撮影モード用の表示アイコンを表示するため、振れ量が閾値付近であったときにアイコンが頻繁に切り替わることを防ぐことができる。
In S207, it is determined whether or not the determination result of the correction
次に図6を参照して、本実施形態の撮像装置による手ブレ補正モードの表示アイコンが切り替わる様子について説明する。図6は、被写体を撮影しているときに表示部に表示される映像を表している。図中の601は撮影している被写体、602は表示部に表示される手ブレ補正モードアイコン、603は定点撮影モードから通常補正モードに切り替えるための画面移動量の閾値を示し、画面移動量は画面中心を原点として表している。
Next, with reference to FIG. 6, a state in which the display icon in the camera shake correction mode by the imaging apparatus according to the present embodiment is switched will be described. FIG. 6 shows an image displayed on the display unit when the subject is photographed. In the figure,
まず、図6(a)では、パンニングやチルティングのようなカメラワークを行わず、被写体601を画面中央に収めるように撮影しているときの映像を示している。このときカメラに加わる揺れは手ブレのみとなるので、検出される揺れが小さく正規化角変位(角変位)が所定値以下となった時、手ブレ補正モードに定点撮影モードが選択されて実行される。手ブレ補正モードアイコン602は手ブレ補正モードが定点撮影モードに切り替わると同時に定点撮影モード用の表示アイコンに切り替わる。なお、このときの画面上の移動量(ブレ量)は、補正光学系によって補正しきれなかったブレであるので、手ブレの大きさが補正光学系の補正可能範囲を超えない大きさである場合、ブレは補正光学系によってその殆どが補正される。そのため、画面上のブレ量は非常に小さくなる。また、手ブレ補正モードが定点撮影モードに切り替わると手ブレ補正効果は通常補正モードよりしっかりと効かせるようになるので、画面移動量はより小さくなる。
First, FIG. 6A shows an image when shooting is performed so that the subject 601 is placed in the center of the screen without performing camera work such as panning or tilting. At this time, only the camera shake is applied to the camera. Therefore, when the detected shake is small and the normalized angular displacement (angular displacement) is less than the predetermined value, the fixed point shooting mode is selected and executed as the camera shake correction mode. Is done. The camera shake
図6(b)は、被写体601bを中央に収めるように撮影しているが、意図せず大きな揺れが発生した場合の映像を示している。検出された揺れが大きくなると補正光学系は補正可能範囲の限界位置に近づく。そして正規化角変位(角変位)が所定値を超えると手ブレ補正モードを定点撮影モードから通常補正モードに切り替えて、手ブレ補正の効果を弱めるようにする。これにより、補正光学系の補正可能範囲を超えるような大きな揺れが発生しても補正可能範囲の限界位置に突き当ることなく、滑らかに制御することができる。 FIG. 6B shows an image when the subject 601b is photographed so as to be centered, but a large shake occurs unintentionally. When the detected shake increases, the correction optical system approaches the limit position of the correctable range. When the normalized angular displacement (angular displacement) exceeds a predetermined value, the camera shake correction mode is switched from the fixed point shooting mode to the normal correction mode to weaken the effect of camera shake correction. As a result, even if a large shake exceeding the correctable range of the correction optical system occurs, the control can be smoothly performed without hitting the limit position of the correctable range.
一方、手ブレ補正モードアイコン602は画面移動量に応じて判定を行う。画面移動量は手ブレ補正モードが定点撮影モードに切り替わった時点からの動きベクトルの積算値として算出される。従って画目移動量は、被写体601から被写体601bまでの画面上の移動量、即ち画目移動量604bで示すようなベクトルとして算出される。画面移動量604bが閾値603を超えるまでは、手ブレ補正モードアイコン602bは定点撮影モード用の表示アイコンが継続して表示されている。
On the other hand, the camera shake
図6(b)の状態から、さらにカメラを意図的に右方向にパンニングしながら撮影したときの映像を図6(c)に示している。カメラを意図的に右方向に動かしているので被写体601cは画面上を左方向に移動する。手ブレ補正モードは、図6(b)の状態から通常補正モードが継続して実行されている。手ブレ補正モードアイコンの判定に用いる画面移動量は、定点撮影モードに切り替わった時点から動きベクトルの積算値として算出されので、画目移動量604cで示すようなベクトルとして算出される。そして、画面移動量604cが閾値603を超えると、定点撮影モード用の表示アイコンは解除され、手ブレ補正モードアイコン602cは、通常補正モード用の表示アイコンに切り替わる。
FIG. 6C shows an image when the camera is shot while intentionally panning rightward from the state of FIG. 6B. Since the camera is intentionally moved rightward, the subject 601c moves leftward on the screen. In the camera shake correction mode, the normal correction mode is continuously executed from the state of FIG. Since the screen movement amount used for the determination of the camera shake correction mode icon is calculated as an integrated value of the motion vector from the time of switching to the fixed point shooting mode, it is calculated as a vector as indicated by the
以上説明したように、手ブレ補正モードの表示アイコンは実行中の手ブレ補正モードをそのまま表示するのではなく、動きベクトルによって算出される画面移動量を加味して切り替えを行うので、補正光学系の補正可能範囲を超えるような大きな揺れが発生しても、手ブレ補正モードの表示アイコンが頻繁に切り替わらないようにすることが可能となる。 As described above, the camera shake correction mode display icon does not display the current camera shake correction mode as it is, but switches the image taking into account the amount of screen movement calculated by the motion vector. It is possible to prevent the display icon in the camera shake correction mode from being frequently switched even if a large shake exceeding the correction possible range occurs.
以上説明したように、本発明の実施形態によれば、以下のような効果を得ることができる。本実施形態の撮像装置は、撮影者の意図しない大きな揺れが発生しても滑らかな防振制御を行うとともに、手ブレ補正モードを示す表示アイコンが頻繁に切り替わることを防ぐことができ、撮影者の意図に近い表示アイコンを表示することができる。 As described above, according to the embodiment of the present invention, the following effects can be obtained. The imaging apparatus according to the present embodiment performs smooth image stabilization control even when a large shake unintended by the photographer occurs, and can prevent the display icon indicating the camera shake correction mode from being frequently switched. A display icon close to the intention of the user can be displayed.
(その他の実施形態)
なお、上記の実施形態では、S209の判定に用いる画面移動量に対し、X方向とY方向の両方向で同じ閾値を用いて判定していたが、X方向とY方向にそれぞれ別の閾値を用い判定を行ってもよい。例えば記録映像のアスペクト比に合わせて、X方向とY方向の閾値の比率を変えてもよい。また、向きを持ったベクトルとして画面移動量を算出し、ベクトルの大きさに対して閾値を設けてもよい。それにより、どの方向に対しても同じ移動量で判定をすることができるので、より自然に表示アイテムを切り替えることができる。
(Other embodiments)
In the above embodiment, the screen movement amount used for the determination in S209 is determined using the same threshold value in both the X direction and the Y direction. However, different threshold values are used for the X direction and the Y direction, respectively. A determination may be made. For example, the ratio of the threshold values in the X direction and the Y direction may be changed in accordance with the aspect ratio of the recorded video. Further, the screen movement amount may be calculated as a vector having an orientation, and a threshold may be provided for the magnitude of the vector. Thereby, since it can determine with the same movement amount with respect to any direction, a display item can be switched more naturally.
なお、上記の実施形態では、図4に示した手ブレ補正モードの判定処理において角速度から算出した正規化角変位を用いたが、本発明はこれに限定されるものではない。表示アイテムの判定と同様に画面移動量を用いて判定を行ってもよいし、画面移動量と正規化角変位を組み合わせて判定を行ってもよい。その場合、表示アイテムの判定に用いる画面移動量の閾値は、手ブレ補正モードの判定に用いる画面移動量の閾値より大きく設定することで、上記の実施形態と同様の効果を得ることができる。 In the above embodiment, the normalized angular displacement calculated from the angular velocity is used in the camera shake correction mode determination process shown in FIG. 4, but the present invention is not limited to this. Similar to the determination of the display item, the determination may be performed using the screen movement amount, or the determination may be performed by combining the screen movement amount and the normalized angular displacement. In that case, by setting the threshold value of the screen movement amount used for the determination of the display item to be larger than the threshold value of the screen movement amount used for the determination of the camera shake correction mode, it is possible to obtain the same effect as the above embodiment.
なお、ブレ補正を行う手段として、補正光学系103(例えばシフトレンズ)を例にとって説明を行ったが、本発明はこれに限定されるものではない。例えば、可変頂角プリズム(VAP)や、撮像素子を光軸に垂直な方向に駆動する方法等を用いてもよい。また、画像のブレに応じて画像の切り出し位置を変える(切り出し位置変更)ことによりブレを電子的に補正する電子式補正を用いてもよい。電子式補正を用いる場合、実際に記録あるいは表示部に表示される画像上の移動量は、動きベクトルによって算出された画像移動量から、電子式補正によって設定された切り出し位置のずらし量を差し引いた量が画面上の移動量として見えることになる。従って、表示アイテムの判定においても同様に、動きベクトルによって算出した画面移動量から切り出し位置のずらし量を差し引いた値を用いて判定を行うことにより、上記の実施形態と同様の効果を得ることができる。 Note that the correction optical system 103 (for example, a shift lens) has been described as an example of the blur correction unit, but the present invention is not limited to this. For example, a variable apex angle prism (VAP), a method of driving the image sensor in a direction perpendicular to the optical axis, or the like may be used. Also, electronic correction that electronically corrects blur by changing the cutout position of the image (cutting position change) according to the blurring of the image may be used. When electronic correction is used, the amount of movement on the image that is actually recorded or displayed on the display unit is obtained by subtracting the shift amount of the clipping position set by electronic correction from the amount of image movement calculated by the motion vector. The amount will appear as a moving amount on the screen. Therefore, in the determination of the display item, the same effect as in the above embodiment can be obtained by performing the determination using the value obtained by subtracting the shift amount of the cutout position from the screen movement amount calculated by the motion vector. it can.
Claims (10)
光学系によって結像された被写体像を撮像する撮像手段と、
前記撮像装置の振れを検出する振れ検出手段と、
前記振れ検出手段の出力に応じて前記複数の像ブレ補正モードからひとつを選択して実行する補正手段と、
前記複数の像ブレ補正モードのそれぞれに対応付けられた複数の表示アイテムを表示する表示手段と、
時系列的に連続する複数の画像間における動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトルを積算して撮像装置の空間的な位置変化によって生じる画面移動量を算出する算出手段と、
前記補正手段により実行されている像ブレ補正モードと前記画面移動量に応じて、前記複数の表示アイテムからひとつの表示アイテムを選択して前記表示手段に表示させる制御手段と、
を備えることを特徴とする撮像装置。 An imaging apparatus having a plurality of image blur correction modes,
An imaging means for imaging a subject image formed by the optical system;
Shake detection means for detecting shake of the imaging device;
Correction means for selecting and executing one of the plurality of image blur correction modes according to the output of the shake detection means;
Display means for displaying a plurality of display items associated with each of the plurality of image blur correction modes;
A motion vector detecting means for detecting a motion vector between a plurality of time-series images,
Calculating means for calculating the amount of screen movement caused by the spatial position change of the imaging device by integrating the motion vectors;
Control means for selecting one display item from the plurality of display items and displaying it on the display means according to the image blur correction mode being executed by the correction means and the screen movement amount;
An imaging apparatus comprising:
撮影の状況に応じて前記複数の像ブレ補正モードからひとつを選択して実行する補正工程と、
前記複数の像ブレ補正モードのそれぞれに対応付けられた複数の表示アイテムを表示手段に表示する表示工程と、
時系列的に連続する複数の画像間における動きベクトルを検出する検出工程と、
前記動きベクトルを積算して撮像装置の空間的な位置変化によって生じる画面移動量を算出する算出工程と、
前記補正工程において実行されている像ブレ補正モードと前記算出工程において算出される画面移動量に応じて、前記複数の表示アイテムからひとつの表示アイテムを選択して前記表示手段に表示させる制御工程と、
を備えることを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus having imaging means for imaging a subject image formed by an optical system and having a plurality of image blur correction modes,
A correction step of selecting and executing one of the plurality of image blur correction modes according to the shooting situation;
A display step of displaying a plurality of display items associated with each of the plurality of image blur correction modes on a display unit;
A detection step of detecting a motion vector between a plurality of time-sequential images;
A calculation step of calculating the amount of screen movement caused by a spatial position change of the imaging device by integrating the motion vectors;
A control step of selecting one display item from the plurality of display items and displaying it on the display means according to the image blur correction mode being executed in the correction step and the screen movement amount calculated in the calculation step; ,
An image pickup apparatus control method comprising:
前記撮像装置の振れを検出する検出手段と、
前記検出手段の出力に応じて前記複数の像ブレ補正モードからひとつを選択して実行する補正手段と、
前記複数の像ブレ補正モードのそれぞれに対応付けられた複数の表示アイテムを表示装置に表示する表示制御手段と、
時系列的に連続する複数の画像間における動きベクトルを検出して画面移動量を算出する算出手段とを有し、
前記表示制御手段は、実行する像ブレ補正モードが、第1の像ブレ補正モードから第2の像ブレ補正モードに変化した場合に、前記算出手段による前記画面移動量の大きさに応じて、前記第1の像ブレ補正モードに対応した表示アイテムを表示するのか、前記第2の像ブレ補正モードに対応した表示アイテムを表示するのかを制御することを特徴とする撮像装置。 An imaging apparatus having a plurality of image blur correction modes,
Detecting means for detecting shake of the imaging device;
Correction means for selecting and executing one of the plurality of image blur correction modes according to the output of the detection means;
Display control means for displaying a plurality of display items associated with each of the plurality of image blur correction modes on a display device;
Calculating means for detecting a motion vector between a plurality of time-series continuous images and calculating a screen movement amount;
When the image blur correction mode to be executed is changed from the first image blur correction mode to the second image blur correction mode, the display control unit is configured according to the magnitude of the screen movement amount by the calculation unit. An imaging apparatus that controls whether to display a display item corresponding to the first image blur correction mode or to display a display item corresponding to the second image blur correction mode.
前記撮像装置の振れを検出する検出工程と、
前記検出工程の出力に応じて前記複数の像ブレ補正モードからひとつを選択して実行する補正工程と、
前記複数の像ブレ補正モードのそれぞれに対応付けられた複数の表示アイテムを表示装置に表示する表示制御工程と、
時系列的に連続する複数の画像間における動きベクトルを検出して画面移動量を算出する算出工程とを有し、
前記表示制御工程は、実行する像ブレ補正モードが、第1の像ブレ補正モードから第2の像ブレ補正モードに変化した場合に、前記算出工程による前記画面移動量の大きさに応じて、前記第1の像ブレ補正モードに対応した表示アイテムを表示するのか、前記第2の像ブレ補正モードに対応した表示アイテムを表示するのかを制御することを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus having a plurality of image blur correction modes,
A detection step of detecting shake of the imaging device;
A correction step of selecting and executing one of the plurality of image blur correction modes according to the output of the detection step;
A display control step of displaying a plurality of display items associated with each of the plurality of image blur correction modes on a display device;
A calculation step of calculating a screen movement amount by detecting a motion vector between a plurality of continuous images in time series,
In the display control step, when the image blur correction mode to be executed is changed from the first image blur correction mode to the second image blur correction mode, according to the magnitude of the screen movement amount by the calculation step, A control method for an imaging apparatus, comprising: controlling whether to display a display item corresponding to the first image blur correction mode or to display a display item corresponding to the second image blur correction mode.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011286630A JP5869876B2 (en) | 2011-12-27 | 2011-12-27 | Imaging apparatus and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011286630A JP5869876B2 (en) | 2011-12-27 | 2011-12-27 | Imaging apparatus and control method thereof |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013135444A JP2013135444A (en) | 2013-07-08 |
JP2013135444A5 JP2013135444A5 (en) | 2015-02-19 |
JP5869876B2 true JP5869876B2 (en) | 2016-02-24 |
Family
ID=48911825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011286630A Expired - Fee Related JP5869876B2 (en) | 2011-12-27 | 2011-12-27 | Imaging apparatus and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5869876B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11558553B2 (en) | 2019-02-19 | 2023-01-17 | Samsung Electronics Co., Ltd | Electronic device for stabilizing image and method for operating same |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6494202B2 (en) * | 2013-08-07 | 2019-04-03 | キヤノン株式会社 | Image shake correction apparatus, control method thereof, and imaging apparatus |
JP6701677B2 (en) * | 2015-11-12 | 2020-05-27 | カシオ計算機株式会社 | Imaging device, image evaluation method for imaging device, and image evaluation program for imaging device |
WO2018150711A1 (en) * | 2017-02-15 | 2018-08-23 | シャープ株式会社 | Display control device, method for controlling display control device, and control program |
JP6885133B2 (en) * | 2017-03-23 | 2021-06-09 | カシオ計算機株式会社 | Image processing equipment, imaging system, image processing method and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000039640A (en) * | 1998-07-24 | 2000-02-08 | Canon Inc | Image pickup device and shake correction device and method |
JP3897993B2 (en) * | 2001-05-30 | 2007-03-28 | 松下電器産業株式会社 | Imaging apparatus, image correction method, program, and recording medium |
JP4769116B2 (en) * | 2006-04-06 | 2011-09-07 | 富士フイルム株式会社 | Camera shake warning display device |
-
2011
- 2011-12-27 JP JP2011286630A patent/JP5869876B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11558553B2 (en) | 2019-02-19 | 2023-01-17 | Samsung Electronics Co., Ltd | Electronic device for stabilizing image and method for operating same |
Also Published As
Publication number | Publication date |
---|---|
JP2013135444A (en) | 2013-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4245185B2 (en) | Imaging device | |
US9762802B2 (en) | Image blurring correction apparatus, control method thereof, optical device and imaging apparatus | |
US9253400B2 (en) | Image capture apparatus and control method thereof | |
JP5181001B2 (en) | Image blur correction apparatus, control method therefor, and imaging apparatus and optical apparatus equipped with the image blur correction apparatus | |
CN107257429B (en) | Image shake correction apparatus, control method, optical apparatus, and image pickup apparatus | |
JP5501119B2 (en) | Imaging apparatus and control method thereof | |
US9319587B2 (en) | Image pickup apparatus, image pickup method, and computer program product | |
EP2357790B1 (en) | Image capturing apparatus and control method thereof | |
US8767079B2 (en) | Image capture apparatus and control method thereof | |
JP6494202B2 (en) | Image shake correction apparatus, control method thereof, and imaging apparatus | |
US9143688B2 (en) | Image capturing apparatus and control method therefor | |
JP4916513B2 (en) | Imaging device | |
KR100987590B1 (en) | Hand-shake correcting control method and image pickup apparatus thereof | |
JP5869876B2 (en) | Imaging apparatus and control method thereof | |
JP6824710B2 (en) | Zoom control device and zoom control method, imaging device | |
JP4621726B2 (en) | Camera shake correction device, camera shake correction program, imaging device, imaging program | |
JP3740398B2 (en) | Shake correction device, control device applied to shake correction device, control method applied to shake correction device, control program applied to shake correction device, imaging device | |
JP6173134B2 (en) | Image blur correction apparatus and control method thereof | |
JP2011023988A (en) | Imaging apparatus | |
US11218647B2 (en) | Imaging apparatus with correction factor scaling of image | |
JP2017062468A (en) | Imaging device | |
JP2015108689A (en) | Optical instrument and method for controlling the same | |
JP2017146626A (en) | Image shake correction device and image shake correction method, imaging device, and optical device | |
JPH04306080A (en) | Image pickup device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5869876 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |