JP5965770B2 - ブレ量検出装置、撮像装置及びブレ量検出方法 - Google Patents

ブレ量検出装置、撮像装置及びブレ量検出方法 Download PDF

Info

Publication number
JP5965770B2
JP5965770B2 JP2012170150A JP2012170150A JP5965770B2 JP 5965770 B2 JP5965770 B2 JP 5965770B2 JP 2012170150 A JP2012170150 A JP 2012170150A JP 2012170150 A JP2012170150 A JP 2012170150A JP 5965770 B2 JP5965770 B2 JP 5965770B2
Authority
JP
Japan
Prior art keywords
speed
acceleration
angular velocity
calculated
calculation process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012170150A
Other languages
English (en)
Other versions
JP2014029420A (ja
Inventor
仁司 土屋
仁司 土屋
竹内 寿
寿 竹内
田中 潔
潔 田中
芳信 小俣
芳信 小俣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012170150A priority Critical patent/JP5965770B2/ja
Priority to PCT/JP2013/052907 priority patent/WO2014020924A1/ja
Priority to CN201380002516.3A priority patent/CN103718097B/zh
Priority to US14/169,746 priority patent/US9131156B2/en
Publication of JP2014029420A publication Critical patent/JP2014029420A/ja
Application granted granted Critical
Publication of JP5965770B2 publication Critical patent/JP5965770B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005Blur detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Description

本発明は、手振れなどで発生するブレ量を検出するブレ量検出装置、及び、ブレ量検出装置を搭載した撮像装置に関する。
近年手ブレ補正機能を搭載した撮像装置(カメラ)が一般的になり、三脚等を使用せずにカメラを手で持って撮影する手持ち撮影において、特に注意しなくても像ブレの無い良好な画像を撮影できるようになってきた。
しかしながら、手ブレ補正の性能も未だ十分でなく、特に露光時間が長くなる長秒撮影時には、手ブレを十分に補正しきれない場合があり、撮像装置の手ブレ補正性能が撮影画像の品質に大きく影響する。特に、マクロ領域での長秒撮影を行う場合では、現在用いられている手ブレ補正機能では、十分な性能が得られない場合が多い。
手ブレは、撮像装置の光軸の角度が変化することで発生する所謂、角度ブレと、カメラ本体が光軸とは垂直方向に移動することで発生する所謂、並進ブレとに分けることができる。現在用いられている手ブレ補正機能の多くが角度ブレのみを補正するに留まるものであり、並進ブレの補正を行っていない。この並進ブレは、像倍率が低い場合には特に気にならないが、像倍率が高くなるにつれて並進ブレが撮影画像の品質に及ぼす影響も大きくなる。このため、現在用いられている手ブレ補正機能では、前述したようにマクロ領域で十分な性能が得られない。
上記のような問題の解決方法として、特許文献1には、カメラに作用する三軸方向の加速度を検出する加速度検出装置と、カメラに作用する三軸回りの角速度を検出する角速度検出装置と、三軸方向の加速度及び三軸回りの角速度からカメラ座標系と静止座標系との間の座標変換マトリクスを演算する姿勢検出手段と、前記座標マトリクスからカメラ座標系における重力加速度成分を演算する重力加速度成分演算手段を備え、加速度検出装置の出力から前記重力加速度成分を除去して並進運動の位置を算出し、補正駆動量演算手段11は、これらに基づいて像振れ量を算出する像振れ補正カメラが開示されている。
特開平7−225405号公報
特許文献1の手法においては、カメラの撮像面に対して、縦方向及び、横方向の加速度検出結果から重力加速度の影響を除去した加速度を積分して速度を算出し、さらに、その速度を積分することで並進移動量を算出している。
一方で、シャッタやクイックターンミラーなどの可動部を持つ一眼レフカメラにおいては、可動部が可動した際の衝撃が問題となる。一般に加速度センサは、衝撃に対して敏感であり、特にシャッタ走行時は、衝撃の影響により、カメラ本体に加わる加速度とは異なる検出結果を出力する。このため、加速度センサからの出力をそのまま積分した場合、異なった速度を算出してしまうため、適正な補正を行うためには、可動部の衝撃に対して何らかの対策が必要となる。
しかしながら、特許文献1に記載されるカメラでは、この点に関して何ら開示されていない。本件は、前述の様な可動部による衝撃が発生する場合でも、ブレ検出結果への影響を除去し、正確に移動量を検出できるブレ量検出装置、撮像装置、ブレ量検出方法を提供することを目的とする。
そのため本発明に係るブレ量検出装置は、
筐体の回転運動に関わる角速度を検出する角速度検出部と、
前記筐体に加わる加速度を検出する加速度検出部と、
前記角速度と、前記加速度に基づいて、前記筐体の移動量を算出する算出部を備え、
前記算出部は、
前記加速度を時間積分した速度変化と、前記角速度から回転半径を算出する回転半径算出処理と、
露光開始から所定時間は、前記角速度と前記露光開始以前に算出した前記回転半径に基づいて速度を算出し、前記所定時間経過後は、前記所定時間中に算出した前記速度に前記加速度を累積加算して前記速度を算出する速度算出処理と、
前記速度算出処理で算出された前記速度を時間積分して前記移動量を算出する移動量算出処理と、を実行することを特徴とする。
また本発明に係る撮像装置は、
前述したブレ量検出装置と、
被写体からの光を被写体像として結像させる光学系と、
前記光学系により結像された被写体像を映像信号に変換する撮像素子と、
前記ブレ量検出装置により算出された前記移動量を打ち消す方向に、前記光学系と前記撮像素子の少なくとも一方を駆動する駆動部と、を備えたことを特徴とする。
また本発明に係るブレ量検出方法は、
筐体の回転運動に関わる角速度を検出し、
前記筐体に加わる加速度を検出し、
前記角速度と、前記加速度に基づいて、前記筐体の移動量を算出する算出処理を実行し、
前記算出処理は、
前記加速度を時間積分した速度変化と、前記角速度から回転半径を算出する回転半径算出処理と、
露光開始から所定時間は、前記角速度と露光開始以前に算出した前記回転半径に基づいて速度を算出し、前記所定時間経過後は、前記所定時間中に算出した前記速度に前記加速度を累積加算して前記速度を算出する速度算出処理と、
前記速度算出処理で算出された前記速度を時間積分して前記移動量を算出する移動量算出処理と、を含むことを特徴とする。
本発明のブレ量検出装置、撮像装置及びブレ量検出方法によれば、シャッタなどの可動部による衝撃が発生する場合においても正確な移動量を検出することが可能となる。
本発明の実施形態に係る撮像装置に生じる回転運動の種類を説明する図 本発明の実施形態に係る撮像装置においてヨー回転、ピッチ回転、ロール回転が発生したときのX、Y、Z方向への移動量を説明する図 本発明の実施形態に係る撮像装置の構成を示すブロック図 本発明の実施形態に係るブレ量補正マイクロコンピュータの構成を示すブロック図 本発明の実施形態に係る撮像装置のタイミングチャートを示す図 本発明の実施形態に係るフォーカルプレーンシャッタの原理を示す模式図 本発明の実施形態に係る並進ブレ補正部の構成を示すブロック図 本発明の実施形態に係る並進移動量検出制御を示すフロー図
以下、図面を参照して本発明の実施の形態を説明する。図1から図8は本発明の実施形態を示したものであり、図1は撮像装置に生じる回転運動の種類を説明するための斜視図である。
まず、図1を参照して、撮像装置1(撮像装置1は、撮像機能を備えた装置であれば、デジタルカメラ、ビデオカメラ、カメラ機能付き携帯電話など各種の装置を広く含むが、以下では、代表して適宜カメラ1などという)に設定する座標系や回転方向について説明する。
カメラ1は、被写体からの光を被写体像として結像する光学系2を備えており、この光学系2の光軸方向をZ方向とする。ここに、正のZ方向は、カメラ1から被写体に向く方向とする。また、カメラ1の標準姿勢(いわゆる横位置)において、カメラ1の水平方向をX方向とする。ここに、正のX方向は、被写体側からカメラ1を見て右方向(つまり、撮影者からカメラ1を見て左方向)とする。さらに、カメラ1の標準姿勢において、カメラ1の垂直方向をY方向とする。ここに、正のY方向は、標準姿勢における上方向とする。
なお、図1では、座標系がカメラ1と重複して見難くなるのを防ぐために座標系の原点位置をずらして記載しているが、座標系の原点は撮像素子4(図3参照)の撮像面の中心であり、一般的には、撮像面と光学系2の光軸とが交差する点である。この座標系は、カメラ1に固定した座標系であり、カメラ1が移動または回転すれば、座標系も地球に対して移動または回転することになる。また、この座標系において、X−Y平面は撮像面に一致する面である。
そして、このような座標系において、Z軸周りの回転運動がロール、X軸周りの回転運動がピッチ、Y軸周りの回転運動がヨーである。さらに、以下では例えば、原点からZ軸正方向を見たときのZ軸周りの左回転がロールの正方向回転、原点からX軸正方向を見たときのX軸周りの左回転がピッチの正方向回転、原点からY軸正方向を見たときのY軸周りの右回転がヨーの正方向回転であるものとする。
なお、上述した座標軸の正負方向や回転方向の正負は、後述する角速度センサ8や加速度センサ9(図3等参照)の実装方向に依存する便宜上のものであり、理論的には上記に限定されるものではない。
次に、上述した座標系において、回転中心が原点(あるいは、原点も含めて、回転中心がカメラ1内)にある場合は主に角度ブレをもたらし、回転中心がカメラ1の外部にある場合には角度ブレに加えて並進ブレをもたらす。従って、ブレ補正を行う必要があるような並進ブレが発生するのは、実質的に、回転中心がカメラ1の外部にあるときであると考えても差し支えない。
まず、角度ブレに関しては、原点周りの回転運動として記述すればよい。すなわち、ヨー方向の回転運動により光軸が左右に振られて撮像素子4上に結像される被写体範囲が左右に移動し、ピッチ方向の回転運動により光軸が上下に振られて撮像素子4上に結像され
る被写体範囲が上下に移動することはよく知られている通りである。また、ロール方向の回転運動は、画面の横位置や縦位置、およびその中間の斜め位置をもたらすこともよく知られている通りである。
一方、並進ブレに関しては、上述したように、カメラ1の外部に回転中心がある回転運動として記述することができる。図2(A)はヨー回転により撮像装置にX方向の移動量が生じる様子を示す図、図2(B)はピッチ回転により撮像装置にY方向の移動量が生じる様子を示す図、図2(C)はロール回転により撮像装置にX方向およびY方向の移動量が生じる様子を示す図である。
図2(A)に示すように、カメラ1の外部の、原点から距離(回転半径)Ryawの位置
に回転中心Cyawをもつヨー方向の回転運動がカメラ1に発生すると、X方向の移動量が
生じる。また、図2(B)に示すように、カメラ1の外部の、原点から距離(回転半径)Rpitchの位置に回転中心Cpitchをもつピッチ方向の回転運動がカメラ1に発生すると、Y方向の移動量が生じる。さらに、図2(C)に示すように、カメラ1の外部の、原点から距離(回転半径)Rrollの位置に回転中心Crollをもつロール方向の回転運動がカメラ1に発生すると、一般に、X方向への移動量成分、およびY方向への移動量成分を含む移動量が生じる。
そして、角度ブレと並進ブレとのうち、前者の角度ブレに関しては公知の技術を適宜用いることが可能であるために、本実施形態においては、後者の並進ブレについて主に説明する。
まず、図3は、撮像装置1の構成を示すブロック図である。撮像装置であるカメラ1は、光学系2と、フォーカルプレーンシャッタ3と、撮像素子4と、駆動部5と、システムコントローラ6と、ブレ補正マイクロコンピュータ7と、角速度センサ8a〜8cと、加速度センサ9と、レリーズスイッチ10と、EVF(電子ビューファインダ)11と、内部フラッシュメモリ13と、を備えている。また、図3にはメモリカード12も記載されているが、メモリカード12は例えばカメラ1に対して着脱自在に構成されたものであるために、カメラ1に固有の構成でなくても構わない。
光学系2は、被写体からの光を、被写体像として撮像素子4の撮像面に結像するものである。
フォーカルプレーンシャッタ3は、撮像素子4の前面(光学系2側)に配設されていて、開閉動作を行うことにより露光時間を制御するものである。すなわち、フォーカルプレーンシャッタ3は、開くことで撮像素子4を露光状態にし、閉じることで遮光状態にする。
撮像素子4は、システムコントローラ6の指示に基づいて、撮像面に結像された被写体像を電気信号に変換する。この変換された電気信号は、システムコントローラ6によって映像信号として読み出される。
駆動部5は、撮像面内に平行な2次元方向に移動可能となるように撮像素子4を支持しており、ブレ補正マイクロコンピュータ7からの指示に基づいて、図1等に示したX方向およびY方向に撮像素子4を駆動する。
システムコントローラ6は、前述した映像信号の読み出しを含む、カメラ1全体の機能に関わる各種の制御を統合的に行う制御部である。システムコントローラ6は、以下に説明するように、ブレ補正マイクロコンピュータ7にブレ検出を行わせ、ブレ検出結果に基
づいてブレ補正を行わせる制御も行う。
角速度センサ8(本発明の「角速度検出部」)は、撮像装置1の筐体に加わる回転運動を検出する角速度検出部として構成されたセンサであり、単位時間当たりの角度変化を角速度として検出しブレ補正マイクロコンピュータ7へ出力する。角速度センサ8は、図2Aに示したようなY軸(第2軸)周りのヨー回転運動に係るヨー角速度を検出するヨー角速度検出部(第2角速度検出部)たるヨー角速度センサ8aと、図2Bに示したようなX軸(第1軸)周りのピッチ回転運動に係るピッチ角速度を検出するピッチ角速度検出部(第1角速度検出部)たるピッチ角速度センサ8bと、図2Cに示したようなZ軸(第3軸)周りのロール回転運動に係るロール角速度を検出するロール角速度検出部(第3角速度検出部)たるロール角速度センサ8cとを含み、回転方向の3自由度の角速度を検出するように構成されている。
これらヨー角速度センサ8aと、ピッチ角速度センサ8bと、ロール角速度センサ8cは、例えば、同一機種のセンサを用いて、実装方向を異ならせることにより、各軸周りの回転運動を検出する。
加速度センサ9(本発明の「加速度検出部」)は、撮像装置1の筐体に加わるX軸方向の加速度(X加速度)とY軸方向の加速度(Y加速度)とを少なくとも検出する加速度検出部であり、本実施形態においてはさらに、Z軸方向の加速度(Z加速度)も検出し得るセンサを採用している。そして、加速度センサ9は、検出した各方向への加速度を、ブレ補正マイクロコンピュータ7へ出力する。
ブレ補正マイクロコンピュータ7は、システムコントローラ6の指示に基づいて、角速度センサ8の出力と加速度センサ9の出力とからカメラ1のブレ量を算出する。そして、ブレ補正マイクロコンピュータ7は、検出したブレ方向と反対方向に検出したブレ量だけ撮像素子4を駆動する指示を駆動部5に対して出力する。これにより駆動部5が、撮像面におけるブレを打ち消すように撮像素子4を駆動するために、撮影画像に発生するブレを抑制することができる。なお、ここでは撮像素子4を駆動してブレ補正を行っているが、これに代えて、あるいはこれに加えて、光学系2を駆動してブレ補正を行うようにしても構わない。
そして、ブレ補正マイクロコンピュータ7、角速度センサ8、加速度センサ9を含んでブレ量検出装置が構成され、このブレ量検出装置と駆動部5とを含んでブレ補正装置が構成されている。
レリーズスイッチ10は、システムコントローラ6と接続された例えば2段式の押圧スイッチでなり、1段目の押圧(半押し、あるいは1stレリーズ)でAFやAEが行われ、2段目の押圧(全押し、あるいは2ndレリーズ)で露光が開始されるようになっている。
EVF11は、液晶パネル等を含んで構成された表示部であり、撮像素子4から読み出され、システムコントローラ6等において表示可能な形式に変換された映像信号を、ユーザが視認可能となるように表示する。
メモリカード12は、撮像素子4から読み出され、システムコントローラ6等において記録可能な形式に変換された映像信号を記録する不揮発性の記録媒体であり、上述したように、カメラ1に対して例えば着脱自在に構成されている。
内部フラッシュメモリ13は、システムコントローラ6が実行するカメラ1の制御プロ
グラムや、制御に用いられる各種パラメータ等を記録する不揮発性の記録媒体である。
図4は、ブレ補正マイクロコンピュータ7の構成を示すブロック図である。ブレ補正マイクロコンピュータ7は、CPU70と、ADC(アナログ・デジタル・コンバータ)71a〜71cと、SIO(Serial Input/Output:シリアル入出力)72a、72bと、
ドライバ73と、を備えている。
ADC71a〜71cは、角速度センサ8a〜8cから入力されるアナログ信号を、それぞれデジタル信号に変換する。
SIO72a、72bは、CPU70が外部デバイスとシリアルインタフェースで通信を行う通信部であり、SIO72aは加速度センサ9が検出した加速度の値をCPU70が読み出すために用いられ、SIO72bはCPU70がシステムコントローラ6とコマンドのやり取りを行う通信に用いられる。
ドライバ73は、CPU70により算出された補正量に基づいて、駆動部5を駆動するための信号を出力する。
CPU70は、加速度取得部702と、角度ブレ補正部703と、並進ブレ補正部704と、通信部705と、加算部706とを、例えば内部プログラムであるファームウェアにより構成される機能として備えており(ただし、ハードウェアとして構成しても勿論構わない)、角速度センサ8および加速度センサ9の検出結果に基づき、角度ブレおよび並進ブレの補正量を算出する。
加速度取得部702は、SIO72aを経由して、加速度センサから独立した3軸方向の加速度を読み出して、図2等に示したX軸、Y軸、Z軸の各方向への加速度情報に分割する。そして、加速度取得部702は、取得したX加速度、Y加速度を並進ブレ補正部704へ出力する。
角度ブレ補正部703は、ヨー回転運動およびピッチ回転運動に基づいて、角度変化に伴うブレ量(角度ブレ)を算出するものであるが、この角度ブレについては公知の技術を適宜利用することができるために、詳細は記載しない。
並進ブレ補正部704(本発明の「算出部」に相当)は、加速度および角速度に基づいて、カメラ1の並進移動量を算出し、算出した移動量を撮像面における被写体像のブレ量に変換し、補正量として駆動部5へ伝達する。
通信部705は、SIO72bを経由して、システムコントローラ6と通信する。
加算部706は、角度ブレ補正部703により算出された角度ブレ量と、並進ブレ補正部704により算出された並進ブレ量とを加算して、トータルのブレ量をドライバ73へ出力する。
なお、ADC71a〜71cの出力、そして、加速度取得部702が出力するX〜Z各方向の加速度に対しては、低周波成分を除去するため、ハイパス処理、あるいは、ゼロ点補正処理を行うこととしてもよい。ここで除去する低周波成分は、例えば1Hz以下の周波数成分が挙げられるが、この帯域に限定されるものではない。手ブレに基づく周波数は、1Hzから10Hz程度の間であることが実験で確認されており、これにより、手ブレ以外の要因によるセンサの動き(例えば、ドリフトなど)による経時変化の成分を除去することができる。
さらに、角速度センサ8a〜8cが出力する各方向に関する角速度、もしくは、加速度取得部702にて取得された各方向に関する加速度の少なくとも一方に対して、重力に関する補正を行うことで、角度ブレ補正部703、並進ブレ補正部704でのブレ量算出の精度向上を図ることも可能である。
図5は本発明の実施形態に係る撮像装置のタイミングチャートを示す図である。図5(a)、図5(b)は、それぞれ、先幕制御信号と後幕制御信号であり、フォーカルプレーンシャッタ3の各幕を制御する信号である。先幕(後幕)は、この先幕(後幕)制御信号がHigh状態の時、磁力により吸着される。
図5(c)は加速度で、加速度センサ9の出力であり、タイミングチャート中にはフォーカルプレーンシャッタ3の動作による衝撃ノイズがみられる。
図5(d)は角速度で、角速度センサ8の出力であり、加速度と同様、フォーカルプレーンシャッタ3の動作による影響が見受けられる。しかしながら、加速度ほど大きな影響は受けていない。
図5中のt1からt5は、フォーカルプレーンシャッタ3の動作により発生する衝撃に関わるタイミングを示したものである。図6には、フォーカルプレーンシャッタ3の動作について示されている。フォーカルプレーンシャッタ3は、光学開口33、移動可能な先幕31、後幕32を備えて構成されている。光学開口33は、光学系2と撮像素子4の間に形成される開口であり、先幕31、後幕32にて遮蔽されないときに撮像素子4を露光状態にする。
タイミングチャート中、t1は、撮影開始指示の入力タイミングに略相当するタイミン
グである。この撮影開始指示は、ユーザによる撮像装置1のレリーズスイッチ(レリーズSW)の操作等に基づいて発生する。また、このt1は、フォーカルプレーンシャッタ3
の幕の吸着による衝撃が始まるタイミングに略一致したものとなる。t1は、ちょうど先
幕31と後幕32が、図5(a)の状態から図5(b)の状態に移動するときに発生する衝撃である。この先幕31と後幕32の移動は、先幕31と後幕32を移動させるレバー(図示せず)によって行われる。t2は、幕を吸着させたレバーが退避する際に生じる衝
撃によるものである。
3は先幕31が閉じる際、すなわち、先幕31が、図5(b)の状態から図5(c)
の状態に移動するときに発生する衝撃である。また、図5(c)から見て取れるように、t3は、光学開口33が解放される露光開始タイミングに相当する。
4は、t3から所定時間tp1経過した後であり、先幕31の衝撃による加速度への影響が収束するタイミングを示している。衝撃の収束時間はフォーカルプレーンシャッタ3の等、撮像装置2自体の特性や、ユーザによる撮像装置2の保持状態等の各種条件によって変化するが、本実施形態では各種条件にて想定される最長の収束時間により設定されている。あるいは、この所定時間tp1は加速度の状態に基づいて調整される形態を採用することも可能である。具体的には、加速度の時間的変化を監視し、t3で生じた衝撃が収束し
たと判断されたときをt4とすることで、生じた衝撃に応じた時間長の所定時間tp1とす
ることが可能となる。
5は、後幕32が閉じる際、すなわち、後幕31が、図5(c)の状態から図5(d
)の状態に移動するときに発生する衝撃である。また、図5(d)から見て取れるように、t5は、光学開口33が遮蔽される露光終了タイミングに相当する。したがって、t3
5の期間は、光学開口33が解放状態となる露光期間である。
本実施形態では、図5(c)に示される加速度、図5(d)に示される角速度に基づいて、tp1(t3〜t4の期間)で示す露光開始から所定時間、そして、所定時間以降の露光期間において速度、及び、並進ブレ量(本発明における「移動量」)が算出される。本実施形態では、tp1の期間においては、t1の直前で算出された回転半径と角速度に基づい
て速度が算出される。また、tp2の期間においては、tp1の期間の手法を用いて算出されたt4時点の速度に対して加速度を累積加算していくことで速度が算出される。各時点で
算出された速度に対して、時間積分を行うことで並進ブレ量が算出される。
このように本実施形態では、露光期間中、シャッタなどの可動部による衝撃の影響が大きい露光開始から所定時間は、衝撃が発生する前(本実施形態ではt1の直前)に算出さ
れた回転半径を使用して速度を算出し、衝撃による影響を抑制することとしている。
一方、衝撃が収まったと考えられる所定時間経過後(t4〜t5)は、t4時点での初期
速度に加速度を随時、累積加算することで速度を算出している。これは、加速度の累積加算による速度算出は、長期間行うと誤差が増大するが、露光期間に限った、短期間であれば累積に伴う誤差も少なく、比較的正確な速度変化を検出可能であることを理由としている。一方、回転半径を使用した速度算出では、正確な回転半径を算出するには、ロール角速度が0である時など、その算出のタイミングが限定されてしまう。そのため、本実施形態では、露光期間中、所定時間経過後は、t4時点での初期速度に加速度を累積加算して
いくことで、速度算出の精度向上を図ることとしている。
図5(e)は、角速度と、t1の直前で算出した半径とに基づいて算出された速度であ
り、期間tp1において並進ブレ量を算出するために使用される値である。
図5(f)は、期間tp2において加速度を積分して算出した速度変化である。この速度変化をt4時点での回転半径による速度に加算することで、期間tp2にて並進ブレ量を算
出するための速度が算出される。
図5(g)は、図5(e)と図5(f)を加算した値が示されている。この値が露光期間(t3〜t5)において並進ブレ量算出のために使用される速度となる。
図5(h)は、図5(g)に示されうる速度を時間積分した値であり、並進ブレ量に相当する値である。
以上説明した様に、撮影開始の直前(t1の直前)まで回転半径を算出し、露光開始タ
イミング(t3)からシャッタ衝撃の影響がある期間(t3〜t4)は、比較的衝撃の影響
を受けにくい角速度の検出結果に基づいて並進ブレ量を算出し、衝撃の影響が収束した後(t4〜t5)は、加速度の値に基づいて並進ブレ量を算出する。
こうすることで、回転半径に基づいた補正期間を抑えることができ、回転半径の変化による影響を抑えることが可能となる。また、加速度は、衝撃収束の直前に回転半径を基に算出した速度に対して随時、累積加算するので、長期間積分することによる誤差の蓄積が発生せず、シャッタの衝撃も回避できる。
図7には、並進ブレ補正部704の詳細を示すブロック図が示されている。ここでは、撮像面に対するX方向の並進ブレ量を検出する構成を示しているが、Y方向の検出に関しても同様に構成されたものとなる。Y方向検出のための構成は、入力信号が、ヨー角速度に代えてピッチ角速度、X加速度に代えてY加速度になることのみ異なる。それ以外の構
成は、同様であるため、ここでの説明及び図は割愛する。
並進ブレ補正部704は、積分部7041a〜cと、回転半径算出部7042と、速度算出部7043と、加算部7044と、乗算部7045と、期間制御部7046とで構成されている。
積分部7041aは、入力された加速度(X加速度)を時間積分して、回転半径を算出するための速度を算出する。
積分部7041bも、入力された加速度(X加速度)を時間積分するが、ここでの積分は、期間制御部7046で検出された積分期間の加速度を積分する。すなわち、図5(f)で説明した期間tp2において加速度を時間積分する。
積分部7041cは、算出された撮像面における並進速度を積分してX方向並進ブレ量を算出する。これは、並進ブレ補正部704の出力であり、図5(h)に相当した値である。積分部7041cが本発明における移動量算出処理に相当している。
回転半径算出部7042は、入力される角速度(ヨー角速度、ロール角速度)と、積分部7041aで算出された速度から回転半径を算出する回転半径算出処理を実行する。ここでは、ヨー方向の回転半径と、ロール方向の回転半径を算出する。これは、図2(A)、(C)で説明したように、X方向に対する影響は、ヨー方向の回転運動と、ロール方向の回転運動が影響することを理由としている。なお、Y方向の回転半径については、図2(B)、(C)に示すピッチと、ロールの関係から求めることができる。
具体的には、X方向の速度をVX、ヨー方向の回転半径(ヨー半径)をRyaw、ヨー角速度をωyaw、ロール方向の回転半径におけるZ−X平面への射影半径に相当するXZロー
ル半径をRrollx、ロール角速度をωrollとすると、回転半径と角速度により以下関係が
成り立つ。
X=Ryaw×ωyaw+Rrollx×ωroll …(式1)
また、異なる2点の時刻におけるX方向の速度をVx1,Vx2、ヨー角速度をωyaw1,ωyaw2、ロール角速度をωroll1,ωroll2とすると、以下の関係が成り立つ。
x1=Ryaw・ωyaw1+Rroll・ωroll1 …(式2)
x2=Ryaw・ωyaw2+Rroll・ωroll2 …(式3)
(式2)と(式3)より、ヨー半径Ryaw及びXZロール半径Rrollxは以下より求めることができる。
yaw=(Vx2・ωroll1−Vx1・ωroll2)/(ωroll1・ωyaw2−ωyaw1・ωroll2
…(式4)
rollx=(Vx2・ωyaw1―Vx1・ωyaw2)/(ωyaw1・ωroll2―ωyaw2・ωroll1
…(式5)
なお、Vx1及びVx2は、積分部7041aで算出した速度を用い、ωyaw1、ωyaw2、ωroll1、ωroll2は、回転半径算出部7042に入力されるヨー角速度及びロール角速度を用いる。
また、Y方向の速度Vyは、ピッチ方向の回転半径(ピッチ半径)Rpitchと、ピッチ角速度ωpitchと、ロール方向の回転半径におけるX−Y平面への射影半径に相当するXY
ロール半径Rrollyと、ロール角速度ωrollから、同様にして求めることができる。
速度算出部7043は、回転半径算出部7042で算出した回転半径に基づいて、速度Vxを算出する具体的には、(式4)及び(式5)で表される回転半径(Ryaw,Rrollx
)を(式1)に代入することにより、速度Vxを算出する。しかし、速度算出が行われる
期間は、シャッタ制御信号に基づいて判別される期間tp1のみである。
加算部7044は、速度算出部7043にて算出された速度と、積分部7041bで算出された速度変化を加算して並進速度を算出する。この出力は、図5(g)の出力に相当する。本実施形態では、加算部7044、積分部7041b、速度算出部7043、期間制御部7046によって速度算出処理が実行される。
乗算部7045は、算出されたカメラ本体の並進速度に対し、光学系2に設定されている像倍率を乗算することで、撮像面上の被写体像の並進速度に変換する。光学系2に設定されている像倍率は、通信部705を経由してシステムコントローラ6との通信により通知される。
期間制御部7046は、シャッタ制御信号に基づき、回転半径算出部7042において回転半径を算出する期間、速度算出部7043において速度を算出する期間tp1、積分部7041bにおいて加速度を時間積分(速度算出部7043が出力する速度に加速度を累積加算)する期間tp2の期間制御を行う。
通常時、期間制御部は、回転半径算出部7042を算出状態として回転半径を算出するが、撮影が開始されると、t1のタイミングで、回転半径算出部7042に回転半径の算
出を停止させ、補正待ち状態にする。
次に、露光が開始されるt3のタイミングで速度算出部7043にて、回転半径と角速
度から並進速度の算出を開始させる。
次に、シャッタ衝撃が収束するt4のタイミングで速度算出を停止させ、積分部704
1bに対して加速度の時間積分を開始させる。これにより、加算部7044からは、t4
のタイミング直前で算出した並進速度に対して、積分部7041bで加速度を積分した速度変化が加算される。すなわち、t4時点の並進速度に対して加速度が累積的に加算され
ていく。
期間制御部7046は、露光が終了するt5のタイミングで、積分部7041bに積分
を終了さるとともに、積分部7041bの積分結果、速度算出部7043の速度算出結果をクリアし、半径算出部7042に回転半径の算出を再開させる。
なお、並進ブレ補正部704には、入力されるヨー角速度、ロール角速度、X加速度、また、積分部7041a〜cの出力の少なくとも1つに対して、低周波除去するためのハイパス処理、あるいは、ゼロ点補正処理を行うこととしてもよい。前述したADC71a〜71cの出力、そして、加速度取得部702が出力するX〜Z各方向の加速度に対する処理と同様、ここでの処理は1Hz以下の周波数が除去され、加速度センサ9が持つ、温度などの影響によるドリフトの影響が除去される。この並進ブレ補正部704内での処理は、前述したADC71a〜71cの出力、そして、加速度取得部702が出力するX〜Z各方向の加速度に対する処理にて補正可能な場合、設けなくても良い。
次に、図8のフローに基づいて並進ブレ補正部704の制御の流れを説明する。処理が開始されると、まず、入力されるシャッタ制御信号に基づいて、撮影中か否かが判定される(S1)。ここでは、先幕制御信号の立ち上がりから後幕信号の立ち下がりまでの間、つまり図5においてt1からt5までの間を撮影中と判定する。
撮影中で無いと判定された場合は、回転半径算出部7043に対して回転半径を算出させる(S2)と共に、速度算出部7043、積分部7041bの出力を0(リセット)にする(S3)。S2、S3を経由した、並進ブレ量の算出S8では、速度算出部7043
、積分部7041bの出力が0であるため、並進ブレ量は算出されない(0となる)。
一方、S2で撮影中と判定された場合(S1:Yes)は、補正待ち期間か否かを判定する(S4)。補正待ち期間とは、撮影開始t1から補正が開始されるt3の間のことをいう。補正待ち期間の場合(S4:Yes)は、並進ブレ量の算出S8に移行するが、S2、S3を経由した場合と同様、並進ブレ量は算出されない。
次に、補正待ち期間で無い場合は衝撃期間中かを判定する(S5)。衝撃期間とはtp1のことをいう。衝撃期間中は、前述したように、速度算出部7043において、入力される角速度と、t1の直前に算出された回転半径に基づいて速度を算出する(S6)。S8
においては、S6で算出された速度を積分することで、並進ブレ量が算出される。
一方、衝撃期間で無い場合は、加算部7044にて、速度算出部7043で算出されたt4時点の速度に対して、積分部7041bの積分値を加算する(加速度を累積加算する
)ことで速度が算出される(S7)。S8においては、S7で算出された速度を積分することで、並進ブレ量が算出される。
以上、述べてきたように、シャッタやミラーなど可動部の動作で発生する衝撃により加速度の値が不正確となる期間は、予め算出した回転半径と、角速度により補正量を算出する。そして、加速度が有効になった時点、すなわち、衝撃発生から所定時間経過後は、算出された速度に加速度を累積加算して速度を算出する。したがって、固定した回転半径を使用する期間が過度に長くなったり、加速度の誤差が累積したりすることがなく、誤差の少ない並進速度が算出可能となる。
以上、本発明のある態様に係る実施形態について説明したが、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となる。
1…カメラ(撮像装置)
2…光学系
3…フォーカルプレーンシャッタ
31…先幕
32…後幕
33…光学開口
4…撮像素子
5…駆動部
6…システムコントローラ
7…ブレ補正マイクロコンピュータ
8…角速度センサ
8a…ヨー角速度センサ
8b…ピッチ角速度センサ
8c…ロール角速度センサ
9…加速度センサ
10…レリーズスイッチ
11…EVF(電子ビューファインダ)
12…メモリカード
13…内部フラッシュメモリ
71a〜71c…ADC(アナログ・デジタル・コンバータ)
72a、72b…SIO(シリアル入出力)
73…ドライバ
702…加速度取得部
703…角度ブレ補正部
704…並進ブレ補正部
705…通信部
706…加算部
7041a、7041b、7041c…積分部
7042…回転半径算出部
7043…速度算出部
7044…加算部
7045…乗算部
7046…期間制御部

Claims (7)

  1. 筐体の回転運動に関わる角速度を検出する角速度検出部と、
    前記筐体に加わる加速度を検出する加速度検出部と、
    前記角速度と、前記加速度に基づいて、前記筐体の移動量を算出する算出部を備え、
    前記算出部は、
    前記加速度を時間積分した速度変化と、前記角速度から回転半径を算出する回転半径算出処理と、
    露光開始から所定時間は、前記角速度と前記露光開始以前に算出した前記回転半径に基づいて速度を算出し、前記所定時間経過後は、前記所定時間中に算出した前記速度に前記加速度を累積加算して前記速度を算出する速度算出処理と、
    前記速度算出処理で算出された前記速度を時間積分して前記移動量を算出する移動量算出処理と、を実行することを特徴とする
    ブレ量検出装置。
  2. 前記速度算出処理にて使用される前記回転半径は、撮像開始指示に基づいて動作する可動部による衝撃発生前に、前記回転半径算出処理で算出されたものであることを特徴とする
    請求項1に記載のブレ量検出装置。
  3. 前記速度算出処理は、前記回転半径と、移動量の検出対象方向である第1軸方向に垂直な第2軸周りの角速度と、前記第1軸及び前記第2軸に垂直な第3軸周りの角速度に基づいて、前記第1軸方向の前記速度を算出することを特徴とする
    請求項1または請求項2に記載のブレ量検出装置。
  4. 前記速度算出処理は、前記回転半径と、移動量の検出対象方向である第2軸方向に垂直な第1軸周りの角速度と、前記第1軸及び前記第2軸に垂直な第3軸周りの角速度に基づいて、前記第2軸方向の前記速度を算出することを特徴とする
    請求項1から請求項3の何れか1項に記載のブレ量検出装置。
  5. 前記所定時間は、前記加速度検出部で検出された前記加速度に基づいて調整されることを特徴とする
    請求項1から請求項4の何れか1項に記載のブレ量検出装置。
  6. 請求項1から請求項5の何れか1項に記載のブレ量検出装置と、
    被写体からの光を被写体像として結像させる光学系と、
    前記光学系により結像された被写体像を映像信号に変換する撮像素子と、
    前記ブレ量検出装置により算出された前記移動量を打ち消す方向に、前記光学系と前記撮像素子の少なくとも一方を駆動する駆動部と、を備えたことを特徴とする
    撮像装置。
  7. 筐体の回転運動に関わる角速度を検出し、
    前記筐体に加わる加速度を検出し、
    前記角速度と、前記加速度に基づいて、前記筐体の移動量を算出する算出処理を実行し、
    前記算出処理は、
    前記加速度を時間積分した速度変化と、前記角速度から回転半径を算出する回転半径算出処理と、
    露光開始から所定時間は、前記角速度と露光開始以前に算出した前記回転半径に基づいて速度を算出し、前記所定時間経過後は、前記所定時間中に算出した前記速度に前記加速度を累積加算して前記速度を算出する速度算出処理と、
    前記速度算出処理で算出された前記速度を時間積分して前記移動量を算出する移動量算出処理と、を含むことを特徴とする
    ブレ量検出方法。
JP2012170150A 2012-07-31 2012-07-31 ブレ量検出装置、撮像装置及びブレ量検出方法 Active JP5965770B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012170150A JP5965770B2 (ja) 2012-07-31 2012-07-31 ブレ量検出装置、撮像装置及びブレ量検出方法
PCT/JP2013/052907 WO2014020924A1 (ja) 2012-07-31 2013-02-07 ブレ量検出装置、撮像装置及びブレ量検出方法
CN201380002516.3A CN103718097B (zh) 2012-07-31 2013-02-07 抖动量检测装置、拍摄装置和抖动量检测方法
US14/169,746 US9131156B2 (en) 2012-07-31 2014-01-31 Amount-of-shake sensing apparatus, imaging apparatus, and method for detecting the amount of shake

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012170150A JP5965770B2 (ja) 2012-07-31 2012-07-31 ブレ量検出装置、撮像装置及びブレ量検出方法

Publications (2)

Publication Number Publication Date
JP2014029420A JP2014029420A (ja) 2014-02-13
JP5965770B2 true JP5965770B2 (ja) 2016-08-10

Family

ID=50027625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012170150A Active JP5965770B2 (ja) 2012-07-31 2012-07-31 ブレ量検出装置、撮像装置及びブレ量検出方法

Country Status (4)

Country Link
US (1) US9131156B2 (ja)
JP (1) JP5965770B2 (ja)
CN (1) CN103718097B (ja)
WO (1) WO2014020924A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014126861A (ja) 2012-12-27 2014-07-07 Canon Inc 撮像装置及びその制御方法、プログラム、記憶媒体
JP6071545B2 (ja) * 2012-12-27 2017-02-01 キヤノン株式会社 撮像装置、画像処理装置及びその制御方法、プログラム、記憶媒体
JP6454869B2 (ja) * 2014-03-24 2019-01-23 パナソニックIpマネジメント株式会社 撮像装置
JP6312519B2 (ja) * 2014-05-13 2018-04-18 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
KR102031874B1 (ko) * 2014-06-10 2019-11-27 삼성전자주식회사 구도 정보를 이용하는 전자 장치 및 이를 이용하는 촬영 방법
JP6614810B2 (ja) * 2015-05-29 2019-12-04 キヤノン株式会社 ブレ補正装置、撮像装置、ブレ補正方法
US10142546B2 (en) * 2016-03-16 2018-11-27 Ricoh Imaging Company, Ltd. Shake-correction device and shake-correction method for photographing apparatus
JP1571316S (ja) * 2016-05-17 2017-03-13
JP1571919S (ja) * 2016-05-17 2017-03-21
WO2018070468A1 (ja) * 2016-10-13 2018-04-19 富士フイルム株式会社 ブレ補正装置、撮像装置、及びブレ補正方法
JP6622426B2 (ja) * 2016-11-16 2019-12-18 富士フイルム株式会社 メモリカード及び動画再生装置
JP7281957B2 (ja) * 2019-05-07 2023-05-26 キヤノン株式会社 防振制御装置及び方法、及び撮像システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3513950B2 (ja) 1993-12-14 2004-03-31 株式会社ニコン 像振れ補正カメラ
US5794078A (en) * 1995-09-11 1998-08-11 Nikon Corporation Image movement correction of camera
US5978600A (en) * 1997-09-30 1999-11-02 Nikon Corporation Motion compensation device to compensate for motion of an optical system without using motion sensors
US20060072019A1 (en) * 2004-09-29 2006-04-06 Stavely Donald J System and method for detecting image capture device movement with two dual axis linear accelerometers
JP4994756B2 (ja) * 2006-09-14 2012-08-08 キヤノン株式会社 防振制御装置およびそれを備えた光学機器、撮像装置、また防振制御装置の制御方法
JP5274130B2 (ja) * 2008-07-15 2013-08-28 キヤノン株式会社 像振れ補正装置及び光学機器、撮像装置並びに像振れ補正装置の制御方法
JP5268546B2 (ja) * 2008-10-06 2013-08-21 キヤノン株式会社 光学機器及びその制御方法
JP5181001B2 (ja) * 2010-08-09 2013-04-10 キヤノン株式会社 像振れ補正装置及びその制御方法、及び、像振れ補正装置を搭載した撮像装置及び光学機器
JP5121911B2 (ja) * 2010-10-19 2013-01-16 キヤノン株式会社 防振制御装置、撮像装置、及び防振制御方法
JP2012128356A (ja) * 2010-12-17 2012-07-05 Nikon Corp ブレ補正装置及び光学機器
US9077902B2 (en) * 2012-02-27 2015-07-07 Panasonic Intellectual Property Management Co., Ltd. Image capturing apparatus having camera shake correction function

Also Published As

Publication number Publication date
WO2014020924A1 (ja) 2014-02-06
CN103718097A (zh) 2014-04-09
JP2014029420A (ja) 2014-02-13
US9131156B2 (en) 2015-09-08
CN103718097B (zh) 2016-06-08
US20140146191A1 (en) 2014-05-29

Similar Documents

Publication Publication Date Title
JP5965770B2 (ja) ブレ量検出装置、撮像装置及びブレ量検出方法
US9591223B2 (en) Image blur correction apparatus and imaging apparatus
US9525820B2 (en) Shake amount detection device and imaging device
JP5094606B2 (ja) 像振れ補正装置およびそれを備えた光学機器、撮像装置、像振れ補正装置の制御方法
US9386225B2 (en) Shaking amount detecting apparatus, image pickup apparatus, and shaking amount detecting method
US7634178B2 (en) Image stabilizing apparatus and image pickup apparatus
KR101528860B1 (ko) 디지털 촬영 장치의 흔들림 보정 방법 및 장치
US7634181B2 (en) Image stabilizing system and optical apparatus
JP5977611B2 (ja) ブレ量検出装置、撮像装置及びブレ量検出方法
JP2010025961A (ja) 防振制御装置及び撮像装置
JP5846927B2 (ja) ブレ量検出装置、撮像装置、ブレ量検出方法
JP2012128356A (ja) ブレ補正装置及び光学機器
JP2012163824A (ja) ブレ補正装置及び光学機器
JP2010025965A (ja) 防振制御装置及び撮像装置
JP6024031B2 (ja) ブレ補正装置及び光学機器
JP2013054193A (ja) ブレ補正装置及び光学機器
JP5959315B2 (ja) ブレ量検出装置、撮像装置、ブレ量検出方法
JP5207861B2 (ja) 像振れ補正装置およびそれを具備する撮像装置、光学機器、ならびに像振れ補正装置の制御方法
JP6753126B2 (ja) 防振制御装置
JP2017194531A (ja) 防振制御装置
JP5420042B2 (ja) 像振れ補正装置及びそれを具備する光学機器、撮像装置、ならびに像振れ補正装置の制御方法
JP5496268B2 (ja) 光学機器又は撮像装置並びに光学機器の制御方法
JP2014215358A (ja) 像ブレ補正装置及び光学機器
JP2013238647A (ja) ブレ補正装置および光学機器

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160704

R151 Written notification of patent or utility model registration

Ref document number: 5965770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250