JP6465704B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP6465704B2
JP6465704B2 JP2015048495A JP2015048495A JP6465704B2 JP 6465704 B2 JP6465704 B2 JP 6465704B2 JP 2015048495 A JP2015048495 A JP 2015048495A JP 2015048495 A JP2015048495 A JP 2015048495A JP 6465704 B2 JP6465704 B2 JP 6465704B2
Authority
JP
Japan
Prior art keywords
image
mode
image sensor
output
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015048495A
Other languages
English (en)
Other versions
JP2016171392A (ja
JP2016171392A5 (ja
Inventor
宏和 石井
宏和 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015048495A priority Critical patent/JP6465704B2/ja
Priority to US15/066,938 priority patent/US9667878B2/en
Priority to CN201610134785.0A priority patent/CN105979160B/zh
Publication of JP2016171392A publication Critical patent/JP2016171392A/ja
Publication of JP2016171392A5 publication Critical patent/JP2016171392A5/ja
Application granted granted Critical
Publication of JP6465704B2 publication Critical patent/JP6465704B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/106Beam splitting or combining systems for splitting or combining a plurality of identical beams or images, e.g. image replication
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/144Beam splitting or combining systems operating by reflection only using partially transparent surfaces without spectral selectivity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Optics & Photonics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Automatic Focus Adjustment (AREA)
  • Spectroscopy & Molecular Physics (AREA)

Description

本発明は、撮像装置及びその制御方法に関する。
従来、撮像素子を構成する画素に、被写体像の位相差検出機能を付与することで、専用のAFセンサを不要とし、かつ高速の位相差AFを実現するための技術が開示されている。特許文献1では、撮像素子の一部の受光素子(画素)において、1つのオンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与している。そしてこれらの画素を焦点検出画素とし、撮像用画素群の間に所定の間隔で配置することで、焦点検出画素から得られた信号に基づいて位相差式焦点検出を行う。
なお、このような撮像装置においては、撮像用画素群からの出力に基づいて生成される撮像画像を撮像装置に備えられた表示装置にスルー画像として表示させることが一般的に行われている。そのため、露出制御は画像が表示されることを考慮して、画像全体の平均的な露光量が適正なものとなるように行われる。
一方で、特許文献1には、撮影光学系と撮像素子との間の光路中に挿脱可能なハーフミラーを設け、光学ファインダによる観察を可能にすると同時に、ハーフミラーを介して撮像素子に入射する被写体からの光束に基づいて焦点検出を行う技術が開示されている。
特開2000−292686号公報
ハーフミラーが撮影光学系と撮像素子との間の光路中に挿入され、光学ファインダで被写体を観察する際には、被写体からの入射光量をレンズの絞り開口のみで制限するため、絞り開放状態を維持することが一般的である。そのため、絞りを使用した露出制御を行うことができず、被写体の明るさによっては比較的容易に画素信号が飽和してしまう。
本発明は上記問題点を鑑みてなされたものであり、焦点検出画素を含む撮像素子において、露出制御と焦点検出をより適切に行えるようにすることを目的とする。
上記目的を達成するために、本発明の撮像装置は、撮影光学系を介して入射した光を電気信号に変換して出力する撮像素子と、前記撮像素子における電荷蓄積時間を制御する制御手段と、前記撮像素子から出力された電気信号を、可視画像として出力しない第1のモードと、可視画像として出力する第2のモードとのいずれかを選択する選択手段と、前記撮像素子から出力された電気信号に基づいて測光する測光手段と、前記撮像素子から出力された電気信号に基づいて焦点検出を行う焦点検出手段と、を有し、前記制御手段は、水平同期信号の周期の整数倍で前記電荷蓄積時間を制御し、前記第1のモードが選択されている場合に、前記電荷蓄積時間の最短蓄積時間を第1の時間に設定し、前記第2のモードが選択されている場合に、前記最短蓄積時間を前記第1の時間以上の第2の時間に設定する。
本発明によれば、焦点検出画素を含む撮像素子において、露出制御と焦点検出をより適切に行うことができる。
本発明の実施形態におけるカメラの概略構成図。 実施形態における撮像素子の画素配列の概略図。 実施形態における撮像素子の概略構成を示す図。 実施形態における単位画素の等価回路図。 実施形態における撮影光学系の射出瞳面と光電変換部との関係を説明する図。 実施形態において撮像素子から1行分の電荷を読み出す動作を示すタイミングチャート。 実施形態において撮像素子から1画面分の信号を読み出す動作を示すタイミングチャート。 実施形態におけるカメラの撮影処理を示すフローチャート。 実施形態における焦点検出処理を示すフローチャート。 実施形態における撮影処理を示すフローチャート。 目標の電荷蓄積時間と設定可能な電荷蓄積時間との誤差が露出に与える影響の説明図。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
図1は本発明の実施形態における撮像装置の一例として、カメラの概略構成を示す図であり、交換可能な撮影レンズ100とカメラ本体150とから構成される。撮影レンズ100は、第1レンズ群101、絞り102、第2レンズ群103、第3レンズ群104を含み(撮影光学系)、光軸L上に配置されている。撮影レンズ100は更に、駆動/制御系を有する。
第1レンズ群101は撮影レンズ100の先端に配置され、光軸方向に進退可能に保持される。絞り102は、その開口径を調節することで撮影時の光量調節を行う。絞り102及び第2レンズ群103は一体として光軸方向に進退し、第1レンズ群101の進退動作との連動により、変倍作用(ズーム機能)を実現する。また、第3レンズ群104はフォーカスレンズを含み、光軸方向に進退させることで焦点調節が行われる。
駆動/制御系としては、ズームアクチュエータ111、絞りアクチュエータ112、フォーカスアクチュエータ114を有する。ズームアクチュエータ111は、不図示のカム筒を回動することで、第1レンズ群101ないし第3レンズ群103を光軸方向に進退駆動することで、変倍操作を行う。絞りアクチュエータ112は、絞り102の開口径を制御して撮影光量を調節する。フォーカスアクチュエータ114は、第3レンズ群104を光軸方向に進退駆動して焦点調節を行う。
一方、カメラ本体150において、撮影レンズ100の予定結像面付近には、光学ローパスフィルタや赤外カットフィルタ106、CMOSセンサや周辺回路等から構成された撮像素子107が配置される。本実施形態における撮像素子107は、画像信号を生成するための機能を有するとともに、焦点状態を検出するための機能を有する。なお、撮像素子107の詳細な構成については後述する。
撮影レンズ100と撮像素子107の間には、平行平板のガラス板などで形成されたハーフミラー105が配置される。ハーフミラー105は、回転軸を中心にして、光路上に斜めに傾けた位置(実線)と、光路から退避した位置(点線)のいずれかの位置に駆動される。
ハーフミラー105は全面半透過性を有するミラーとなっており、光路上の実線位置に配置されている際には、撮影レンズ100を通過した光束は、上方の光学ファインダ(光学部材)に導かれる反射光と、撮像素子107に入射する透過光とに分離される。ハーフミラー105による反射光は、光学ファインダを構成する、拡散面とフレネル面を備えるピント板109の拡散面上に結像し、ペンタプリズム110、接眼光学系108を介して撮影者の目に導かれる。一方、透過光は撮像素子107で受光され、受光された光に応じて生成された電気信号は、AD変換、画像処理部などを介して画像信号となる。
一方、ハーフミラー105が光路から退避した点線位置に配置されている際には、撮影レンズ100を通過した光束はそのまま撮像素子107に導かれて、撮像素子107の受光面上に結像する。撮像素子107で受光された光に応じて生成された電気信号は、AD変換、画像処理部などを介して画像信号となり、記録や表示に用いられる。
CPU121は、カメラ本体150の種々の制御を司るもので、演算部、ROM、RAM、D/Aコンバータ、通信インターフェイス回路等を有する。CPU121は、ROMに記憶された所定のプログラムに基づいて、カメラ本体150が有する各種回路を駆動し、AF、撮影、画像処理と記録等の一連の動作を実行する。
撮像素子駆動回路124は、撮像素子107の撮像動作を制御するとともに、取得した電気信号をA/D変換してCPU121に送信する。画像処理回路125は、CPU121を介して撮像素子107から取得した画像信号に対して、γ変換、カラー補間、JPEG圧縮等の処理を行う。
フォーカス駆動回路126は、撮影レンズ100のフォーカスアクチュエータ114を駆動制御することで、第3レンズ群104を光軸方向に進退駆動させて焦点調節を行う。絞り駆動回路128は、絞りアクチュエータ112を駆動制御して絞り102の開口を制御する。ズーム駆動回路129は、撮影者のズーム操作に応じてズームアクチュエータ111を駆動することで、第1レンズ群101を光軸方向に進退駆動させてズーム動作を行う。
液晶等により構成された表示器131はカメラ背面に設置され、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等が表示される。操作スイッチ132は、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ、被写体の観察モード選択スイッチ等を含む。被写体の観察モード選択スイッチを操作することで、被写体の観察に光学ファインダを使用する光学ファインダモード(第1のモード)と、カメラ背面に設置された表示器131を使用する電子ファインダモード(第2のモード)とが選択可能となっている。観察モードの選択は、ハーフミラー105の位置と連動しており、光学ファインダモードではハーフミラー105が光路上の実線位置に挿入され、電子ファインダモードではハーフミラー105が点線位置へと退避する。133は着脱可能なフラッシュメモリなどの記録媒体で、撮影済み画像を記録する。
図2は、撮像素子107における画素部203の画素配列を示す概略図である。本実施形態では、マイクロレンズアレイを構成する各マイクロレンズ202と、各マイクロレンズ202に対して配置された複数の光電変換部201A、201Bを1つの単位画素200として、図2では、単位画素200を4列×4行の範囲で示している。本実施形態では光電変換部201A、201Bは単位画素200をX軸方向に2つに分割した構成として説明するが、Y軸方向に分割した構成でも、X軸方向に分割した単位画素と、Y軸方向に分割した単位画素を混合した構成としてもよい。更に、X軸方向及びY軸方向の両方に分割した構成としても良く、分割数も2分割に限られるものではない。また、本実施形態では、光電変換部201A、201Bはフォトダイオードにより構成されているものとし、単位画素200には、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成されているものとする。また、本実施形態では、画素部203を構成する全ての画素を焦点検出画素として用いることのできる単位画素200により構成しているが、本発明はこれに限られるものではなく、一部の画素を単位画素200により構成し、所定間隔で配置してもよい。
図3は、読み出し回路を含む撮像素子107の概略構成を示す図である。なお、図3では、後述の読み出し動作が説明できる最低限の構成を示しており、画素リセット信号線などが省略されている。図3に示すように、本実施形態における画素部203は、横方向にn個、縦方向にm個の単位画素200が2次元に配置された構成を有する。以下、iをY方向のアドレス(i=0〜m−1)、jをX方向のアドレス(j=0〜n−1)として、i行j列目の光電変換部201AをPDijA、光電変換部201BをPDijBと記す。
垂直出力線306には、PDijA及びPDijBが後述するスイッチを介して接続され、垂直走査回路208がスイッチを制御することで単位画素200が行単位で選択され、選択された行の単位画素200の信号が垂直出力線306に出力される。
垂直走査回路208は、信号V0からVm-1により、PDijA及びPDijBと垂直出力線306との間のスイッチをONにすることにより、読み出す行を選択することができる。信号PVSTは、垂直走査回路208のデータ入力、信号PV1、PV2は、シフトクロック入力であり、信号PV1がHの時にデータがセットされ、信号PV2がHの時にデータがラッチされる構成となっている。信号PV1、PV2にシフトクロックを入力することにより、信号PVSTを順次シフトさせて、信号V0からvm-1に対応するスイッチを順次ONさせることができる。信号SKIPは、間引き読み出し時に設定を行わせる制御端子入力である。信号SKIPをHレベルに設定することにより、垂直走査回路208を所定間隔でスキップさせることが可能になる。
ラインメモリ210は、選択された行の単位画素200の出力を一時的に記憶するためのメモリであり、通常は、コンデンサが使用される。スイッチ204は、水平出力線209を所定の電位VHRSTにリセットするためのスイッチであり、信号HRSTにより制御される。スイッチ205は、水平走査回路206からの信号H0からHn-1により制御され、スイッチ205がONされると、ONされたスイッチ205に対応する、ラインメモリ210に記憶された単位画素200の出力を水平出力線209に出力する。信号H0からHn-1によりスイッチ205を順にONすることで、一行分の単位画素から出力が読み出される。
水平走査回路206において、信号PHSTは、水平走査回路206のデータ入力、信号PH1、PH2は、シフトクロック入力であり、信号PH1がHの時にデータがセットされ、信号PH2がHの時にデータがラッチされる構成となっている。信号PH1、PH2にシフトクロックを入力することにより、信号PHSTを順次シフトさせて、信号H0からHn-1に対応するスイッチ205を順次ONさせることができる。信号SKIPは、後述の間引き読み出し時に設定を行わせる制御端子入力である。信号SKIPをHレベルに設定することにより、水平走査回路206を所定間隔でスキップさせることが可能になる。
図4は、撮像素子107の単位画素200の等価回路図であり、2行2列分の単位画素200を示している。各PDijA及びPDijBには、それぞれ異なる転送スイッチ301A、301Bに接続され、転送スイッチ301A、301Bは、PDijA、PDijBで発生した電荷を共通のフローティングデフュージョン部(FD)302に転送する。PDijA、PDijBから転送された電荷は、FD302で一時的に保持されるとともに、選択スイッチ304により選択された行の電荷は電圧に変換されてソースフォロワアンプ(SF)303から垂直出力線306に出力される。リセットスイッチ305は、FD302の電位、及び転送スイッチ301A、301Bを介してPDijA、PDijBの電位をVDDにリセットする。なお、転送スイッチ301A、301Bは、それぞれ転送パルス信号PTXAi、PTXBiによって制御される。転送パルス信号PTXAi、PTXBiを制御することで、PDijAの電荷及びPDijBの電荷のうち、FD302に転送する電荷を選択可能としている。また、リセットスイッチ305、選択スイッチ304はそれぞれ、垂直走査回路208からの信号PRESi、PSELiによって制御される。
図5は、撮影レンズ100から出射された光が1つのマイクロレンズ202を通過して、撮像素子107の光電変換部201A、201Bで受光される様子を光軸Lに対して垂直方向から観察した図である。図5において、503は撮影レンズ100全体の射出瞳、501、502は光電変換部201A、201Bにそれぞれ対応した撮影レンズ100の射出瞳の瞳領域、504はレンズ絞りを示す。射出瞳503を通過した光は、光軸Lを中心として単位画素200に入射する。図5に示すように瞳領域501を通過した光束はマイクロレンズ202を通して光電変換部201Aで受光され、瞳領域502を通過した光束はマイクロレンズ202を通して光電変換部201Bで受光される。このように、光電変換部201Aと201Bは、それぞれ撮影レンズ100の射出瞳の異なる領域の光を受光している。
このように瞳分割された光電変換部201Aの信号をX軸方向に並ぶ複数の単位画素200から取得し、これらの出力信号群で構成した被写体像をA像とする。同様に、瞳分割された光電変換部201Bの信号をX軸方向に並ぶ複数の単位画素200から取得し、これらの出力信号群で構成した被写体像をB像とする。得られたA像とB像に対して相関演算を実施し、像のずれ量(瞳分割位相差)を検出する。そして、検出した像のずれ量に対して、撮影レンズ100の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置を焦点位置とする撮影レンズ100の位置を算出することができる。ここで算出された焦点位置情報を元に第3レンズ群104を制御することで、撮像面位相差AFが可能となる。
また、A像信号とB像信号とを単位画素200毎に足し合わせて得られるA+B像信を、通常の撮影画像として用いることができる。
図6(a)は、本実施形態における撮像素子107の一行分の画素の電荷蓄積開始から読み出し動作を示すタイミングチャートであり、各駆動パルスのタイミング及び水平走査信号を模式的に示している。
時刻t0、t1では、信号PSELi、PRESi、PTXAi、PTXBiをHとすることで、FD302の電位、及び転送スイッチ301A、301Bを介してi行目のPDijA、PDijBの電位をVDDにリセットする。時刻t2では、信号PTXAi、PTXBiをLとすることで、リセット解除し、PDijA、PDijBでの電荷蓄積を開始する。
続いて、予め決められた電荷蓄積時間の経過後、時刻t3で読み出し動作が開始される。PDijA、PDijBからの信号の読み出しに先立って、時刻t3では信号PSELiをHとし、SF303を動作状態とする。時刻t4では信号PRESiをLとすることでFD302のリセットを解除する。
次に、時刻t5で信号PTXAiをH、時刻t6でLとして、PDijAに蓄積された光電荷をFD302に転送する。すると、電荷量に応じたFD302の電位変動が垂直出力線306に出力される。この状態で、不図示のMEM信号をHにして、各画素のデータをラインメモリ210にサンプルホールドする。続いて時刻t7より、水平走査回路206によりスイッチ205を順次動作させることで、ラインメモリ210に保持された信号は列毎に水平出力線209に出力される。出力された画素出力は、アンプ207を介して、VOUTとして出力され、撮像素子駆動回路124においてAD変換されてデジタルデータとなる。
同様に、時刻t8で信号PTXBiをH、時刻t9でLとして、PDijBに蓄積された光電荷をFD302に転送する。すると、電荷量に応じたFD302の電位変動が垂直出力線306に出力される。この状態で、不図示のMEM信号をHにして、各画素のデータをラインメモリ210にサンプルホールドする。続いて時刻t10より、水平走査回路206によりスイッチ205を順次動作させることで、ラインメモリ210に保持された信号は列毎に水平出力線209に出力される。出力された画素出力は、アンプ207を介して、VOUTとして出力され、撮像素子駆動回路124においてAD変換されてデジタルデータとなる。
なお、図6(a)に示す駆動例では、同一行に配置されているPDijA及びPDijBは同時刻にリセットされ、PDijAからの信号、PDijBからの信号が順次読み出される。したがって、電荷蓄積時間としては、PDijAとPDijBとの間で水平同期信号の1パルス(1H)分の違いが生じる。このPDijA、PDijBの同時リセットは、制御を簡略化するために行っており、PDijA、PDijBのリセット時刻を1Hずらして制御することで、PDijAとPDijBとの間で電荷蓄積時間の差を発生させないようにしてもよい。
図6(b)はPDijA、PDijBのリセット時刻を1Hずらして制御する場合の撮像素子107の一行分の画素の電荷蓄積開始から読み出し動作を示すタイミングチャートである。
時刻t0、t1では、信号PSELi、PRESi、PTXAiをHとすることで、FD302の電位、及び転送スイッチ301Aを介してi行目のPDijAの電位をVDDにリセットする。時刻t2では、PTXAiをLとすることで、リセット解除し、PDijAでの蓄積を開始する。
時刻t11、t12は時刻t0、t1から1H後の時刻であり、時刻t11、t12では、信号PSELi、PRESi、PTXBiをHとすることで、FD302の電位、及び転送スイッチ301Bを介してi行目のPDijBの電位をVDDにリセットする。時刻t13では、PTXBiをLとすることで、リセット解除し、PDijBでの電荷蓄積を開始する。
続く時刻t3以降の読み出し動作に関しては、上述した図6(a)の動作と同様であるため、説明を省略する。このように撮像素子107を駆動することで、PDijA、PDijBの間で電荷蓄積時間に差を生じさせずに駆動することが可能となる。
図7は、本実施形態における1画面分の信号を読み出す動作の概要を示すタイミングチャートである。なお、本実施形態においては、撮像素子107の駆動を図6(a)の方法で行うものとして説明する。
図7に示すように、撮像素子107は、露光動作が行われた後、撮像素子107内の各PDijA、PDijBに蓄積された電荷が読み出される。この読み出し動作は、垂直同期信号VD、及び不図示の水平同期信号HDに同期して行われる。垂直同期信号VDは、撮像処理における1フレームを規定する信号であり、実施形態中では、たとえば1/30秒ごとにCPU121からのコマンドを受けて、撮像素子駆動回路124より、撮像素子107へ送られる。また、水平同期信号HDは、撮像素子107の水平同期信号であり、1フレームの期間に行数に応じた数のパルスが所定間隔で送出される。本実施形態では、図6で説明したように、1行に配列されたPDijA、PDijBからそれぞれ電荷を読み出すために2H期間かかるため、行数の2倍の数のパルスが送出される。また、水平同期信号HDに同期して、設定された電荷蓄積時間となるように、図中点線で示すように、各行毎に画素リセットが行われる。
垂直同期信号VD及び水平同期信号HDに同期して1フレーム分の読み出しが終了すると、垂直同期信号VDが再度送出され、次フレームの読み出しが開始される。また、読み出された画像信号は、画像処理回路125へ転送され、欠陥画素補正、A像信号とB像信号の加算による撮像信号の生成などの画像処理が実行され、表示器131に転送される。
また、撮影レンズ100の焦点状態を検出するために、画像データ内に含まれるA像信号及びB像信号のうち、予め決められた焦点検出領域内のA像信号及びB像信号を抽出して、画像処理回路125内の不図示の位相差検出ブロックへも転送される。この位相差検出ブロックで、瞳分割されたPDijA、PDijBから得られたA像とB像の相関演算を行って、位相差AF評価値を算出する。CPU121は、算出した位相差AF評価値に基づいてフォーカス駆動回路126を制御してフォーカスアクチュエータ114を動作させ、撮影レンズ100の第3レンズ群104を制御することで焦点調節を行う。なお、焦点検出領域は、予め決められた固定の領域であっても、撮影者が指定した領域であっても、被写体を検出し、検出した被写体を含むように設定された領域であってもよい。また、複数の焦点検出領域を設定してもよい。
また、画像処理回路125とCPU121によって構成される測光部によって測光が行われ、電荷蓄積時間、ゲイン、絞りなどの露光条件が決定される。CPU121は、決定された絞り値に基づいて、絞り駆動回路128を制御して絞りアクチュエータ112を動作させ、絞り102を駆動する。
次に、電荷蓄積時間の制御について説明する。本実施形態においては、電荷蓄積時間は前述したように水平同期信号HDに同期して設定される。そのため、水平同期信号HDの周期の整数倍の電荷蓄積時間しか設定することができず、測光結果から求められた設定目標とする電荷蓄積時間と、制御上設定される電荷蓄積時間との間には最大で0.5H程度の差が生じる。設定目標とする電荷蓄積時間が長秒側であれば、差の影響は無視できるが、電荷蓄積時間が1/1000秒以下の短秒側では、設定目標とする電荷蓄積時間が短くなるにつれ、差の影響が大きくなる。
図11は、水平同期信号HDの周期を20μsとした際に、設定目標とする電荷蓄積時間に0.5Hの差が生じた場合の影響を示した図である。横軸は設定目標とする荷蓄積時間、縦軸は0.5Hの差により生じる露出変化量を示している。短秒側で生じる露出の差が与える画像への影響は、画像データにゲイン補正をかけることで画像の見えに対する影響は軽減することができる。しかし、超短秒側では0.5Hの差により生じる露出変化量が大きく、その補正のために画像データに掛けるゲインの値が大きくなるため、ゲイン補正の影響が視認可能となる。そのため、設定可能な最短蓄積時間として、撮像素子107の最短駆動限界よりも手前で制限値を設けることが一般的である。
また、本実施形態の撮像素子107では、図6(a)を参照して前述したように、同一行に配置されているPDijAとPDijBとでは、電荷蓄積時間に1H分の差が生じる。そのため、画像信号の生成、及び焦点検出時には、設定する電荷蓄積時間に応じて決まるゲイン補正値をどちらか一方、もしくは両方の像信号に掛ける操作を行うことで、一対の信号レベルを揃える必要がある。
更に、上述したように、一般的に、光学ファインダで被写体を観察する際には、被写体からの入射光量はレンズの絞り開口のみで制限されるが、観察する被写体が暗くならないように、絞り開口を開放状態にすることが望ましい。これに対して、表示器131により被写体を観察する電子ファインダモードでは、撮像素子107で受光した被写体像の画像を表示するため、画像の観察に適した露光条件を、絞り含めて設定することができる。そのため、光学ファインダモードでは電子ファインダモードと比較して、被写体を撮影した際にPDijAとPDijBが飽和しやすくなる。
更には、光学ファインダモードでは被写体の観察を光学ファインダから行うため、本撮影時以外では表示器131への被写体表示、及び撮影データの記録を行う必要がない。そのため、先に述べたような画像の見え方に対する補正の影響を考慮する必要が無く、撮像素子107の駆動限界となる最短蓄積時間まで使用することができる。
従って、本実施形態では、設定可能な最短蓄積時間を被写体の観察モードに応じて変更する。
次に、本実施形態における動作について、図8〜図10を参照して詳細に説明する。図8は、本実施形態のカメラにおける撮影処理を示すフローチャートである。
S801において撮影者がカメラの電源スイッチをオン操作すると動作が開始され、S802においてCPU121はカメラ内の各アクチュエータや撮像素子107の動作確認を行い、メモリ内容や実行プログラムの初期化、及び、撮影準備動作を実行する。
S803では、操作スイッチ132から、観察モードとして、光学ファインダモードが選択されているかどうかを判断する。光学ファインダモードが選択されている場合にはS804に進んで、ハーフミラー105を光軸L上に挿入した状態にする。一方、電子ファインダモードが選択されている場合にはS806に進み、ハーフミラー105を光軸Lから退避させた状態にする。
被写体の観察モードが選択され、ハーフミラー105の位置を確定した後は、各観察モードで設定可能な最短蓄積時間を指定する。光学ファインダモードではS805において最短蓄積時間をT1(第1の時間)に、電子ファインダモードではS807において最短蓄積時間をT2(第2の時間)に設定する。ここで、最短蓄積時間T1、T2の関係は、T1≦T2(第2の時間は第1の時間以上)とする。
次に、S808では、撮像素子107から出力されるA像信号、B像信号を読み出し、続くS809では読み出したA像信号、B像信号を単位画素200毎に加算処理して撮影画像信号を生成し、S810において生成した撮影画像信号を用いて測光を行う。
次に、S811で再度、選択されている観察モードの判断を行う。光学ファインダモードが選択されている場合にはS812に進み、S810における測光結果に基づいて露光条件を設定する。その際、レンズの絞り開口は開放状態とし、S805で設定された最短蓄積時間T1を短秒時側の限界として、電荷蓄積時間を制御することにより露光条件を設定する。これにより、光電変換部201A及び201Bが飽和する可能性を低くすることができる。
一方、電子ファインダモードが選択されている場合にはS813に進み、S810で演算された測光結果に基づいて、表示器131における表示に適した露光条件を設定する。この際に、S807で設定された最短蓄積時間T2を短秒時側の限界として、電荷蓄積時間を制御する。これにより、電子ファインダに表示される画像の画質低下を防ぐことができる。続くS814、S815では、S809で得られた撮影画像信号に対して画像処理を行い、表示器131にプレビュー画像を表示する。撮影者はこのプレビュー画像を目視して、撮影時の構図決定を行う。S812及びS815の後はS901に進み、焦点検出処理を実行する。
図9はS901で行われる焦点検出処理のサブルーチンを示すフローチャートである。焦点検出処理が開始されると、S902において、予め設定されている焦点検出領域に含まれるPDijA、PDijBから得られたA像信号、及びB像信号(焦点検出信号)を抽出する。続くS903では、得られた一対の焦点検出信号に対して、2像の電荷蓄積時間の差により生じるレベル差を補正するゲイン補正を行う。なお、このS903の処理は、図6(b)に示すタイミングで制御を行った場合には行う必要は無い。S904では2像の相関演算を行い、2像の相対的な位置ずれ量を計算する。ここでは、PDijA、PDijBから読み出され、ゲイン補正された一対の焦点検出信号(a1〜ap、b1〜bp、pはデータ数)に対して、式(1)に示す相関演算を行い、相関量Corr(l)を演算する。
Figure 0006465704
式(1)において、lは像ずらし量を表し、像をずらした際のデータ数はp-lに限定される。また、像ずらし量lは整数であり、データ列のデータ間隔を単位とした相対的なシフト量である。式(1)の演算結果は、一対のデータの相関が最も高い場合に、相関量Corr(l)が極小となる。さらに、相関量Corr(q)(極小となるシフト量q)、及びqに近いシフト量で算出された相関量を用いて、3点内挿の手法を用いて、連続的な相関量に対する極小値Corr(d)を与えるシフト量dを求める。
続くS905では、S904で得られた像ずれ量に対して、所定のデフォーカス換算係数を乗ずることでデフォーカス量を演算し、図8に戻る。
図8のS816では、S905で求められたデフォーカス量が許容値以下か否かを判断する。デフォーカス量が許容値より大きい場合は非合焦と判断し、S818で第3レンズ群104を駆動し、その後、S808〜S816を繰り返し実行する。そしてS816において、求められたデフォーカス量が許容値以下となり、合焦状態に達したと判定されると、S817にて合焦表示を行い、S819に移行する。S819では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければS819にて撮影待機状態を維持する。S819で撮影開始スイッチがオン操作されると、S1001に移行して、撮影処理を実行する。
図10はS1001で行われる撮影処理のサブルーチンを示すフローチャートである。S1002では選択されている観察モードの判断を行う。光学ファインダモードが選択されている場合には、S1003に進んでハーフミラー105を光軸Lから退避させてから、S1004に進む。電子ファインダモードが選択されている場合には、ハーフミラー105は光軸Lから退避された状態であるので、そのままS1004に進む。
S1004では静止画撮影のために、光量調節絞りを駆動し、露光時間を制御して、撮像素子107を露光する。この際に、カメラがメカニカルシャッタが備えられている場合にはその開口制御を行う。メカニカルシャッタが備えられていない場合には、電子シャッタにより電荷蓄積時間を制御する。また、メカニカルシャッタと電子シャッタを両方組み合わせて露光時間を制御しても良い。
撮像素子107の露光後、S1005において、A像信号及びB像信号を読み出す。S1006では読み出した信号の欠損画素補間、及び、A像信号及びB像信号の加算処理による画像データ生成を行うと共に、画像のγ補正、エッジ強調等の画像処理も行う。S1007において、フラッシュメモリ133に撮影画像を記録し、続くS108で撮影した画像を表示器131に表示して、図8の処理に戻り、一連の撮影動作を終了する。
以上説明したように本実施形態によれば、観察モードに応じて画像観察時の最短蓄積時間を変更することにより、光電変換部が飽和する可能性を低くすると共に、電子ファインダに表示される画像の画質低下を防ぐことができる。これにより、観察モードに関わらず、露出制御と焦点検出をより適切に行うことができる。
なお、以上説明した実施形態は代表的な例にすぎず、本発明の実施に際しては、実施形態に対して種々の変形や変更が可能である。
<変形例>
上述した実施形態では、設定可能な最短蓄積時間の設定を観察モードに応じて変更する場合について説明した。しかしながら、最短蓄積時間が超短秒時の場合に発生する影響としては、表示、もしくは記録される画像に対して、その差が視認可能となる点にある。そのため、設定可能な最短蓄積時間の設定を、被写体画像の表示、もしくは記録を行う可視画像として出力するモードであるか否かで変更するようにしてもよい。
100:撮影レンズ、101:第1レンズ群、102:絞り、103:第2レンズ群、104:第3レンズ群、105:ハーフミラー、107:撮像素子、108:接眼光学系、109:ピント板、110:ペンタプリズム、112:絞りアクチュエータ、114:フォーカスアクチュエータ、121:CPU、124:撮像素子駆動回路、125:画像処理回路、126:フォーカス駆動回路、128:絞り駆動回路、131:表示器、133:フラッシュメモリ、150:カメラ本体

Claims (10)

  1. 撮影光学系を介して入射した光を電気信号に変換して出力する撮像素子と、
    前記撮像素子における電荷蓄積時間を制御する制御手段と、
    前記撮像素子から出力された電気信号を、可視画像として出力しない第1のモードと、可視画像として出力する第2のモードとのいずれかを選択する選択手段と、
    前記撮像素子から出力された電気信号に基づいて測光する測光手段と、
    前記撮像素子から出力された電気信号に基づいて焦点検出を行う焦点検出手段と、を有し、
    前記制御手段は、水平同期信号の周期の整数倍で前記電荷蓄積時間を制御し、前記第1のモードが選択されている場合に、前記電荷蓄積時間の最短蓄積時間を第1の時間に設定し、前記第2のモードが選択されている場合に、前記最短蓄積時間を前記第1の時間以上の第2の時間に設定することを特徴とする撮像装置。
  2. 前記撮影光学系と、前記撮像素子との間に、光路に挿入された位置及び前記光路から退避した位置のいずれかの位置に駆動されるハーフミラーと、
    前記ハーフミラーにより反射された光を観察するための光学部材を更に含み、
    前記第1のモードは、前記光学部材により被写体を観察する光学ファインダモードであることを特徴とする請求項1に記載の撮像装置。
  3. 前記撮影光学系は絞りを有し、
    前記光学ファインダモードでは前記絞りを開放にすることを特徴とする請求項2に記載の撮像装置。
  4. 前記撮像素子から出力された電気信号から生成した画像を表示する表示手段を更に有し、
    前記第2のモードは、前記表示手段に表示された画像を観察する電子ファインダモードであることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記撮像素子から出力された電気信号から画像信号を生成して、記録媒体に記録する記録手段を更に有し、
    前記第2のモードは、記録を行うモードであることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  6. 前記制御手段は、前記測光手段による測光結果に基づいて、前記電荷蓄積時間を制御することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 前記撮像素子は、複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、該複数の光電変換部からそれぞれ電気信号を出力する焦点検出画素を含み、
    前記焦点検出手段は、前記複数の光電変換部からそれぞれ出力される電気信号から位相差を有する一対の焦点検出信号を生成し、該一対の焦点検出信号の位相差に基づいて、焦点検出を行うことを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
  8. 前記制御手段は、前記複数の光電変換部における電荷蓄積を行毎に同時に開始するとともに、前記複数の光電変換部から互いに異なるタイミングで電気信号を出力するように制御し、
    前記複数の光電変換部ごとに互いに異なる電荷蓄積時間の差に応じて、前記出力された電気信号のレベル差を補正する補正手段を更に有することを特徴とする請求項7に記載の撮像装置。
  9. 前記制御手段は、前記複数の光電変換部から互いに異なるタイミングで電気信号を出力すると共に、前記複数の光電変換部における電荷蓄積時間が互いに同じになるように前記複数の光電変換部における電荷蓄積の開始するタイミングを互いに変えて制御することを特徴とする請求項7に記載の撮像装置。
  10. 撮影光学系を介して入射した光を電気信号に変換して出力する撮像素子を有する撮像装置の制御方法であって、
    選択手段が、前記撮像素子から出力された電気信号を、可視画像として出力しない第1のモードと、可視画像として出力する第2のモードとのいずれかを選択する選択工程と、
    制御手段が、水平同期信号の周期の整数倍で前記撮像素子における電荷蓄積時間を制御する制御工程であって、前記第1のモードが選択されている場合に、前記電荷蓄積時間の最短蓄積時間を第1の時間に設定し、前記第2のモードが選択されている場合に、前記最短蓄積時間を前記第1の時間以上の第2の時間に設定する制御工程と、
    測光手段が、前記撮像素子から出力された電気信号に基づいて測光する測光工程と、
    焦点検出手段が、前記撮像素子から出力された電気信号に基づいて焦点検出を行う焦点検出工程と
    を有することを特徴とする撮像装置の制御方法。
JP2015048495A 2015-03-11 2015-03-11 撮像装置及びその制御方法 Expired - Fee Related JP6465704B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015048495A JP6465704B2 (ja) 2015-03-11 2015-03-11 撮像装置及びその制御方法
US15/066,938 US9667878B2 (en) 2015-03-11 2016-03-10 Image capturing apparatus and control method for image capturing apparatus
CN201610134785.0A CN105979160B (zh) 2015-03-11 2016-03-10 摄像装置及摄像装置的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015048495A JP6465704B2 (ja) 2015-03-11 2015-03-11 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2016171392A JP2016171392A (ja) 2016-09-23
JP2016171392A5 JP2016171392A5 (ja) 2018-04-19
JP6465704B2 true JP6465704B2 (ja) 2019-02-06

Family

ID=56888593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015048495A Expired - Fee Related JP6465704B2 (ja) 2015-03-11 2015-03-11 撮像装置及びその制御方法

Country Status (3)

Country Link
US (1) US9667878B2 (ja)
JP (1) JP6465704B2 (ja)
CN (1) CN105979160B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6765860B2 (ja) * 2016-06-01 2020-10-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
JP6553823B2 (ja) * 2016-12-19 2019-07-31 Eizo株式会社 センサーユニット駆動装置
CN107146797B (zh) * 2017-04-28 2020-03-27 Oppo广东移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置
JP7246176B2 (ja) * 2018-12-12 2023-03-27 キヤノン株式会社 撮像装置
JP6736821B1 (ja) * 2019-04-24 2020-08-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 撮像装置、移動体、及び制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2886898B2 (ja) * 1989-07-25 1999-04-26 旭光学工業株式会社 電子スチルカメラ
JPH09181955A (ja) * 1995-12-25 1997-07-11 Canon Inc 撮像装置および固体撮像素子の制御方法
JP4007713B2 (ja) 1999-04-06 2007-11-14 オリンパス株式会社 撮像装置
JP4392492B2 (ja) * 2003-06-02 2010-01-06 国立大学法人静岡大学 広ダイナミックレンジイメージセンサ
JP4973273B2 (ja) * 2007-03-28 2012-07-11 株式会社ニコン デジタルカメラ
JP5317591B2 (ja) * 2008-09-01 2013-10-16 キヤノン株式会社 撮像装置
JP4868050B2 (ja) * 2009-09-24 2012-02-01 ソニー株式会社 カメラシステム
JP6116301B2 (ja) * 2013-03-21 2017-04-19 キヤノン株式会社 撮像装置及びその制御方法
JP6234054B2 (ja) * 2013-04-25 2017-11-22 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP5705270B2 (ja) * 2013-05-27 2015-04-22 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体

Also Published As

Publication number Publication date
US9667878B2 (en) 2017-05-30
CN105979160A (zh) 2016-09-28
US20160269605A1 (en) 2016-09-15
JP2016171392A (ja) 2016-09-23
CN105979160B (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
JP5400406B2 (ja) 撮像装置
EP2181349B1 (en) Image sensing apparatus
JP5595014B2 (ja) 撮像装置
JP5247663B2 (ja) 撮像装置
JP6465704B2 (ja) 撮像装置及びその制御方法
JP5159520B2 (ja) 撮像装置、自動焦点検出装置及びその制御方法
JP2012220925A (ja) 撮像装置およびカメラシステム
JP5954933B2 (ja) 撮像装置およびレンズ装置
JP2008134390A (ja) 撮像装置
JP2018101055A (ja) 焦点調節装置、撮像装置及び焦点調節方法
JP2013178564A (ja) 撮像装置
US10812704B2 (en) Focus detection device, method and storage medium, for controlling image sensor operations
JP2011019024A (ja) 撮像装置
JP2016018033A (ja) 撮像装置、その制御方法、プログラム及び記憶媒体
JP6444254B2 (ja) 焦点検出装置、撮像装置、焦点検出方法、プログラム、及び記憶媒体
JP6609910B2 (ja) 撮像装置
JP7277284B2 (ja) 焦点調節装置および焦点調節方法
US20180020150A1 (en) Control apparatus, image capturing apparatus, control method, and storage medium
JP2016018034A (ja) 撮像装置、その制御方法、プログラム及び記憶媒体
JP2019074634A (ja) 撮像装置
JP2018207455A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2018182549A (ja) 撮像装置
JP7079161B2 (ja) 撮像装置及びその制御方法
JP7148265B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2009031562A (ja) 受光素子、受光装置、焦点検出装置、カメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180302

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190108

R151 Written notification of patent or utility model registration

Ref document number: 6465704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees