JP7332302B2 - Imaging device and its control method - Google Patents
Imaging device and its control method Download PDFInfo
- Publication number
- JP7332302B2 JP7332302B2 JP2019021825A JP2019021825A JP7332302B2 JP 7332302 B2 JP7332302 B2 JP 7332302B2 JP 2019021825 A JP2019021825 A JP 2019021825A JP 2019021825 A JP2019021825 A JP 2019021825A JP 7332302 B2 JP7332302 B2 JP 7332302B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- gain
- focus detection
- dynamic range
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 50
- 238000003384 imaging method Methods 0.000 title claims description 42
- 238000001514 detection method Methods 0.000 claims description 110
- 238000006243 chemical reaction Methods 0.000 claims description 48
- 230000033001 locomotion Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 28
- 230000002194 synthesizing effect Effects 0.000 description 16
- 230000015654 memory Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 7
- 239000003990 capacitor Substances 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は撮像装置及びその制御方法に関する。 The present invention relates to an imaging device and its control method.
近年、撮像素子では画素で光電変換された画像信号をただ出力するだけでなく、例えばダイナミックレンジの拡大や、被写体までの距離情報を出力する技術が提案されている。特許文献1では、撮像素子の列ごとに設けられた増幅回路の入力容量を切り替える機能を持ち、信号レベルに応じてゲインを切り替える技術が提案されている。特許文献1のようなゲインを切り替える構成により、低ゲインの信号と高ゲインの信号の画像信号を出力し、後段の画像処理でそれぞれを合成することで、高ダイナミックレンジ且つ、低ノイズな画像信号を作り出すことが可能となる。 In recent years, in addition to simply outputting an image signal photoelectrically converted by a pixel in an image pickup device, for example, techniques for expanding the dynamic range and outputting distance information to a subject have been proposed. Japanese Patent Application Laid-Open No. 2002-200002 proposes a technique that has a function of switching the input capacitance of an amplifier circuit provided for each column of an image sensor and switches the gain according to the signal level. With the configuration of switching gains as in Patent Document 1, image signals of a low gain signal and a high gain signal are output, and by synthesizing them in subsequent image processing, an image signal with a high dynamic range and low noise is obtained. can be created.
一方、撮像素子から一対の視差を有する画像を読み出して、位相差検出方式の焦点検出を行う、いわゆる撮像面位相差方式の焦点検出方法が提案されている。撮像面位相差方式の焦点検出方法に利用可能な信号を出力する撮像装置の一例として、2次元に配列したマイクロレンズアレイを構成する各マイクロレンズに対して、1対の光電変換部を設けたものがある。特許文献2には、1つのマイクロレンズを介して光が入射される1対の光電変換部が出力する信号の加算/非加算を、1対の光電変換部毎に任意に行うことのできる撮像装置が提案されている。 On the other hand, a so-called imaging plane phase difference focus detection method has been proposed, in which a pair of parallax images are read out from an imaging device and focus detection is performed using a phase difference detection method. As an example of an imaging device that outputs a signal that can be used for a focus detection method using an imaging surface phase difference method, a pair of photoelectric conversion units are provided for each microlens that constitutes a two-dimensionally arranged microlens array. there is something Japanese Patent Application Laid-Open No. 2002-200000 discloses an image pickup device capable of arbitrarily performing addition/non-addition of signals output from a pair of photoelectric conversion units to which light is incident via one microlens for each pair of photoelectric conversion units. A device has been proposed.
しかしながら、特許文献1のダイナミックレンジ拡大用の高ゲインの画像信号及び低ゲインの画像信号の読み出し方と、特許文献2の位相差検出用の画像信号の読み出し方とは異なるため、それぞれを同一フレームで読み出すことができなかった。
However, since the reading method of the high-gain image signal and the low-gain image signal for dynamic range expansion in Patent Document 1 is different from the reading method of the phase difference detection image signal in
また、高フレームレートを維持するために、1フレーム内でダイナミックレンジ拡大用の画像信号を読み出す駆動と、位相差検出用の画像信号を読み出す駆動を、撮像素子の読み出し行単位で切り換えたとする。その場合、位相差検出用の画像信号を読み出す行ではダイナミックレンジ拡大ができない。 Also, in order to maintain a high frame rate, it is assumed that driving for reading out the image signal for dynamic range expansion and driving for reading out the image signal for phase difference detection are switched in units of readout rows of the image sensor within one frame. In that case, the dynamic range cannot be expanded in the row from which the image signal for phase difference detection is read.
本発明は上記問題点を鑑みてなされたものであり、撮影する被写体及び読み出した画像信号の用途に応じて、焦点検出及び/またはダイナミックレンジ拡大に必要な画像信号をより短時間で読み出すことを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems, and is intended to read out image signals necessary for focus detection and/or dynamic range expansion in a shorter time according to the subject to be photographed and the use of the read image signals. aim.
上記目的を達成するために、本発明の撮像装置は、行列状に配置された複数のマイクロレンズと各マイクロレンズに対して構成された複数の光電変換部とを有する画素領域と、前記画素領域から出力される信号を少なくとも第1のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、前記複数の光電変換部の一部の信号である部分信号と、前記複数の光電変換部の信号を加算した加算信号とを読み出すように、前記画素領域を走査することが可能な走査手段と、を有する撮像素子と、前記撮像素子を制御する制御手段と、前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大する処理手段と、前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出手段と、を有し、前記制御手段は、前記処理手段によりダイナミックレンジを拡大し、かつ、複数の異なるゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第1のモードが設定されている場合に、前記複数の異なるゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、前記処理手段によりダイナミックレンジの拡大を行わず、かつ、前記第1のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第2のモードが設定されている場合に、前記第1のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、前記処理手段によりダイナミックレンジを拡大し、かつ、前記焦点検出手段による位相差方式の焦点検出を行わない第3のモードが設定されている場合に、前記画素領域から、前記部分信号を読み出さないように前記走査手段を制御すると共に、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御し、前記処理手段によりダイナミックレンジを拡大し、かつ、前記第1のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第4のモードが設定されている場合に、前記第1のゲインを用いて前記部分信号を増幅し、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御する。 In order to achieve the above object, the imaging device of the present invention includes: a pixel region having a plurality of microlenses arranged in a matrix and a plurality of photoelectric conversion units configured for each microlens; Amplification means capable of amplifying a signal output from from using a plurality of different gains including at least a first gain, a partial signal that is a part of the signals of the plurality of photoelectric conversion units, and the plurality of photoelectric conversion units an imaging device having a scanning means capable of scanning the pixel region so as to read out an added signal obtained by adding the signals of; a control means for controlling the imaging device ; and using the plurality of different gains processing means for expanding a dynamic range using the added signal amplified by the above-described method ; and focus detection means for performing phase-difference focus detection using the partial signal and the added signal; The control means expands the dynamic range by the processing means, and uses the partial signal and the addition signal amplified using a plurality of different gains to perform phase-difference focus detection by the focus detection means. controlling the amplifying means to amplify the partial signal and the sum signal using the plurality of different gains when the first mode is set, and expanding the dynamic range by the processing means; and a second mode is set in which phase-difference focus detection is performed by the focus detection means using the partial signal and the sum signal amplified using the first gain. and controlling the amplifying means to amplify the partial signal and the sum signal using the first gain, expanding the dynamic range by the processing means, and performing phase-difference focusing by the focus detection means. controlling the scanning means so as not to read out the partial signal from the pixel area when a third mode in which detection is not performed is set, and amplifying the addition signal using the plurality of different gains; the dynamic range is expanded by the processing means, and the position is determined by the focus detection means using the partial signal and the sum signal amplified by using the first gain. When a fourth mode of phase difference focus detection is set, the partial signal is amplified using the first gain, and the sum signal is amplified using the plurality of different gains. to control the amplifying means ;
本発明によれば、撮影する被写体及び読み出した画像信号の用途に応じて、焦点検出及び/またはダイナミックレンジ拡大に必要な画像信号をより短時間で読み出すことができる。 According to the present invention, image signals required for focus detection and/or dynamic range expansion can be read out in a shorter period of time depending on the subject to be photographed and the application of the read image signals.
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings.
<第1の実施形態>
図1(a)は、本発明の実施形態に係るAD変換器を実装した撮像素子の構成例を示す図である。画素領域100には、光電変換用のフォトダイオードなどで形成されている複数の単位画素101が行列状に配置されている。単位画素101は位相差検出のために、後述する1つのマイクロレンズ111に対して光電変換部A及び光電変換部Bで構成されており、光電変換部A及び光電変換部Bから得られる画像信号の位相差を求めることで焦点を検出することができる。
<First Embodiment>
FIG. 1(a) is a diagram showing a configuration example of an imaging device mounted with an AD converter according to an embodiment of the present invention. In the
図1(b)は、単位画素101の断面を示す概念図であり、1つのマイクロレンズ111の下に、それぞれがフォトダイオードを有する2つの光電変換部A及び光電変換部Bが構成されていることを示している。また、各単位画素101にはカラーフィルタ112が備えられている。一般的には、R(赤)、G(緑)、B(青)の3色のいずれかが各画素に対応するベイヤー配列のRGB原色カラーフィルタであることが多いが、必ずしもこの限りではない。
FIG. 1B is a conceptual diagram showing a cross section of the
垂直走査回路102は画素領域100の光電変換部A及び光電変換部Bにそれぞれ蓄積された画素信号を、1フレーム期間中に順次読み出しするためのタイミング制御を行う。一般的に、画素信号は1フレーム期間中に上部の行から下部の行にかけて、行単位で順次読み出される。本実施形態では、各単位画素101から、垂直走査回路102では光電変換部Aの信号である部分信号(A信号)と、光電変換部Aと光電変換部Bの信号を加算した加算信号(A+B信号)を読み出す制御を行う。このように読み出すことで、A+B信号はそのまま画像信号として用いることができると共に、A+B信号からA信号を減算することでB信号を取得して、撮像面位相差方式の焦点検出を行うことができる。ただし、撮像面位相差方式の焦点検出を行わない場合には、A+B信号のみを読み出すこともできる。
The
列アンプ群103は、画素領域100の各列に対して構成された、複数の列アンプから成り、画素領域100から読み出された信号を電気的に増幅するために用いられる。列アンプ群103で信号を増幅することにより、後段のAD回路群104で発生するノイズに対して、画素の信号レベルを増幅し、等価的にS/N比を改善させることができる。なお、列アンプ群103は、複数のゲインを用いて信号を増幅可能であり、本実施形態では異なるゲインで増幅された信号を合成することで、ダイナミックレンジを拡大する。各列アンプの詳細な構成については、図2(b)を参照して後述する。
A
AD回路群104は、画素領域100の各列に対して構成された、複数の回路から成り、列アンプ群103により増幅された信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、水平転送回路105により順次読み出されて、信号処理部106に入力される。信号処理部106はデジタル的に信号処理を行う回路であり、デジタル処理でFPN補正などのオフセット補正を行う他に、シフト演算や乗算を行うことで、簡易にゲイン演算を行うことができる。各処理を行った後、撮像素子の外部に出力される。
The
メモリ107は、画素領域100から読み出され、列アンプ群103、AD回路群104、信号処理部106により処理された、A信号やA+B信号などを一時的に保持しておく機能を持つ。
The
なお、図1(b)に示す例では、各単位画素101において、1つのマイクロレンズ111に対して2つの光電変換部A及び光電変換部Bを有する構成としているが、光電変換部の数は2つに限定されず、それ以上であってもよい。また、瞳分割方向も水平方向であっても垂直方向であっても良いし、混在していても構わない。また、マイクロレンズ111に対して受光部の開口位置が異なる画素を複数有するようにしてもよい。つまり、結果としてA信号とB信号といった位相差検出用の2つの信号が得られる構成であればよい。また、本発明は全ての画素が複数の光電変換部を有する構成に限らず、撮像素子を構成する通常画素内に、図2に示すような画素を離散的に設ける構成であってもよい。また、同じ撮像素子内において互いに異なる分割方法で分割された複数種類の画素が含まれてもよい。
In the example shown in FIG. 1B, each
次に、単位画素101からAD回路群104までの回路構成及び信号の流れについて、図2(a)を用いて説明する。図1(b)の光電変換部Aに対応する光電変換素子1101と、図1(b)の光電変換部Bに対応する光電変換素子1102は、マイクロレンズを共有しており、光電変換を行って光を電荷に変換する。転送スイッチ1103は光電変換素子1101で発生した電荷を後段の回路に転送し、転送スイッチ1104は光電変換素子1102で発生した電荷を後段の回路に転送する。電荷保持部1105は、転送スイッチ1103,1104がONとなっている時に光電変換素子1101及び光電変換素子1102から転送された電荷を一時的に保持する。従って、電荷保持部1105は、光電変換素子1101もしくは光電変換素子1102のどちらかの電荷のみ、または、光電変換素子1101と光電変換素子1102の両方の電荷を加算したものを保持することが可能である。画素アンプ1106は、電荷保持部1105に保持された電荷を電圧信号に変換し、垂直出力線1113を通して、後段の列アンプ103iへ送信する。電流制御部1107は、垂直出力線1113の電流を制御する。
Next, the circuit configuration and signal flow from the
上述したように、図1に示す列アンプ群103は、各列毎に構成された複数の列アンプ103iから成り、各垂直出力線1113に出力された信号を増幅して後段のAD回路群104に出力する。AD回路群104を構成する各AD回路104iは、同じ列の列アンプ103iから出力されたアナログ信号をデジタル信号に変換する。
As described above, the
AD回路104iにおいて、A/D変換部1109で変換されたデジタル信号は、メモリ1110、メモリ1111に一時的に保持する。メモリ1110は、光電変換素子1101もしくは光電変換素子1102から読み出された画素信号と、読み出し回路部(便宜的に電荷保持部1105からA/D変換部1109までの回路を指す。)のノイズ信号とを保持する。一方、メモリ1111は読み出し回路部のノイズ信号を保持する。そして、減算部1112によりメモリ1110に保持されたデータからメモリ1111に保持されたデータを減算したものが、画素信号として水平転送回路105へ出力される。
In the
図2(b)は、列アンプ103iの構成を示す図である。列アンプ103iは、オペアンプ207と、入力側のコンデンサ202,203と、フィードバックコンデンサ205,206により反転増幅回路になっている。また、各スイッチ200,201,204により、コンデンサ202,203,205の接続を切り替えることができる。
FIG. 2B is a diagram showing the configuration of the
まず、単位画素101から入力された信号は、スイッチ200,201をONにしてコンデンサ202,203に蓄積される。そして、適正露光の画像信号の場合には、スイッチ201とスイッチ204をOFFし、スイッチ200をONすることで、画像信号に高ゲインをかけて読み出す。次に、高輝度部分の画像信号を読み出す場合には、スイッチ200をOFFし、スイッチ201及びスイッチ204をONすることで、画像信号に低ゲインをかけて読み出す。このように、各スイッチによりコンデンサの容量を切り替えることにより、異なるゲインをかけて画像信号を読み出すことができる。このようにして読み出した画像信号を合成することで、ダイナミックレンジを拡大することを想定している。
First, signals input from the
図3は、位相差検出用の部分信号と、ダイナミックレンジ拡大用の画像信号を読み出すときの列アンプ103iの制御を示すタイミングチャートである。
FIG. 3 is a timing chart showing control of the
まず、時刻t1からt4の間、スイッチ200をONし、スイッチ201及びスイッチ204をOFFにしておくことで、列アンプ103iのゲインを高ゲインに設定する。この状態で、時刻t2で転送スイッチ1103をONし、A信号を読み出す。このとき、時刻t2からt4の期間内で、高ゲインで読み出したA信号が、AD回路104iにおいてA/D変換される。
First, between times t1 and t4, the
次に、時刻t4からt5の間、スイッチ200をOFFし、スイッチ201及びスイッチ204をONすることで、列アンプ103iのゲインを低ゲインに設定する。このとき、時刻t4からt5の期間内で、低ゲインで読み出したA信号が、AD回路104iにおいてA/D変換される。
Next, between times t4 and t5, the
時刻t5からt8の間、再びスイッチ200をONし、スイッチ201及びスイッチ204をOFFすることで、列アンプ103iのゲインを高ゲインに設定する。この状態で、時刻t6で転送スイッチ1104をONし、B信号を読み出す。A信号とB信号は電荷保持部1105で加算され、A+B信号として出力される。このとき、時刻t6からt8の期間内で、高ゲインで読み出したA+B信号が、AD回路104iにおいてA/D変換される。
Between times t5 and t8, the
時刻t8からt9の間、スイッチ200をOFFし、スイッチ201及びスイッチ204をONすることで、列アンプ103iのゲインを低ゲインに設定する。このとき、時刻t8からt9の期間内で、低ゲインで読み出したA+B信号が、AD回路104iにおいてA/D変換される。
Between times t8 and t9, the
図4は、ダイナミックレンジ拡大を行わない場合に、位相差検出用の部分信号と、画像信号とを読み出すときの列アンプ103iの制御を示すタイミングチャートである。
FIG. 4 is a timing chart showing control of the
この制御では、時刻t11からt16の間、スイッチ200をONし、スイッチ201及びスイッチ204をOFFにしておくことで、列アンプ103iのゲインを高ゲインに設定する。この状態で、時刻t12で転送スイッチ1103をONし、A信号を読み出す。このとき、時刻t12からt14の期間内で、高ゲインで読み出したA信号が、AD回路104iにおいてA/D変換される。
In this control, the gain of the
次に、時刻t14で転送スイッチ1104をONし、B信号を読み出す。A信号とB信号は電荷保持部1105で加算され、A+B信号として出力される。このとき、時刻t14からt16の期間内で、高ゲインで読み出したA+B信号が、AD回路104iにおいてA/D変換される。
Next, at time t14, the
図5は、位相差検出用の部分信号を読み出さずに、ダイナミックレンジ拡大用の画像信号を読み出すときの列アンプ103iの制御を示すタイミングチャートである。
FIG. 5 is a timing chart showing control of the
この制御では、時刻t21からt24の間、スイッチ200をONし、スイッチ201及びスイッチ204をOFFにしておくことで、列アンプ103iのゲインを高ゲインに設定する。この状態で、時刻t22で転送スイッチ1103及び1104をONし、A+B信号を読み出す。このとき、時刻t22からt24の期間内で、高ゲインで読み出したA+B信号が、AD回路104iにおいてA/D変換される。
In this control, the gain of the
次に、時刻t24からt25の間、スイッチ200をOFFし、スイッチ201及びスイッチ204をONすることで、列アンプ103iのゲインを低ゲインに設定する。このとき、時刻t24からt25の期間内で、低ゲインで読み出したA+B信号が、AD回路104iにおいてA/D変換される。
Next, between times t24 and t25, the
図6は、第1の実施形態における撮像素子からの画像信号の読み出しタイミングを示す図であり、図3に示す制御により各フレームで読み出される信号の概念を示している。図6において、1H伝送データとは、画素領域100から読み出した1行分のデータのことを指す。
FIG. 6 is a diagram showing readout timings of image signals from the image sensor in the first embodiment, and shows the concept of signals read out in each frame by the control shown in FIG. In FIG. 6, 1H transmission data refers to data for one row read out from the
図6(a)は、1フレーム期間内に、位相差検出用の画像信号と、ダイナミックレンジを拡大するときの位相差検出用の画像信号と、ダイナミックレンジ拡大用の画像信号を全ラインについて読み出したときの、読み出しタイミングを示す図である。具体的には、高ゲインでA信号(以下、「高ゲインA信号」と呼ぶ。)を読み出してから、低ゲインでA信号(以下、「低ゲインA信号」と呼ぶ。)を読み出す。更に、高ゲインでA+B信号(以下、「高ゲインA+B信号」と呼ぶ。)を読み出してから、低ゲインでA+B信号(以下、「低ゲインA+B信号」と呼ぶ。)を読み出す。 In FIG. 6A, the image signal for phase difference detection, the image signal for phase difference detection when expanding the dynamic range, and the image signal for expanding the dynamic range are read for all lines within one frame period. FIG. 10 is a diagram showing read timing when Specifically, the A signal (hereinafter referred to as "high gain A signal") is read out with a high gain, and then the A signal (hereinafter referred to as "low gain A signal") is read out with a low gain. Furthermore, after reading the A+B signal (hereinafter referred to as "high gain A+B signal") with high gain, the A+B signal (hereinafter referred to as "low gain A+B signal") is read with low gain.
このようにして読み出した高ゲインA信号と、高ゲインA+B信号から高ゲインA信号を差し引いて得た高ゲインB信号と、低ゲインA信号と、低ゲインA+B信号から低ゲインA信号を差し引いて得た低ゲインB信号とを用いて、位相差検出を行うことができる。また、ダイナミックレンジ拡大用の画像信号としては、高ゲインA+B信号と低ゲインA+B信号をそのまま用いることができる。 The high gain A signal thus read, the high gain B signal obtained by subtracting the high gain A signal from the high gain A+B signal, the low gain A signal, and the low gain A signal obtained by subtracting the low gain A signal from the low gain A+B signal are Using the obtained low-gain B signal, phase difference detection can be performed. Also, as the image signal for expanding the dynamic range, the high gain A+B signal and the low gain A+B signal can be used as they are.
このように本実施形態における撮像素子の構成では、1行分のデータを読み出すときの撮像素子からの読み出し方法を変えることができるため、同一フレーム内で位相差検出用の画像信号と、ダイナミックレンジ拡大用の画像信号の読み出しができる。 As described above, in the configuration of the image sensor in the present embodiment, the reading method from the image sensor when reading data for one row can be changed. Image signals for enlargement can be read out.
しかしながら、図6(a)に示すように位相差検出用の画像信号と、ダイナミックレンジ拡大用の画像信号を同一フレームで読み出そうとすると1フレームの伝送時間が長くなってしまう。そこで、例えば、静止画撮影前のシャッタ半押しの状態や、フォーカスを合わせるために画面を拡大したときなど、記録しない状況でフォーカスを素早く合わせたい場合は、位相差検出用のモードにする。 However, if the image signal for phase difference detection and the image signal for dynamic range expansion are read in the same frame as shown in FIG. 6A, the transmission time for one frame becomes long. Therefore, if you want to quickly adjust the focus without recording, for example, when the shutter is half-pressed before shooting a still image, or when the screen is enlarged to adjust the focus, use the phase difference detection mode.
図6(b)は、位相差検出用のモードで位相差検出用の画像信号のみを読み出す場合の読み出しタイミングを示す図であり、図4に示す制御により各フレームで読み出される信号の概念を示している。この制御により、高ゲインA信号と高ゲインA+B信号とを読み出す。このように、フレームレートを上げることで、位相差検出用の情報を優先して取得することができる。 FIG. 6B is a diagram showing the readout timing when only the image signal for phase difference detection is read out in the mode for phase difference detection, and shows the concept of the signal read out in each frame by the control shown in FIG. ing. Through this control, the high gain A signal and the high gain A+B signal are read. By increasing the frame rate in this way, the information for phase difference detection can be preferentially acquired.
また、静止画撮影時など、予めフォーカスが決まっておりフォーカス情報が必要無い場合には、ダイナミックレンジ拡大用のモードにする。図7(a)は、ダイナミックレンジ拡大用のモードでダイナミックレンジ拡大用の画像信号のみを読み出す場合の読み出しタイミングを示す図であり、図5に示す制御により各フレームで読み出される信号の概念を示している。この制御により、高ゲインA+B信号と低ゲインA+B信号とを読み出す。このようにすることで、1フレームの撮影時間を短縮することができる。 Also, when the focus is determined in advance and no focus information is required, such as when photographing a still image, the dynamic range expansion mode is selected. FIG. 7A is a diagram showing the readout timing when only the image signal for dynamic range expansion is read out in the dynamic range expansion mode, and shows the concept of the signal read out in each frame by the control shown in FIG. ing. With this control, the high gain A+B signal and the low gain A+B signal are read. By doing so, the imaging time for one frame can be shortened.
また、高輝度側の位相差検出を必要とせず、適正露光付近の位相差検出だけでよいのであれば、フレームレートを上げるために低ゲインで読み出すA信号を出力しない方法も考えられる。図7(b)はそのような場合の読み出しタイミングを示す図であり、高ゲインA信号、高ゲインA+B信号、低ゲインA+B信号を読み出す。このようにすることで、適正露光付近の位相差検出用の画像信号と、ダイナミックレンジ拡大用の画像信号とを得ることができる。 Further, if phase difference detection on the high luminance side is not required and only phase difference detection near proper exposure is required, a method of not outputting the A signal read out with a low gain is conceivable in order to increase the frame rate. FIG. 7(b) is a diagram showing read timing in such a case, in which the high gain A signal, high gain A+B signal, and low gain A+B signal are read. By doing so, it is possible to obtain an image signal for phase difference detection near proper exposure and an image signal for dynamic range expansion.
また、上記以外にも被写体によってモードを変えてもよい。例えば図7(a)のダイナミックレンジ拡大用のモードであっても、撮影する被写体に高輝度被写体がなければ位相差検出用のモード(図6(b))に変更し、静止画を取りつつ位相差検出を行ってもよい。 In addition to the above, the mode may be changed depending on the subject. For example, even in the dynamic range expansion mode of FIG. 7(a), if the subject to be photographed does not have a high-brightness subject, the mode is changed to the phase difference detection mode ( FIG. 6(b)) to capture a still image. Phase difference detection may also be performed.
また、高ゲインA信号、低ゲインA信号、高ゲインA+B信号、低ゲインA+B信号を読み出す順番は、上述した例に限られるものでは無い。例えば、低ゲイン信号と高ゲイン信号を読み出す順序を逆にしたり、先に高ゲイン信号を続けて読み出してから低ゲイン信号を読み出したり、先に低ゲイン信号を続けて読み出してから高ゲイン信号を読み出すなど、適宜変更することが可能である。 The order of reading the high gain A signal, low gain A signal, high gain A+B signal, and low gain A+B signal is not limited to the example described above. For example, you can reverse the order of reading the low gain signal and the high gain signal, read the high gain signal first, then read the low gain signal, or read the low gain signal first, then read the high gain signal. It can be changed as appropriate, such as reading.
図8は、本実施形態における撮像装置の構成を示すブロック図であり、本発明に直接関係のある構成要素のみを示している。以下、撮像素子400から、図6(a)で説明したように位相差検出用の画像信号とダイナミックレンジ拡大用の画像信号を同一フレームで出力した場合の、信号の流れについて説明する。
FIG. 8 is a block diagram showing the configuration of the imaging apparatus according to this embodiment, showing only the components directly related to the present invention. The signal flow when the image signal for phase difference detection and the image signal for dynamic range expansion are output in the same frame from the
撮像素子400は、図1で説明した撮像素子であり、撮像素子400から出力された低ゲインA信号、高ゲインA信号、低ゲインA+B信号、高ゲインA+B信号は、分配器401に入力される。分配器401は、画像として使用する信号(低ゲインA+B信号、高ゲインA+B信号)と、位相差検出に使用する信号(低ゲインA信号、低ゲインA+B信号、高ゲインA信号、高ゲインA+B信号)とを分けて出力する。
The
B信号生成部408は、分配器401から出力された高ゲインA+B信号から高ゲインAを減算し、高ゲインB信号を生成する。また、低ゲインA+B信号から低ゲインA信号を減算することで低ゲインB信号も生成する。
B
位相差検出部403は、B信号生成部408から出力された位相差検出用の信号(高ゲインA信号、高ゲインB信号、低ゲインA信号、低ゲインB信号)から、位相差を検出する。フォーカス演算部404は、ここで検出された位相差情報とレンズのフォーカス位置に基づいて、フォーカスの演算を行う。得られたフォーカス情報をもとに、撮像装置ではピントの情報をユーザに通知したり、レンズのフォーカス制御を行う。
The phase
画像合成部402は、高ゲインA+B信号が飽和している場合に、撮像素子から出力されたダイナミックレンジ拡大用の信号から、任意の合成方法を用いてダイナミックレンジ拡大画像に合成する。例として、被写体が暗い部分は高ゲインの画像を、明るい部分は低ゲインの画像を用いて合成を行う手法があるが、本実施形態は2枚のゲインが異なる画像から合成を行う手法であれば、その合成アルゴリズムは限定されるものではない。制御部405は、撮像素子400のシャッタースピードやゲインの切換え制御、読み出し駆動の変更などを行う。
When the high-gain A+B signal is saturated, the
なお、上述した例では、低ゲインA信号、高ゲインA信号、低ゲインA+B信号、高ゲインA+B信号を読み出した場合の信号の流れについて説明したが、図6(b)、図7(a)、図7(b)で説明したように信号を読み出しても良い。その場合、分配器401により、位相差検出用の画像信号とダイナミックレンジ拡大用の画像信号を、必要に応じて、画像合成部402と位相差検出部403に振り分けて出力すればよい。
In the above example, the signal flow when the low gain A signal, the high gain A signal, the low gain A+B signal, and the high gain A+B signal are read has been described. , the signal may be read out as described in FIG. 7(b). In this case, the image signal for phase difference detection and the image signal for dynamic range expansion may be distributed by the
図9は、本第1の実施形態における制御部405による撮像素子400の読み出し制御を示すフローチャートである。まず、S100で、制御部405は、ダイナミックレンジの拡大が必要かどうかを判断する。なお、ここでのダイナミックレンジの拡大が必要かどうかの判断は、例えば、上述したように静止画撮影前のシャッタ半押し状態や、ユーザが設定した撮影モードに応じて行う。また、画像合成部402による1フレーム前の画像信号の高ゲインA+B信号が飽和しているかどうかの判定結果を利用して判断しても良い。
FIG. 9 is a flowchart showing readout control of the
ダイナミックレンジの拡大が必要無い場合にはS112に進んで位相差検出用の高ゲインA信号を読み出した後、S113に進んで高ゲインA+B信号を読み出す。そして、S121において、すべての行からの読み出しが終了したかどうかを判定し、終了していなければ、S112に戻って、読み出しを続行する。これは、図6(b)に示す位相差検出用のモードでの読み出し順に相当する。 If expansion of the dynamic range is not required, the process proceeds to S112 to read the high gain A signal for phase difference detection, and then proceeds to S113 to read the high gain A+B signal. Then, in S121, it is determined whether reading from all rows has been completed. If not, the process returns to S112 to continue reading. This corresponds to the readout order in the phase difference detection mode shown in FIG. 6(b).
一方、ダイナミックレンジの拡大が必要な場合はS101に進み、位相差検出が必要かどうかを判断する。必要無いと判断された場合にはS110に進んで低ゲインA+B信号を読み出した後、S111に進んで高ゲインA+B信号を読み出す。そして、S122において、すべての行からの読み出しが終了したかどうかを判定し、終了していなければ、S110に戻って、読み出しを続行する。これは、図7(a)に示すダイナミックレンジ拡大用のモードでの読み出し順に相当する。 On the other hand, if expansion of the dynamic range is required, the process advances to S101 to determine whether phase difference detection is required. If it is determined that there is no need, the process proceeds to S110 to read the low gain A+B signal, and then proceeds to S111 to read the high gain A+B signal. Then, in S122, it is determined whether reading from all rows has been completed. If not, the process returns to S110 to continue reading. This corresponds to the read order in the dynamic range expansion mode shown in FIG. 7(a).
一方、位相差検出が必要な場合はS102に進み、高輝度部の位相差検出が必要かどうかを判断する。必要無いと判断された場合にはS107において高ゲインA信号、S108において高ゲインA+B信号、S109において低ゲインA+B信号を読み出す。そして、S123において、すべての行からの読み出しが終了したかどうかを判定し、終了していなければ、S107に戻って、読み出しを続行する。これは、図7(b)に示す読み出し順に相当する。 On the other hand, if phase difference detection is required, the process advances to S102 to determine whether or not phase difference detection of the high-luminance portion is required. If it is determined that there is no need, the high gain A signal is read in S107, the high gain A+B signal is read in S108, and the low gain A+B signal is read in S109. Then, in S123, it is determined whether reading from all rows has been completed. If not, the process returns to S107 to continue reading. This corresponds to the reading order shown in FIG. 7(b).
高輝度部の位相差検出も必要な場合はS103に進む。そして、S103において高ゲインA信号、S104において高ゲインA+B信号、S105において低ゲインA信号、S106において低ゲインA+B信号をそれぞれ読み出す。そして、S124において、すべての行からの読み出しが終了したかどうかを判定し、終了していなければ、S103に戻って、読み出しを続行する。これは、図6(a)に示す読み出し順に相当する。 If the phase difference detection of the high-brightness portion is also required, the process proceeds to S103. Then, the high gain A signal is read in S103, the high gain A+B signal in S104, the low gain A signal in S105, and the low gain A+B signal in S106 . Then, in S124, it is determined whether reading from all rows has been completed. If not, the process returns to S103 to continue reading. This corresponds to the reading order shown in FIG.
上記いずれかの読み出し方法により、1フレーム分の読み出しが終了すると、図9の処理を終了する。 When the readout of one frame is completed by one of the above readout methods, the processing in FIG. 9 ends.
上記の通り本実施形態によれば、各フレームにおいて、ダイナミックレンジ拡大に用いる画像信号と、位相差検出に用いる画像信号を得ることができる。また、不要な画像信号を読み出さないように制御することで、ダイナミックレンジ拡大に用いる画像信号と位相差検出に用いる画像信号とを各行からすべて読み出す場合と比べて、フレームレートを上げることができる。 As described above, according to this embodiment, an image signal used for dynamic range expansion and an image signal used for phase difference detection can be obtained in each frame. In addition, by controlling so as not to read out unnecessary image signals, the frame rate can be increased compared to the case where all the image signals used for dynamic range expansion and the image signals used for phase difference detection are read out from each row.
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。なお、第2の実施形態における撮像素子は、第1の実施形態で説明したものと同様であるため、ここでは説明を省略する。
<Second embodiment>
Next, a second embodiment of the invention will be described. Note that the imaging element in the second embodiment is the same as that described in the first embodiment, so description thereof will be omitted here.
図10は、第2の実施形態における撮像素子からの画像信号の読み出しタイミングを示す図である。図6と同様に、1H伝送データとは画素領域100から読み出した1行分のデータのことを指す。
FIG. 10 is a diagram showing readout timings of image signals from the image sensor in the second embodiment. As in FIG. 6, 1H transmission data refers to data for one row read out from the
図10(a)は、高輝度側の位相差検出を行わずに1フレーム期間内に位相差検出用の画像信号と、ダイナミックレンジ拡大用の画像信号を全ラインについて読み出したときの、読み出しタイミングを示しており、図7(b)に示す読み出し方法である。 FIG. 10A shows readout timing when the image signal for phase difference detection and the image signal for dynamic range expansion are read for all lines within one frame period without performing phase difference detection on the high luminance side. , which is the reading method shown in FIG. 7(b).
このように全ラインについて、通常の画像信号に加え、位相差検出用、ダイナミックレンジ拡大用の画像信号の読み出しも行うと、ダイナミックレンジ拡大及び位相差検出を行わない通常の読み出しに対してデータ量が3倍になってしまい、伝送帯域を圧迫する。そのため通常の画像信号だけを読み出す場合よりもフレームレートが遅くなってしまう。 In this way, if image signals for phase difference detection and dynamic range expansion are read out in addition to normal image signals for all lines, the amount of data will be less than normal readout without dynamic range expansion and phase difference detection. is tripled, putting pressure on the transmission band. As a result, the frame rate becomes slower than when only normal image signals are read.
そこで、本実施形態では、フレームレートを上げるために、図10(b)に示すように、位相差検出用の画像信号と、ダイナミックレンジ拡大用の画像信号を行ごとに交互に出力する。このように1フレームの画像信号のデータ量を減らすことでフレームレートを上げることができる。また図10(b)に示す読み出し方式であれば、画面内の全エリアで位相差検出が可能であるため、ユーザが任意の場所にフォーカスを合わせたい場合でも、精度良くフォーカスを制御することが可能である。 Therefore, in this embodiment, as shown in FIG. 10B, the image signal for phase difference detection and the image signal for dynamic range expansion are alternately output for each row in order to increase the frame rate. By reducing the data amount of the image signal of one frame in this manner, the frame rate can be increased. Further, with the readout method shown in FIG. 10B, phase difference detection is possible in the entire area of the screen. Therefore, even when the user wants to focus on an arbitrary place, the focus can be controlled with high accuracy. It is possible.
図11は、第2の実施形態における撮像装置の概略構成を示すブロック図である。本第2の実施形態における撮像装置は、第1の実施形態で図8を参照して説明した構成に、画素補間処理部802を追加したものである。それ以外の構成は図8と同様であるため、同じ参照番号を付して適宜説明を省略する。
FIG. 11 is a block diagram showing a schematic configuration of an imaging device according to the second embodiment. The imaging apparatus according to the second embodiment has a pixel
以下、図10(b)で説明したように、撮像素子400から位相差検出用の画像信号と、ダイナミックレンジ拡大用の画像信号を行ごとに交互に読み出した場合の処理について説明する。
Hereinafter, as described with reference to FIG. 10(b), the process when the image signal for phase difference detection and the image signal for dynamic range expansion are alternately read out from the
撮像素子400から出力された高ゲインで読み出した高ゲインA信号、高ゲインで読み出したA+B信号、低ゲインで読み出したA+B信号は、分配器401に入力される。分配器401は、画像に使用する信号(低ゲインA+B信号、高ゲインA+B信号)と、位相差検出に使用する信号(高ゲインA信号、高ゲインA+B信号)とを分けて出力する。
A high-gain A signal read out at a high gain, an A+B signal read out at a high gain, and an A+B signal read out at a low gain output from the
B信号生成部408は、分配器401から出力された高ゲインA+B信号から高ゲインAを減算し、高ゲインB信号を生成する。位相差検出部403は、B信号生成部408から出力された位相差検出用の信号(高ゲインA信号、高ゲインB信号)から、位相差を検出する。フォーカス演算部404は、ここで検出された位相差情報とレンズのフォーカス位置に基づいて、フォーカスの演算を行う。得られたフォーカス情報をもとに、撮像装置ではピントの情報をユーザに通知したり、レンズのフォーカス制御を行う。
B
一方、画素補間処理部802は、後述するように低ゲインA+B信号が読み出されていないラインについて、上下のラインから画素信号を補間する。画像合成部402は、高ゲインA+B信号が飽和している場合に、高ゲインA+B信号、低ゲインA+B信号から、任意の合成方法を用いてダイナミックレンジ拡大画像を合成する。
On the other hand, the pixel
ここで、図12に図11で説明した各ブロックにおける画像データのイメージを示す。図12(a)は、撮像素子400から出力された画像信号を表している。図12(a)に示す様に、撮像素子400から出力された画像信号は、高ゲインA+B信号の間に高ゲインA信号と低ゲインA+B信号が交互に読み出された状態である。
Here, FIG. 12 shows an image of image data in each block described in FIG. FIG. 12A shows an image signal output from the
図12(b)は、分配器401により分離され、画素補間処理部802に入力される画像信号である。位相差検出用で使われる高ゲインA信号は、ダイナミックレンジの拡大には必要無いので分配器401で間引かれており、位相差検出用に高ゲインA信号を読み出したラインでは、ダイナミックレンジ拡大用の低ゲインA+B信号が無い状態である。
FIG. 12B shows image signals separated by the
図12(c)は、画素補間処理部802から出力された画像信号を示す図である。高ゲインA信号を読み出したラインでは、隣接する上下の低ゲインA+B信号を用いて低ゲインA+B信号が補間される様子を示している。
FIG. 12(c) is a diagram showing an image signal output from the pixel
最後に、図12(d)は、B信号生成部408に入力される画像信号を示す図である。位相差検出処理にダイナミックレンジ拡大用の信号は必要ないため、高ゲインA信号が読み出されていないラインのダイナミックレンジ拡大用の画像信号である低ゲインA+B信号及び高ゲインA+B信号は、分配器401で間引かれて出力される。
Finally, FIG. 12(d) is a diagram showing the image signal input to the
上記の通り本第2の実施形態によれば、より少ない画像信号を読み出した場合でも、画素領域全体において、ダイナミックレンジ拡大及び位相差検出を行うことが可能となる。 As described above, according to the second embodiment, it is possible to expand the dynamic range and detect the phase difference in the entire pixel region even when a smaller number of image signals are read.
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。なお、第3の実施形態における撮像素子も、第1の実施形態で説明したものと同様であるため、ここでは説明を省略する。
<Third Embodiment>
Next, a third embodiment of the invention will be described. Note that the image pickup device in the third embodiment is also the same as that described in the first embodiment, so the description is omitted here.
上述した第2の実施形態では、位相差検出用に高ゲインA信号を読み出したラインでは、隣接する上下の低ゲインA+B信号を用いて補間することで、ダイナミック拡大用の画像信号を生成していた。しかしながら、上下から画像信号を補間すると垂直解像度が低下してしまう。そこで、本実施形態では、位相差検出用の画像信号の輝度レベルを検出し、輝度レベルが所定値以下、且つ位相差が所定値以下である場合には、補間した低ゲインA+B信号ではなく位相差検出用の画像信号をダイナミックレンジ拡大用の画像信号として用いる。これにより、垂直解像度を低下させない制御を行う。 In the above-described second embodiment, in the line from which the high gain A signal is read out for phase difference detection, interpolation is performed using adjacent upper and lower low gain A+B signals to generate an image signal for dynamic enlargement. Ta. However, if the image signal is interpolated from above and below, the vertical resolution will be lowered. Therefore, in this embodiment, the brightness level of the image signal for phase difference detection is detected, and if the brightness level is equal to or less than a predetermined value and the phase difference is equal to or less than a predetermined value, the interpolated low gain A+B signal is not used, but the position signal is detected. The image signal for phase difference detection is used as the image signal for dynamic range expansion. As a result, control is performed so as not to lower the vertical resolution.
図13は、第3の実施形態における撮像装置の概略構成を示すブロック図である。本実施形態における撮像装置は、第2の実施形態で図11を参照して説明した構成に、輝度検出部902及びライン選択処理部903を追加したものである。また、分配器401の処理が、図11に示すものと異なる。それ以外の構成は、第1の実施形態で図8を参照して説明した構成及び第2の実施形態で図11を参照して説明した構成と同様であるため、同じ参照番号を付して適宜説明を省略する。
FIG. 13 is a block diagram showing a schematic configuration of an imaging device according to the third embodiment. The imaging apparatus according to the present embodiment has the configuration described in the second embodiment with reference to FIG. Also, the processing of
第3の実施形態において、分配器401は、画像に使用する信号として、高ゲインA信号、低ゲインA+B信号、高ゲインA+B信号の3つを出力する。分配器401から出力されたこれらの信号は、輝度検出部902に入力される。輝度検出部902では、高ゲインA信号の輝度を検出し、検出結果をライン選択処理部903に出力する。ライン選択処理部903では、輝度検出部902及び位相差検出部403の情報に基づいてダイナミックレンジ拡大用の画像信号として高ゲインA信号を使うかどうかを選択する。
In the third embodiment, the
図14は、第3の実施形態における処理を示すフローチャートである。まず、S300で、輝度検出部902は、入力されたラインの高ゲインA信号の輝度レベルを検出する。次にS301で、位相差検出部403が、高ゲインA信号と、高ゲインB信号の位相差を検出する。
FIG. 14 is a flowchart showing processing in the third embodiment. First, in S300, the
S302では、ライン選択処理部903において、S300で検出した高ゲインA信号の輝度レベルが、所定値Th1以下(閾値以下)であるかどうか判断する。所定値Th1以下であればS303に進み、所定値Th1よりも大きければS305に進む。
In S302, the line
S303では、S301の検出結果をもとに、高ゲインA信号と高ゲインB信号の位相差が、所定値Th2以下であるかどうか判断する。所定値Th2以下であれば、焦点状態が合焦状態に近いと判断してS304に進み、所定値Th2よりも大きければS305に進む。 In S303, based on the detection result in S301, it is determined whether the phase difference between the high gain A signal and the high gain B signal is equal to or less than a predetermined value Th2. If it is equal to or less than the predetermined value Th2, it is determined that the focus state is close to the in-focus state, and the process proceeds to S304. If it is greater than the predetermined value Th2, the process proceeds to S305.
S304ではダイナミックレンジ拡大用の画像信号として、高ゲインA信号を選択する。一方、S305ではダイナミックレンジ拡大用の画像信号として、上下から補間した低ゲインA+B信号を使うことを選択し、画素補間処理部802は、S306で上下補間データの生成を行う。
In S304, the high gain A signal is selected as the image signal for expanding the dynamic range. On the other hand, in S305, the use of the low-gain A+B signal interpolated from above and below is selected as the image signal for expanding the dynamic range, and the pixel
S307において、画像合成部402は、高ゲインA信号、もしくは低ゲインA+B信号を用いてダイナミックレンジ拡大の処理を行う。
In S307, the
上記の通り本第3の実施形態によれば、高ゲインA信号の輝度レベルが予め決められた輝度以下、且つ、合焦状態または合焦状態に近い場合に高ゲインA信号を用いることにより、垂直方向の解像度を落とさずにダイナミックレンジを拡大するができる。 As described above, according to the third embodiment, by using the high gain A signal when the luminance level of the high gain A signal is equal to or less than the predetermined luminance and in the in-focus state or close to the in-focus state, The dynamic range can be expanded without sacrificing vertical resolution.
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。なお、第4の実施形態における撮像素子も、第1の実施形態で説明したものと同様であるため、ここでは説明を省略する。
<Fourth Embodiment>
Next, a fourth embodiment of the invention will be described. Note that the imaging device in the fourth embodiment is also the same as that described in the first embodiment, so the description is omitted here.
第4の実施形態では、第3の実施形態に加え、動画撮影時に被写体の動き量を検出し、所定の動き量以下であれば撮像素子の駆動を変更し、位相差検出用の読み出しとダイナミックレンジ拡大用の読み出しをフレームごとに入れ替える処理を実施する。また、画像合成の際には、前後のフレームの画像信号を用いることで垂直解像度の低下を防ぐ。 In the fourth embodiment, in addition to the third embodiment, the amount of motion of the subject is detected during video shooting, and if the amount of motion is less than a predetermined amount, the drive of the image sensor is changed, readout for phase difference detection and dynamic detection are performed. A process of replacing readout for range expansion is performed for each frame. Also, when synthesizing images, the image signals of the preceding and succeeding frames are used to prevent deterioration of the vertical resolution.
図15は、第4の実施形態における撮像装置の概略構成を示すブロック図である。図15に示す構成は、第3の実施形態において図13を参照して説明した構成に、動きベクトル検出部909及びメモリ910を追加したものである。それ以外の構成は、図13と同様であるため、同じ参照番号を付して、適宜説明を省略する。
FIG. 15 is a block diagram showing a schematic configuration of an imaging device according to the fourth embodiment. The configuration shown in FIG. 15 is obtained by adding a motion
動きベクトル検出部909では、被写体の動き量を検出し、検出した結果を画像合成部402及び制御部405に出力する。メモリ910は画像信号を一時的に保管することができ、前後のフレームの画像信号を使って画像合成することが可能になる。
The motion
図16は、第4の実施形態における処理を示すフローチャートである。なお、第3の実施形態の図14を参照して説明した処理と同様の処理には同じステップ番号を付して説明を適宜省略する。 FIG. 16 is a flow chart showing processing in the fourth embodiment. The same step numbers are given to the same processes as those described with reference to FIG. 14 of the third embodiment, and the description thereof will be omitted as appropriate.
S304では、ダイナミックレンジ拡大用の画像信号として、高ゲインA信号を選択すると、S407において、画像合成部402は、第3の実施形態で説明したように高ゲインA信号を使ってダイナミックレンジ拡大の処理を行う。
In S304, when the high gain A signal is selected as the image signal for dynamic range expansion, in S407, the
一方、高ゲインA信号を選択しない場合、S303からS408に進み、S408において、被写体の動き量が所定値Th3以上であるかどうかを判断する。所定値Th3以上であれば、S305に進んで上下の画素の低ゲインA+B信号から補間した上下補間データを選択する。S306で、画素補間処理部802は上下補間データの生成を行い、S410において、画像合成部402は、低ゲインA+B信号を用いてダイナミックレンジ拡大の処理を行う。
On the other hand, if the high-gain A signal is not selected, the process proceeds from S303 to S408, and in S408, it is determined whether or not the amount of motion of the subject is equal to or greater than a predetermined value Th3. If it is equal to or greater than the predetermined value Th3, the process advances to S305 to select upper and lower interpolated data interpolated from the low gain A+B signals of the upper and lower pixels. In S306, the pixel
一方、被写体の動き量が所定値Th3よりも少ない場合、S409で撮像素子400の駆動を変更する。ここではフレームごとに、高ゲインA信号と高ゲインA+B信号を読み出す場合(図6(b)の読み出し方法)と、高ゲインA+B信号と低ゲインA+B信号を読み出す場合(図7(a)の読み出し方法)を交互に切り替える処理を行う。そして、S411において、メモリ910に保持しておいた前後のフレームの低ゲインA+B信号から補間した信号を使って、ダイナミックレンジ拡大の処理を実施する。
On the other hand, if the amount of motion of the subject is less than the predetermined value Th3, driving of the
上記の通り本第4の実施形態によれば、被写体の動きが少ない場合に、前後のフレームの低ゲインA+B信号から補間した信号を用いてダイナミックレンジ拡大処理を行うため、垂直解像度の低下を抑えることができる。 As described above, according to the fourth embodiment, when the movement of the subject is small, dynamic range expansion processing is performed using signals interpolated from low-gain A+B signals of the preceding and succeeding frames, thereby suppressing deterioration in vertical resolution. be able to.
<第5の実施形態>
次に、本発明の第5の実施形態について説明する。なお、第5の実施形態における撮像素子は、第1の実施形態で説明したものと同様であるため、ここでは説明を省略する。
<Fifth Embodiment>
Next, a fifth embodiment of the invention will be described. Note that the image sensor in the fifth embodiment is the same as that described in the first embodiment, so description thereof will be omitted here.
図17は、光電変換部A及びBそれぞれに垂直出力線や列アンプが接続された撮像素子の単位画素101からAD回路群104までの詳細を示した図である。図1(b)の光電変換部Aに対応する光電変換素子1101、光電変換部Bに対応する光電変換素子1102の信号を、それぞれ垂直出力線1113、及び垂直出力線1115に並行して読み出すことが可能な構成である。
FIG. 17 is a diagram showing the details from the
なお、図17において、図2と同様の構成には同じ参照番号を付して説明を省略する。図17に示す構成では、図2に示す構成に加えて、各画素101は、光電変換素子1102から部分信号を独立して読み出すために、電荷保持部1108、画素アンプ1114を備えると共に、垂直出力線1115の電流を制御するための電流制御部1116を有する。
In addition, in FIG. 17, the same reference numerals are given to the same configurations as in FIG. 2, and the description thereof will be omitted. In the configuration shown in FIG. 17, in addition to the configuration shown in FIG. 2, each
また、列アンプ103iは、光電変換素子1101及び光電変換素子1102から各垂直出力線1113,1115に出力された信号をそれぞれ増幅するための2つのアンプを含み、後段のAD回路群104に出力する。また、各AD回路104iは、図2に示す構成に加えて、光電変換素子1102からのアナログ信号をデジタル信号に変換するためのA/D変換部1118、及び、デジタル信号を一時的に保持するためのメモリ1119、メモリ1120を有する。
Also, the
上記構成により、光電変換素子1101,1102の部分信号を並行に読み出して処理及び出力することができるため、回路規模は大きくなるが、読み出し時間を短縮することができる。
With the above configuration, the partial signals of the
また、信号処理部106において読み出したA信号とB信号を加算することでA+B信号を得ることができる。ただし、その場合、図8、図11、図13におけるB信号生成部408が必要無く、分配器401から画像合成部402までの間に、A+B信号生成部が必要となる。
Further, by adding the A signal and the B signal read out in the
図18は、図17に示す構成において、光電変換素子1101,1102から高ゲイン及び低ゲインで部分信号を並列に読み出すときの列アンプ103iの制御を示すタイミングチャートである。
FIG. 18 is a timing chart showing control of the
まず、時刻t51からt54の間、スイッチ200をONし、スイッチ201及びスイッチ204をOFFにしておくことで、列アンプ103iのゲインを高ゲインに設定する。この状態で、時刻t52で転送スイッチ1103及び1104をONし、A信号、B信号をそれぞれ読み出す。このとき、時刻t52からt54の期間内で、高ゲインで読み出したA信号、及びB信号が、AD回路104iにおいてA/D変換される。
First, between times t51 and t54, the
次に、時刻t54からt55の間、スイッチ200をOFFし、スイッチ201及びスイッチ204をONすることで、列アンプ103iのゲインを低ゲインに設定する。このとき、時刻t54からt55の期間内で、低ゲインで読み出したA信号、及びB信号が、AD回路104iにおいてA/D変換される。
Next, between times t54 and t55, the
読み出した高ゲインA信号、高ゲインB信号、低ゲインA信号、低ゲインB信号から、図1の信号処理部106で高ゲインA信号と高ゲインB信号を加算することで、高ゲインA+B信号を生成して出力する。また、信号処理部106で低ゲインA信号と低ゲインB信号を加算することで、低ゲインA+B信号を生成して出力する。
From the read high gain A signal, high gain B signal, low gain A signal, and low gain B signal, the high gain A signal and high gain B signal are added in the
なお、図18に示すタイミングチャートでは、高ゲイン及び低ゲインそれぞれで信号を読み出す場合について説明したが、本発明はこれに限るものでは無い。例えば、高ゲイン信号が必要無い場合や、低ゲイン信号が必要無い場合は、必要なゲインで信号を読み出すことで、読み出し速度を上げることができる。 Although the timing chart shown in FIG. 18 describes the case where signals are read out with high gain and low gain, the present invention is not limited to this. For example, when a high gain signal is not required or when a low gain signal is not required, the reading speed can be increased by reading the signal with the required gain.
上記の通り本第5の実施形態によれば、フレームレートを落とすことなく、各フレームにおいて、ダイナミックレンジ拡大に用いる画像信号と、位相差検出に用いる画像信号を得ることができる。 As described above, according to the fifth embodiment, an image signal used for dynamic range expansion and an image signal used for phase difference detection can be obtained in each frame without lowering the frame rate.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various forms without departing from the gist of the present invention can be applied to the present invention. included. Some of the above-described embodiments may be combined as appropriate.
例えば、上下の画素の画像信号を用いて低ゲインA+B信号を補間する場合も、上下の画素の補間比率は状況に応じて任意に変えても良い。 For example, even when the low-gain A+B signal is interpolated using the image signals of the upper and lower pixels, the interpolation ratio of the upper and lower pixels may be arbitrarily changed according to the situation.
<他の実施形態>
なお、本発明は、複数の機器(例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど)から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
<Other embodiments>
The present invention may be applied to a system composed of a plurality of devices (eg, host computer, interface device, scanner, video camera, etc.) or to an apparatus composed of a single device.
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 Further, the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device executes the program. It can also be realized by a process of reading and executing. It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
100:画素領域、101:単位画素、103:列アンプ群、103i:列アンプ、111:マイクロレンズ、1101,1102:光電変換素子、400:撮像素子、401:分配器、402:画像合成部、403:位相差検出部、404:フォーカス演算部、405:制御部、408:B信号生成部、802:画素補間処理部、902:輝度検出部、903:ライン選択処理部、909:動きベクトル検出部、910:メモリ 100: pixel area, 101: unit pixel, 103: column amplifier group, 103i: column amplifier, 111: microlens, 1101, 1102: photoelectric conversion element, 400: imaging element, 401: distributor, 402: image synthesizing unit, 403: phase difference detection unit, 404: focus calculation unit, 405: control unit, 408: B signal generation unit, 802: pixel interpolation processing unit, 902: luminance detection unit, 903: line selection processing unit, 909: motion vector detection Part 910: Memory
Claims (8)
前記撮像素子を制御する制御手段と、
前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大する処理手段と、
前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出手段と、を有し、
前記制御手段は、
前記処理手段によりダイナミックレンジを拡大し、かつ、複数の異なるゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第1のモードが設定されている場合に、前記複数の異なるゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジの拡大を行わず、かつ、前記第1のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第2のモードが設定されている場合に、前記第1のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジを拡大し、かつ、前記焦点検出手段による位相差方式の焦点検出を行わない第3のモードが設定されている場合に、前記画素領域から、前記部分信号を読み出さないように前記走査手段を制御すると共に、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジを拡大し、かつ、前記第1のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第4のモードが設定されている場合に、前記第1のゲインを用いて前記部分信号を増幅し、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御する
ことを特徴とする撮像装置。 a pixel region having a plurality of microlenses arranged in a matrix and a plurality of photoelectric conversion units configured for each microlens; an amplifying means that can be amplified using different gains; a partial signal that is a partial signal of the plurality of photoelectric conversion units; and a sum signal obtained by adding the signals of the plurality of photoelectric conversion units. an imaging device having scanning means capable of scanning an area;
a control means for controlling the imaging device;
processing means for expanding a dynamic range using the sum signal amplified using the plurality of different gains;
focus detection means for performing phase-difference focus detection using the partial signal and the added signal;
The control means is
A first mode in which a dynamic range is expanded by the processing means, and phase-difference focus detection is performed by the focus detection means using the partial signals and the sum signal amplified using a plurality of different gains. is set, controlling the amplifying means to amplify the partial signal and the sum signal using the plurality of different gains;
A phase-difference type focus detection is performed by the focus detection means without expanding the dynamic range by the processing means and using the partial signal and the sum signal amplified by using the first gain. controlling the amplifying means to amplify the partial signal and the sum signal using the first gain when mode 2 is set;
The partial signal is not read from the pixel area when a third mode is set in which the dynamic range is expanded by the processing means and the focus detection by the phase difference method is not performed by the focus detection means. controlling the scanning means and controlling the amplifying means to amplify the sum signal using the plurality of different gains;
A fourth method for expanding a dynamic range by said processing means and performing phase-difference focus detection by said focus detection means using said partial signal and said added signal amplified using said first gain. and controlling the amplifying means to amplify the partial signal using the first gain and amplify the sum signal using the plurality of different gains when the mode is set. imaging device.
前記画素領域から、前記加算信号および前記部分信号を読み出す第1の行と、前記加算信号を読み出す第2の行とが交互になるように前記走査手段を制御すると共に、
前記第1のゲインを用いて前記第1の行から読み出した前記加算信号および前記部分信号を増幅し、前記複数の異なるゲインを用いて前記第2の行から読み出した前記加算信号を増幅するように前記増幅手段を制御する
ことを特徴とする請求項1に記載の撮像装置。 In the fourth mode, the control means
controlling the scanning means so that a first row for reading out the addition signal and the partial signal and a second row for reading out the addition signal alternate from the pixel area;
The first gain is used to amplify the summed signal and the partial signals read from the first row, and the plurality of different gains are used to amplify the summed signal read from the second row. 2. The imaging apparatus according to claim 1, wherein said amplifying means is controlled at a constant time.
前記処理手段は、前記第1の行から読み出され、前記第1のゲインを用いて増幅された前記加算信号と、前記補間手段により補間された信号とを用いて、前記第1の行のダイナミックレンジを拡大することを特徴とする請求項2に記載の撮像装置。 For each of the first rows, interpolating the first row using the summed signal read from the adjacent second row and amplified using a gain other than the first gain. further comprising means;
The processing means uses the sum signal read from the first row and amplified using the first gain and the signal interpolated by the interpolation means to perform 3. The imaging apparatus according to claim 2, wherein the dynamic range is expanded.
前記被写体の動きが予め決められた閾値以下である場合に、前記制御手段は、
前記画素領域から、前記加算信号および前記部分信号を読み出すように前記走査手段を制御すると共に、前記第1のゲインを用いて前記加算信号および前記部分信号を増幅するように前記増幅手段を制御する第1のフレームと、
前記画素領域から、前記加算信号を読み出すように前記走査手段を制御すると共に、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御する第2のフレームと、
が交互になるようにし、
前記補間手段は、前記第1のフレームに隣接する前記第2のフレームで、前記第1のゲインを除くゲインで増幅した前記加算信号を用いて前記第1のフレームを補間し、
前記処理手段は、前記第1のゲインを用いて増幅した前記第1のフレームの前記加算信号と、前記補間手段により補間された信号とを用いて、前記第1のフレームのダイナミックレンジを拡大することを特徴とする請求項3または4に記載の撮像装置。 further comprising motion detection means for detecting motion of the subject;
When the motion of the subject is equal to or less than a predetermined threshold, the control means
controlling the scanning means to read out the addition signal and the partial signal from the pixel area, and controlling the amplifying means to amplify the addition signal and the partial signal using the first gain; a first frame;
a second frame for controlling the scanning means to read out the sum signal from the pixel area and controlling the amplifying means to amplify the sum signal using the plurality of different gains;
alternately
wherein the interpolating means interpolates the first frame using the added signal amplified by a gain other than the first gain in the second frame adjacent to the first frame;
The processing means expands the dynamic range of the first frame using the added signal of the first frame amplified using the first gain and the signal interpolated by the interpolating means. 5. The imaging apparatus according to claim 3, wherein:
制御手段が、前記撮像素子を制御する制御工程と、
処理手段が、前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大工程と、
焦点検出手段が、前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出工程と、を有し、
前記制御工程では、
前記処理手段によりダイナミックレンジを拡大し、かつ、複数の異なるゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第1のモードが設定されている場合に、前記複数の異なるゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジの拡大を行わず、かつ、前記第1のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第2のモードが設定されている場合に、前記第1のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジを拡大し、かつ、前記焦点検出手段による位相差方式の焦点検出を行わない第3のモードが設定されている場合に、前記画素領域から、前記部分信号を読み出さないように前記走査手段を制御すると共に、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御し、
前記処理手段によりダイナミックレンジを拡大し、かつ、前記第1のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第4のモードが設定されている場合に、前記第1のゲインを用いて前記部分信号を増幅し、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御する
ことを特徴とする制御方法。 a pixel region having a plurality of microlenses arranged in a matrix and a plurality of photoelectric conversion units configured for each microlens; an amplifying means that can be amplified using different gains; a partial signal that is a partial signal of the plurality of photoelectric conversion units; and a sum signal obtained by adding the signals of the plurality of photoelectric conversion units. A control method for an imaging device having an imaging element having scanning means capable of scanning an area,
A control step in which the control means controls the imaging device;
a dynamic range expansion step in which processing means expands a dynamic range using the sum signal amplified using the plurality of different gains;
a focus detection step in which focus detection means performs phase-difference focus detection using the partial signal and the added signal;
In the control step,
A first mode in which a dynamic range is expanded by the processing means, and phase-difference focus detection is performed by the focus detection means using the partial signals and the sum signal amplified using a plurality of different gains. is set, controlling the amplifying means to amplify the partial signal and the sum signal using the plurality of different gains;
A phase-difference type focus detection is performed by the focus detection means without expanding the dynamic range by the processing means and using the partial signal and the sum signal amplified by using the first gain. controlling the amplifying means to amplify the partial signal and the sum signal using the first gain when mode 2 is set;
The partial signal is not read out from the pixel area when a third mode is set in which the processing means expands the dynamic range and the focus detection means does not perform phase-difference focus detection. controlling the scanning means and controlling the amplifying means to amplify the sum signal using the plurality of different gains;
A fourth method for expanding a dynamic range by said processing means and performing phase-difference type focus detection by said focus detection means using said partial signal and said added signal amplified using said first gain. and controlling the amplifying means to amplify the partial signal using the first gain and amplify the sum signal using the plurality of different gains when the mode is set. control method.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/381,090 US11133339B2 (en) | 2018-04-16 | 2019-04-11 | Image sensor, image capturing apparatus and image processing apparatus |
US17/393,610 US11515344B2 (en) | 2018-04-16 | 2021-08-04 | Image sensor, image capturing apparatus and image processing apparatus |
US17/982,167 US11830890B2 (en) | 2018-04-16 | 2022-11-07 | Image sensor, image capturing apparatus and image processing apparatus |
JP2023131458A JP2023138838A (en) | 2018-04-16 | 2023-08-10 | Imaging device and control method thereof |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018078625 | 2018-04-16 | ||
JP2018078625 | 2018-04-16 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023131458A Division JP2023138838A (en) | 2018-04-16 | 2023-08-10 | Imaging device and control method thereof |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019186910A JP2019186910A (en) | 2019-10-24 |
JP2019186910A5 JP2019186910A5 (en) | 2022-02-17 |
JP7332302B2 true JP7332302B2 (en) | 2023-08-23 |
Family
ID=68337818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019021825A Active JP7332302B2 (en) | 2018-04-16 | 2019-02-08 | Imaging device and its control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7332302B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7414538B2 (en) * | 2020-01-14 | 2024-01-16 | キヤノン株式会社 | Imaging device and its control method |
JP2022119630A (en) | 2021-02-04 | 2022-08-17 | キヤノン株式会社 | Image processing device, image processing method, imaging apparatus, and control method of them |
JP2023176537A (en) * | 2022-05-31 | 2023-12-13 | キヤノン株式会社 | Image processing device, control method thereof and program |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017216638A (en) | 2016-06-01 | 2017-12-07 | キヤノン株式会社 | Imaging apparatus |
-
2019
- 2019-02-08 JP JP2019021825A patent/JP7332302B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017216638A (en) | 2016-06-01 | 2017-12-07 | キヤノン株式会社 | Imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2019186910A (en) | 2019-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016213650A (en) | Imaging apparatus, imaging system and signal processing method | |
US10313588B2 (en) | Image capturing system and control method of image capturing system | |
JP2017216646A (en) | Imaging device, imaging apparatus and imaging signal processing method | |
JP7332302B2 (en) | Imaging device and its control method | |
US11830890B2 (en) | Image sensor, image capturing apparatus and image processing apparatus | |
CN109474781B (en) | Image pickup apparatus, control method for image pickup apparatus, and recording medium | |
JP2008042298A (en) | Solid-state image pickup device | |
JP2018033101A (en) | Imaging apparatus, control method and program thereof, storage medium | |
US20180220058A1 (en) | Image capture apparatus, control method therefor, and computer-readable medium | |
JP2021022921A (en) | Imaging element, imaging apparatus, and control method | |
JP7095774B2 (en) | Image sensor and image sensor | |
JP6929106B2 (en) | Imaging device and control method of imaging device | |
US11202024B2 (en) | Imaging apparatus, imaging method, and storage medium | |
JP2019193150A (en) | Imaging element and method for controlling the same, and imaging device | |
JP2016058877A (en) | Imaging apparatus and control method thereof | |
JP2020092346A (en) | Imaging device and method of controlling the same | |
JP2020043391A (en) | Imaging apparatus and control method thereof | |
US10009559B2 (en) | Imaging apparatus, method for controlling the same, and program | |
JP7236282B2 (en) | Image processing device and method, and imaging device | |
JP7277251B2 (en) | Imaging device and its control method | |
JP7234015B2 (en) | Imaging device and its control method | |
JP2018093301A (en) | Image pick-up device and control method of the same | |
JP2023138838A (en) | Imaging device and control method thereof | |
JP2012080297A (en) | Imaging device, and imaging control method of the same | |
WO2023162470A1 (en) | Imaging device, method for controlling same, program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230714 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230810 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7332302 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |