JP5217942B2 - Focus adjustment device and imaging device - Google Patents
Focus adjustment device and imaging device Download PDFInfo
- Publication number
- JP5217942B2 JP5217942B2 JP2008294383A JP2008294383A JP5217942B2 JP 5217942 B2 JP5217942 B2 JP 5217942B2 JP 2008294383 A JP2008294383 A JP 2008294383A JP 2008294383 A JP2008294383 A JP 2008294383A JP 5217942 B2 JP5217942 B2 JP 5217942B2
- Authority
- JP
- Japan
- Prior art keywords
- focus detection
- charge accumulation
- focus
- optical system
- light receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Description
本発明は焦点検出装置および撮像装置に関する。 The present invention relates to a focus detection apparatus and an imaging apparatus.
撮影光学系の焦点調節状態を検出するための焦点検出用イメージセンサーの制御において、明るさが大きく異なる複数の焦点検出領域で同時に焦点検出を行う必要がある場合には、焦点検出領域ごとの明るさに適した蓄積時間で複数回の電荷蓄積を1回の焦点検出ごとに行うようにした焦点検出装置が知られている(例えば、特許文献1参照)。
しかしながら、焦点検出領域が多くなると、焦点検出演算時間が増大し、焦点検出中の被写体状況の変化が大きくなるという問題がある。 However, when the focus detection area increases, there is a problem that the focus detection calculation time increases, and the change in the subject situation during focus detection becomes large.
請求項1の発明による焦点調節装置は、複数のマイクロレンズを二次元状に配列したマイクロレンズアレイと、該マイクロレンズアレイに対して複数の電荷蓄積型光電変換素子を二次元状に配列した受光素子アレイとを有し、光学系を透過した光を前記マイクロレンズアレイを介して前記受光素子アレイにより受光して得られる信号を出力する受光手段と、前記光学系による像面内に設定された複数の焦点検出領域の各々に対応する前記光電変換素子列に対して、複数の異なった電荷蓄積時間で順次、電荷蓄積制御する制御手段と、前記複数の異なった電荷蓄積時間毎における、前記複数の焦点検出領域の各々に対応する前記光電変換素子列の出力信号に基づき、前記光学系の焦点検出を行って、複数の焦点検出結果と前記焦点検出結果に対する複数の信頼性判定結果とを算出する焦点検出手段と、前記複数の焦点検出結果と前記複数の信頼性判定結果とに基づき、前記複数の焦点検出領域から所定の焦点検出領域を選択する選択手段と、前記選択された焦点検出領域における焦点検出結果に基づき、前記光学系の焦点調節を行う焦点調節手段と、を備え、前記焦点調節手段による前記光学系の焦点調節の後に、前記制御手段は、前記複数の電荷蓄積時間のうち、前記選択された焦点検出領域に対応する前記信頼性判定結果が最も高い値を与えた電荷蓄積時間で、前記選択された焦点検出領域に対応する前記光電変換素子列に対して再度の電荷蓄積制御を行い、前記焦点検出手段は、前記再度の電荷蓄積制御された前記光電変換素子列の出力信号に基づき、前記光学系の再度の焦点検出を行い、焦点検出結果を算出し、前記焦点調節手段は、当該焦点検出結果に基づき前記光学系の再度の焦点調節を行うことを特徴とする。 According to a first aspect of the present invention, there is provided a focus adjustment apparatus including: a microlens array in which a plurality of microlenses are arranged in a two-dimensional manner; and a light reception in which a plurality of charge storage photoelectric conversion elements are arranged in a two-dimensional manner with respect to the microlens array. A light receiving means for outputting a signal obtained by receiving the light transmitted through the optical system by the light receiving element array through the microlens array, and set in an image plane by the optical system. Control means for sequentially controlling charge accumulation at a plurality of different charge accumulation times for the photoelectric conversion element arrays corresponding to each of a plurality of focus detection regions, and the plurality The focus detection of the optical system is performed based on the output signal of the photoelectric conversion element array corresponding to each of the focus detection areas, and a plurality of focus detection results and the focus detection results are matched. A plurality of reliability determination results and focus detection means for calculating a that, selection of the basis plurality of focus detection result and the said plurality of reliability determination results, selecting a predetermined focus detection area from the plurality of focus detection areas And a focus adjusting means for adjusting the focus of the optical system based on a focus detection result in the selected focus detection area, and after the focus adjustment of the optical system by the focus adjusting means, the control means Is the charge accumulation time in which the reliability determination result corresponding to the selected focus detection region has the highest value among the plurality of charge accumulation times, and the photoelectric response corresponding to the selected focus detection region. The charge accumulation control is performed again on the conversion element array, and the focus detection unit refocuses the optical system based on the output signal of the photoelectric conversion element array on which the charge accumulation control is performed again. It performs output, calculates a focus detection result, the focusing means, and performs focus adjustment of the focus detection based on the results again of the optical system.
本発明によれば、焦点検出を行う焦点検出領域が多数あっても、それらの焦点検出領域で短時間で焦点検出を行うことができる。 According to the present invention, even if there are a large number of focus detection areas for performing focus detection, focus detection can be performed in a short time in those focus detection areas.
図1は一実施の形態の焦点検出装置を備えたカメラ(撮像装置)の横断面図であり、(a)は非撮影時の状態を示し、(b)は撮影露光時の状態を示す。なお、図1において、本願発明の焦点検出装置および撮像装置に直接関係のないカメラの機器、回路および装置の図示と説明を省略する。一実施の形態のカメラではカメラボディ1にレンズ鏡筒2が装着される。レンズ鏡筒2は各種の撮影レンズを有するレンズ鏡筒に交換可能である。
1A and 1B are cross-sectional views of a camera (imaging device) including a focus detection device according to an embodiment. FIG. 1A shows a state during non-shooting, and FIG. 1B shows a state during shooting exposure. In FIG. 1, illustration and description of camera devices, circuits, and apparatuses that are not directly related to the focus detection apparatus and the imaging apparatus of the present invention are omitted. In a camera according to an embodiment, a
カメラボディ1はメインミラー11、サブミラー12、シャッター13、撮像素子14、焦点検出装置15、制御装置16、ペンタプリズム17、接眼レンズ28、接点19などを備えている。撮像素子14はCCDやCMOSなどから構成され、撮影レンズにより結像された被写体像を電気信号に変換して出力する。シャッター13の被写体側には、光学的ローパスフィルターと赤外線カットフィルターを合わせた光学部材27が設置されている。焦点検出装置15は撮影レンズの焦点調節状態を検出する。この焦点調節装置15については詳細を後述する。制御装置16は不図示のマイクロコンピューター、ROM、RAM、A/Dコンバーターなどから構成され、カメラの各種演算やシーケンス制御などを行う。
The
レンズ鏡筒2は、撮影レンズ21(21a〜21e)、絞り22、レンズ駆動制御装置23などを備えている。レンズ駆動制御装置23は不図示のマイクロコンピューター、メモリ、レンズ駆動用モーター、絞り駆動用モーターなどから構成され、撮影レンズ21の焦点調節や絞り22の開口調節などを行う。なお、カメラボディ1の制御装置16とレンズ鏡筒2のレンズ駆動制御装置23は交換レンズマウント部(不図示)に設けられた接点19を介して各種情報の授受を行う。
The
非撮影時には、図1(a)に示すようにメインミラー11とサブミラー12が撮影光路中に置かれ、撮影レンズ21を透過した被写体光の一部はメインミラー11、ペンタプリズム17、接眼レンズ28を介して撮影者の目へ導かれ、撮影者に被写体像が視認される。また、被写体光の残りの一部はメインミラー11、サブミラー12を介して焦点検出装置15へ導かれ、焦点検出装置15により撮影レンズ21の焦点調節状態、すなわちデフォーカス量が検出される。
At the time of non-photographing, as shown in FIG. 1A, the
撮影露光時には、図1(b)に示すようにメインミラー11とサブミラー12が撮影光路中から退避し、撮影レンズ21を透過した被写体光は撮影素子14へ導かれ、撮像素子14により被写体像の撮像が行われる。撮像素子14から出力された被写体像信号は不図示の信号処理回路で処理された後、メモリカードなどの記録媒体へ記録される。
At the time of photographing exposure, as shown in FIG. 1B, the
図2は、一実施の形態の焦点検出装置に組み込まれている焦点検出光学系の構成を示す。撮影レンズ21は、撮像素子14(図1参照)の受光面14aに被写体像を結像する。撮影レンズ21を透過した被写体からの光束(焦点検出用光束)はサブミラー12(図1参照)の反射面12aで反射され、撮像素子受光面14aと共役な予定焦点面15aへ導かれ、予定焦点面15aにおいて被写体像が結像される。なお、この予定焦点面15aにおいて被写体像のピントが合うように、撮影レンズ21の焦点調節が行われる。
FIG. 2 shows a configuration of a focus detection optical system incorporated in the focus detection apparatus of one embodiment. The taking
像高の高い部分の焦点検出用光束を用いて焦点検出を行う場合には、光路中、具体的には予定焦点面15aの近傍から後述するマイクロレンズアレイ52の間にフィールドレンズ51を挿入し、像高の高い部分の光線を光軸方向から曲げるようにしてもよい。以下では、フィールドレンズ51を無視して説明する。
When focus detection is performed using a focus detection light beam at a high image height, a
焦点検出装置15は、マイクロレンズアレイ52と受光素子アレイ53がカバーガラス54で蓋をしたパッケージ55の中に封入されている。図3はマイクロレンズアレイ52と受光素子アレイ53を拡大した斜視図である。なお、実際にはマイクロレンズアレイ52と受光素子アレイ53がほぼ密着しているが、図3では説明を解りやすくするためにそれらを分離して示す。マイクロレンズアレイ52は、カメラの予定焦点面15aの近傍に配置される。
In the
図3では図示を省略しているが、マイクロレンズとマイクロレンズとの間、およびレンズ基板の側面には、マイクロレンズ間のクロストークを防ぐための遮光隔壁が設けられている。この遮光隔壁は、機械加工やエッチングによりマイクロレンズに格子状の深い溝を形成し、その溝の中に遮光性樹脂を充填して形成される。 Although not shown in FIG. 3, a light-shielding partition for preventing crosstalk between the microlenses is provided between the microlenses and the side surface of the lens substrate. The light shielding partition is formed by forming a grid-like deep groove in the microlens by machining or etching, and filling the groove with a light shielding resin.
受光素子アレイ53はマイクロレンズアレイ52のごく近傍に配置され、各マイクロレンズごとに複数の光電変換素子(以下、受光素子という)が二次元状に配列される。この一実施の形態では各マイクロレンズごとに横5個×縦5個の受光素子を配列した受光素子アレイ53を用いた例を示すが、マイクロレンズごとの受光素子の個数はこの一実施の形態に限定されず、また、マイクロレンズごとに受光素子を配列せず、単に複数の受光素子を二次元状に配列してもよい。
The light
図4および図5は一実施の形態による焦点検出方法を説明するための図であり、図3に示すマイクロレンズアレイ52と受光素子アレイ53のXZ断面を示す。一つのマイクロレンズとそのマイクロレンズに対応する受光素子列をこの明細書では便宜上、画素と呼ぶことにする。図4および図5に示す例では、マイクロレンズとそのマイクロレンズに対応して配置される5個の受光素子が一つの画素である。この一実施の形態の焦点検出装置では、各画素の受光素子列の各マイクロレンズによる像が、各マイクロレンズの頂点よりも被写体側に結像する構成になっており、この結像面が予定焦点面15aと一致するようにマイクロレンズアレイ(焦点検出光学系)52と受光素子アレイ53を配置する。
4 and 5 are diagrams for explaining the focus detection method according to the embodiment, and show XZ cross sections of the
この一実施の形態の焦点検出装置は、撮影レンズ21の瞳面の異なる領域を通過した被写体光による対の像の、検出面近傍における位置ずれに基づいてデフォーカス量を得るものであり、位相差検出方式の焦点検出装置である。
The focus detection apparatus according to this embodiment obtains a defocus amount based on a positional deviation of a pair of images by subject light that has passed through different areas of the pupil plane of the photographing
まず、第1の焦点検出演算方法では、隣接する画素、または所定間隔の画素の受光素子列で検出した像どうしのずれ量に基づいてデフォーカス量を算出する。例えば図4において、二つの隣接する画素のA列とB列の二つの受光素子列上の像のずれ量、つまり予定焦点面15a上のA’とB’で表す“受光素子列AとBの逆投影像”の位置に撮影レンズ21により結像される被写体像のずれ量によりデフォーカス量を演算する。
First, in the first focus detection calculation method, a defocus amount is calculated based on a shift amount between images detected by light receiving element arrays of adjacent pixels or pixels at a predetermined interval. For example, in FIG. 4, the shift amount of the image on the two light receiving element rows of the two adjacent pixels, that is, “light receiving element rows A and B” represented by A ′ and B ′ on the planned
第2の焦点検出演算方法では、隣接して配列される複数の画素において、各画素の受光素子列の端からn番目の受光素子出力を連ねて生成する像と、(n+m)番目の受光素子出力を連ねて生成する像とのずれ量に基づいてデフォーカス量を算出する。例えば図4において、各画素の受光素子列の左から2番目の受光素子cの出力を連ねて受光素子列Cとした像と、左から4番目の受光素子dの出力を連ねて受光素子列Dとした像とのずれ量、つまり予定焦点面16上のC’とD’で表す“受光素子列CとDの逆投影像”の位置に撮影レンズ23により結像される被写体像のずれ量により、デフォーカス量を演算する。
In the second focus detection calculation method, in a plurality of adjacently arranged pixels, an image generated by continuously connecting the nth light receiving element outputs from the end of the light receiving element row of each pixel, and the (n + m) th light receiving element A defocus amount is calculated based on a deviation amount from an image generated by combining outputs. For example, in FIG. 4, the image of the light receiving element row C from the left in the light receiving element row of each pixel is connected to the light receiving element row C and the output of the fourth light receiving element d from the left is connected to the light receiving element row. The amount of deviation from the image defined as D, that is, the deviation of the subject image formed by the photographing
なお、第2の焦点検出演算方法の変形例として、図5に示すように、左から1番目と2番目の受光素子出力の加算値を連ねて受光素子列Cとした像と、左から4番目と5番目の受光素子出力の加算値を連ねて受光素子列Dとした像とのずれ量、つまり予定焦点面16上のC’とD’で表す“受光素子列CとDの逆投影像”の位置に撮影レンズ23により結像される被写体像のずれ量により、デフォーカス量を演算してもよい。
As a modification of the second focus detection calculation method, as shown in FIG. 5, an image in which the addition values of the first and second light receiving element outputs from the left are combined to form a light receiving element array C, and 4 from the left. The amount of deviation from the image formed as the light receiving element array D by combining the added values of the outputs of the fifth and fifth light receiving elements, that is, “back projection of the light receiving element arrays C and D represented by C ′ and D ′ on the planned
図6は、一実施の形態の焦点検出装置15(図1参照)の詳細な構成を示すブロック図である。二次元受光素子アレイ53(図3参照)の出力はA/Dコンバーター54によりデジタル信号に変換され、いったんメモリ55に記憶される。マイクロコンピューター56はソフトウエア形態により合成信号列作成部56a、像ズレ演算部56bおよびフォーカス量算出部56cを備え、メモリ55から受光素子アレイ53の出力データを読み出し、合成信号列作成部56aにより第1信号列{a(i)}=a(1),a(2),a(3),・・・と、第2信号列{b(i)}=b(1),b(2),b(3),・・・を作成する。
FIG. 6 is a block diagram illustrating a detailed configuration of the focus detection device 15 (see FIG. 1) according to an embodiment. The output of the two-dimensional light receiving element array 53 (see FIG. 3) is converted into a digital signal by the A /
ここで、上述した第1の焦点検出方法の場合は、信号列{a(i)}、{b(i)}は図4に示す隣接する画素A、Bの各受光素子アレイの受光素子出力の並びである。また、上述した第2の焦点検出方法の場合は、信号列{a(i)}、{b(i)}は図4に示す受光素子列CとDの出力の並びである。 Here, in the case of the first focus detection method described above, the signal sequences {a (i)} and {b (i)} are the light receiving element outputs of the light receiving element arrays of the adjacent pixels A and B shown in FIG. It is a line of. In the case of the second focus detection method described above, the signal sequences {a (i)} and {b (i)} are an arrangement of the outputs of the light receiving element arrays C and D shown in FIG.
こうして得られた第1信号列{a(i)}と第2信号列{b(i)}に基づいて、公知の方法により像ズレ演算を行い、デフォーカス量を算出する。2つの信号列{a(i)}、{b(i)}からデフォーカス量を算出する方法はよく知られており、まず第1信号列{a(i)}と第2信号列{b(i)}(i=1,2,3,・・・)から対応する一対の像の相関量C(N)を求める。
C(N)=Σ|a(i)−b(j)| ・・・(1)
(1)式において、シフト数NはN=j−iであり、Σはi=pL〜qLの総和演算を表す。
Based on the first signal sequence {a (i)} and the second signal sequence {b (i)} obtained in this way, an image shift calculation is performed by a known method to calculate a defocus amount. A method of calculating a defocus amount from two signal sequences {a (i)} and {b (i)} is well known. First, a first signal sequence {a (i)} and a second signal sequence {b (i)} The correlation amount C (N) of the corresponding pair of images is obtained from (i = 1, 2, 3,...).
C (N) = Σ | a (i) −b (j) | (1)
In the equation (1), the shift number N is N = j−i, and Σ represents the total operation of i = pL to qL.
(1)式により離散的に求められた相関量C(N)から次のようにしてシフト量を求める。ここで、相関量C(N)の中でシフト量N=N0のときに極小値を与える相関量をC0とし、シフト量(N0−1)における相関量をCr、シフト量(N0+1)における相関量をCfとする。相関量Cr、C0、Cfの並びから精密なシフト量Naを求める。
DL=0.5・(Cr−Cf) ・・・(2),
E=MAX{Cf−C0、Cr−C0) ・・・(3),
Na=N0+DL/E ・・・(4)
次に、シフト量Naに、焦点検出面の位置に応じた補正量(定数CONST)を加え、焦点検出面上での像ズレ量Δn=Na+CONSTを算出する。さらに、像ズレ量Δnに検出開角に依存した定数Kfを乗じ、デフォーカス量Dfを算出する。
Df=Kf・Δn ・・・(5)
The shift amount is obtained from the correlation amount C (N) obtained discretely by the equation (1) as follows. Here, among the correlation amounts C (N), the correlation amount giving a minimum value when the shift amount N = N0 is C0, the correlation amount in the shift amount (N0-1) is Cr, and the correlation amount in the shift amount (N0 + 1). Let the amount be Cf. A precise shift amount Na is obtained from the arrangement of the correlation amounts Cr, C0, and Cf.
DL = 0.5 · (Cr−Cf) (2),
E = MAX {Cf-C0, Cr-C0) (3),
Na = N0 + DL / E (4)
Next, a correction amount (constant CONST) corresponding to the position of the focus detection surface is added to the shift amount Na to calculate an image shift amount Δn = Na + CONST on the focus detection surface. Further, the defocus amount Df is calculated by multiplying the image shift amount Δn by a constant Kf depending on the detected opening angle.
Df = Kf · Δn (5)
上述した焦点検出手順によって、撮影画面内の所望の焦点検出領域に対応する画素列から出力される信号列を用い、その焦点検出領域にある被写体像に対する焦点検出を行うことができる。 With the above-described focus detection procedure, it is possible to perform focus detection on a subject image in the focus detection region using a signal sequence output from a pixel row corresponding to a desired focus detection region in the shooting screen.
この一実施の形態では、上述した焦点検出手順の内、各焦点検出領域における電荷蓄積動作を次のようにして行う。すなわち、予め設定した長、中、短の3種類の蓄積時間で順次受光素子アレイ53上のすべての焦点検出領域の電荷蓄積動作を行い、その都度、必要な焦点検出領域で焦点検出演算を行って演算結果をメモリに記憶する。なお、以下ではこの動作を“順次蓄積”動作という。
In this embodiment, in the focus detection procedure described above, the charge accumulation operation in each focus detection region is performed as follows. That is, the charge accumulation operation of all the focus detection areas on the light receiving
一実施の形態の焦点検出演算では、従来周知の方法により焦点検出結果の信頼性判定を行う。蓄積時間が被写体光の強さに対して短すぎたり長すぎたりした場合は、演算過程で信号列の相関が良好にとれないので、これにより信頼性なしと判定される。この信頼性判定結果を焦点検出結果の一部としてメモリに記憶する。 In the focus detection calculation of one embodiment, the reliability of the focus detection result is determined by a conventionally known method. If the accumulation time is too short or too long with respect to the intensity of the subject light, the signal sequence is not well correlated in the calculation process, so that it is determined that there is no reliability. The reliability determination result is stored in the memory as a part of the focus detection result.
それぞれ必要な焦点検出領域において、上述した長、中、短の3種類の電荷蓄積時間で得られた焦点検出結果の中で十分に信頼性があると判定された焦点検出結果を採用することによって、明るさの差が大きい被写体が混在する画面に対しても多数の焦点検出領域それぞれにおいて信頼性のある焦点検出結果を得ることができる。 By adopting the focus detection results determined to be sufficiently reliable among the focus detection results obtained in the above-described three types of charge accumulation times of long, medium, and short in each necessary focus detection region. In addition, a reliable focus detection result can be obtained in each of a large number of focus detection areas even on a screen in which subjects with large brightness differences are mixed.
この一実施の形態のカメラでは、「焦点検出領域自動選択モード」または「焦点検出領域手動選択モード」を撮影者が操作部材を操作して選択することができる。焦点検出領域自動選択モードが設定されると、制御装置16は、上述した3種類の電荷蓄積時間による順次蓄積動作を行う。焦点検出領域自動選択モードは、撮影画面の全体または広域から焦点を合わせるべき対象、すなわち主要被写体をカメラが自動的に推定して焦点を合わせるモードである。主要被写体を推定する際に、各焦点検出領域の焦点検出結果を用いる。例えば最至近の被写体を主要被写体とみなすなど、種々のアルゴリズムが周知である。もちろん測光センサーのデータや撮像画像からの特徴点抽出結果など、焦点検出以外の検出結果も考慮することができる。
In the camera of this embodiment, the photographer can select the “focus detection area automatic selection mode” or the “focus detection area manual selection mode” by operating the operation member. When the focus detection area automatic selection mode is set, the
図3に示す受光素子アレイ53では、説明の便宜上小数の画素しか図示していないが、実際は多数の画素を配列しており、したがって、一実施の形態の焦点検出装置は従来に比べて桁違いに多くの焦点検出領域を設定することができる。それらの中から、主要被写体が存在すると推定される焦点検出領域おいて焦点検出演算を行う。
In the light receiving
予め設定した3種類の電荷蓄積時間は、製造出荷時に不揮発性メモリに記憶させる。もちろん、電荷蓄積時間の種類はこの一実施の形態の3種類に限定されず、2種類あるいは4種類以上あってもよい。例えば、分割測光センサーを設置し、レリーズボタンが半押しされたときに、測光センサーの出力を入力し、分割された測光領域ごとの測光センサーの出力分布がすべて第1の所定値より明るい場合は、長、中、短の3種類の蓄積時間の中から「長」を除外し、「中」と「短」の2種類の蓄積時間、あるいは「中」と「短」の中間の蓄積時間を新たに加えた3種類の電荷蓄積時間により蓄積動作を実行する。また、分割された測光領域ごとの測光センサーの出力分布がすべて第2の所定値より暗い場合は、長、中、短の3種類の蓄積時間の中から「短」を除外し、「長」と「中」の2種類の蓄積時間、あるいは「長」と「中」の中間の蓄積時間を新たに加えた3種類の電荷蓄積時間により蓄積動作を実行する。 The three types of charge accumulation times set in advance are stored in the nonvolatile memory at the time of manufacture and shipment. Of course, the types of charge accumulation time are not limited to the three types in this embodiment, and there may be two types or four or more types. For example, when a split photometry sensor is installed and the release button is pressed halfway, the output of the photometry sensor is input, and the output distribution of the photometry sensor for each of the divided photometry areas is brighter than the first predetermined value , Exclude “long” from the three types of long, medium and short accumulation times, and set the accumulation time between “medium” and “short”, or between “medium” and “short” The accumulation operation is executed with the newly added three types of charge accumulation times. Further, when the output distribution of the photometric sensor for each of the divided photometric areas is darker than the second predetermined value, “short” is excluded from the three types of accumulation times of long, medium and short, and “long” And “medium”, or three kinds of charge accumulation times obtained by newly adding an intermediate accumulation time between “long” and “medium”.
なお、何種類かの電荷蓄積時間のセットを複数セット設定して製造時にメモリに記録し、カメラの電源オンから焦点検出動作が起動されるまでの間の焦点検出装置の受光素子アレイ53、測光センサー、撮像素子14などの出力に基づいて、所定のアルゴリズムにしたがっていずれかの蓄積時間セットを選択するようにしてもよい。
A plurality of sets of charge accumulation times are set and recorded in the memory at the time of manufacture, and the light receiving
一方、焦点検出領域手動選択モードが設定されたときは、制御装置16は、手動で選択された焦点検出領域に対応するイメージセンサー上の画素列出力に応じて、その部分の輝度分布が良好に検出できるように蓄積時間を制御する。
On the other hand, when the focus detection region manual selection mode is set, the
図7および図8は、一実施の形態の焦点検出動作を示すフローチャートである。これらのフローチャートにより、一実施の形態の動作を説明する。シャッターボタン(不図示)が半押しされると、制御装置16は図7および図8に示す焦点検出動作を開始する。ステップ1において焦点検出領域選択モードの設定状態をチェックする。ステップ2で焦点検出領域自動選択モードが設定されているか否かを判別し、自動選択モードが設定されているときはステップ3へ進み、手動選択モードが設定されているときはステップ21へ進む。
7 and 8 are flowcharts illustrating the focus detection operation according to the embodiment. The operation of the embodiment will be described with reference to these flowcharts. When a shutter button (not shown) is half-pressed, the
焦点検出領域自動選択モードが設定されているときは、ステップ3において、上述したように予めメモリ(不図示)に記憶されている電荷蓄積時間のセットの中から測光センサーの出力に応じていずれかのセットを選択し、設定する。なお、この一実施の形態では長、中、短の3種類の電荷蓄積時間が複数セット記憶されているとする。ステップ4で蓄積時間セットの中の1番目の蓄積時間で受光素子アレイ53の電荷蓄積を行い、続くステップ5では受光素子アレイ53上のすべての焦点検出領域に対応する画素列出力に基づいて上述した焦点検出演算と信頼性判定を行い、焦点検出結果と信頼性判定結果をバッファーメモリに記憶する。
When the focus detection area automatic selection mode is set, in step 3, one of the charge accumulation time sets stored in advance in a memory (not shown) as described above is selected according to the output of the photometric sensor. Select and set a set. In this embodiment, it is assumed that a plurality of sets of long, medium and short charge accumulation times are stored. In step 4, charges are accumulated in the light receiving
次に、ステップ6で蓄積時間セットの中の2番目の蓄積時間で受光素子アレイ53の電荷蓄積を行い、続くステップ7では受光素子アレイ53上のすべての焦点検出領域に対応する画素列出力に基づいて上述した焦点検出演算と信頼性判定を行い、焦点検出結果と信頼性判定結果をバッファーメモリに記憶する。さらに、ステップ8で蓄積時間セットの中の3番目の蓄積時間で受光素子アレイ53の電荷蓄積を行い、続くステップ9では受光素子アレイ53上のすべての焦点検出領域に対応する画素列出力に基づいて上述した焦点検出演算と信頼性判定を行い、焦点検出結果と信頼性判定結果をバッファーメモリに記憶する。
Next, in step 6, charges are accumulated in the light receiving
図8のステップ10において、バッファーメモリからすべての焦点検出領域の焦点検出結果を読み出し、それらに基づいて上述したように主要被写体が存在すると推定される焦点検出領域を選択する。ステップ11では、選択領域において撮影レンズ21が合焦状態にあるか否かを判別し、合焦していれば焦点検出動作を終了する。選択した焦点検出領域において撮影レンズ21が合焦状態にない場合にはステップ12へ進み、選択領域の焦点検出結果に基づいて撮影レンズ21を駆動し、焦点調節を行う。
In step 10 of FIG. 8, the focus detection results of all the focus detection areas are read from the buffer memory, and the focus detection area in which the main subject is estimated to be present is selected based on these results as described above. In
ステップ13でレンズ駆動量が所定値以下か否かを判別する。レンズ駆動量が所定値より大きい場合は、レンズ駆動前は焦点調節状態が“大ボケ”の状態にあったとみなし、ステップ4へ戻って焦点検出領域の自動選択処理からやり直す。一方、レンズ駆動量が所定値以下の場合はステップ14へ進み、選択した焦点検出領域の中で信頼性が最も高い検出結果をもたらした電荷蓄積時間で蓄積動作をやり直す。ステップ15で選択焦点検出領域に対応する画素列出力に基づいて焦点検出演算を行い、続くステップ16で選択領域において合焦しているか否かを判別する。合焦している場合はこの焦点検出動作を終了し、合焦していない場合はステップ12へ戻って上述した処理を繰り返す。
In
一方、焦点検出領域手動選択モードが設定されているときは、ステップ21で、電荷蓄積時間に初期値を設定する。続くステップ22で、決定された蓄積時間により電荷蓄積制御を行う。ステップ23で手動選択領域において焦点検出を行い、続くステップ24で合焦しているか否かを判別する。合焦している場合はこの焦点検出動作を終了する。合焦していない場合はステップ25へ進み、手動選択領域の焦点検出結果に基づいて撮影レンズ21のレンズ駆動を行う。ステップ26では手動選択領域の被写体像信号出力の大きさに応じて電荷蓄積時間を決定し、ステップ22へ戻って上述した処理を繰り返す。
On the other hand, when the focus detection region manual selection mode is set, in
《発明の他の実施の形態》
図9は、他の実施の形態の焦点検出装置を備えた動画兼用カメラ(撮像装置)の構成を示す横断面図である。この実施の形態のカメラではカメラボディ211にレンズ鏡筒212が装着される。レンズ鏡筒212は各種の撮影レンズ213を有するレンズ鏡筒に交換可能である。
<< Other Embodiments of the Invention >>
FIG. 9 is a cross-sectional view illustrating a configuration of a moving-image camera (imaging device) including a focus detection device according to another embodiment. In the camera of this embodiment, a lens barrel 212 is attached to the
撮影レンズ213を透過した被写体からの光は半透過性ペリクルミラー214により分岐される。半透過性ペリクルミラー214による反射光は光学的ローパスフィルターおよび赤外線カットフィルター216を介して撮像素子217へ導かれ、その受光面に被写体像が結像される。このカメラにはファインダーが設けられず、撮像素子217により撮像した画像をカメラ背面のLCDモニター218に表示する。一方、半透過性ペリクルミラー214を透過した被写体からの光は焦点検出装置215へ導かれ、焦点検出装置215により撮影レンズ213の焦点検出が行われる。
The light from the subject that has passed through the photographing
シャッターボタンのレリーズ操作が行われると、撮像素子217により静止画または動画を撮影しながら、焦点検出装置215により焦点検出が行われる。焦点検出装置215は、上述した一実施の形態の焦点検出装置15と同様な構成であるが、マイクロレンズアレイ52のレンズ数を増やして画面を広げ、撮影画面のほぼ全域をカバーしている。この焦点検出装置215では、上述した一実施の形態と同様に、複数の電荷蓄積時間を有し、それぞれの蓄積時間で電荷蓄積を行ってはその都度、焦点検出演算と信頼性判定を行う(順次蓄積動作)。そして、焦点検出結果と信頼性判定結果に基づいて主要被写体が存在する焦点検出領域を推定する。
When a shutter button release operation is performed, focus detection is performed by the focus detection device 215 while a still image or a moving image is captured by the image sensor 217. The focus detection device 215 has the same configuration as that of the
複数の電荷蓄積時間は、製造時に設定し不揮発性メモリに記憶させている。複数種類の電荷蓄積時間のセットを複数設定し、カメラの電源オンからレリーズされるまでの間の焦点検出装置215の受光素子アレイ、測光センサー、撮像素子217などの出力に基づいて、所定のプログラムによりいずれかの電荷蓄積時間セットを選択するようにしてもよい。 The plurality of charge accumulation times are set at the time of manufacture and stored in a nonvolatile memory. A predetermined program is set based on the outputs of the light receiving element array, the photometric sensor, the image sensor 217, etc. of the focus detection device 215 during the period from when the camera is turned on until the camera is released. Any one of the charge accumulation time sets may be selected.
《発明の実施の形態の変形例》
上述した一実施の形態のカメラにおいて、予め記憶させておいた複数種類の電荷蓄積時間の複数のセットの中からいずれかを選択する際に、静止画連写と動画撮影時に最初の所定駒撮影の間に取得した撮像素子や焦点検出装置の受光素子アレイの出力に基づいていずれかの蓄積時間セットを選択し、以後の駒の撮影に適用するようにしてもよい。
<< Modification of Embodiment of Invention >>
In the camera according to the embodiment described above, when one of a plurality of sets of a plurality of types of charge accumulation times stored in advance is selected, the first predetermined frame shooting is performed during still image shooting and moving image shooting. One of the accumulation time sets may be selected based on the output of the imaging element or the light receiving element array of the focus detection apparatus acquired during this period, and applied to subsequent frames.
また、上述した一実施の形態のカメラでは、焦点検出領域自動選択モード設定時に、多数の焦点検出領域の焦点検出結果を主要被写体に撮影レンズの焦点を合わせるために用いたが、他の用途に用いてもよい。例えば、一眼レフカメラにおいて公知のスーパーインポーズ技術によりファインダー内に選択領域を表示するようにしてもよい。さらに、焦点調節の結果、合焦した焦点検出領域の表示色もしくは表示形態を他の領域と異なるように表示してもよい。例えば、焦点検出領域として選択されたときは領域を表す枠線を一瞬だけ表示し、合焦したときはそれより長い時間、枠線を表示する。 In the camera according to the embodiment described above, the focus detection results of a number of focus detection areas are used to focus the photographic lens on the main subject when the focus detection area automatic selection mode is set. It may be used. For example, in a single-lens reflex camera, the selection area may be displayed in the viewfinder by a known superimpose technique. Further, as a result of focus adjustment, the display color or display form of the focused focus detection area may be displayed differently from other areas. For example, when a focus detection area is selected, a frame line representing the area is displayed for a moment, and when it is in focus, the frame line is displayed for a longer time.
静止画連写と動画撮影の場合に、撮影後、「ピントが合っている」などの特定の条件に当てはまる部分、または駒を抽出利用するために、付属情報を連写記録および動画記録に付加して記録することが知られている。この応用として、その駒ごとにあるいは所定の時間ごとに、どこの焦点検出領域が選択されたか、およびまたは、どこの焦点検出領域に焦点があっているかを、付加情報として記録し、後の抽出処理に利用してもよい。 In the case of still image continuous shooting and movie shooting, attached information is added to continuous shooting and movie recording in order to extract and use parts or frames that meet certain conditions such as “in focus” after shooting. It is known to record. As an application, it is recorded as additional information which focus detection area is selected for each frame or every predetermined time, and which focus detection area is in focus, and later extraction. It may be used for processing.
上述した一実施の形態とその変形例では、焦点検出領域自動選択モード設定時に、受光素子アレイを複数の電荷蓄積時間で順次蓄積動作する例を示した。これに対し、焦点検出領域の表示に関するモード設定の違いに応じて上述した順次蓄積動作を行うか、被写体輝度に合わせて蓄積時間を調整する動作を行うかを切り換えるようにしてもよい。一眼レフカメラにおいて、スーパーインポーズ技術を用いてファインダー内に焦点検出領域を表示する際に、主要被写体が存在するとして選択された焦点検出領域に対してのみ焦点が合ったことを表示する第1表示モードと、焦点調節を行った結果、焦点が合った焦点検出領域をすべて表示する第2表示モードとを、操作部材により撮影者が予め選択可能とする。制御装置は、第2表示モードが選択された場合は、すべての焦点検出領域において焦点検出を行う必要があるため、上述した一実施の形態とその変形例で行った複数の電荷蓄積時間による蓄積動作、すなわち順次蓄積動作を行う。一方、第1表示モードが選択された場合は、選択された焦点検出領域に対応するイメージセンサー上の画素列出力に応じて、その領域の輝度分布が良好に検出できるように電荷蓄積時間を制御する。 In the above-described embodiment and its modification, the example in which the light receiving element array is sequentially accumulated in a plurality of charge accumulation times when the focus detection region automatic selection mode is set has been described. On the other hand, it is possible to switch between performing the above-described sequential accumulation operation according to the difference in mode setting related to the display of the focus detection area or performing the operation for adjusting the accumulation time according to the subject luminance. In the single-lens reflex camera, when the focus detection area is displayed in the viewfinder using the superimpose technique, a first indication that the focus detection area is selected only for the focus detection area selected as the main subject exists is displayed. The photographer can select in advance by the operation member the display mode and the second display mode in which all focus detection areas in focus as a result of the focus adjustment are displayed. When the second display mode is selected, the control device needs to perform focus detection in all focus detection regions. Therefore, accumulation by a plurality of charge accumulation times performed in the above-described embodiment and its modifications is described. The operation, that is, the sequential accumulation operation is performed. On the other hand, when the first display mode is selected, the charge accumulation time is controlled so that the luminance distribution in that region can be detected in accordance with the pixel column output on the image sensor corresponding to the selected focus detection region. To do.
なお、上述した実施の形態とそれらの変形例において、実施の形態どうし、または実施の形態と変形例とのあらゆる組み合わせが可能である。 In the above-described embodiments and their modifications, all combinations of the embodiments or the embodiments and the modifications are possible.
上述した実施の形態とその変形例によれば、焦点検出を行う焦点検出領域が多数あっても、それらの焦点検出領域で短時間で焦点検出を行うことができる。 According to the above-described embodiment and its modification, even if there are many focus detection areas for performing focus detection, focus detection can be performed in a short time in those focus detection areas.
1、211;カメラボディ、2、212;レンズ鏡筒、14、217;撮像素子、15、215;焦点検出装置、16;制御装置、21、213;撮影レンズ、52;マイクロレンズアレイ、53;受光素子アレイ、55;メモリ、56;マイクロコンピューター、56a;合成信号列作成部、56b;像ずれ演算部、56c;デフォーカス量算出部 1, 211; Camera body, 2, 212; Lens barrel, 14, 217; Imaging element, 15, 215; Focus detection device, 16; Control device, 21, 213; Photography lens, 52; Micro lens array, 53; Light receiving element array, 55; Memory, 56; Microcomputer, 56a; Composite signal sequence creation unit, 56b; Image shift calculation unit, 56c; Defocus amount calculation unit
Claims (5)
前記光学系による像面内に設定された複数の焦点検出領域の各々に対応する前記光電変換素子列に対して、複数の異なった電荷蓄積時間で順次、電荷蓄積制御する制御手段と、
前記複数の異なった電荷蓄積時間毎における、前記複数の焦点検出領域の各々に対応する前記光電変換素子列の出力信号に基づき、前記光学系の焦点検出を行って、複数の焦点検出結果と前記焦点検出結果に対する複数の信頼性判定結果とを算出する焦点検出手段と、
前記複数の焦点検出結果と前記複数の信頼性判定結果とに基づき、前記複数の焦点検出領域から所定の焦点検出領域を選択する選択手段と、
前記選択された焦点検出領域における焦点検出結果に基づき、前記光学系の焦点調節を行う焦点調節手段と、を備え、
前記焦点調節手段による前記光学系の焦点調節の後に、前記制御手段は、前記複数の電荷蓄積時間のうち、前記選択された焦点検出領域に対応する前記信頼性判定結果が最も高い値を与えた電荷蓄積時間で、前記選択された焦点検出領域に対応する前記光電変換素子列に対して再度の電荷蓄積制御を行い、前記焦点検出手段は、前記再度の電荷蓄積制御された前記光電変換素子列の出力信号に基づき、前記光学系の再度の焦点検出を行い、焦点検出結果を算出し、前記焦点調節手段は、当該焦点検出結果に基づき前記光学系の再度の焦点調節を行うことを特徴とする焦点調節装置。 A microlens array in which a plurality of microlenses are arranged in a two-dimensional manner, and a light receiving element array in which a plurality of charge storage photoelectric conversion elements are arranged in a two-dimensional manner with respect to the microlens array, and passes through the optical system Light receiving means for outputting a signal obtained by receiving the received light by the light receiving element array through the microlens array;
Control means for sequentially controlling charge accumulation for a plurality of different charge accumulation times for the photoelectric conversion element arrays corresponding to each of a plurality of focus detection areas set in an image plane by the optical system;
Based on an output signal of the photoelectric conversion element array corresponding to each of the plurality of focus detection regions for each of the plurality of different charge accumulation times, focus detection of the optical system is performed, and a plurality of focus detection results and A focus detection means for calculating a plurality of reliability determination results for the focus detection results ;
Selection means for selecting a predetermined focus detection area from the plurality of focus detection areas based on the plurality of focus detection results and the plurality of reliability determination results;
Focus adjusting means for adjusting the focus of the optical system based on a focus detection result in the selected focus detection region,
After the focus adjustment of the optical system by the focus adjustment unit, the control unit gives the highest reliability determination result corresponding to the selected focus detection region among the plurality of charge accumulation times. In the charge accumulation time, the photoelectric conversion element array corresponding to the selected focus detection region is again subjected to charge accumulation control, and the focus detection unit is configured to perform the charge accumulation control again in the photoelectric conversion element array. Based on the output signal of the optical system, the focus detection of the optical system is performed again, a focus detection result is calculated, and the focus adjustment unit performs the focus adjustment of the optical system again based on the focus detection result. focusing device for.
前記焦点調節手段による前記光学系の焦点調節の際の前記光学系の駆動量が所定の値以上か、否かを判定する駆動量判定手段を備え、
前記駆動量判定手段が、前記光学系の駆動量が前記所定の値以上であると判定した場合には、前記制御手段は、再度、前記複数の焦点検出領域の各々に対応する前記光電変換素子列に対して、複数の異なった電荷蓄積時間で順次、電荷蓄積制御を行い、
前記駆動量判定手段が、前記光学系の駆動量が前記所定の値未満であると判定した場合には、前記制御手段は前記再度の電荷蓄積制御を行い、前記焦点検出手段は前記再度の焦点検出を行い、前記焦点調節手段は前記再度の焦点調節を行うことを特徴とする焦点調節装置。 The focus adjustment apparatus according to claim 1,
Drive amount determination means for determining whether or not the drive amount of the optical system at the time of focus adjustment of the optical system by the focus adjustment means is greater than or equal to a predetermined value;
When the drive amount determination unit determines that the drive amount of the optical system is equal to or greater than the predetermined value, the control unit again performs the photoelectric conversion element corresponding to each of the plurality of focus detection regions. The charge accumulation control is sequentially performed on the column at a plurality of different charge accumulation times.
When the drive amount determination unit determines that the drive amount of the optical system is less than the predetermined value, the control unit performs the charge accumulation control again, and the focus detection unit performs the refocusing operation. performs detection, the focusing means focusing device which is characterized in that the focusing of the back.
前記光学系を透過した光を測光する測光手段を備え、
前記制御手段は、前記測光手段による測光結果に基づいて前記複数の電荷蓄積時間を決定することを特徴とする焦点調節装置。 In focusing device according to claim 1 or 2,
Photometric means for measuring light transmitted through the optical system ;
The focus adjustment apparatus, wherein the control means determines the plurality of charge accumulation times based on a photometric result obtained by the photometric means.
前記光学系による像を撮像する撮像手段とを備えたことを特徴とする撮像装置。 The focus adjustment apparatus according to any one of claims 1 to 3,
An imaging apparatus comprising: an imaging unit that captures an image by the optical system.
前記複数の異なった電荷蓄積時間として、第1の複数の電荷蓄積時間と、第2の複数の電荷蓄積時間とを記憶する記憶手段を備え、
前記撮像手段は前記像を連続的に撮像可能であり、
前記制御手段は、前記像を連続的に所定枚数、撮像した時の前記受光素子アレイの出力に基づき、前記第1及び第2の複数の電荷蓄積時間の一方を選択して、前記所定枚数の撮像後の撮像の際に前記選択した複数の電荷蓄積時間で電荷蓄積制御を行うことを特徴とする撮像装置。 The imaging apparatus according to claim 4 ,
A storage means for storing a first plurality of charge accumulation times and a second plurality of charge accumulation times as the plurality of different charge accumulation times;
The imaging means is capable of continuously capturing the image;
The control means selects one of the first and second plurality of charge accumulation times based on the output of the light receiving element array when a predetermined number of images are continuously captured, and the predetermined number of images An image pickup apparatus, wherein charge accumulation control is performed in the plurality of selected charge accumulation times during imaging after imaging.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008294383A JP5217942B2 (en) | 2008-11-18 | 2008-11-18 | Focus adjustment device and imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008294383A JP5217942B2 (en) | 2008-11-18 | 2008-11-18 | Focus adjustment device and imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010122356A JP2010122356A (en) | 2010-06-03 |
JP5217942B2 true JP5217942B2 (en) | 2013-06-19 |
Family
ID=42323770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008294383A Expired - Fee Related JP5217942B2 (en) | 2008-11-18 | 2008-11-18 | Focus adjustment device and imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5217942B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3247983A1 (en) | 2015-01-23 | 2017-11-29 | Rigaku Raman Technologies, Inc. | System and method to minimize nonrandom fixed pattern noise in spectrometers |
JP6960745B2 (en) | 2017-02-16 | 2021-11-05 | キヤノン株式会社 | Focus detector and its control method, program, storage medium |
JP2018129822A (en) * | 2018-03-05 | 2018-08-16 | 株式会社ニコン | Imaging apparatus |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001305422A (en) * | 2000-04-26 | 2001-10-31 | Olympus Optical Co Ltd | Range finder |
JP4553339B2 (en) * | 2001-01-10 | 2010-09-29 | キヤノン株式会社 | Storage time control method for image sensor and storage time control apparatus therefor |
JP5034556B2 (en) * | 2007-02-27 | 2012-09-26 | 株式会社ニコン | Focus detection apparatus and imaging apparatus |
-
2008
- 2008-11-18 JP JP2008294383A patent/JP5217942B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010122356A (en) | 2010-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5388544B2 (en) | Imaging apparatus and focus control method thereof | |
JP6405243B2 (en) | Focus detection apparatus and control method thereof | |
JP4692654B2 (en) | Imaging apparatus and image processing program | |
JP6062656B2 (en) | Imaging apparatus, control method, and program | |
JP5753371B2 (en) | Imaging apparatus and control method thereof | |
US10530994B2 (en) | Image capture apparatus, control method for image capture apparatus and non-transitory recording medium for combining image | |
JP6749791B2 (en) | Imaging device and automatic focusing method | |
JP5263310B2 (en) | Image generation apparatus, imaging apparatus, and image generation method | |
JP5500916B2 (en) | Imaging apparatus and control method thereof | |
JP4893334B2 (en) | Image tracking device and imaging device | |
JP4799366B2 (en) | Imaging apparatus and image reproduction apparatus | |
US9060119B2 (en) | Image capturing apparatus and control method for image capturing apparatus | |
JP2012226184A5 (en) | Imaging apparatus and control method thereof | |
JP5402298B2 (en) | Focus detection device and camera | |
US9602716B2 (en) | Focus-detection device, method for controlling the same, and image capture apparatus | |
JP2017126035A (en) | Imaging apparatus, control method, program, and storage medium | |
JP5446311B2 (en) | Imaging device | |
JP2008310072A (en) | Digital camera | |
JP5056136B2 (en) | Image tracking device | |
JP2010177860A (en) | Image composition apparatus, imaging apparatus, and image composition method | |
JP5217942B2 (en) | Focus adjustment device and imaging device | |
JP2013113857A (en) | Imaging device, and control method therefor | |
JP5832153B2 (en) | Imaging apparatus, control method thereof, and program | |
JP6561437B2 (en) | Focus adjustment device and imaging device | |
JP5359150B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110927 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120821 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130218 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |