JP5899707B2

JP5899707B2 - Imaging device

Info

Publication number: JP5899707B2
Application number: JP2011184290A
Authority: JP
Inventors: 渡部　剛; 剛渡部
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-08-26
Filing date: 2011-08-26
Publication date: 2016-04-06
Anticipated expiration: 2031-08-26
Also published as: JP2013046325A

Description

本発明は、撮像装置に関するものである。 The present invention relates to an imaging apparatus.

従来より、フリッカを検出するために、検出対象とするフリッカの周期よりも短い周期で画像データを読み出し、被写体の輝度変化を検出することで、フリッカを検出する技術が知られている（たとえば、特許文献１参照）。 Conventionally, in order to detect flicker, a technique for detecting flicker by reading out image data with a cycle shorter than the cycle of flicker to be detected and detecting a change in luminance of the subject is known (for example, Patent Document 1).

特開２００８−１１２２６号公報JP 2008-11226 A

しかしながら、従来技術では、手振れや撮影者のボタン操作による振動が生じた場合に、フリッカによる輝度変化を検出することが困難となり、フリッカを適切に検出できない場合があった。 However, in the prior art, when a hand shake or a vibration caused by a photographer's button operation occurs, it is difficult to detect a luminance change due to flicker, and flicker may not be detected appropriately.

本発明が解決しようとする課題は、フリッカを良好に検出できる撮像装置を提供することである。 The problem to be solved by the present invention is to provide an imaging apparatus capable of detecting flicker satisfactorily.

本発明は、以下の解決手段によって上記課題を解決する。なお、発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は発明の理解を容易にするためだけのものであって発明を限定する趣旨ではない。 The present invention solves the above problems by the following means. In addition, although the code | symbol corresponding to drawing which shows embodiment of this invention is attached | subjected and demonstrated, this code | symbol is only for making an understanding of invention easy, and is not the meaning which limits invention.

［１］本発明に係る撮像装置は、複数の画素が第１方向および前記第１方向と交差する第２方向に二次元状に配列され、検出対象とするフリッカの周期よりも短い周期で、前記第１方向に配列された画素により構成される画素列ごとに、画像信号を出力可能な撮像部（１１０）と、検出対象とするフリッカの周期よりも短い周期で、複数の前記画素列から出力された前記画像信号を、間引いて読み出す画像信号読み出し部（１７０）と、前記画像信号読み出し部により読み出された前記画像信号に基づいて、フレームごとに、被写体の輝度に関する評価値を検出して、前記評価値の時系列データを検出する評価値検出部（１７０）と、前記評価値検出部が検出した前記評価値の時系列データを補正することで、正規化処理を行う処理部（１７０）と、前記正規化処理が行われたデータに基づいて、フリッカの検出を行うフリッカ検出部（１７０）と、を備える。
［２］上記撮像装置に係る発明において、前記処理部は、前記評価値の時系列データに存在する複数の極大値および／または複数の極小値が同じ値となるように正規化処理を行うように構成することができる。 [1] an imaging apparatus according to the present invention, a plurality of pixels arranged in the second direction in two dimensions crossing the first direction and the first direction, in a shorter period than the period of flicker to be detected, For each pixel column composed of pixels arranged in the first direction , the imaging unit (110) that can output an image signal and a plurality of the pixel columns with a cycle shorter than the cycle of flicker to be detected. the outputted the image signal, an image signal read-out part for thinning out and reading out (170), wherein on the basis of the image signal read out by the image signal read-out unit, for each frame, search out an evaluation value regarding brightness of the object Te, evaluation value detecting unit that it detects the time-series data of the evaluation value (170), that the evaluation value detecting unit corrects the time series data of the evaluation value detected, performs the normalization process Processing unit (17 ) And, on the basis of the normalization process is performed data, flicker detection unit for detecting a flicker and (170), Ru comprising a.
[2] In the invention related to the imaging apparatus, the processing unit performs normalization processing so that a plurality of maximum values and / or a plurality of minimum values existing in the time-series data of the evaluation values have the same value. Can be configured.

［３］上記撮像装置に係る発明において、前記処理部（１７０）は、前記評価値の時系列データの正規化処理を行う際に、前記評価値の時系列データを構成する各評価値を、該評価値が得られたフレームの前後の所定数のフレーム内で得られた前記極小値で減算するオフセット除去処理を行うように構成することができる。 [3] In the invention according to the imaging device, wherein the processing unit (170), when carrying out a normalization process of the time-series data of the evaluation value, the evaluation values constituting the time-series data of the evaluation value, An offset removal process for subtracting the minimum value obtained in a predetermined number of frames before and after the frame from which the evaluation value is obtained can be performed.

［４］上記撮像装置に係る発明において、前記処理部（１７０）は、前記評価値の時系列データの正規化処理を行う際に、前記オフセット除去処理を行った各評価値を、該評価値が得られたフレームの前後の前記所定数のフレーム内で得られた前記極大値で除算するように構成することができる。 [ 4 ] In the invention relating to the imaging apparatus, the processing unit (170) may use the evaluation value obtained by performing the offset removal processing as the evaluation value when performing the time-series data normalization processing of the evaluation value. Is divided by the maximum value obtained in the predetermined number of frames before and after the obtained frame.

［５］上記撮像装置に係る発明において、前記フリッカ検出部（１７０）は、前記正規化処理が行われた各評価値が、所定閾値以上であるか否かに基づいて、各評価値を２値化することで、前記評価値データ列の２値化処理を行ない、前記２値化処理された前記評価値データ列に基づいて、フリッカの検出を行うように構成することができる。 [ 5 ] In the invention related to the imaging apparatus, the flicker detection unit (170) sets each evaluation value to 2 based on whether each evaluation value subjected to the normalization processing is equal to or greater than a predetermined threshold value. By binarizing, the evaluation value data string can be binarized, and flicker can be detected based on the binarized evaluation value data string.

［６］上記撮像装置に係る発明において、前記所定数は、光源に用いる商用電源の１周期において、前記評価値検出部（１７０）により検出可能な前記評価値の数であるように構成することができる。 [6] In the invention according to the imaging apparatus, wherein the predetermined number, in one period of the commercial power source used for light sources, which are configured such that the number of detectable the evaluation value by the evaluation value detector (170) be able to.

［７］上記撮像装置に係る発明において、前記処理部（１７０）は、検出対象とするフリッカの周波数に応じて、前記所定数を切り替えるように構成することができる。 [ 7 ] In the invention related to the imaging apparatus, the processing unit (170) may be configured to switch the predetermined number in accordance with a flicker frequency to be detected.

［８］上記撮像装置に係る発明において、前記処理部（１７０）は、撮像画面全体の輝度に対応する評価値からなる前記評価値の時系列データ、および、撮像画面を分割した複数の領域の輝度のうち最大の輝度に対応する評価値からなる評価値の時系列データに対して、前記正規化処理を行い、前記フリッカ検出部（１７０）は、前記正規化処理が行われた、撮像画面全体の輝度に対応する評価値からなる評価値の時系列データ、または、撮像画面を分割した複数の領域の輝度のうち最大の輝度に対応する評価値のうちいずれか一方に基づいて、フリッカを検出するように構成することができる。 [ 8 ] In the invention related to the imaging apparatus, the processing unit (170) includes the time-series data of the evaluation values composed of evaluation values corresponding to the luminance of the entire imaging screen, and a plurality of areas obtained by dividing the imaging screen. The normalization process is performed on the time-series data of the evaluation values including the evaluation value corresponding to the maximum luminance among the luminances, and the flicker detection unit (170) is the imaging screen on which the normalization processing has been performed. Based on either time-series data of evaluation values consisting of evaluation values corresponding to the overall luminance, or evaluation values corresponding to the maximum luminance among the luminance values of a plurality of areas obtained by dividing the imaging screen, flicker is performed. It can be configured to detect.

［９］上記撮像装置に係る発明において、前記処理部（１７０）は、スルー画像を表示している際、または動画像を撮影している際に、前記正規化処理を行うように構成することができる。 [ 9 ] In the invention relating to the imaging apparatus, the processing unit (170) is configured to perform the normalization process when a through image is displayed or a moving image is captured. Can do.

［１０］上記撮像装置に係る発明において、前記フリッカ検出部（１７０）により検出されたフリッカに基づいて、被写体の輝度に応じた適切な露出を得るための、絞りとシャッター速度との組み合わせを予め設定したプログラム線図を変更する制御部（１７０）をさらに備えるように構成することができる。
[ 10 ] In the invention relating to the imaging apparatus, a combination of an aperture and a shutter speed for obtaining an appropriate exposure according to the luminance of the subject based on the flicker detected by the flicker detection unit (170) in advance. It can comprise so that the control part (170) which changes the set program diagram may be further provided.

本発明によれば、フリッカを良好に検出することができる。 According to the present invention, flicker can be detected well.

図１は、本実施形態に係る一眼レフデジタルカメラ１を示すブロック図である。FIG. 1 is a block diagram showing a single-lens reflex digital camera 1 according to this embodiment. 図２は、本実施形態に係る撮像素子の撮像面を示す図である。FIG. 2 is a diagram illustrating an imaging surface of the imaging device according to the present embodiment. 図３は、本実施形態に係るカメラの動作を示すフローチャートある。FIG. 3 is a flowchart showing the operation of the camera according to the present embodiment. 図４は、平均輝度データ列の一例を示す図である。FIG. 4 is a diagram illustrating an example of the average luminance data string. 図５は、図４に示す平均輝度データ列の一部を抜き出して示した図である。FIG. 5 is a diagram showing a part of the average luminance data string shown in FIG. 図６は、オフセット除去処理後の図５に示す平均輝度データ列を示す図である。FIG. 6 is a diagram showing the average luminance data string shown in FIG. 5 after the offset removal processing. 図７は、正規化処理後の図６に示す平均輝度データ列を示す図である。FIG. 7 is a diagram showing the average luminance data string shown in FIG. 6 after normalization processing. 図８は、２値化処理後の図４に示す平均輝度データ列を示す図である。FIG. 8 is a diagram showing the average luminance data string shown in FIG. 4 after binarization processing.

以下においては、本発明を一眼レフデジタルカメラに適用した実施形態を図面に基づいて説明する。 In the following, an embodiment in which the present invention is applied to a single-lens reflex digital camera will be described with reference to the drawings.

図１は、本実施形態に係る一眼レフデジタルカメラ１を示すブロック図であり、本発明の撮像装置に関する構成以外のカメラの一般的構成については、その図示と説明を一部省略する。 FIG. 1 is a block diagram showing a single-lens reflex digital camera 1 according to this embodiment, and illustration and description of a general configuration of the camera other than the configuration related to the imaging apparatus of the present invention are partially omitted.

本実施形態の一眼レフデジタルカメラ１（以下、単にカメラ１という。）は、カメラボディ１００とレンズ鏡筒２００とを備え、カメラボディ１００とレンズ鏡筒２００とは着脱可能に結合されている。本実施形態のカメラ１においては、レンズ鏡筒２００は、撮影目的などに応じて、交換可能となっている。 The single-lens reflex digital camera 1 of this embodiment (hereinafter simply referred to as the camera 1) includes a camera body 100 and a lens barrel 200, and the camera body 100 and the lens barrel 200 are detachably coupled. In the camera 1 of the present embodiment, the lens barrel 200 is replaceable depending on the purpose of shooting.

レンズ鏡筒２００には、レンズ２１１，２１２，２１３、および絞り２２０を含む撮影光学系が内蔵されている。 The lens barrel 200 incorporates a photographing optical system including lenses 211, 212, 213 and a diaphragm 220.

フォーカスレンズ２１２は、レンズ鏡筒２００の光軸Ｌ１に沿って移動可能に設けられ、エンコーダ２６０によってその位置が検出されつつフォーカスレンズ駆動モータ２３０によってその位置が調節される。そして、エンコーダ２６０で検出されたフォーカスレンズ２１２の現在位置情報は、レンズ制御部２５０を介して後述するカメラ制御部１７０へ送出される。そして、この情報に基づいて演算されたフォーカスレンズ２１２の駆動量Δｄが、カメラ制御部１７０からレンズ制御部２５０を介して送出され、これに基づいて、フォーカスレンズ駆動モータ２３０は駆動する。 The focus lens 212 is provided so as to be movable along the optical axis L1 of the lens barrel 200, and its position is adjusted by the focus lens drive motor 230 while its position is detected by the encoder 260. Then, the current position information of the focus lens 212 detected by the encoder 260 is sent to the camera control unit 170 described later via the lens control unit 250. Then, the driving amount Δd of the focus lens 212 calculated based on this information is sent from the camera control unit 170 via the lens control unit 250, and the focus lens driving motor 230 is driven based on this.

絞り２２０は、上記撮影光学系を通過して、カメラボディ１００に備えられた撮像素子１１０に至る光束の光量を制限するとともにボケ量を調整するために、光軸Ｌ１を中心にした開口径が調節可能に構成されている。絞り２２０による開口径の調節は、たとえば自動露出モードにおいて演算された適切な開口径が、カメラ制御部１７０からレンズ制御部２５０を介して絞り駆動部２４０へ送信されることにより行われる。また、開口径の調節は、カメラボディ１００に設けられた操作部１５０を介したマニュアル操作により、設定された開口径がカメラ制御部１７０からレンズ制御部２５０を介して絞り駆動部２４０へ送信されることによっても行われる。なお、絞り２２０の開口径は図示しない絞り開口センサにより検出され、レンズ制御部２５０で現在の開口径が認識される。 The aperture 220 has an aperture diameter centered on the optical axis L1 in order to limit the amount of light flux that passes through the imaging optical system and reaches the image sensor 110 provided in the camera body 100 and adjusts the amount of blur. It is configured to be adjustable. Adjustment of the aperture diameter by the aperture 220 is performed by transmitting an appropriate aperture diameter calculated in the automatic exposure mode from the camera control unit 170 to the aperture drive unit 240 via the lens control unit 250, for example. In addition, the adjustment of the aperture diameter is performed by a manual operation via the operation unit 150 provided in the camera body 100, and the set aperture diameter is transmitted from the camera control unit 170 to the aperture drive unit 240 via the lens control unit 250. Is also done. The aperture diameter of the aperture 220 is detected by an aperture aperture sensor (not shown), and the lens controller 250 recognizes the current aperture diameter.

一方、カメラボディ１００は、被写体からの光束を撮像素子１１０、ファインダ１３５、測光センサ１３７および焦点検出モジュール１６０へ導くためのミラー系１２０を備える。このミラー系１２０は、回転軸１２３を中心にして被写体の観察位置と撮影位置との間で所定角度だけ回転するクイックリターンミラー１２１と、このクイックリターンミラー１２１に軸支されてクイックリターンミラー１２１の回動に合わせて回転するサブミラー１２２とを備える。図１においては、ミラー系１２０が被写体の観察位置にある状態を実線で示し、被写体の撮影位置にある状態を二点鎖線で示す。 On the other hand, the camera body 100 includes a mirror system 120 for guiding the light flux from the subject to the image sensor 110, the finder 135, the photometric sensor 137, and the focus detection module 160. The mirror system 120 includes a quick return mirror 121 that rotates by a predetermined angle between the observation position and the photographing position of the subject around the rotation axis 123, and the quick return mirror 121 that is pivotally supported by the quick return mirror 121. And a sub mirror 122 that rotates in accordance with the rotation. In FIG. 1, a state where the mirror system 120 is at the observation position of the subject is indicated by a solid line, and a state where the mirror system 120 is at the photographing position of the subject is indicated by a two-dot chain line.

ミラー系１２０は、被写体の観察位置にある状態では光軸Ｌ１の光路上に挿入される一方で、被写体の撮影位置にある状態では光軸Ｌ１の光路から退避するように回転する。 The mirror system 120 is inserted on the optical path of the optical axis L1 in the state where the subject is in the observation position, while rotating so as to retract from the optical path of the optical axis L1 in the state where the subject is in the photographing position.

クイックリターンミラー１２１はハーフミラーで構成され、被写体の観察位置にある状態では、被写体からの光束（光軸Ｌ１）の一部の光束（光軸Ｌ２，Ｌ３）を当該クイックリターンミラー１２１で反射してファインダ１３５および測光センサ１３７へ導き、一部の光束（光軸Ｌ４）を透過させてサブミラー１２２へ導く。これに対して、サブミラー１２２は全反射ミラーで構成され、クイックリターンミラー１２１を透過した光束（光軸Ｌ４）を焦点検出モジュール１６０へ導く。 The quick return mirror 121 is composed of a half mirror, and in a state where the subject is at the observation position, the quick return mirror 121 reflects a part of the light flux (optical axes L2 and L3) from the subject (optical axis L1). Then, the light is guided to the finder 135 and the photometric sensor 137, and a part of the light beam (optical axis L4) is transmitted and guided to the sub mirror 122. On the other hand, the sub mirror 122 is configured by a total reflection mirror, and guides the light beam (optical axis L4) transmitted through the quick return mirror 121 to the focus detection module 160.

したがって、ミラー系１２０が観察位置にある場合は、被写体からの光束（光軸Ｌ１）はファインダ１３５、測光センサ１３７および焦点検出モジュール１６０へ導かれ、撮影者により被写体が観察されるとともに、露出演算やフォーカスレンズ２１２の焦点調節状態の検出が実行される。そして、撮影者がレリーズボタン（不図示）を全押しするとミラー系１２０が撮影位置に回動し、被写体からの光束（光軸Ｌ１）は全て撮像素子１１０へ導かれ、撮影した画像データを図示しないメモリに保存する。 Therefore, when the mirror system 120 is at the observation position, the light beam (optical axis L1) from the subject is guided to the finder 135, the photometric sensor 137, and the focus detection module 160, and the subject is observed by the photographer and exposure calculation is performed. And the focus adjustment state of the focus lens 212 is detected. When the photographer fully presses a release button (not shown), the mirror system 120 is rotated to the photographing position, and all the light flux (optical axis L1) from the subject is guided to the image sensor 110, and the photographed image data is illustrated. Do not save to memory.

クイックリターンミラー１２０で反射された被写体からの光束は、撮像素子１１０と光学的に等価な面に配置された焦点板１３１に結像し、ペンタプリズム１３３と接眼レンズ１３４とを介して観察可能になっている。このとき、透過型液晶表示器１３２は、焦点板１３１上の被写体像に焦点検出エリアマークなどを重畳して表示するとともに、被写体像外のエリアにシャッター速度、絞り値、撮影枚数などの撮影に関する情報を表示する。これにより、撮影者は、撮影準備状態において、ファインダ１３５を通して被写体およびその背景ならびに撮影関連情報などを観察することができる。 The light beam from the subject reflected by the quick return mirror 120 forms an image on a focusing screen 131 disposed on a surface optically equivalent to the image sensor 110 and can be observed through the pentaprism 133 and the eyepiece lens 134. It has become. At this time, the transmissive liquid crystal display 132 superimposes and displays a focus detection area mark on the subject image on the focusing screen 131 and relates to shooting such as the shutter speed, aperture value, and number of shots in an area outside the subject image. Display information. As a result, the photographer can observe the subject, its background, and photographing related information through the finder 135 in the photographing preparation state.

測光センサ１３７は、二次元カラーＣＣＤイメージセンサなどで構成され、撮影の際の露出値を演算するため、撮像画面を複数の領域に分割して領域ごとの輝度に応じた測光信号を出力する。測光センサ１３７で検出された信号はカメラ制御部１７０へ出力され、たとえば、静止画を撮影する際の自動露出制御に用いられる。 The photometric sensor 137 is composed of a two-dimensional color CCD image sensor or the like, and divides the imaging screen into a plurality of areas and outputs a photometric signal corresponding to the luminance of each area in order to calculate an exposure value at the time of shooting. The signal detected by the photometric sensor 137 is output to the camera control unit 170, and is used, for example, for automatic exposure control when shooting a still image.

焦点検出モジュール１６０は、被写体光を用いた位相差検出方式による自動合焦制御を実行するための焦点検出素子であり、サブミラー１２２で反射した光束（光軸Ｌ４）の、撮像素子１１０の撮像面と光学的に等価な位置に固定されている。 The focus detection module 160 is a focus detection element for executing automatic focusing control by a phase difference detection method using subject light, and the imaging surface of the imaging element 110 of the light beam (optical axis L4) reflected by the sub mirror 122. It is fixed at an optically equivalent position.

撮像素子１１０は、カメラボディ１００の、被写体からの光束の光軸Ｌ１上であって、レンズ２１１，２１２，２１３を含む撮影光学系の予定焦点面となる位置に設けられ、その前面にシャッター１１１が設けられている。本実施形態に係る撮像素子１１０は、その撮像面に、複数の光電変換素子が水平方向および垂直方向に二次元状に配列されており、たとえば、水平方向に配列された画素列（走査ライン）ごとにシャッターを切るローリングシャッター方式により駆動する、ＭＯＳイメージセンサで構成されている。撮像素子１１０で光電変換された電気画像信号は、カメラ制御部１７０で画像処理されたのち図示しないメモリに保存される。なお、撮影画像を格納するメモリは内蔵型メモリやカード型メモリなどで構成することができる。 The image sensor 110 is provided on the optical axis L1 of the light beam from the subject of the camera body 100 and at a position that is a planned focal plane of the photographing optical system including the lenses 211, 212, and 213, and a shutter 111 is provided on the front surface thereof. Is provided. In the imaging device 110 according to the present embodiment, a plurality of photoelectric conversion elements are arranged two-dimensionally in the horizontal direction and the vertical direction on the imaging surface. For example, a pixel row (scanning line) arranged in the horizontal direction. It is composed of a MOS image sensor that is driven by a rolling shutter system in which the shutter is released every time. The electrical image signal photoelectrically converted by the image sensor 110 is subjected to image processing by the camera control unit 170 and then stored in a memory (not shown). Note that the memory for storing the photographed image can be constituted by a built-in memory or a card-type memory.

また、本実施形態において、撮像素子１１０は、図２に示すように、１５個の分割領域に区分されており、各分割領域における被写体の輝度を検出することができる。ただし、この分割領域の数は、１５個に限定されず、適宜設定することができる。 In the present embodiment, the image sensor 110 is divided into 15 divided areas as shown in FIG. 2, and the luminance of the subject in each divided area can be detected. However, the number of the divided regions is not limited to 15 and can be set as appropriate.

操作部１５０は、シャッターレリーズボタン、動画撮影ボタン、および撮影者がカメラ１の各種動作モードを設定するための入力スイッチであり、自動露出モード／マニュアル露出モード、オートフォーカスモード／マニュアルフォーカスモードの切換などの設定が行えるようになっている。また、シャッターレリーズボタンのスイッチは、ボタンの半押しでＯＮとなる第１スイッチＳＷ１と、ボタンの全押しでＯＮとなる第２スイッチＳＷ２とを含む。 The operation unit 150 is a shutter release button, a moving image shooting button, and an input switch for the photographer to set various operation modes of the camera 1, and switches between automatic exposure mode / manual exposure mode, auto focus mode / manual focus mode. Etc. can be set. The shutter release button switch includes a first switch SW1 that is turned on when the button is half-pressed and a second switch SW2 that is turned on when the button is fully pressed.

カメラボディ１００にはカメラ制御部１７０が設けられている。カメラ制御部１７０はマイクロプロセッサ、ＡＳＩＣ、ＲＡＭなどの周辺部品から構成され、撮像素子１１０から出力された画像データを取得する。そして、カメラ制御部１７０は、撮像素子１１０から出力された画像データに、所定の画像処理を施すことで、スルー画像および撮像画像の生成を行う。また、カメラ制御部１７０は、レンズ制御部２５０と電気的に接続され、レンズ制御部２５０から、レンズ鏡筒２００の焦点調節範囲の情報などを含むレンズ情報を受信するとともに、レンズ制御部２５０へ絞り制御信号などの情報を送信する。さらに、カメラ制御部１７０は、動画撮影時やスルー画像表示時に、撮像素子１１０から画像データを読み出し、読み出した画像データに基づいて、フリッカ光源に起因するフリッカの検出を行う。なお、フリッカの検出方法については、後述する。 The camera body 100 is provided with a camera control unit 170. The camera control unit 170 includes peripheral components such as a microprocessor, ASIC, and RAM, and acquires image data output from the image sensor 110. Then, the camera control unit 170 generates a through image and a captured image by performing predetermined image processing on the image data output from the image sensor 110. The camera control unit 170 is electrically connected to the lens control unit 250, receives lens information including information on the focus adjustment range of the lens barrel 200 from the lens control unit 250, and sends the lens information to the lens control unit 250. Information such as an aperture control signal is transmitted. Further, the camera control unit 170 reads image data from the image sensor 110 during moving image shooting or through-image display, and detects flicker caused by a flicker light source based on the read image data. A flicker detection method will be described later.

液晶モニタ１９０は、カメラボディ１００の背面に設けられ、撮像素子１１０により得られた画像データに基づくスルー画像を、液晶モニタ１９０が備えるディスプレイに表示する。 The liquid crystal monitor 190 is provided on the back surface of the camera body 100 and displays a through image based on the image data obtained by the image sensor 110 on a display included in the liquid crystal monitor 190.

次に、図３を参照して、本実施形態に係るカメラ１の動作例を説明する。図３は、カメラ１の動作例を示すフローチャートである。なお、以下に説明するカメラ１の動作は、たとえば、撮影者により操作部１５０に備えられた動画撮影ボタンがオンされ、動画撮影が開始されることで開始される。 Next, an operation example of the camera 1 according to the present embodiment will be described with reference to FIG. FIG. 3 is a flowchart illustrating an operation example of the camera 1. Note that the operation of the camera 1 described below is started when, for example, a moving image shooting button provided on the operation unit 150 is turned on by the photographer and moving image shooting is started.

ステップＳ１０１では、カメラ制御部１７０により、ミラー系１２０を撮影位置に回動するミラーアップ処理が行われる。これにより、被写体からの光束（光軸Ｌ１）が全て撮像素子１１０へと導かれることとなる。 In step S101, the camera control unit 170 performs mirror-up processing for rotating the mirror system 120 to the photographing position. As a result, all the luminous flux (optical axis L1) from the subject is guided to the image sensor 110.

そして、ステップＳ１０２では、撮像素子１１０により、フリッカ検出用の電荷の蓄積が開始される。これにより、検出対象とするフリッカの周期よりも短い周期で、撮像素子１１０の蓄積が繰り返し行われ、蓄積された電荷に基づく画像データが、カメラ制御部１７０により読み出される。なお、本実施形態においては、商用電源を用いるフリッカ光源のフリッカを検出するものとする。一般に、商用電源の周波数は５０Ｈｚまたは６０Ｈｚであるため、商用電源を用いるフリッカ光源に起因するフリッカの周期は、５０Ｈｚの電源で１０ｍｓ、６０Ｈｚの電源で８．３ｍｓとなる。そこで、このような商用電源を用いるフリッカ光源のフリッカを検出するために、撮像素子１１０により、たとえば８．３ｍｓよりも短い周期で、蓄積が繰り返されるとともに、画像データが出力される。 In step S102, the image sensor 110 starts to accumulate charges for flicker detection. As a result, the image sensor 110 is repeatedly accumulated at a cycle shorter than the flicker cycle to be detected, and the image data based on the accumulated charge is read by the camera control unit 170. In the present embodiment, flicker of a flicker light source using a commercial power source is detected. Generally, since the frequency of the commercial power source is 50 Hz or 60 Hz, the flicker cycle caused by the flicker light source using the commercial power source is 10 ms for the 50 Hz power source and 8.3 ms for the 60 Hz power source. Therefore, in order to detect flicker of a flicker light source using such a commercial power source, the image sensor 110 repeats accumulation at a cycle shorter than 8.3 ms, for example, and outputs image data.

また、本実施形態では、フリッカの周期よりも短い周期で、撮像素子１１０の蓄積を繰り返し行うために、撮像素子１１０のゲイン（ＩＳＯ感度）を上げて、フリッカ検出用の蓄積が行われる。また、本実施形態では、フリッカの周期よりも短い周期で、撮像素子１１０から画像データを読み出すために、カメラ制御部１７０は、撮像素子１１０で得られた画像データを間引いて読み出す。たとえば、カメラ制御部１７０は、撮像素子１１０に配列された画素列のうちの複数の画素列から出力された画像データのみを読み出すことで、撮像素子１１０から画像データを間引いて読み出すことができる。そして、カメラ制御部１７０により読み出された画像データは、時系列に沿って、カメラ制御部１７０に備えるメモリに記憶される。 Further, in the present embodiment, in order to repeatedly accumulate the image sensor 110 at a cycle shorter than the flicker cycle, the gain (ISO sensitivity) of the image sensor 110 is increased and flicker detection accumulation is performed. In the present embodiment, the camera control unit 170 reads out the image data obtained by the image sensor 110 by thinning out the image data from the image sensor 110 at a cycle shorter than the flicker cycle. For example, the camera control unit 170 can read out the image data from the image sensor 110 by reading out only the image data output from a plurality of pixel columns among the pixel columns arranged in the image sensor 110. The image data read by the camera control unit 170 is stored in a memory provided in the camera control unit 170 in time series.

ステップＳ１０３では、カメラ制御部１７０により、フリッカ検出用の蓄積が所定回数以上行われたか否かの判断が行われる。フリッカ検出用の蓄積が所定回数以上行われている場合には、ステップＳ１０４に進み、一方、フリッカ検出用の蓄積が所定回数以上行われていない場合は、ステップＳ１０３で待機し、フリッカ検出用の蓄積を繰り返す。 In step S103, the camera control unit 170 determines whether or not flicker detection accumulation has been performed a predetermined number of times or more. If the accumulation for flicker detection has been performed a predetermined number of times or more, the process proceeds to step S104. On the other hand, if the accumulation for flicker detection has not been performed for the predetermined number of times or more, the process waits in step S103. Repeat accumulation.

そして、ステップＳ１０４では、まず、カメラ制御部１７０により、フリッカ検出用に撮像素子１１０から読み出された画像データに基づいて、輝度値の検出が行われる。具体的には、カメラ制御部１７０は、図２に示すように、撮像素子１１０の各分割領域で得られた画像データに基づいて、各分割領域ごとの輝度値を算出する。さらに、カメラ制御部１７０は、全ての分割領域の輝度値の平均値を、撮像素子１１０の全領域における平均輝度値として算出するとともに、全ての分割領域の輝度値のうち最大となる輝度値を、最大輝度値として検出する。同様に、カメラ制御部１７０は、撮像素子１１０から時系列に沿って読み出した他の画像データについても、平均輝度値および最大輝度値を検出し、これにより、最大輝度値の時系列データである最大輝度データ列と、平均輝度値の時系列データである平均輝度データ列とを取得する。 In step S104, first, the camera control unit 170 detects a luminance value based on the image data read from the image sensor 110 for flicker detection. Specifically, as shown in FIG. 2, the camera control unit 170 calculates a luminance value for each divided region based on image data obtained in each divided region of the image sensor 110. Furthermore, the camera control unit 170 calculates the average value of the luminance values of all the divided regions as the average luminance value in all the regions of the image sensor 110, and calculates the maximum luminance value among the luminance values of all the divided regions. , Detected as the maximum luminance value. Similarly, the camera control unit 170 detects the average luminance value and the maximum luminance value for other image data read out in time series from the image sensor 110, and thereby the time series data of the maximum luminance value. A maximum luminance data string and an average luminance data string that is time-series data of average luminance values are acquired.

ここで、図４は、輝度データ列の一例を示す図である。なお、図４において、縦軸は、輝度値の大きさを示しており、横軸は、輝度値が検出されたフレーム番号を示している。なお、フレーム番号は、フリッカ検出用の蓄積が開始された後、最初に読み出された画像データに基づく輝度値が、１フレーム目となり、次いで読み出された画像データに基づく輝度値が、２フレーム目となる。図４に示す例では、フリッカ光源の周期的な明滅に起因して、フリッカが発生しており、そのため、図４に示すように、輝度値が周期的に変化する輝度データ列が検出される。また、図４に示す例では、手振れや撮影者のボタン操作に起因する振動により、輝度データ列が全体的に傾いて推移している（図４に示す例では、輝度データ列における極小値および極大値が、フレーム数が大きくなるほど、大きくなるように推移している。）。このような輝度データ列内の輝度値の変化は、フリッカ光源による輝度変化に起因するものではないため、このように手振れや撮影者のボタン操作に起因する振動が生じた場合に、輝度データ列に基づいて、フリッカによる輝度変化を検出することが困難となる場合がある。そのため、本実施形態では、以下に説明する処理を、輝度データ列に対して実行する。 Here, FIG. 4 is a diagram illustrating an example of a luminance data string. In FIG. 4, the vertical axis indicates the magnitude of the luminance value, and the horizontal axis indicates the frame number where the luminance value is detected. The frame number indicates that the luminance value based on the image data read first after the start of flicker detection accumulation is the first frame, and then the luminance value based on the read image data is 2 It becomes the frame eye. In the example shown in FIG. 4, flicker occurs due to the periodic flickering of the flicker light source. Therefore, as shown in FIG. 4, a luminance data string whose luminance value changes periodically is detected. . In the example shown in FIG. 4, the luminance data string is inclined overall as a result of camera shake or vibration caused by the photographer's button operation (in the example shown in FIG. 4, the minimum value in the luminance data string and The maximum value is increasing as the number of frames increases.) Such a change in the luminance value in the luminance data string is not caused by a luminance change caused by the flicker light source. Therefore, when such a vibration due to camera shake or a photographer's button operation occurs, the luminance data string is changed. Therefore, it may be difficult to detect a luminance change due to flicker. Therefore, in the present embodiment, the process described below is executed on the luminance data string.

ステップＳ１０５では、カメラ制御部１７０により、ステップＳ１０４で検出された最大輝度データ列および平均輝度データ列に対して、オフセット除去処理が実行される。ここで、図５は、図４に示す平均輝度データ列の一部を抜き出して示した図であり、図６は、オフセット除去処理後の図５に示す平均輝度データ列を示す図である。以下においては、図５および図６を参照して、平均輝度データ列に対するオフセット除去処理について説明するが、本実施形態においては、最大輝度データ列についても、同様にオフセット除去処理が行われる。なお、図５および図６においては、図４と同様に、縦軸は、輝度値の大きさを示しており、横軸は、輝度値が検出されたフレーム番号を示している。 In step S105, the camera controller 170 performs an offset removal process on the maximum luminance data string and the average luminance data string detected in step S104. Here, FIG. 5 is a diagram showing a part of the average luminance data sequence shown in FIG. 4, and FIG. 6 is a diagram showing the average luminance data sequence shown in FIG. 5 after the offset removal processing. In the following, the offset removal process for the average luminance data string will be described with reference to FIGS. 5 and 6. In the present embodiment, the offset removal process is similarly performed for the maximum luminance data string. In FIGS. 5 and 6, as in FIG. 4, the vertical axis indicates the magnitude of the luminance value, and the horizontal axis indicates the frame number where the luminance value is detected.

すなわち、カメラ制御部１７０は、まず、検出対象とするフリッカの１周期で得られる輝度値の数を算出する。ここで、フリッカ光源は、所定のフリッカ周期で明滅を繰り返しており、このフリッカ周期は、商用電源を用いる光源においては、５０Ｈｚの電源で１０ｍｓ、６０Ｈｚの電源で８．３ｍｓとなる。そのため、撮像素子１１０がフリッカ検出用の蓄積を、たとえば１０００ｆｐｓ（１ｍｓ周期）で行う場合には、カメラ制御部１７０は、フリッカの１周期で８〜１０個の輝度値を算出することができる。このような場合、カメラ制御部１７０は、検出対象とするフリッカの１周期で得られる輝度値の数を８〜１０個として算出する。 That is, the camera control unit 170 first calculates the number of luminance values obtained in one cycle of flicker to be detected. Here, the flicker light source repeats blinking at a predetermined flicker cycle, and this flicker cycle is 10 ms for a 50 Hz power source and 8.3 ms for a 60 Hz power source in a light source using a commercial power source. Therefore, when the image sensor 110 performs flicker detection accumulation at, for example, 1000 fps (1 ms cycle), the camera control unit 170 can calculate 8 to 10 luminance values in one flicker cycle. In such a case, the camera control unit 170 calculates the number of luminance values obtained in one cycle of flicker to be detected as 8 to 10.

次いで、カメラ制御部１７０は、輝度値が極小となる極小値の検出を行う。たとえば、フリッカの１周期で得られる輝度値の数が１０個である場合、連続して得られた１０フレームの輝度値の中に、輝度値が極大となる極大値と、輝度値が極小となる極小値が存在するものと考えられる。そこで、図５に示すように、Ｎフレーム目の輝度値に対して、オフセット除去処理を行う場合、カメラ制御部１７０は、Ｎフレーム目の輝度値を中心として、フリッカの１周期に相当する輝度値を検出できる範囲内、すなわち、Ｎ−５フレーム目からＮ＋５フレーム目までの範囲内において、輝度値が極小となる極小値を検出する。その結果、図５に示す例では、Ｎ−３フレーム目の輝度値が極小値として検出される。 Next, the camera control unit 170 detects a minimum value at which the luminance value is minimum. For example, when the number of luminance values obtained in one cycle of flicker is 10, among the luminance values of 10 frames obtained continuously, the maximum value where the luminance value is maximum, and the luminance value is minimum. It is considered that there exists a local minimum value. Therefore, as shown in FIG. 5, when the offset removal process is performed on the luminance value of the Nth frame, the camera control unit 170 has a luminance corresponding to one flicker cycle centering on the luminance value of the Nth frame. Within a range in which the value can be detected, that is, within a range from the N-5th frame to the N + 5th frame, a minimum value at which the luminance value is minimized is detected. As a result, in the example shown in FIG. 5, the luminance value of the N-3th frame is detected as the minimum value.

そして、カメラ制御部１７０は、オフセット除去処理の対象となる輝度値を、検出された極小値で減算することで、オフセット除去処理を実行する。たとえば、図５に示すように、Ｎフレーム目の輝度値に対して、オフセット除去処理を行う場合、カメラ制御部１７０は、Ｎフレーム目の輝度値を、検出されたＮ−３フレーム目の極小値で減算する。たとえば、図５に示すように、Ｎ−３フレーム目の極小値の値がＢ_１であり、Ｎフレーム目の輝度値の値がＢ_２である場合に、Ｎフレーム目の輝度値についてオフセット除去処理を行うことで、図６に示すように、オフセット除去処理されたＮフレーム目の輝度値はＢ_２−Ｂ_１となる。同様に、平均輝度データ列を構成する他の輝度値についてもオフセット除去処理が行われ、その結果、図６に示す例では、極小値であるＮ−３フレーム目の輝度値は０となり、他の輝度値もそれぞれ対応する極小値で減算される。そして、このように、平均輝度データ列を構成する全ての輝度値についてオフセット処理を行うことにより、平均輝度データ列のオフセット除去処理が行われる。 Then, the camera control unit 170 performs the offset removal process by subtracting the luminance value that is the target of the offset removal process by the detected minimum value. For example, as illustrated in FIG. 5, when performing the offset removal process on the luminance value of the Nth frame, the camera control unit 170 sets the luminance value of the Nth frame to the detected minimum value of the N-3th frame. Subtract by value. For example, as shown in FIG. 5, the value of the minimum value of N-3-th frame is B _1, if the value of the brightness values of N th frame is B _2, offset removal luminance values of N th frame By performing the process, the luminance value of the Nth frame subjected to the offset removal process is B ₂ -B ₁ as shown in FIG. Similarly, offset removal processing is also performed on other luminance values constituting the average luminance data string. As a result, in the example illustrated in FIG. 6, the luminance value of the N-3th frame, which is the minimum value, is 0. Are also subtracted by the corresponding minimum value. Thus, the offset removal processing of the average luminance data sequence is performed by performing the offset processing on all the luminance values constituting the average luminance data sequence.

次いで、ステップＳ１０６では、カメラ制御部１７０により、ステップＳ１０５でオフセット除去処理が行われた最大輝度データ列および平均輝度データ列に対して、正規化処理が実行される。ここで、図７は、正規化処理後の図６に示す輝度データ列を示す図である。以下においては、図７を参照して、平均輝度データ列に対する正規化処理について説明するが、本実施形態においては、最大輝度データ列についても、同様に正規化処理が行われる。なお、図７においても、図４〜図６と同様に、縦軸は、輝度値の大きさを示しており、横軸は、輝度値が検出されたフレーム番号を示している。 Next, in step S106, the camera control unit 170 performs normalization processing on the maximum luminance data sequence and the average luminance data sequence that have been subjected to the offset removal processing in step S105. Here, FIG. 7 is a diagram showing the luminance data string shown in FIG. 6 after the normalization processing. In the following, the normalization process for the average luminance data string will be described with reference to FIG. 7, but in the present embodiment, the normalization process is similarly performed for the maximum luminance data string. In FIG. 7, as in FIGS. 4 to 6, the vertical axis indicates the magnitude of the luminance value, and the horizontal axis indicates the frame number where the luminance value is detected.

すなわち、カメラ制御部１７０は、まず、輝度値が極大となる極大値の検出を行う。たとえば、図７に示すように、Ｎフレーム目の輝度値に対して正規化処理を行う場合、カメラ制御部１７０は、Ｎフレーム目の輝度値を中心として、フリッカの１周期に相当する輝度値を検出できる範囲内、すなわち、Ｎ−５フレーム目からＮ＋５フレーム目までの範囲内において、輝度値が極大となる極大値を検出する。その結果、図７に示す場面例では、Ｎ＋３フレーム目の輝度値が、極大値として検出される。そして、カメラ制御部１７０は、Ｎフレーム目の輝度値を、検出されたＮ＋３フレーム目の極大値で除算することで、Ｎフレーム目の輝度値について正規化処理を行う。同様に、カメラ制御部１７０は、平均輝度データ列を構成する他の輝度値についても、正規化処理を行う。これにより、図７に示す例では、極大値であるＮ＋３フレーム目の輝度値は１となり、極小値であるＮ−３フレーム目の輝度値は０となり、その他の輝度値も０〜１の範囲内の値に補正される。そして、このように平均輝度データ列を構成する全ての輝度値について正規化処理を行うことで、平均輝度データ列の正規化処理が行われる。 That is, the camera control unit 170 first detects a local maximum value at which the luminance value is a local maximum. For example, as illustrated in FIG. 7, when normalization processing is performed on the luminance value of the Nth frame, the camera control unit 170 has a luminance value corresponding to one flicker cycle centering on the luminance value of the Nth frame. Is detected, that is, within a range from the N-5th frame to the N + 5th frame, a maximum value at which the luminance value is maximized is detected. As a result, in the example of the scene shown in FIG. 7, the luminance value of the (N + 3) th frame is detected as the maximum value. Then, the camera control unit 170 performs normalization processing on the luminance value of the Nth frame by dividing the luminance value of the Nth frame by the detected maximum value of the (N + 3) th frame. Similarly, the camera control unit 170 performs normalization processing on other luminance values that constitute the average luminance data string. Accordingly, in the example illustrated in FIG. 7, the luminance value of the N + 3 frame that is the maximum value is 1, the luminance value of the N-3 frame that is the minimum value is 0, and the other luminance values are also in the range of 0 to 1. It is corrected to the value within. Then, the normalization process is performed on all the luminance values constituting the average luminance data string in this way, so that the average luminance data string is normalized.

続いて、ステップＳ１０７では、カメラ制御部１７０により、ステップＳ１０６で正規化処理が行われた最大輝度データ列および平均輝度データ列に対して、２値化処理が実行される。ここで、図８は、２値化処理後の図４に示す輝度データ列を示す図である。以下においては、図８を参照して、平均輝度データ列に対する２値化処理について説明するが、本実施形態においては、最大輝度データ列についても、同様に２値化処理が行われる。なお、図８においても、図４〜図７と同様に、縦軸は、輝度値の大きさを示しており、横軸は、輝度値が検出されたフレーム番号を示している。また、図８においては、２値化処理前の平均輝度データ列を破線で示し、２値化処理後の平均輝度データ列を実線で示している。 Subsequently, in step S107, the camera control unit 170 executes binarization processing on the maximum luminance data sequence and the average luminance data sequence that have been normalized in step S106. Here, FIG. 8 is a diagram showing the luminance data string shown in FIG. 4 after the binarization processing. Hereinafter, the binarization process for the average luminance data string will be described with reference to FIG. 8. In the present embodiment, the binarization process is similarly performed for the maximum luminance data string. In FIG. 8, as in FIGS. 4 to 7, the vertical axis indicates the magnitude of the luminance value, and the horizontal axis indicates the frame number where the luminance value is detected. In FIG. 8, the average luminance data string before binarization processing is indicated by a broken line, and the average luminance data string after binarization processing is indicated by a solid line.

すなわち、カメラ制御部１７０は、正規化処理が行われた各輝度値（図８中、破線で示す。）について、所定閾値以上であるか否かの判断を行い、輝度値が所定閾値以上である場合には、該輝度値を１として算出し、反対に、輝度値が所定閾値未満である場合には、該輝度値を０として算出する。たとえば、図８に示す例では、各輝度値が０．６以上であるか否かを判断し、０．６以上の輝度値を１として算出し、０．６未満の輝度値を０として算出する。これにより、図８に示すように、正規化処理が行われた輝度値が、０または１で２値化され（図８中、実線で示す）、これにより、平均輝度データ列の２値化処理が行われる。 That is, the camera control unit 170 determines whether or not each luminance value (indicated by a broken line in FIG. 8) on which the normalization processing has been performed is greater than or equal to a predetermined threshold value. In some cases, the luminance value is calculated as 1. On the contrary, when the luminance value is less than the predetermined threshold, the luminance value is calculated as 0. For example, in the example shown in FIG. 8, it is determined whether each luminance value is 0.6 or more, a luminance value of 0.6 or more is calculated as 1, and a luminance value less than 0.6 is calculated as 0. To do. As a result, as shown in FIG. 8, the normalized luminance value is binarized with 0 or 1 (indicated by a solid line in FIG. 8), thereby binarizing the average luminance data string. Processing is performed.

そして、ステップＳ１０８では、カメラ制御部１７０により、ステップＳ１０７で２値化処理が行われた最大輝度データ列または平均輝度データ列に基づいて、フリッカの周波数の検出が行われる。具体的には、カメラ制御部１７０は、まず、最大輝度データ列および平均輝度データ列のいずれか一方を、フリッカ検出に用いる輝度データ列として選択する。たとえば、フリッカが点光源に起因するものである場合、点光源が存在する分割領域の輝度変化の度合いは大きくなるため、最大輝度データ列を用いてフリッカ検出を行うことで、フリッカの検出精度を高めることができる。そこで、カメラ制御部１７０は、たとえば、最大輝度データ列における輝度変化の度合いが所定値以上となる場合には、フリッカ検出に用いる輝度データ列として、最大輝度データ列を選択し、最大輝度データ列における輝度差が所定値未満となる場合には、フリッカ検出に用いる輝度データ列として、平均輝度データ列を選択する。このように、フリッカ検出に用いる輝度データ列を、最大輝度データ列および平均輝度データ列の中から適切に選択することで、フリッカの検出精度を高めることができる。 In step S108, the camera control unit 170 detects the flicker frequency based on the maximum luminance data string or the average luminance data string that has been binarized in step S107. Specifically, the camera control unit 170 first selects one of the maximum luminance data string and the average luminance data string as a luminance data string used for flicker detection. For example, when flicker is caused by a point light source, the degree of luminance change in a divided area where the point light source exists increases, and therefore flicker detection is performed using the maximum luminance data string to improve flicker detection accuracy. Can be increased. Therefore, for example, when the degree of luminance change in the maximum luminance data string is equal to or greater than a predetermined value, the camera control unit 170 selects the maximum luminance data string as the luminance data string used for flicker detection, and the maximum luminance data string When the luminance difference at is less than a predetermined value, the average luminance data string is selected as the luminance data string used for flicker detection. As described above, by appropriately selecting the luminance data string used for flicker detection from the maximum luminance data string and the average luminance data string, flicker detection accuracy can be improved.

そして、カメラ制御部１７０は、選択した輝度データ列に基づいて、フリッカの周波数の検出を行う。具体的には、カメラ制御部１７０は、選択された輝度データ列の各周期ごとに、「０」または「１」である輝度値の数をカウントし、カウントした数の平均値を算出することで、輝度データ列の１周期において、「０」または「１」である輝度値の数を算出する。たとえば、撮像素子１１０が、フリッカ検出用の蓄積を１０００ｆｐｓ（１ｍｓ周期）で行う場合に、選択した輝度データ列内の１周期において、「０」または「１」である輝度値の数（平均値）が１０として算出された場合には、フリッカの周期は１０ｍｓであると判断でき、カメラ制御部１７０は、フリッカの周波数を５０Ｈｚとして検出する。また、同様に、撮像素子１１０が、フリッカ検出用の蓄積を１０００ｆｐｓ（１ｍｓ周期）で行う場合に、選択した輝度データ列の１周期において、「０」または「１」である輝度値の数（平均値）が８．３として算出された場合には、フリッカの周期は８．３ｍｓであると判断でき、カメラ制御部１７０は、フリッカの周波数を６０Ｈｚとして検出する。 The camera control unit 170 detects the flicker frequency based on the selected luminance data string. Specifically, the camera control unit 170 counts the number of luminance values that are “0” or “1” for each period of the selected luminance data string, and calculates an average value of the counted numbers. Thus, the number of luminance values that are “0” or “1” in one cycle of the luminance data string is calculated. For example, when the image sensor 110 performs flicker detection accumulation at 1000 fps (1 ms period), the number of luminance values (average value) that is “0” or “1” in one period in the selected luminance data string ) Is calculated as 10, it can be determined that the flicker cycle is 10 ms, and the camera control unit 170 detects the flicker frequency as 50 Hz. Similarly, when the image sensor 110 performs flicker detection accumulation at 1000 fps (1 ms cycle), the number of luminance values that are “0” or “1” in one cycle of the selected luminance data string ( When the average value is calculated as 8.3, it can be determined that the flicker cycle is 8.3 ms, and the camera control unit 170 detects the flicker frequency as 60 Hz.

そして、ステップＳ１０９では、カメラ制御部１７０により、ステップＳ１０８で検出されたフリッカの周波数に基づいて、動画像撮影用のプログラム線図の選択が行われる。ここで、プログラム線図とは、被写体の輝度に応じた露出を得るための、絞りとシャッタースピードとの組み合わせを予め設定したものである。また、本実施形態では、フリッカの周波数に応じた複数のプログラム線図が、たとえば、カメラ制御部１７０に備えるメモリに記憶されており、このようなプログラム線図は、フリッカによる影響を低減できるように、たとえば、フリッカの周期の整数倍の周期で撮像素子１１０の蓄積を行うためのシャッタースピードと、このシャッタースピードに合わせて適切な露出が得られる絞りとの組み合わせとなるように設定されている。カメラ制御部１７０は、このようにフリッカの周波数に応じた複数のプログラム線図の中から、ステップＳ１０８で検出されたフリッカの周波数に応じたプログラム線図を選択する。 In step S109, the camera control unit 170 selects a program diagram for moving image shooting based on the flicker frequency detected in step S108. Here, the program diagram is obtained by presetting a combination of an aperture and a shutter speed in order to obtain exposure according to the luminance of the subject. In the present embodiment, a plurality of program diagrams corresponding to the frequency of flicker are stored in, for example, a memory provided in the camera control unit 170, and such a program diagram can reduce the influence of flicker. For example, the shutter speed for accumulating the image sensor 110 at a cycle that is an integral multiple of the flicker cycle is set to be a combination of an aperture that provides an appropriate exposure according to the shutter speed. . The camera control unit 170 selects a program diagram corresponding to the flicker frequency detected in step S108 from the plurality of program diagrams corresponding to the flicker frequency.

ステップＳ１１０では、カメラ制御部１７０により露出制御が行われる。たとえば、カメラ制御部１７０は、ステップＳ１０９で選択されたプログラム線図に基づいて、フリッカの影響を低減するように、シャッタースピードおよび絞りを制御する。 In step S110, the camera control unit 170 performs exposure control. For example, the camera control unit 170 controls the shutter speed and the aperture so as to reduce the influence of flicker based on the program diagram selected in step S109.

また、ステップＳ１１１では、カメラ制御部１７０により、焦点調節処理が行われる。具体的には、カメラ制御部１７０は、撮像素子１１０の出力を読み出し、読み出した画素出力の高周波成分を、高周波透過フィルタを用いて抽出し、これを積算することで、焦点評価値を求める。そして、カメラ制御部１７０は、フォーカスレンズ２１２を所定のサンプリング間隔(距離)で駆動させながら、それぞれの位置で焦点評価値を求め、該焦点評価値が最大となるフォーカスレンズ２１２の位置を合焦位置として求める、コントラスト検出方式による焦点検出を実行する。そして、カメラ制御部１７０は、検出された合焦位置まで、フォーカスレンズ２１２を駆動させることで、光学系の焦点調節を行う。なお、本実施形態において、カメラ制御部１７０は、たとえば、ステップＳ１０８で検出したフリッカの周波数に基づいて、フリッカによる縞模様を含まない画像データを得られるタイミングで、画像データを取得し、取得した画像データに基づいて、焦点検出を行うことで、光学系の焦点状態をより適切に検出することができる。 In step S111, the camera control unit 170 performs a focus adjustment process. Specifically, the camera control unit 170 reads the output of the image sensor 110, extracts high-frequency components of the read pixel output using a high-frequency transmission filter, and integrates them to obtain a focus evaluation value. Then, the camera control unit 170 obtains a focus evaluation value at each position while driving the focus lens 212 at a predetermined sampling interval (distance), and focuses the position of the focus lens 212 at which the focus evaluation value is maximum. Focus detection by the contrast detection method, which is obtained as a position, is executed. The camera control unit 170 adjusts the focus of the optical system by driving the focus lens 212 to the detected in-focus position. In the present embodiment, for example, the camera control unit 170 acquires and acquires image data at a timing at which image data that does not include flicker due to flicker can be obtained based on the flicker frequency detected in step S108. By performing focus detection based on the image data, the focus state of the optical system can be detected more appropriately.

そして、ステップＳ１１２では、カメラ制御部１７０により、プログラム線図に従って設定されたシャッタースピードおよび絞りで、撮像素子１１０による電荷の蓄積が行われる。そして、カメラ制御部１７０は、撮像素子１１０から画像データを読み出し、読み出した画像データに基づく画像を表示モニタ１９０に表示するとともに、続くステップＳ１１３において、読み出した画像データをメモリ（不図示）に記憶する。 In step S112, the camera control unit 170 accumulates charges by the image sensor 110 at the shutter speed and aperture set according to the program diagram. The camera control unit 170 reads the image data from the image sensor 110, displays an image based on the read image data on the display monitor 190, and stores the read image data in a memory (not shown) in subsequent step S113. To do.

そして、ステップＳ１１４では、カメラ制御部１７０により、動画像の撮影が終了されたか否かの判断が行われる。たとえば、カメラ制御部１７０は、動画像を撮影している際に、撮影者により操作部１５０に備えられた動画撮影ボタンが押下された場合に、動画像の撮影が終了されたと判断することができる。動画像の撮影が終了されたと判断された場合には、ステップＳ１１５に進み、ミラー系１２０を観察位置に回動するミラーダウン処理が行われた後、上述したカメラ１の処理を終了する。一方、動画像の撮影が継続されていると判断された場合には、ステップＳ１１０に戻り、ステップＳ１０８で検出したフリッカの周波数に基づいて、動画像の撮影が繰り返し行われる。 In step S114, the camera control unit 170 determines whether shooting of the moving image has been completed. For example, when shooting a moving image, the camera control unit 170 may determine that shooting of a moving image has ended when a moving image shooting button provided on the operation unit 150 is pressed by the photographer. it can. If it is determined that the shooting of the moving image has been completed, the process proceeds to step S115, and after the mirror down process for rotating the mirror system 120 to the observation position is performed, the process of the camera 1 described above is terminated. On the other hand, if it is determined that shooting of the moving image is continued, the process returns to step S110, and shooting of the moving image is repeatedly performed based on the flicker frequency detected in step S108.

以上のように、本実施形態に係るカメラ１は動作する。 As described above, the camera 1 according to this embodiment operates.

このように、本実施形態では、動画像の撮影を行う際に、検出対象であるフリッカの周期よりも短い周期で、撮像素子１１０から画像データを読み出し、読み出した画像データに基づいて輝度値を検出することで、輝度値の時系列データである輝度データ列を取得する。そして、輝度データ列内の複数の極小値および極大値が同じ値となるように、輝度データ列を構成する各評価値を補正することで、輝度データ列の正規化処理を行い、さらに、正規化処理された輝度データ列を２値化処理する。そして、２値化処理された輝度データ列に基づいて、フリッカの検出を行う。このように、本実施形態では、検出された輝度データ列を正規化処理することで、図４に示すように、手振れや撮影者のボタン操作による振動などによる輝度変化も生じてしまい、フリッカに起因する輝度変化を検出することが困難となる場合でも、手振れやボタン操作による振動による影響を有効に排除することができるため、フリッカを良好に検出することができる。また、本実施形態によれば、フリッカによる輝度変化の度合が小さく、フリッカの検出が困難な場合でも、フリッカの検出に適した輝度データ列に補正することで、フリッカを良好に検出することができる。また、本実施形態では、正規化処理された輝度データ列を２値化処理することで、正規化処理によってもフリッカ検出に適した輝度データ列が得られないような場合でも、フリッカを良好に検出することができる。 As described above, in this embodiment, when capturing a moving image, the image data is read from the image sensor 110 at a cycle shorter than the flicker cycle to be detected, and the luminance value is calculated based on the read image data. By detecting, a luminance data string that is time-series data of luminance values is acquired. Then, the luminance data string is normalized by correcting each evaluation value constituting the luminance data string so that a plurality of local minimum values and local maximum values in the luminance data string have the same value. The binarized luminance data string is binarized. Then, flicker is detected based on the binarized luminance data string. As described above, in the present embodiment, normalization processing of the detected luminance data string causes a luminance change due to camera shake or vibration caused by a photographer's button operation, as shown in FIG. Even when it is difficult to detect the resulting luminance change, flicker can be detected satisfactorily because it is possible to effectively eliminate the influence of vibration caused by camera shake or button operation. Further, according to the present embodiment, even when the degree of luminance change due to flicker is small and flicker detection is difficult, it is possible to detect flicker satisfactorily by correcting to a luminance data string suitable for flicker detection. it can. In the present embodiment, the normalized luminance data string is binarized, so that even if the luminance data string suitable for flicker detection cannot be obtained even by the normalization process, the flicker is improved. Can be detected.

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 The embodiment described above is described for facilitating the understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.

たとえば、上述した実施形態では、動画像の撮影を行う場面を例示して説明したが、たとえば、静止画像を撮影する際に、スルー画像を表示する場面においても、本発明を適用することができる。たとえば、撮影者によりスルー画像を表示するためのボタンが操作された場合に、上述した実施形態に係るフリッカの検出を行い、たとえば、検出されたフリッカの周期の整数倍となる周期で、撮像素子１１０の蓄積を行うことで、フリッカによる縞模様が表示されないように、スルー画像を生成、表示することができる。 For example, in the above-described embodiment, a scene where a moving image is shot has been described as an example. However, for example, when a still image is shot, the present invention can be applied to a scene where a through image is displayed. . For example, when a photographer operates a button for displaying a through image, flicker detection according to the above-described embodiment is performed. For example, the imaging element has a cycle that is an integral multiple of the detected flicker cycle. By accumulating 110, it is possible to generate and display a through image so that a stripe pattern due to flicker is not displayed.

また、上述した実施形態では、ＭＯＳイメージセンサから構成される撮像素子１１０を用いる構成を例示したが、撮像素子１１０は、ＣＣＤセンサやＣＩＤで構成することもできる。 In the above-described embodiment, the configuration using the image sensor 110 configured by a MOS image sensor has been illustrated. However, the image sensor 110 can also be configured by a CCD sensor or a CID.

さらに、上述した実施形態において、フリッカ周期を算出する際に、５０Ｈｚの電源のフリッカ周期である１０．０ｍｓと、６０Ｈｚの電源のフリッカ周期である８．３ｍｓとのいずれに近いかを判断し、近い方の周期（すなわち、１０．０ｍｓまたは８．３ｍｓ）をフリッカ周期として算出するような構成としてもよい。 Further, in the above-described embodiment, when calculating the flicker cycle, it is determined whether the flicker cycle of the 50 Hz power source is 10.0 ms or the 60 Hz power source flicker cycle is 8.3 ms, A configuration may be adopted in which the closer cycle (that is, 10.0 ms or 8.3 ms) is calculated as the flicker cycle.

なお、本実施形態のカメラ１は特に限定されず、例えば、デジタルビデオカメラ、一眼レフデジタルカメラ、レンズ一体型のデジタルカメラ、携帯電話用のカメラなどのその他の光学機器に本発明を適用してもよい。 The camera 1 of the present embodiment is not particularly limited. For example, the present invention is applied to other optical devices such as a digital video camera, a single-lens reflex digital camera, a lens-integrated digital camera, and a camera for a mobile phone. Also good.

１…一眼レフデジタルカメラ
１００…カメラボディ
１１０…撮像素子
１３７…測光センサ
１５０…操作部
１６０…焦点検出モジュール
１７０…カメラ制御部
２００…レンズ鏡筒
２１２…フォーカスレンズ
２３０…フォーカスレンズ駆動モータ
２５０…レンズ制御部 DESCRIPTION OF SYMBOLS 1 ... Single-lens reflex digital camera 100 ... Camera body 110 ... Image pick-up element 137 ... Photometric sensor 150 ... Operation part 160 ... Focus detection module 170 ... Camera control part 200 ... Lens barrel 212 ... Focus lens 230 ... Focus lens drive motor 250 ... Lens Control unit

Claims

A plurality of pixels are two-dimensionally arranged in a second direction crossing the first direction and the first direction, in a shorter period than the period of flicker to be detected, composed of pixels arrayed in the first direction An imaging unit capable of outputting an image signal for each pixel row to be processed;
An image signal readout unit that thins out and reads out the image signals output from the plurality of pixel columns in a cycle shorter than the cycle of flicker to be detected;
Based on the image signal read by the image signal read-out unit, for each frame, and it detects an evaluation value regarding brightness of the object, and the evaluation value detector which detect the time-series data of the evaluation value,
By the evaluation value detecting unit corrects the time series data of the evaluation value detected, and a processing unit that performs a normalization process,
Based on the normalization process is performed data comprises that an imaging device and the flicker detection unit, a for detecting a flicker.

The imaging device according to claim 1,
The image processing apparatus, wherein the processing unit performs a normalization process so that a plurality of maximum values and / or a plurality of minimum values existing in the time-series data of the evaluation values have the same value.

The imaging device according to claim 2 ,
When performing the normalization process of the time series data of the evaluation value , the processing unit converts each evaluation value constituting the time series data of the evaluation value to a predetermined number of frames before and after the frame from which the evaluation value is obtained. line cormorant imaging device an offset removal processing for subtracting at said minimum value obtained within the frame.

The imaging device according to claim 3 .
When performing the normalization processing of the time series data of the evaluation value , the processing unit sets each evaluation value subjected to the offset removal processing within a predetermined number of frames before and after the frame from which the evaluation value is obtained. you divide obtained in the maximum value IMAGING dEVICE.

In the imaging device according to claim 3 or 4 ,
The flicker detection unit binarizes each evaluation value based on whether or not each evaluation value subjected to the normalization process is equal to or greater than a predetermined threshold value. performs binarization processing, on the basis of the time-series data of the binarized processed the evaluation value, detects the row cormorants imaging device of flicker.

In the imaging device in any one of Claims 3-5 ,
The predetermined number, in one period of the commercial power source used for the optical source, the number der Ru imaging device detectable the evaluation value by the evaluation value detecting unit.

In the imaging device in any one of Claims 3-5 ,
Wherein the processing unit, in accordance with the frequency of the flicker to be detected, toggle its imaging device to the predetermined number.

The imaging apparatus according to any one of claims 1 to 7
Wherein the processing unit, the time series data of the evaluation value consisting evaluation value corresponding to the brightness of the entire imaging screen, and the evaluation value consisting evaluation value corresponding to the maximum luminance of the luminance of the plurality of regions obtained by dividing the imaging screen The normalization process is performed on the time series data of
The flicker detection unit is the time-series data of evaluation values composed of evaluation values corresponding to the luminance of the entire imaging screen on which the normalization processing has been performed, or the maximum luminance among the luminances of a plurality of areas obtained by dividing the imaging screen based on one of the evaluation values corresponding to the brightness, detect flicker imaging device.

In the imaging device in any one of Claims 1-8 ,
Wherein the processing unit, when displaying a through image, or when you are shooting a moving image, the line power sale IMAGING DEVICE said normalization processing.

The imaging apparatus according to any one of claims 1 to 9
Based on the flicker detected by the flicker detection unit, for obtaining a proper exposure according to the brightness of the subject, Ru further comprising a control unit for changing the program chart previously set combinations of aperture and shutter speed imaging device.