JP5495841B2 - Camera and camera control method - Google Patents

Camera and camera control method Download PDF

Info

Publication number
JP5495841B2
JP5495841B2 JP2010035970A JP2010035970A JP5495841B2 JP 5495841 B2 JP5495841 B2 JP 5495841B2 JP 2010035970 A JP2010035970 A JP 2010035970A JP 2010035970 A JP2010035970 A JP 2010035970A JP 5495841 B2 JP5495841 B2 JP 5495841B2
Authority
JP
Japan
Prior art keywords
aperture
exposure
value
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010035970A
Other languages
Japanese (ja)
Other versions
JP2011172145A (en
JP2011172145A5 (en
Inventor
泰則 工藤
Original Assignee
オリンパスイメージング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスイメージング株式会社 filed Critical オリンパスイメージング株式会社
Priority to JP2010035970A priority Critical patent/JP5495841B2/en
Publication of JP2011172145A publication Critical patent/JP2011172145A/en
Publication of JP2011172145A5 publication Critical patent/JP2011172145A5/en
Application granted granted Critical
Publication of JP5495841B2 publication Critical patent/JP5495841B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/097Digital circuits for control of both exposure time and aperture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2353Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor by influencing the exposure time, e.g. shutter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/238Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor by influencing the optical part of the camera, e.g. diaphragm, intensifier, fibre bundle

Description

本発明は、カメラ及びカメラの制御方法に関する。 The present invention relates to a camera and a camera control method .
たとえば、多機能化等の目的で、撮像素子に結像した像を、常時モニタ表示することで、構図確認などが行えるライブビュー機能や、撮像素子に結像した像を連続して取り込んで記録する動画撮影機能が、デジタルカメラに搭載されている。   For example, for the purpose of multi-functionality, a live view function that enables composition confirmation, etc., by continuously displaying an image formed on the image sensor, and continuously capturing and recording the image formed on the image sensor The video camera function is installed in the digital camera.
これらの連続した像が適正な明るさで表示、記録されるよう被写体の輝度変化に応じて、電子シャッタ速度、絞り、感度を制御して像の明るさを適正に保つ必要がある。   In order to display and record these continuous images with appropriate brightness, it is necessary to control the electronic shutter speed, aperture, and sensitivity in accordance with the change in luminance of the subject to keep the image brightness appropriate.
しかし、電子シャッタや、感度の制御のような電子制御による露出制御では、動画の次の画面への切替りの時間で制御変更完了するため、毎フレーム狙い通りの露出を設定できるが、機械的な駆動を伴う絞り制御では時間がかかるため、被写体輝度と絞り値、シャッタ速度、感度の関係が崩れ、露出が適正にならないフレームが発生することになり、ライブビュー表示や動画記録における画像の品質を落とすことになる。   However, in exposure control by electronic control such as electronic shutter and sensitivity control, the control change is completed at the time of switching to the next screen of the movie, so the exposure can be set as intended for each frame. Since the aperture control with proper driving takes time, the relationship between subject brightness, aperture value, shutter speed, and sensitivity will be disrupted, resulting in the occurrence of frames with improper exposure, and image quality in live view display and video recording Will be dropped.
この技術的課題に対し、動画記録向けのカメラにおいては、動画用に最適化された絞り機構を用いている。すなわち、絞りを無段階に切替可能な構成とし、時間をかけてゆっくり変化させて、時間あたりの輝度変動量を減らすことで、ちらつきを防ぐという手法である。   In response to this technical problem, a camera for recording moving images uses an aperture mechanism optimized for moving images. That is, it is a technique of preventing flickering by adopting a configuration in which the aperture can be switched in a stepless manner and slowly changing over time to reduce the luminance fluctuation amount per time.
図1に、無段階絞りを用いたときの絞り制御を示す。撮像素子を制御する垂直同期信号をVDとする。VDの立ち上がりタイミングで1画面撮像する動作が開始する。
積分期間とは、撮像素子の画素が光を受けることによって出力される電流を電荷蓄積する時間であり、撮像の露光時間である。
FIG. 1 shows aperture control when a stepless aperture is used. A vertical synchronizing signal for controlling the image sensor is assumed to be VD. The operation of capturing one screen starts at the rise timing of VD.
The integration period is a time for accumulating the electric current output when the pixels of the image sensor receive light, and is an exposure time for imaging.
図1では、数フレームにわたり、絞りがF5.6から、F4までゆっくり変化させた例を記載している。
このように、ゆっくり変更すれば、絞りにより微小変化した分、次のフレームで微小変化を打ち消す方向にシャッタや感度を制御するフィードバック制御により、絞り駆動中の誤差を微小なレベルに抑え結果として安定した露光量が得られる。
FIG. 1 shows an example in which the aperture is slowly changed from F5.6 to F4 over several frames.
In this way, if the speed is changed slowly, the error during driving of the aperture is suppressed to a minute level by feedback control that controls the shutter and sensitivity in the direction that cancels the minute change in the next frame by the minute change due to the aperture. Exposure amount obtained.
しかし、静止画撮影では、常にレスポンスの良さ(すなわち、レリーズタイムラグの短縮)が求められる。   However, in still image shooting, good response (that is, reduction of the release time lag) is always required.
被写体の輝度変動に対し、素早く対応し、常に適正露出で表示されることが求められるが、絞りをゆっくり動かす場合は、被写体が短時間に大きな輝度変動が生じた場合、カメラが追従できず適正露出で表示されるまで時間がかかりシャッタチャンスを逃すという技術的課題がある。   It is required to respond quickly to the brightness variation of the subject and always display it with proper exposure. However, when the aperture is moved slowly, the camera cannot follow if the subject has a large brightness variation in a short time. There is a technical problem that it takes time until the image is displayed by exposure, and a photo opportunity is missed.
さらに静止画向けに設計された撮影レンズの絞りは、レリーズタイムラグを小さくする観点から素早く駆動することが求められているため、絞り駆動はステップ駆動が一般的である。   Furthermore, since the aperture of the taking lens designed for still images is required to be driven quickly from the viewpoint of reducing the release time lag, the aperture drive is generally step-driven.
このような静止画撮影に特化したステップ駆動の絞りを持つレンズを動画で用いると、図2のような動作になる。すなわち、左から3回目の垂直同期信号VDの立ち上がりにおいて、絞りを変える場合、撮像の積分中に急激に露出を変化させることになるため、この積分期間の画像の明るさが不安定になる。   When a lens having a step-driven aperture specialized for still image shooting is used in a moving image, the operation is as shown in FIG. That is, when changing the aperture at the third rise of the vertical synchronizing signal VD from the left, since the exposure is suddenly changed during the integration of imaging, the brightness of the image during this integration period becomes unstable.
すなわち、静止画撮影に特化したレンズで動画撮影を行う場合には、絞り駆動中の正確な絞り値が不明、AV値を大きく変化させると、画像が一瞬明るくなり、ライブビュー画像の見栄えが劣化する、静止画用レンズでは、絞り駆動中は測光値が計測できないため、AV値が不明となる、等の技術的課題がある。   That is, when shooting a movie with a lens specialized for still image shooting, the exact aperture value during driving of the aperture is unknown, and if the AV value is changed greatly, the image will become brighter for a moment and the live view image will look good. In a still image lens that deteriorates, a photometric value cannot be measured during aperture driving, and thus there are technical problems such as an AV value becoming unknown.
例えば図2の例では、AV5からAV4.5へ、絞りを開いた場合を考える。被写体輝度が微小であり変化分を無視できるレベルと仮定すると、絞り駆動後は絞り駆動前より、シャッタ速を0.5段早くする必要がある。   For example, in the example of FIG. 2, consider a case where the aperture is opened from AV5 to AV4.5. Assuming that the subject brightness is very small and the level of change can be ignored, the shutter speed needs to be increased by 0.5 steps after the aperture drive than before the aperture drive.
しかし、絞り駆動中は絞り値が不定となるため、絞り駆動前のシャッタ速、感度状態であれば、絞り駆動中のフレームは、異常に明るい画像がモニタに表示されたり、動画記録されることになる。
このような技術的課題があるため、静止画向けのレンズを装着したときは、動画記録中には絞りを変更しない静止画向け一眼カメラが一般的である。
However, the aperture value is indefinite during the aperture drive, so if the shutter speed and sensitivity are in the state before the aperture drive, an abnormally bright image is displayed on the monitor or a movie is recorded in the frame during the aperture drive. become.
Due to such technical problems, when a lens for still images is attached, a single-lens camera for still images that does not change the aperture during moving image recording is common.
撮像出力を、常時モニタに表示して構図確認できるライブビューにおいても動画撮影と同様に、絞りを駆動させると図2のような技術的課題が生じる。   In live view in which the imaging output is always displayed on the monitor and the composition can be confirmed, the technical problem as shown in FIG.
この技術的課題の対策としては、駆動中露出ズレした画像を表示しない、または記録しないで、前のフレームの画像を表示させる、という処理や、できる限り絞り開放で制御する、というような処理が一般的である。   As a countermeasure for this technical problem, there is a process of displaying an image of the previous frame without displaying or recording an image that has been misaligned during driving, or a process of controlling at the maximum aperture as much as possible. It is common.
また、このような絞りを持つカメラでは、絞り駆動中は正しい測光値が得られないことを図2は示しており、このカメラでは絞り駆動中は測光しない、すなわち測光停止後、絞り駆動し、絞り駆動後に測光を再開するという排他的制御を行うことになる。   Further, FIG. 2 shows that a correct photometric value cannot be obtained during driving of the aperture with a camera having such an aperture. In this camera, photometry is not performed during driving of the aperture. The exclusive control of restarting the photometry after the aperture driving is performed.
ステップ型の絞りを備えた交換レンズを用いたカメラにおける動画撮影時の対策として以下の従来技術が知られている。
特許文献1には、銀塩フィルム用レンズ装着時の動画撮影に使用される絞り段数を、制御可能な絞り段数よりも少なくし、動画撮影時に駆動する絞りの段数を粗くすることで、適切な動作を得ようとする技術が開示されている。
The following prior art is known as a countermeasure for moving image shooting in a camera using an interchangeable lens having a step type aperture.
In Patent Document 1, the number of aperture stages used for moving image shooting when a silver salt film lens is mounted is made smaller than the controllable aperture stage number, and the number of aperture stages driven during moving image shooting is increased. A technique for obtaining an operation is disclosed.
上述のとおり、絞り制御の段数を粗くすると、所定の制御範囲において絞り変動が発生するポイントが減るので頻度削減を見込めるが、絞りを駆動する際、絞りを駆動した分の露出ズレが大きくちらつきが大きくなるという別の技術的課題がある。   As described above, if the number of stages of aperture control is roughened, the frequency can be expected to be reduced because the number of aperture fluctuations in the predetermined control range is reduced, but when driving the aperture, the exposure deviation due to driving the aperture is large and flickers. There is another technical challenge to grow.
別の特許文献2では、シャッタ速で2つのポイントを設定し、被写体が明るくなった場合は高速シャッタ秒時で絞りを絞る側に駆動し、暗くなった場合は低速シャッタのポイントで絞りを開く、というヒステリシスを持たせることで、絞り駆動する輝度ポイントでの被写体の微小な輝度変動などで絞りが頻繁に動作し、絞り駆動機構の動作音が動画撮影の音声にノイズとして記録される、という技術的課題を解決しようとしている。   In another patent document 2, two points are set at the shutter speed, and when the subject becomes bright, the aperture is driven to the side where the aperture is stopped when the shutter speed is high, and when the subject becomes dark, the aperture is opened at the point of the low-speed shutter. By providing hysteresis, the aperture frequently operates due to minute brightness fluctuations of the subject at the brightness point to drive the aperture, and the operation sound of the aperture drive mechanism is recorded as noise in the video shooting sound. I am trying to solve a technical problem.
特開2002−290828号公報JP 2002-290828 A 特開2004−056699号公報JP 2004-056699 A
図3は、ヒステリシスを設けない場合の絞り駆動とシャッタ速と輝度との関係を示すプログラム線図である。高速シャッタをTV6、低速シャッタをTV5としている。また感度は説明の簡略化のためSV5で一定とする。   FIG. 3 is a program diagram showing the relationship among aperture driving, shutter speed, and luminance when no hysteresis is provided. The high-speed shutter is TV6 and the low-speed shutter is TV5. The sensitivity is constant at SV5 for the sake of simplicity of explanation.
このような制御を行った場合の輝度と絞りの動きの関係を図4に図示する。被写体輝度BV4で絞りを1段変化させる場合、人の動きなどにより常時0.1段の輝度変動を持つ被写体の場合、0.1段変動するたびに絞りが動くため、明るさが不安定になる。   FIG. 4 shows the relationship between the brightness and the movement of the diaphragm when such control is performed. When changing the aperture by one step with subject brightness BV4, if the subject always has a luminance variation of 0.1 step due to human movement, the aperture moves every 0.1 step, so the brightness becomes unstable. Become.
そこで、特許文献2の方法を用いると、図5のプログラム線図のように高速シャッタのポイントをTV7、低速シャッタポイントをTV5とおくことで、図6の輝度対絞りのプログラム線図で示されるように輝度1段の変動に対応して、BVの増加方向と減少方向とでAV値が異なるように変化するヒステリシスが構成されている。   Therefore, when the method of Patent Document 2 is used, the high speed shutter point is set to TV7 and the low speed shutter point is set to TV5 as shown in the program diagram of FIG. Thus, a hysteresis that changes so that the AV value differs between the increase direction and the decrease direction of BV corresponding to the fluctuation of one level of luminance is configured.
このように構成すれば、BV4で絞りが一度AV3になれば、BV4から1段明るくならないと絞りがAV4に戻らないので、絞りが変わる頻度を減らせることができる。   With this configuration, once the aperture is set to AV3 at BV4, the aperture does not return to AV4 unless the aperture is brighter by one step from BV4, so the frequency of changing the aperture can be reduced.
しかし絞り駆動時、1段変化するということは、図2に示した絞り駆動中の間、露出が最大1段ズレを生じ、その瞬間、動画の見栄えが悪くなるという技術的課題が依然として残る。   However, when the aperture is driven, the change in one step means that the exposure is shifted up to one step during the aperture driving shown in FIG. 2, and the technical problem that the appearance of the moving image deteriorates at that moment still remains.
このヒステリシスを小さく構成した場合、絞りを駆動する頻度が高くなる方向であることに加えて、被写体輝度が1段変化すれば、絞りも1段程度駆動することになる。
図7および図8に、0.5段のヒステリシスを構成した場合のプログラム線図の例を記載する。
When the hysteresis is configured to be small, in addition to the direction in which the diaphragm is driven more frequently, if the subject brightness changes by one stage, the diaphragm is also driven by about one stage.
7 and 8 show examples of program diagrams in the case where a 0.5-stage hysteresis is configured.
輝度変動が0.5段程度であれば、絞り駆動は0.5段に収まるが、図8において被写体輝度が、4.6から5.6へ変動した場合、絞りはAV3からAV4へと1段変化するということが発生し、単に、ヒステリシス幅を細かく設定しても、絞りが大きく動くときは露出ズレが大きくなるのは変わらないという技術的課題を有する。   If the luminance variation is about 0.5 steps, the aperture driving is within 0.5 steps. However, in FIG. 8, when the subject luminance varies from 4.6 to 5.6, the aperture is 1 from AV3 to AV4. There is a technical problem that even if the hysteresis width is set finely, the exposure shift does not change when the diaphragm moves greatly even if the hysteresis width is set finely.
本発明の目的は、装着されたレンズにおける絞り機構の動作特性等に影響されることなく、動画撮影中の絞り駆動によるライブビュー画像の見栄えや、記録動画の画質向上を実現することが可能なカメラ及びカメラの制御方法を提供することにある。 An object of the present invention is to realize the appearance of a live view image by driving an aperture during moving image shooting and to improve the image quality of a recorded moving image without being affected by the operating characteristics of the diaphragm mechanism in the mounted lens. To provide a camera and a camera control method .
本発明の一態様は、動画撮影およびライブビュー表示の少なくとも一方が可能なカメラにおいて、
撮影レンズにより結像された像を電気信号に変換する撮像手段と、
被写体輝度を取得する被写体輝度取得手段と、
前記被写体輝度取得手段の被写体輝度に基づいて、シャッタ速度と絞り値を演算する露出演算手段と、
前記露出演算手段の出力するシャッタ速度に基づいて、前記撮像手段が光信号を蓄積する時間を制御するシャッタ手段と、
前記露出演算手段の出力する絞り値に基づいて、前記撮影レンズから入射する光量を制限する絞り手段の絞り開口を制御する絞り制御手段と、
前記絞り手段の絞り値を変更するか否かを判定する判定手段と、
適正な露出量からの偏差に応じて露出を変化させる量に関する情報であって互いに異なる第1の情報と第2の情報を記憶する記憶手段と、
を備え、
前記露出演算手段は、前回の露出に関連する前記被写体輝度取得手段の出力する輝度情報と、前記絞り手段の絞り値と、前記シャッタ手段のシャッタ速度とに基づいて、前回の露出量と適正な露出量との偏差を算出し、前記算出された偏差に基づいて次回の露出時の前記絞り手段の絞り値を演算する際に、前記判定手段が前記絞り手段の絞り値を変更すると判定する場合には、前記記憶手段の出力する第1の情報に基づいて前記算出された偏差の一部を解消するように次回の露出時の絞り値を演算し、前記判定手段が前記絞り手段の絞り値を変更しないと判定する場合には、前記記憶手段の出力する第2の情報に基づいて前記算出された偏差の全部を解消するように次回の露出時のシャッタ速度を演算することを特徴としたカメラを提供する。
本発明の他の一態様は、撮影レンズと撮像手段と前記撮影レンズから入射する光量を制限する絞り手段を有し、動画撮影およびライブビュー表示の少なくとも一方が可能であるカメラの制御方法において、
前記撮影レンズにより前記撮像手段に結像された像を電気信号に変換する第1ステップと、
前記変換された電気信号に基づいて被写体輝度を取得する第2ステップと、
前記第2ステップで得られる前記被写体輝度に基づいて、シャッタ速度と絞り値を演算する第3ステップと、
前記第3ステップで演算された前記シャッタ速度と前記絞り値に基づいて、露出動作を行う第4ステップと
含み、
前記第3ステップでは、前回の露出に関連して前記第2ステップで得られた輝度情報と、前回の露出に関連して前記第3のステップで演算された前記絞り値と前記シャッタ速度とに基づいて、前回の露出量と適正な露出量との偏差を算出し、前記算出された偏差に基づいて次回の露出時の前記絞り手段の前記絞り値を演算する際に、前記絞り手段の絞り値を変更する場合には、前記算出された偏差の一部を解消するように次回の露出時の絞り値を演算し、前記絞り手段の絞り値を変更しない場合には、前記算出された偏差の全部を解消するように次回の露出時のシャッタ速度を演算することを特徴とするカメラの制御方法を提供する。
One aspect of the present invention is a camera capable of at least one of video shooting and live view display.
Imaging means for converting an image formed by the taking lens into an electrical signal;
Subject luminance acquisition means for acquiring subject luminance;
Exposure calculation means for calculating a shutter speed and an aperture value based on the subject brightness of the subject brightness acquisition means;
Shutter means for controlling the time during which the imaging means accumulates an optical signal based on the shutter speed output by the exposure calculating means;
A diaphragm control means for controlling a diaphragm aperture of the diaphragm means for limiting the amount of light incident from the photographing lens based on the diaphragm value output by the exposure calculation means;
Determining means for determining whether or not to change the aperture value of the aperture means;
Storage means for storing first information and second information different from each other, which are information relating to an amount of change in exposure in accordance with a deviation from an appropriate exposure amount;
With
The exposure calculation unit is configured to determine whether the previous exposure amount is appropriate based on the luminance information output from the subject luminance acquisition unit related to the previous exposure, the aperture value of the aperture unit, and the shutter speed of the shutter unit. When calculating the deviation from the exposure amount and calculating the aperture value of the aperture means at the next exposure based on the calculated deviation, the determination means determines to change the aperture value of the aperture means For calculating the aperture value at the next exposure so as to eliminate a part of the calculated deviation based on the first information output from the storage unit, and the determining unit determines the aperture value of the aperture unit. If it is determined not to change, the shutter speed at the next exposure is calculated so as to eliminate all of the calculated deviation based on the second information output from the storage means . Provide camera
Another aspect of the present invention is a camera control method that includes an imaging lens, an imaging unit, and a diaphragm unit that limits an amount of light incident from the imaging lens, and is capable of at least one of moving image shooting and live view display.
A first step of converting an image formed on the imaging means by the photographing lens into an electrical signal;
A second step of obtaining subject brightness based on the converted electrical signal ;
A third step of calculating a shutter speed and an aperture value based on the subject brightness obtained in the second step;
A fourth step of performing an exposure operation based on the shutter speed and the aperture value calculated in the third step ;
It includes,
In the third step, the brightness information obtained in the second step in relation to the previous exposure, the aperture value and the shutter speed calculated in the third step in relation to the previous exposure are determined. Based on the previous exposure amount and the appropriate exposure amount, and when calculating the aperture value of the aperture means at the next exposure based on the calculated deviation, When changing the value, the aperture value at the next exposure is calculated so as to eliminate a part of the calculated deviation, and when the aperture value of the aperture means is not changed, the calculated deviation is calculated. The camera control method is characterized in that the shutter speed at the next exposure is calculated so as to eliminate all of the above .
本発明によれば、装着されたレンズにおける絞り機構の動作特性等に影響されることなく、動画撮影中の絞り駆動によるライブビュー画像の見栄えや、記録動画の画質向上を実現することが可能なカメラ及びカメラの制御方法を提供することができる。 According to the present invention, it is possible to realize the appearance of the live view image by the aperture driving during moving image shooting and the improvement of the image quality of the recorded moving image without being affected by the operating characteristics of the diaphragm mechanism in the mounted lens. A camera and a camera control method can be provided.
本発明の参考技術である動画専用カメラの露出制御を示す線図である。It is a diagram which shows exposure control of the camera only for a moving image which is the reference technique of this invention. 本発明の参考技術である静止画撮影に最適化された絞り機構を有するカメラにおける動画撮影の技術的課題を説明する線図である。It is a diagram for explaining a technical problem of moving image shooting in a camera having an aperture mechanism optimized for still image shooting, which is a reference technique of the present invention. 本発明の参考技術として、ヒステリシスを設けない場合の絞り駆動とシャッタ速と輝度との関係を示すプログラム線図である。As a reference technique of the present invention, it is a program diagram showing the relationship between aperture driving, shutter speed, and luminance when no hysteresis is provided. FIG. 本発明の参考技術として、ヒステリシスを設けない場合の絞り駆動と輝度との関係を示すプログラム線図である。As a reference technique of the present invention, it is a program diagram showing the relationship between aperture drive and luminance when no hysteresis is provided. FIG. 本発明の参考技術として、1段分のヒステリシスを設けた場合の絞り駆動とシャッタ速と輝度との関係を示すプログラム線図である。FIG. 7 is a program diagram showing the relationship among aperture driving, shutter speed, and luminance when a hysteresis for one stage is provided as a reference technique of the present invention. 本発明の参考技術として、1段分のヒステリシスを設けた場合の絞り駆動と輝度との関係を示すプログラム線図である。It is a program diagram which shows the relationship between aperture drive and a brightness | luminance at the time of providing the hysteresis for 1 step | paragraph as reference technology of this invention. 本発明の参考技術として、0.5段分のヒステリシスを設けた場合の絞り駆動とシャッタ速と輝度との関係を示すプログラム線図である。As a reference technique of the present invention, it is a program diagram showing the relationship among aperture driving, shutter speed, and luminance when a hysteresis of 0.5 steps is provided. 本発明の参考技術として、0.5段分のヒステリシスを設けた場合の絞り駆動と輝度との関係を示すプログラム線図である。As a reference technique of the present invention, it is a program diagram showing the relationship between aperture drive and luminance when a hysteresis of 0.5 steps is provided. FIG. 本発明の一実施の形態であるカメラの構成を示す概念図である。It is a conceptual diagram which shows the structure of the camera which is one embodiment of this invention. 本発明の一実施の形態であるカメラの基本的な動作の一例を示すフローチャートである。It is a flowchart which shows an example of the basic operation | movement of the camera which is one embodiment of this invention. 本発明の一実施の形態であるカメラにおける露出パラメータ算出処理の詳細の一例を示すフローチャートである。It is a flowchart which shows an example of the detail of the exposure parameter calculation process in the camera which is one embodiment of this invention. 本発明の一実施の形態であるカメラにおける露出パラメータ算出処理での輝度追従速度制御の一例を示す線図である。It is a diagram which shows an example of the brightness | luminance tracking speed control in the exposure parameter calculation process in the camera which is one embodiment of this invention. 本発明の一実施の形態であるカメラにおける輝度BVに対するAV値とTV値のヒステリシス制御例を示すプログラム線図である。It is a program diagram which shows the hysteresis control example of AV value and TV value with respect to the brightness | luminance BV in the camera which is one embodiment of this invention. 図13のヒステリシス制御における輝度と絞りの関係の一例を示す線図である。It is a diagram which shows an example of the relationship between the brightness | luminance and aperture_diaphragm | restriction in the hysteresis control of FIG. 本発明の一実施の形態であるカメラにおける露出パラメータ処理での輝度追従速度制御の変形例を示す線図である。It is a diagram which shows the modification of the brightness | luminance tracking speed control in the exposure parameter process in the camera which is one embodiment of this invention. 本発明の一実施の形態であるカメラにおける輝度追従速度制御で用いられる関数の絞り駆動領域の設定例を示す線図である。It is a diagram which shows the example of a setting of the aperture drive area | region of the function used by the brightness | luminance tracking speed control in the camera which is one embodiment of this invention. 一般的な撮像出力と、記録メディアに記録される動画ファイル、画像ファイルのデジタルデータの関係の一例を示す線図である。It is a diagram which shows an example of the relationship between a general imaging output, the moving image file recorded on a recording medium, and the digital data of an image file. 本発明の一実施の形態であるカメラにおける輝度追従速度制御で用いられる関数の絞り駆動領域の設定例を示す線図である。It is a diagram which shows the example of a setting of the aperture drive area | region of the function used by the brightness | luminance tracking speed control in the camera which is one embodiment of this invention.
本実施の形態では、撮像素子から出力される画像をモニタに表示するライブビューや動画撮影において、動画撮影中に絞りを駆動したときの画像の明るさのゆらぎを抑制する制御を行うものであり、例えば、静止画撮影に最適化された絞り機構を有するレンズに対して有効である。   In this embodiment, in live view or moving image shooting in which an image output from the image sensor is displayed on a monitor, control is performed to suppress fluctuations in image brightness when the aperture is driven during moving image shooting. For example, it is effective for a lens having an aperture mechanism optimized for still image shooting.
前回の露出での絞り値から次回の露出の絞り値を変更すると判断した場合には、被写体の輝度に露出制御の応答速度を変更することで、1回の絞り駆動で動かす絞りの駆動量を最適な値に抑制する。   If it is determined that the aperture value of the next exposure will be changed from the aperture value of the previous exposure, the response amount of the exposure control is changed to the brightness of the subject, thereby changing the aperture driving amount to be moved by one aperture drive. Suppress to the optimum value.
すなわち、本実施の形態では、一態様として、例えば、ライブビュー表示や動画記録のような連続した撮像操作の像を用いる撮影において、絞り駆動中の絞り値が得られないカメラにおいても、動画の明るさちらつきを抑えるため絞り制御のヒステリシスを、例えば1/6段程度で構成すると同時に、動画撮影において、前回のフレームの露出での絞り値と次回のフレームの露出で設定する絞り値を異ならせることを判断した場合に、被写体の輝度変動に対する露出制御の応答速度を変更することで、1回の絞り駆動で動かす絞り駆動量を、絞り機構の特性に応じた絞り駆動量で制御する。   That is, in this embodiment, as an aspect, for example, even in a camera that cannot obtain an aperture value during aperture driving in shooting using images of continuous imaging operations such as live view display or moving image recording, In order to suppress brightness flicker, the aperture control hysteresis is configured to be, for example, about 1/6 step, and at the same time, in movie shooting, the aperture value set for the previous frame exposure and the aperture value set for the next frame exposure are different. When this is determined, the response speed of the exposure control with respect to the luminance variation of the subject is changed, so that the aperture drive amount that is moved by one aperture drive is controlled by the aperture drive amount according to the characteristics of the aperture mechanism.
これにより、例えば、静止画向けに特化し、動画記録向けではない、ステップ駆動の絞り機構を備えたレンズを用いて撮影する場合においても、動画撮影において絞り駆動中の露出誤差や変動頻度を抑えることで明るさのちらつきを抑えることができ、被写体の輝度変動の応答も適切な状態で、ライブビューのモニタ表示画像の品質や動画記録における記録画像の品質向上を実現することが可能となる。   As a result, for example, even when shooting using a lens with a step-driven aperture mechanism that is specialized for still images and not for moving image recording, exposure errors and fluctuation frequencies during aperture driving are reduced in moving image shooting. As a result, it is possible to suppress the flickering of brightness, and to improve the quality of the monitor display image of the live view and the quality of the recorded image in moving image recording while the response of the luminance fluctuation of the subject is appropriate.
以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。
図9は、本発明の一実施の形態であるカメラの構成を示す概念図である。本実施の形態では、カメラの一例として、レンズ交換が可能なデジタル一眼レフカメラに適用して場合を例示する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 9 is a conceptual diagram showing a configuration of a camera according to an embodiment of the present invention. In this embodiment, as an example of a camera, a case where the present invention is applied to a digital single-lens reflex camera capable of exchanging lenses is illustrated.
本実施の形態のデジタル一眼レフカメラ(以下、単に「カメラ」と称することとする)は、ボディユニット100と、例えば交換可能なレンズユニット(すなわちレンズ鏡筒)200と、撮影した画像データを記録しておく記録メディア131を備えている。   The digital single-lens reflex camera (hereinafter simply referred to as “camera”) of the present embodiment records a body unit 100, an interchangeable lens unit (ie, a lens barrel) 200, and captured image data. A recording medium 131 is provided.
レンズユニット200は、ボディユニット100の前面に設けられた、不図示のレンズマウントを介して着脱自在であり、当該カメラに対して交換可能である。   The lens unit 200 is detachable via a lens mount (not shown) provided on the front surface of the body unit 100, and is interchangeable with the camera.
このレンズユニット200は、撮影レンズ210a(撮影レンズ)および210bと、絞り203(絞り手段)と、レンズ駆動機構204と、絞り駆動機構202と、レンズ制御用マイクロコンピュータ(以下、Lμcomと記す)201とから構成されている。   The lens unit 200 includes photographing lenses 210a (photographing lenses) and 210b, a diaphragm 203 (aperture means), a lens driving mechanism 204, a diaphragm driving mechanism 202, and a lens control microcomputer (hereinafter referred to as Lμcom) 201. It consists of and.
撮影レンズ210aおよび210bは、レンズ駆動機構204内に備えられている不図示のDCモータによって、光軸方向に駆動される。絞り203は、絞り駆動機構202内に備えられている不図示のステッピングモータによって駆動される。   The taking lenses 210a and 210b are driven in the optical axis direction by a DC motor (not shown) provided in the lens driving mechanism 204. The diaphragm 203 is driven by a stepping motor (not shown) provided in the diaphragm drive mechanism 202.
また、Lμcom201は、レンズ駆動機構204や絞り駆動機構202などの、レンズユニット200内の各部を駆動制御する。このLμcom201は、後述するボディ制御用マイクロコンピュータ101(絞り制御手段)(以下、Bμcom101と略記する)と、通信コネクタ160を介して電気的に接続されており、Bμcom101と各種のデータの授受が可能であり、Bμcom101により制御される。   The Lμcom 201 controls driving of each part in the lens unit 200 such as the lens driving mechanism 204 and the diaphragm driving mechanism 202. The Lμcom 201 is electrically connected to a later-described body control microcomputer 101 (aperture control means) (hereinafter abbreviated as Bμcom101) via a communication connector 160, and can exchange various data with the Bμcom101. And is controlled by Bμcom 101.
一方、ボディユニット100は、以下のように、撮像素子111(被写体輝度取得手段)(撮像手段)、撮像素子駆動IC110(シャッタ手段)(感度設定手段)、画像処理IC102、SDRAM104、シャッタユニット120(シャッタ手段)、シャッタ駆動制御回路121、通信コネクタ130、液晶モニタ140、カメラ操作スイッチ150、Bμcom101等を備えている。   On the other hand, the body unit 100 includes an image sensor 111 (subject luminance acquisition means) (imaging means), an image sensor drive IC 110 (shutter means) (sensitivity setting means), an image processing IC 102, an SDRAM 104, a shutter unit 120 ( Shutter means), a shutter drive control circuit 121, a communication connector 130, a liquid crystal monitor 140, a camera operation switch 150, a Bμcom 101, and the like.
レンズユニット200内の撮影レンズ210aおよび210b、絞り203を介して入射される不図示の被写体からの光束は、光軸上のフォーカルプレーン式のシャッタユニット120と、光学系を通過し、被写体像を光電変換するための撮像素子111に入射する。   A light beam from a subject (not shown) incident through the photographing lenses 210a and 210b and the diaphragm 203 in the lens unit 200 passes through the focal plane type shutter unit 120 on the optical axis and the optical system, and forms a subject image. The light enters the image sensor 111 for photoelectric conversion.
撮影レンズ210aおよび210bを通った光束は、撮像素子111と撮像素子駆動IC110内の撮像素子111に結像される。撮像素子111は、撮像素子駆動IC110により光電変換制御される。撮像素子駆動IC110は、Bμcom101からの指示等に基づいて、撮像素子111における光電変換の感度を制御する。   The light flux that has passed through the photographing lenses 210 a and 210 b forms an image on the image sensor 111 and the image sensor 111 in the image sensor drive IC 110. The image sensor 111 is photoelectrically controlled by the image sensor driving IC 110. The image sensor driving IC 110 controls the sensitivity of photoelectric conversion in the image sensor 111 based on an instruction from the Bμcom 101 or the like.
すると、撮像素子111は、上述のようにして結像された被写体像を光電変換して、アナログ電気信号に変換する。前記電気信号は、撮像素子駆動IC110により、画像処理IC102が処理するためのデジタル電気信号に変換され、画像処理IC102により、画像信号に変換される。   Then, the image sensor 111 photoelectrically converts the subject image formed as described above to convert it into an analog electric signal. The electric signal is converted into a digital electric signal to be processed by the image processing IC 102 by the image sensor driving IC 110 and converted into an image signal by the image processing IC 102.
また、ボディユニット100では、撮像素子111、撮像素子駆動ICと、記憶領域として設けられたSDRAM(Synchronous Dynamic Random Access Memory)104と、液晶モニタ140と、通信コネクタ130を介して記録メディア131とが、画像処理を行うための画像処理IC102に接続されており、これらは、電子撮像機能とともに電子記録表示機能を提供できるように構成されている。   In the body unit 100, an image sensor 111, an image sensor drive IC, an SDRAM (Synchronous Dynamic Random Access Memory) 104 provided as a storage area, a liquid crystal monitor 140, and a recording medium 131 via a communication connector 130 are provided. These are connected to an image processing IC 102 for performing image processing, and these are configured to provide an electronic recording display function together with an electronic imaging function.
記録メディア131は、各種の半導体メモリカードや外付けのハードディスクドライブ(HDD)等の外部記録媒体であり、通信コネクタ130を介してボディユニット100と通信可能、且つ交換可能に装着される。   The recording medium 131 is an external recording medium such as various semiconductor memory cards or an external hard disk drive (HDD), and is attached to the body unit 100 via the communication connector 130 so as to be exchangeable.
また、画像処理IC102は、このボディユニット100内の各部を制御するためのBμcom101に接続されている。このBμcom101は、連写時の撮影間隔を計測する図示されないタイマを有しているもので、カメラの全体の動作を制御する制御手段の他、計数手段、モード設定手段、検出手段、判定手段、演算手段等の機能を有している。   The image processing IC 102 is connected to a Bμcom 101 for controlling each part in the body unit 100. This Bμcom 101 has a timer (not shown) that measures the shooting interval during continuous shooting. In addition to the control means that controls the overall operation of the camera, the counting means, mode setting means, detection means, determination means, It has functions such as calculation means.
なお、Bμcom101は、通信コネクタ160と、シャッタ駆動制御回路121等と接続されており、更に、カメラの動作状態を表示出力によって撮影者へ告知するための液晶モニタ140と、カメラ操作スイッチ(SW)150と、図示しない電源と接続されている。   The Bμcom 101 is connected to the communication connector 160, the shutter drive control circuit 121, and the like, and further, a liquid crystal monitor 140 for notifying the photographer of the operation state of the camera by display output, and a camera operation switch (SW). 150 is connected to a power source (not shown).
なお、Bμcom101とLμcom201とは、レンズユニット200をボディユニット100へ装着することにより、通信コネクタ160を介して通信可能に電気的接続がなされる。そして、Lμcom201がBμcom101に従属的に協働しながら、デジタルカメラとして稼動するようになっている。   Bμcom 101 and Lμcom 201 are electrically connected to each other via communication connector 160 by attaching lens unit 200 to body unit 100. The Lμcom 201 operates as a digital camera while cooperating with the Bμcom 101 in a dependent manner.
この場合、Bμcom101は、図示しない不揮発性半導体メモリ等に格納された制御プログラム170を実行することで、上述のように、ボディユニット100およびレンズユニット200の全体を制御するとともに、後述のフローチャートのような制御動作を実現する。   In this case, the Bμcom 101 controls the entire body unit 100 and the lens unit 200 as described above by executing a control program 170 stored in a non-illustrated nonvolatile semiconductor memory or the like, as shown in the flowchart described later. Realization of control operations.
シャッタ駆動制御回路121は、シャッタユニット120における不図示の先幕と後幕との動きを制御するとともに、Bμcom101との間で、シャッタの開閉動作を制御する信号と先幕が走行完了時の信号の授受を行う。   The shutter drive control circuit 121 controls the movement of a front curtain and a rear curtain (not shown) in the shutter unit 120, and also controls a signal for controlling the opening / closing operation of the shutter with the Bμcom 101 and a signal when the front curtain completes traveling. Give and receive.
なお、本実施の形態の場合、シャッタユニット120の他に、動画撮影のために、撮像素子駆動IC110に電子シャッタ機能が設けられ、動画撮影時には、シャッタユニット120を開放とするとともに、Bμcom101によって電子シャッタ機能のシャッタ秒時が制御される構成となっている。   In the case of the present embodiment, in addition to the shutter unit 120, the image sensor driving IC 110 is provided with an electronic shutter function for moving image shooting. During moving image shooting, the shutter unit 120 is opened and the Bμcom 101 is used for electronic recording. The shutter speed of the shutter function is controlled.
そして、静止画撮影時には、例えば、シャッタユニット120の動作によって所定のシャッタ秒時で静止画撮影が行われる。
液晶モニタ140は、カメラの動作状態を表示出力によってユーザ(撮影者)へ告知するためのものである。
At the time of still image shooting, for example, still image shooting is performed at a predetermined shutter speed by the operation of the shutter unit 120.
The liquid crystal monitor 140 is for notifying the user (photographer) of the operation state of the camera by display output.
カメラ操作スイッチ150は、例えば撮影動作の実行を指示するレリーズスイッチ、撮影モードを連写モードや通常撮影モードなどに切り替えるモード変更スイッチ、電源のオン・オフを切り替えるパワースイッチなど、ユーザがカメラを操作するために必要な操作ボタン(操作手段)を含むスイッチ群で構成される。   The camera operation switch 150 is, for example, a release switch for instructing execution of a shooting operation, a mode change switch for switching a shooting mode to a continuous shooting mode or a normal shooting mode, a power switch for switching the power on / off, and the like. It is composed of a group of switches including operation buttons (operation means) necessary for the operation.
なお、ボディユニット100には、図示されない電源回路が設けられており、電源としての図示されない電池の電圧を、カメラの各回路ユニットが必要とする電圧に変換して供給する構成となっている。   The body unit 100 is provided with a power supply circuit (not shown), and a voltage of a battery (not shown) serving as a power supply is converted into a voltage required for each circuit unit of the camera and supplied.
また、特に図示しないが、ボディユニット100には、外部の音声等を検出するマイクロフォンが備えられており、画像処理IC102およびBμcom101は、撮像素子111から得られた動画とともに音声を記録して記録メディア131に格納することが可能になっている。   Although not shown in particular, the body unit 100 is provided with a microphone that detects external sound or the like, and the image processing IC 102 and the Bμcom 101 record sound together with the moving image obtained from the image sensor 111 to record media. 131 can be stored.
次に、本実施の形態のカメラによる撮影動作およびライブビュー動作について説明する。   Next, shooting operation and live view operation by the camera of the present embodiment will be described.
<撮影動作>
まず、制御プログラム170を実行するBμcom101により画像処理IC102が制御されて、撮像素子111と撮像素子駆動IC110から画像データが画像処理IC102に入力されると、画像処理IC102は、この画像データを、一時保存用メモリであるSDRAM104に保存する。
<Shooting operation>
First, when the image processing IC 102 is controlled by the Bμcom 101 that executes the control program 170 and image data is input from the image sensor 111 and the image sensor drive IC 110 to the image processing IC 102, the image processing IC 102 temporarily stores the image data. The data is stored in the SDRAM 104 which is a storage memory.
なお、SDRAM104は、画像処理IC102が画像処理のためにワークエリアとしても使用される。また、画像処理IC102は、この画像データを所望の画像データ交換規格(たとえば、JPEGデータ)に変換する画像処理を行って、記録メディア131で保存させることができる。   The SDRAM 104 is also used as a work area for the image processing IC 102 to perform image processing. Further, the image processing IC 102 can perform image processing for converting the image data into a desired image data exchange standard (for example, JPEG data) and store the image data on the recording medium 131.
シャッタ駆動制御回路121は、Bμcom101からシャッタを駆動制御するための信号を受け取るとシャッタユニット120を制御してシャッタの開閉動作を行わせる。このときに撮像素子111と撮像素子駆動IC110から出力された画像データに対して所定の画像処理を行って記録メディア131に記録することで静止画の撮影動作が完了する。   When the shutter drive control circuit 121 receives a signal for controlling the drive of the shutter from the Bμcom 101, the shutter drive control circuit 121 controls the shutter unit 120 to open / close the shutter. At this time, predetermined image processing is performed on the image data output from the image sensor 111 and the image sensor drive IC 110 and the result is recorded on the recording medium 131, whereby the still image shooting operation is completed.
<ライブビュー動作と動画記録>
撮影レンズ210aおよび210bからの光束は撮像素子111と撮像素子駆動IC110へと導かれる。例えば1秒当たり30枚(フレーム)程度の割合で連続的に露光を行い、このときに撮像素子111と撮像素子駆動IC110から出力される画像データを、画像処理IC102によりビデオ信号に変換して液晶モニタ140に与えることで、被写体の動画像を液晶モニタ140に表示させることができる。
<Live view operation and video recording>
The light beams from the photographing lenses 210 a and 210 b are guided to the image sensor 111 and the image sensor drive IC 110. For example, exposure is continuously performed at a rate of about 30 frames per second, and image data output from the image sensor 111 and the image sensor drive IC 110 at this time is converted into a video signal by the image processing IC 102 and liquid crystal By giving to the monitor 140, the moving image of the subject can be displayed on the liquid crystal monitor 140.
このような表示は「ライブビュー」と呼ばれており、周知である。なお、液晶モニタ140での画像データのライブビュー表示を本実施の形態のカメラで行わせるには、ユーザが上述したカメラ操作スイッチ150の中のモード変更スイッチを操作して、ライブビューモードを選択すればよい。なお、以降では、ライブビューを「LV」と略記することもある。   Such a display is called “live view” and is well known. In order to display the live view display of the image data on the liquid crystal monitor 140 with the camera of the present embodiment, the user selects the live view mode by operating the mode change switch in the camera operation switch 150 described above. do it. Hereinafter, the live view may be abbreviated as “LV”.
また、画像処理IC102により動画ファイルを生成して通信コネクタ130を介し記録メディア131に記録すれば動画記録となる。動画記録をユーザが行わせるには、カメラ操作スイッチ150に設けられた動画記録を開始停止させるスイッチを操作すればよい。   If a moving image file is generated by the image processing IC 102 and recorded on the recording medium 131 via the communication connector 130, moving image recording is performed. In order for the user to perform moving image recording, a switch provided on the camera operation switch 150 for starting and stopping moving image recording may be operated.
なお、LV動作時には、撮影レンズ210aおよび210bからの光束は常に撮像素子111と撮像素子駆動IC110へと導かれているので、被写体の明るさの測光処理や、被写体に対する周知の測距処理を、撮像素子111と撮像素子駆動IC110から出力される画像データに基づいて画像処理IC102に行わせることができる。   During the LV operation, the light flux from the photographing lenses 210a and 210b is always guided to the image sensor 111 and the image sensor drive IC 110. Therefore, subject brightness photometry processing and known distance measurement processing for the subject are performed. Based on the image data output from the image sensor 111 and the image sensor drive IC 110, the image processing IC 102 can perform the process.
以降、このようにして、撮像素子111と撮像素子駆動IC110から出力される画像データに基づいて画像処理IC102およびBμcom101により行われる被写体の明るさの測光処理および被写体に対する測距および自動合焦の処理を、必要に応じて、それぞれ「LV測光」および「LVAF」と記すこととする。   Thereafter, in this way, subject brightness photometry processing, subject distance measurement and automatic focusing processing performed by the image processing IC 102 and the Bμcom 101 based on the image data output from the image sensor 111 and the image sensor drive IC 110 in this way. Are denoted as “LV metering” and “LVAF”, respectively, as necessary.
図10は、本実施の形態のカメラの基本的な動作の一例を示すフローチャートである。
図11は、本実施の形態のカメラにおける露出パラメータ処理の詳細の一例を示すフローチャートである。
FIG. 10 is a flowchart illustrating an example of a basic operation of the camera according to the present embodiment.
FIG. 11 is a flowchart showing an example of details of exposure parameter processing in the camera of the present embodiment.
(ステップS10:)
ボディユニット100の電源ON時、またはレンズユニット200を接続した時、前記レンズユニット200が接続されていることをボディユニット100が認識した場合、ステップS20を行う。
(Step S10 :)
When the body unit 100 recognizes that the lens unit 200 is connected when the power of the body unit 100 is turned on or when the lens unit 200 is connected, step S20 is performed.
(ステップS20:)
ボディユニット100と、レンズユニット200は、通信コネクタ160を介して、撮像素子111の垂直同期信号が、ボディユニット100からレンズユニット200へ伝えられる。
(Step S20 :)
In the body unit 100 and the lens unit 200, a vertical synchronization signal of the image sensor 111 is transmitted from the body unit 100 to the lens unit 200 via the communication connector 160.
レンズユニット200のLμcom201からは、絞り制御速度、例えば絞り1ステップ駆動させるのに要する駆動時間などの情報がボディユニット100のBμcom101へ伝達される。ボディユニット100のBμcom101から所定絞り駆動時間をレンズユニット200に送信し、レンズユニット200のLμcom201がボディユニット100へ前記所定絞り駆動時間で動かせる絞り量を返信しても良い。   From the Lμcom 201 of the lens unit 200, information such as the aperture control speed, for example, the driving time required for driving the aperture one step is transmitted to the Bμcom 101 of the body unit 100. The predetermined aperture driving time may be transmitted from the Bμcom 101 of the body unit 100 to the lens unit 200, and the aperture amount that the Lμcom 201 of the lens unit 200 can move in the predetermined aperture driving time may be returned to the body unit 100.
このような絞り駆動速度を示す情報を返さないレンズユニット200の場合は、絞り駆動時間として大きめの所定値を設定して扱う。   In the case of the lens unit 200 that does not return information indicating the aperture driving speed, a large predetermined value is set as the aperture driving time.
(ステップS30:)
前述のライブビュー動作を開始するあらかじめ決められた、絞り値、電子シャッタ速、感度で、撮影レンズ210aや撮像素子111を駆動し露出する。
(Step S30 :)
The photographic lens 210a and the image sensor 111 are driven and exposed at a predetermined aperture value, electronic shutter speed, and sensitivity for starting the live view operation described above.
(ステップS40:)
前の露出で得られた撮像出力から、前述のLV測光により被写体輝度を算出し、被写体輝度に応じてあらかじめ決められたプログラム線図により、次の露出の絞り、シャッタ秒時、感度の値を算出する。
(Step S40 :)
The subject brightness is calculated by the above-mentioned LV photometry from the imaging output obtained at the previous exposure, and the aperture value of the next exposure, the shutter time, and the sensitivity value are calculated according to the program diagram determined in advance according to the subject brightness. calculate.
本実施の形態では、本ステップS40の詳細例を示す後述の図11のような処理によって、LV中の被写体の輝度変化に応じて、可能な限り絞り値の変動を小さくする制御を行うことにより、LV中の画像のちらつき等を抑制して見栄えのよいLV画像をユーザに提示することを可能にする。   In the present embodiment, by performing processing as shown in FIG. 11 to be described later showing a detailed example of this step S40, control is performed to reduce the variation of the aperture value as much as possible according to the luminance change of the subject in the LV. , It is possible to suppress flickering of an image in the LV and to present a good-looking LV image to the user.
(ステップS50:)
ステップS40で算出された、絞り値、電子シャッタのシャッタ速でレンズユニット200、撮像素子111を制御して露出を行い、撮像出力Pを得る。得られた撮像出力Pと、設定した絞り値、電子シャッタのシャッタ速から、被写体の輝度を算出する。
(Step S50 :)
Exposure is performed by controlling the lens unit 200 and the image sensor 111 at the aperture value and the shutter speed of the electronic shutter calculated in step S40, and an image output P is obtained. The brightness of the subject is calculated from the obtained imaging output P, the set aperture value, and the shutter speed of the electronic shutter.
ここで、もし撮像素子111が露出中に絞り203が駆動中であれば、被写体輝度の算出は行わないで前回の値を被写体輝度値とする。   Here, if the aperture 203 is being driven while the image sensor 111 is exposed, the subject brightness is not calculated and the previous value is set as the subject brightness value.
(ステップS60:)
カメラ操作スイッチ150のレリーズスイッチボタンがONになったかどうか判断する。ONならステップS70へ移行し、そうでなければ、ステップS40、ステップS50をライブビュー中に反復する。
(Step S60 :)
It is determined whether the release switch button of the camera operation switch 150 is turned on. If it is ON, the process proceeds to step S70, and if not, step S40 and step S50 are repeated during the live view.
(ステップS70:)
ライブビューで得られた画像を、画像処理IC102により処理して記録メディア131に動画として記録開始する。
(Step S70 :)
The image obtained in the live view is processed by the image processing IC 102 and recording on the recording medium 131 is started as a moving image.
(ステップS80:)
前の露出で得られた撮像出力Pから、絞り値、シャッタ秒時、感度を算出する。上述のステップS40と同様の処理である。
(Step S80 :)
From the imaging output P obtained by the previous exposure, the aperture value, shutter speed, and sensitivity are calculated. This is the same processing as in step S40 described above.
(ステップS90:)
ステップS80で算出された、絞り値、電子シャッタのシャッタ速でレンズユニット200、撮像素子111を制御して露出を行い、撮像出力Pを得る。得られた撮像出力Pと、設定した絞り値、電子シャッタのシャッタ速から、被写体の輝度を算出する。
(Step S90 :)
The lens unit 200 and the image sensor 111 are controlled to perform exposure at the aperture value and the shutter speed of the electronic shutter calculated in step S80, and an image output P is obtained. The brightness of the subject is calculated from the obtained imaging output P, the set aperture value, and the shutter speed of the electronic shutter.
ここで、もし撮像素子111が露出中に絞り203が駆動中であれば、被写体輝度の算出は行わないで前回の値を被写体輝度値とする。   Here, if the aperture 203 is being driven while the image sensor 111 is exposed, the subject brightness is not calculated and the previous value is set as the subject brightness value.
(ステップS100:)
カメラ操作スイッチ150のレリーズボタンの状態を確認する。ステップS60で押されたレリーズボタンが再度押されたときにステップS110へ移行する。押されなければ、ステップS80に戻り、レリーズボタンが再び押されるまで自動露出を繰返し行い、動画を記録し続け、レリーズボタンが押されたら、ステップS110へ移行する。
(Step S100 :)
The state of the release button of the camera operation switch 150 is confirmed. When the release button pressed in step S60 is pressed again, the process proceeds to step S110. If not, the process returns to step S80, and automatic exposure is repeated until the release button is pressed again to continue recording a moving image. If the release button is pressed, the process proceeds to step S110.
(ステップS110:)
動画記録を終了する。記録メディア131への画像記録を停止し、液晶モニタ140に動画記録を停止したことを告知する。記録停止後は、通常の記録しないライブビュー状態(ステップS30)に戻る。
(Step S110 :)
End movie recording. The image recording on the recording medium 131 is stopped, and the liquid crystal monitor 140 is notified that the moving image recording is stopped. After the recording is stopped, the normal live view state in which recording is not performed (step S30) is resumed.
この後、実際のカメラではステップS30のライブビュー動作開始に戻り、レリーズ待機状態になるが、簡単のため、ステップS110の完了後はカメラ動作終了として説明を進める。
次に、図11等を参照して、上述のステップS40、S80の「露出パラメータ決定」の動作の一例について説明する。
After that, the actual camera returns to the start of the live view operation in step S30 and enters the release standby state. However, for the sake of simplicity, the description will proceed with the end of the camera operation after the completion of step S110.
Next, an example of the “exposure parameter determination” operation in steps S40 and S80 described above will be described with reference to FIG.
静止画の露出決定は、カメラの制御技術等で用いられるAPEX(Additive System of Photographic Exposure)演算を用いて、
BV:輝度値(Brightness Value)
SV:感度(Sensitive Value)
AV:絞り値(Aperture Value)
TV:露出時間(Time Value)
という、伝統的な表記を用いると、被写体輝度BVが得られたとき、適正露光となる撮影に用いるAV、TV、SVは、以下の(1)式の関係が成り立つように制御される。
BV+SV=AV+TV ……(1)
Still image exposure is determined using the APEX (Additive System of Photographic Exposure) calculation used in camera control technology, etc.
BV: Brightness Value
SV: Sensitive Value
AV: Aperture Value
TV: Exposure time (Time Value)
When the traditional notation is used, AV, TV, and SV used for photographing with appropriate exposure when the subject brightness BV is obtained are controlled so that the relationship of the following expression (1) is satisfied.
BV + SV = AV + TV (1)
動画撮影おいては、前の露出で得られた撮像出力Pと、この露出で設定していたAV,TV,SVと、撮像出力適正レベルPから、
BV=AV+TV+SV+Log(P/P) ……(2)
という計算で求めるものとする。
撮像出力Pは一般的に照度に比例する出力値のため2を底とした対数をとり、何段相当、適正レベルからずれているか、「段」という単位系に置き換えている。
このBV値を適正にするAV、TV、SVを用いて、次の露出を行うのが基本である。
In moving image shooting, from the imaging output P obtained at the previous exposure, the AV, TV, SV set at this exposure, and the imaging output appropriate level P 0 ,
BV = AV + TV + SV + Log 2 (P / P 0 ) (2)
It is calculated by the calculation.
Since the imaging output P is generally an output value proportional to the illuminance, a logarithm with a base of 2 is taken, and the number of steps corresponding to the difference from the appropriate level is replaced with a unit system of “stage”.
Basically, the next exposure is performed using AV, TV, and SV that make the BV value appropriate.
しかし本実施の形態では、必要に応じて、露出パラメータの変更を抑えることで、複数のフレームに渡って緩やかに適正にする制御を行う。本実施の形態におけるこの露出パラメータの制御は、カメラの露出が被写体の輝度変動に対して適正にするために、露出値を被写体輝度の変動に追従させる動作において、この追従の速さを制御する、という意味合いから輝度追従速度と呼ぶことにする。   However, in the present embodiment, as necessary, the exposure parameter is controlled to be moderately appropriate over a plurality of frames by suppressing the change of the exposure parameter. This exposure parameter control in the present embodiment controls the speed of the follow-up in the operation of causing the exposure value to follow the change in the subject brightness in order to make the camera exposure appropriate for the change in the subject brightness. In this sense, it is called the luminance tracking speed.
スチル撮影では基本的に高速性(すなわち、小さなレリーズタイムラグ)が追求されるため、被写体の輝度変動に対し機敏に反応することが求められる。
公知の関係式である、前記(1)式の適正条件から、被写体の輝度変動がΔBVが発生したとき、
BV+ΔBV+SV≠AV+TV ……(3)
というように適正条件からΔBV分だけ外れる。
機敏に反応する場合、次の露出制御では単純にΔBV分、絞り値やシャッタ速、感度で構成される露出パラメータを変更すれば適性レベルの露出になる。
Since still photography basically pursues high speed (that is, a small release time lag), it is required to react swiftly to luminance fluctuations of the subject.
From the appropriate condition of the formula (1), which is a known relational expression,
BV + ΔBV + SV ≠ AV + TV (3)
Thus, it deviates from the appropriate condition by ΔBV.
In the case of agile response, in the next exposure control, simply changing the exposure parameter composed of ΔBV, the aperture value, the shutter speed, and the sensitivity provides an appropriate exposure level.
一方、本実施の形態のように、動画撮影時に被写体の輝度変動に対し、緩やかに対応させようとした場合は、次の露出制御でΔBVよりも少なく露出パラメータを変更する。   On the other hand, as in the present embodiment, when it is intended to respond gently to the luminance variation of the subject during moving image shooting, the exposure parameter is changed to less than ΔBV in the next exposure control.
この輝度追従速度の制御をグラフで示したのが図12である。グラフの縦軸および横軸は絶対値で記載しており、露出ズレ量ΔBVが負であれば、縦軸のΔBV_nextも負で例えば実線のグラフC0では横軸ΔBVが−2の場合、縦軸ΔBV_nextは−2になる。同様にΔBVが+2の場合はΔBV_nextは+2として表している。 FIG. 12 is a graph showing the control of the luminance tracking speed. The vertical and horizontal axes of the graph are described as absolute values. If the exposure deviation amount ΔBV is negative, ΔBV_next on the vertical axis is also negative. For example, in the solid line graph C0, when the horizontal axis ΔBV is −2, The axis ΔBV_next becomes −2. Similarly, when ΔBV is +2, ΔBV_next is expressed as +2.
横軸は露出が適正条件からどのくらいずれているかを示す値としてΔBVを用いている。縦軸は、次の露出でずれている露出量のうち、どの程度まで適正に合せるかを示す。
実線のグラフC0は絞り駆動しない場合(絞り非変動領域)のときに行う露出制御を示している。
The horizontal axis uses ΔBV as a value indicating how much the exposure is from the appropriate condition. The vertical axis indicates how much of the exposure amount shifted in the next exposure is properly adjusted.
A solid line graph C0 shows exposure control performed when the aperture is not driven (aperture non-fluctuation region).
点線のグラフC1は、本実施の形態のように、前回の露出での絞り値から次回の露出で設定する絞り値を変更することを判断した場合(絞り変動領域)の輝度追従制御の一例を示している。   The dotted line graph C1 is an example of luminance follow-up control when it is determined to change the aperture value set at the next exposure from the aperture value at the previous exposure (aperture variation region) as in the present embodiment. Show.
現在設定されている露出パラメータをそれぞれAV_now、TV_now、SV_nowとする。現在設定されている露出で得られたBV値をBv_nowとする。次回設定するべき露出パラメータをそれぞれAV_next,TV_next,SV_nextとする。すなわち、AV_nextは、絞り値の変化量である。
今回設定した露出パラメータで、適正になる輝度BV_calcは、
BV_calc=AV_now+TV_now−SV_now ……(4)
と定義する。
AV exposure parameters currently set respectively _now, TV _now, and SV _now. Let Bv_now be the BV value obtained with the currently set exposure. AV exposure parameter to be set next respectively _next, TV _next, and SV _next. That is, AV_next is a change amount of the aperture value.
The appropriate brightness BV_calc with the exposure parameters set this time is
BV _calc = AV _now + TV _now -SV _now ...... (4)
It is defined as
被写体の輝度変動が生じたとき、適正レベルからのズレ量ΔBVを今回取得したBV値から求める。
ΔBV=BV_now‐BV_calc ……(5)
このΔBVが図12における横軸のパラメータである。
When the luminance variation of the subject occurs, the amount of deviation ΔBV from the appropriate level is obtained from the BV value acquired this time.
ΔBV = BV _now -BV _calc ...... ( 5)
This ΔBV is a parameter on the horizontal axis in FIG.
縦軸のΔBV_nextは、次の露出パラメータを決める元になる値であるBV_nextを算出する値であり、
BV_next=BV_calc+ΔBV_next ……(6)
で示され、本実施の形態では次の露出で輝度BV_nextが適正になるようにAV値、TV値、SV値を決定する。
ΔBV_next on the vertical axis is a value for calculating BV_next , which is a value for determining the next exposure parameter,
BV_next = BV_calc + ΔBV_next (6)
In this embodiment, the AV value, the TV value, and the SV value are determined so that the luminance BV_next becomes appropriate at the next exposure.
ΔBV_nextがΔBVよりも小さい場合、例えばΔBVが−1段で、現在の露出が1段アンダーであることを示しているとき、ΔBV_nextが−0.5段の場合、次の露出は0.5段アンダーになるように制御するような動きである。 When ΔBV_next is smaller than ΔBV, for example, ΔBV is −1 step, indicating that the current exposure is one step under, and when ΔBV_next is −0.5 step, the next exposure is 0. The movement is controlled so as to be under 5 steps.
このようにして、本実施の形態では、図12の点線のグラフC1の制御を実現するが、詳細は後述の図11のフローチャートの説明で行う。   In this way, in the present embodiment, the control of the dotted line graph C1 in FIG. 12 is realized, and details will be described in the description of the flowchart in FIG.
次に絞り駆動領域、非変動領域について説明する。
図13は本実施の形態における、輝度BVに対するAV値とTV値の制御を示すプログラム線図である。一般的には、ここにBV値とSV値の線図も加わるが、説明簡略化のため、SV値は一定のSV(この場合、SV=5)で固定ということで説明を進める。
Next, the aperture driving area and the non-varying area will be described.
FIG. 13 is a program diagram showing control of AV value and TV value with respect to luminance BV in the present embodiment. In general, a diagram of the BV value and the SV value is also added here, but for the sake of simplification of description, the description will be made on the assumption that the SV value is fixed at a constant SV c (in this case, SV c = 5).
この図13に例示される本実施の形態のプログラム線図は、AV値とTV値の制御において、ヒステリシスが構成されている。ヒステリシスの形状は、TV値が長く、AV値は短く構成している。   In the program diagram of the present embodiment illustrated in FIG. 13, hysteresis is configured in the control of the AV value and the TV value. The hysteresis shape is such that the TV value is long and the AV value is short.
すなわち、本実施の形態では、TV値の所定の制御範囲(図13の設定例では、TV_min=5からTV_max=7の範囲)で、可能な限り、AV値を変化させずに、TV値の変化で前記(1)式の関係を維持するように制御し、TV値が前記所定の制御範囲を逸脱しそうになったら、AV値を(この場合、後述のAV_min=3.0とAV_max=4の間で)変化させる、という制御が行われる。 That is, in the present embodiment, the TV value is changed as much as possible without changing the AV value in a predetermined control range of the TV value (in the setting example of FIG. 13, TV_min = 5 to TV_max = 7). Control is performed so as to maintain the relationship of the expression (1) by changing the value, and when the TV value is likely to deviate from the predetermined control range, the AV value (in this case, AV _min = 3.0 to be described later) The control is performed to change (between AV_max = 4).
絞りの状態が、TV=TV_min(この場合、5)(第1のシャッタ速)より小さい値になる暗い輝度の場合に、絞り203を開くようにする。同様に、明るくなる側も、絞りの状態がTV=TV_max(この場合、7)(第2のシャッタ速)よりもTV値を大きくなる明るい輝度の場合に、絞り203を閉じるようにしている。 The diaphragm 203 is opened when the state of the diaphragm is darker than the TV = TV_min (in this case, 5) (first shutter speed). Similarly, on the brighter side, the aperture 203 is closed when the aperture state is a bright brightness where the TV value is larger than TV = TV_max (7 in this case) (second shutter speed). .
図14は、本実施の形態における輝度と絞りの関係の一例を示す線図である。AV値を増やす輝度と減らす輝度の差が大きくなるようにヒステリシスが構成されている。絞り駆動領域(グラフC1)とは、前回の露出での絞り値と次回の露出で設定する絞り値を異ならせることを判断する領域であり、詳細を以下に、図11のフローチャートを参照して説明する。   FIG. 14 is a diagram showing an example of the relationship between the brightness and the aperture in the present embodiment. Hysteresis is configured so that the difference between the luminance that increases the AV value and the luminance that decreases is increased. The aperture driving area (graph C1) is an area for determining that the aperture value at the previous exposure differs from the aperture value set at the next exposure. Details are described below with reference to the flowchart of FIG. explain.
次に、絞り駆動領域(グラフC1)における「露出パラメータ決定」の処理の一例について図11に基づいて説明する。   Next, an example of “exposure parameter determination” processing in the aperture driving region (graph C1) will be described with reference to FIG.
(ステップS210:)
前述の通り、得られている撮像出力P設定したときの露出パラメータで、適正になる輝度BV_calcを求める。
BV_calc=AV_now+TV_now−SV_now ……(7)
実際に得られた撮像出力Pから算出されるBV_nowが、適正レベルからのズレ量を示すΔBVを今回取得したBV値から求める。
ΔBV=BV_now‐BV_calc ……(8)
計算が完了したらステップS220へ進む。
(Step S210 :)
As described above, an appropriate brightness BV_calc is obtained using the exposure parameter obtained when the obtained imaging output P is set.
BV _calc = AV _now + TV _now -SV _now ...... (7)
BV_now calculated from the actually obtained imaging output P obtains ΔBV indicating the amount of deviation from the appropriate level from the BV value acquired this time.
ΔBV = BV _now -BV _calc ...... ( 8)
When the calculation is completed, the process proceeds to step S220.
(ステップS220:)
まず、絞り非駆動領域として扱い、図12における実線のグラフC0による制御、次の露出パラメータAV,Tv,SVを決める元になるBV_nextを次の(9)式で求める。
BV_next=BV_calc+F(ΔBV) ……(9)
図11のフローチャートでは、グラフC0として、一般的な表記の関数F()で記載している。
(Step S220 :)
First, it is treated as an aperture non-drive region, and BV_next, which is a source for determining the next exposure parameters AV, Tv, and SV, is determined by the following equation (9).
BV_next = BV_calc + F (ΔBV) (9)
In the flowchart of FIG. 11, a general notation function F () is described as the graph C0.
これは本実施の形態では、例として図15の実線のグラフC2のようにすることもできることを示している。すなわち、露出の応答速度を常に緩やかにしたい場合でも、本実施の形態の制御を使用できることを示している。   This indicates that, in the present embodiment, a solid line graph C2 in FIG. 15 can be used as an example. That is, it is shown that the control of the present embodiment can be used even when the response speed of exposure is always gradual.
実際は絞り駆動領域(グラフC1)の輝度追従速度と、絞り非駆動領域(グラフC2)の輝度追従速度が大きく違いすぎないよう、グラフC0のF()を適切な関数にすることが考えられる。この実施の形態では図12の場合を例にとって説明を進める。(9)式の計算が完了したらステップS230へ進む。   Actually, it is conceivable that F () of the graph C0 is an appropriate function so that the luminance tracking speed of the aperture driving area (graph C1) and the luminance tracking speed of the aperture non-driving area (graph C2) are not too different. In this embodiment, the description will be given taking the case of FIG. 12 as an example. If calculation of (9) Formula is completed, it will progress to step S230.
(ステップS230:)
現在の露出が、アンダーであるかどうかを判断する。
(Step S230 :)
Determine if the current exposure is under.
次回の露出で適正となる輝度を示すBV_nextが、今回の撮像出力Pを得たときの露出パラメータで適正になる輝度BV_calcと比較し、BV_nextが小さければ、露出パラメータは暗い被写体に合せる。すなわち絞り203を開く、電子シャッタのシャッタ秒時を伸ばす、感度を上げる、の少なくとも一つを制御することになる。 BV_next indicating the appropriate brightness for the next exposure is compared with the appropriate brightness BV_calc for the exposure parameter when the current imaging output P is obtained. If BV_next is small, the exposure parameter is adjusted to a dark subject. . That is, at least one of opening the aperture 203, extending the shutter speed of the electronic shutter, and increasing the sensitivity is controlled.
現在の露出がアンダーの場合はステップS250へ移行し、現在の露出がアンダーではない場合はステップS240へ進む。   If the current exposure is under, the process proceeds to step S250. If the current exposure is not under, the process proceeds to step S240.
(ステップS240:)
ステップS230とは逆に、現在の露出がオーバ側かどうかを判断する。
BV_nextがBV_calcよりも大きい場合、現在よりも高輝度側に適した露出にする動作となり絞り203を閉じる側に駆動する、シャッタ秒時を短くする、感度を下げる、の少なくとも1つを制御することになる。
(Step S240 :)
Contrary to step S230, it is determined whether or not the current exposure is over.
When BV_next is larger than BV_calc, the exposure is adjusted to be more suitable for the higher luminance side than the present, and at least one of driving the diaphragm 203 to the closing side, shortening the shutter speed, and lowering the sensitivity is controlled. Will do.
現在の露出がオーバ側である場合、ステップS300へ、現在の露出がオーバ側ではない場合、すなわち適正である場合はステップS350へ進む。   If the current exposure is overside, the process proceeds to step S300. If the current exposure is not overside, that is, if it is appropriate, the process proceeds to step S350.
(ステップS250:)
上述のステップS230でBV_next<BV_calcが成立し、輝度BV_nextを適正にする場合、現在の絞り値でシャッタ秒時のみを変更したとき、TV値が5より小さくなるかを判断する。
現在の絞り値AV_nowと感度SV値(前述のとおりSV=5に固定して説明する)、BV_nextを用いて判断する。
(Step S250 :)
When BV_next < BV_calc is satisfied in step S230 described above and the brightness BV_next is appropriate, it is determined whether the TV value is smaller than 5 when only the shutter speed is changed with the current aperture value.
The current aperture value AV_now , sensitivity SV value (described below with SV c = 5), and BV_next are used for determination.
適正露出が得られる条件式である前記(1)式を適用した(10)式で判断する。
BV_next+SV < AV_now+TV_min ……(10)
この式(10)が満たされた場合、絞り203を開く方向に変更しないとTV値はTV_min(この場合、TV_min=5)より小さくなることを示すので、ステップS260へ進む。
Judgment is made by equation (10) to which the equation (1), which is a conditional equation for obtaining appropriate exposure, is applied.
BV _next + SV c <AV _now + TV _min ...... (10)
If this equation (10) is satisfied, it indicates that the TV value is smaller than TV_min (in this case, TV_min = 5) unless the aperture 203 is changed in the opening direction, and the process proceeds to step S260.
ここで絞りを変更しないと、TV値がTV_minより小さくなるときに、絞りを開く方向に変更するという判断の意味について説明する。
上述の図13のプログラム線図に例示されるように、一般的にカメラはプログラム線図によりBV値から、AV,TV,SVを選択して決定する。
Here, the meaning of the determination of changing the aperture to the opening direction when the TV value is smaller than TV_min unless the aperture is changed will be described.
As illustrated in the program diagram of FIG. 13 described above, the camera generally selects and determines AV, TV, and SV from the BV value according to the program diagram.
本実施の形態において、TV値がTV_minより小さくなるときにのみ絞り203を開くという制御は、図13のヒステリシスを持ったプログラム線図による制御を実現するためのものである。ヒステリシスのあるプログラム線図については、上述の図3、図4、図5、図6、図7、図8で説明したとおりである。 In the present embodiment, the control of opening the diaphragm 203 only when the TV value is smaller than TV_min is for realizing the control by the program diagram having the hysteresis of FIG. The program diagram with hysteresis is as described in FIGS. 3, 4, 5, 6, 7, and 8.
本実施の形態では、SV値はSV=5に固定として話を進めるので、図13はAV値とTV値とBV値の関係が記載してある。縦軸は、AV値、横軸はTV値である。斜め線は輝度を示す。 In this embodiment, since the SV value is fixed to SV c = 5, the discussion proceeds, and FIG. 13 shows the relationship among the AV value, the TV value, and the BV value. The vertical axis represents the AV value, and the horizontal axis represents the TV value. Diagonal lines indicate luminance.
後述するステップS300では式(15)により、TVがTV_max(この場合、TV_max=7)より大きくなる場合に絞り203を絞る方向とすることで、約2段分のヒステリシスを構成している。 In step S300, which will be described later, according to the equation (15), when the TV becomes larger than TV_max (in this case, TV_max = 7), the diaphragm 203 is set in the direction of narrowing down, thereby forming a hysteresis of about two stages. .
この式(10)が不成立の場合、絞りを変更しなくてもTV値はTV_min(この場合、TV_min=5)より大きくなることを示すので絞りを変更する必要はないと判断してステップS350へ進む。 If this equation (10) is not satisfied, it is determined that it is not necessary to change the aperture because the TV value is larger than TV_min (in this case, TV_min = 5) without changing the aperture. Proceed to S350.
(ステップS260:)
あらかじめ決められた動画で絞りを使用する駆動範囲で一番小さい絞り値をAV_min(この場合、AV_min=3.0)とする。AV_minは、絞り203を開放にしたときのAV値で物理的に小さくできない場合や、例えばカメラの使い勝手上、被写界深度が浅すぎないようにするなど設計思想により決定される。
(Step S260 :)
AV_min (in this case, AV_min = 3.0) is the smallest aperture value in the driving range in which the aperture is used in a predetermined moving image. AV_min is determined by the design concept such that the AV value when the diaphragm 203 is fully opened cannot be physically reduced, or the depth of field is not too shallow for the convenience of the camera, for example.
現在設定されている絞り値が、AV_minである場合は絞り203をこれ以上開くことはせず、TV値をTV_min未満にして適正にすることになる。よって絞り203を駆動しないと判断してステップS350へ進む。
現在設定されている絞り値がAV_minではない場合、ステップS270へ進む。
When the currently set aperture value is AV_min , the aperture 203 is not opened any more, and the TV value is set to less than TV_min to be appropriate. Therefore, it is determined that the diaphragm 203 is not driven and the process proceeds to step S350.
If the currently set aperture value is not AV_min , the process proceeds to step S270.
(ステップS270:)
ステップS230,S250,S260の判定条件がすべて成立した場合には、次回の露出では、現在の絞り値から絞り203を開く方法へ制御する必要がある。すなわち図12における絞り駆動領域(グラフC1)であることが確定したと考える。
(Step S270 :)
When all of the determination conditions of steps S230, S250, and S260 are satisfied, it is necessary to control to open the aperture 203 from the current aperture value at the next exposure. That is, it is considered that the aperture driving area (graph C1) in FIG. 12 has been determined.
輝度追従速度を遅く設定するため、BV_nextを再演算し、BV_calcからの変更量を、適正な露出レベルとの偏差であるΔBVに基づいて下記の式(11)によって小さくする。
BV_next=BV_calc+G(ΔBV) ……(11)
ΔBV_nextを与える関数G(ΔBV)は、図12の点線のグラフC1の制御を実現する関数であり、図16のようなΔBVに対するΔBV_nextの関係を格納したテーブル参照形式で実現することや近似関数などで求められる。関数G()は、ΔBVよりもG(ΔBV)の絶対値が小さく抑えるように演算している。
In order to set the luminance follow-up speed slower, BV_next is recalculated, and the change amount from BV_calc is reduced by the following equation (11) based on ΔBV which is a deviation from the appropriate exposure level.
BV_next = BV_calc + G (ΔBV) (11)
The function G (ΔBV) that gives ΔBV_next is a function that realizes control of the dotted line graph C1 in FIG. 12, and is realized or approximated in a table reference format storing the relationship of ΔBV_next to ΔBV as shown in FIG. It is calculated by function. The function G () is calculated so that the absolute value of G (ΔBV) is kept smaller than ΔBV.
本実施の形態では、このような演算により輝度追従速度を抑えることで、後述するステップS280、S290の演算で計算される1回の絞り駆動で駆動する絞り量は抑えられ、絞り駆動中に生じる露出ズレ量も抑えることになる。結果として、絞り駆動中でも、ちらつきの少ない良好な動画撮影を実現している。   In the present embodiment, by suppressing the luminance follow-up speed by such calculation, the aperture amount driven by one aperture drive calculated in the operations of steps S280 and S290 described later can be suppressed and occurs during aperture drive. The amount of exposure shift will also be suppressed. As a result, good moving image shooting with less flickering is realized even during aperture driving.
また、ちらつきを抑えるため、絞り値の変動量をむやみに抑えることは、輝度追従速度を遅くすることになり、輝度変動が大きい被写体に、なかなか露出追従せず構図が確認できない場合が生じる。   Further, in order to suppress flickering, suppressing the amount of fluctuation of the aperture value unnecessarily slows down the luminance follow-up speed, and there is a case where the composition cannot be confirmed without subjecting exposure to a subject with large luminance fluctuation.
そこで、本実施の形態では、図12の点線のグラフC1で見るとおり、適正レベルからの露出ズレ量ΔBVが大きくなるほど、輝度追従させる量ΔBV_nextを増加させている。これにより、露出が大きくずれているときは、絞り値が大きく動くという動作になり、輝度変動が大きい被写体にも露出を的確に追従させることができる。 Therefore, in the present embodiment, as seen from the dotted line graph C1 in FIG. 12, the amount ΔBV_next to follow the luminance increases as the exposure deviation amount ΔBV from the appropriate level increases. Thereby, when the exposure is greatly deviated, the aperture value moves greatly, and the exposure can be accurately followed even for a subject with a large luminance fluctuation.
図17に、一般的な撮像出力Pと、記録メディアに記録される動画ファイル、画像ファイルのデジタルデータの関係式を記載する。一般的にガンマカーブと呼ばれるこの曲線C3は、撮像出力Pから動画像ファイルのフォーマットに変換するときに用いられる。   FIG. 17 shows a relational expression between the general imaging output P and the digital data of the moving image file and the image file recorded on the recording medium. This curve C3, generally called a gamma curve, is used when converting the imaging output P to the format of a moving image file.
撮像出力Pよりもデータ量の少ないデータ形式に変換するため、撮像出力Pが小さい領域と大きい領域においては、データを圧縮することで、撮像出力PがΔDig分変化しても、画像ファイルのデータ変化量ΔDig’はそれよりも小さい変化量にしている。   In order to convert to a data format with a smaller data amount than the imaging output P, the data of the image file is compressed even if the imaging output P changes by ΔDig by compressing the data in the area where the imaging output P is small and large. The change amount ΔDig ′ is set to a smaller change amount.
このように撮像出力Pの持つ情報を、撮像出力Pの適正レベル付近の階調の情報量を多く持たせて画像ファイルに格納している。これは撮影時に記録される画像ファイルをモニタ再現しようとているライブビュー表示にも同じことがいえる。   In this way, the information that the imaging output P has is stored in the image file with a large amount of information of gradation near the appropriate level of the imaging output P. The same can be said for the live view display that attempts to reproduce the image file recorded at the time of shooting.
このように撮像出力の適正レベルから離れた領域では、最終的な画像出力が圧縮されているため絞り駆動中の露出ズレが撮像の適正時に比べ、圧縮領域では比較的目立ちにくい。   In this way, in the area away from the appropriate level of the imaging output, the final image output is compressed, so that the exposure deviation during driving of the aperture is relatively inconspicuous in the compressed area compared to the appropriate time of imaging.
そのためこの圧縮領域では、輝度追従速度を優先し大きく絞りを動かす制御にしている。この制御により、露出が合わない時間が長く構図が確認できないという問題を軽減し、十分構図が確認できる適正付近になったときには、輝度追従速度を遅くするかわりに、ちらつきが目立たないように絞りの駆動量を少しずつ合せるということを行うことで輝度追従とちらつき防止を両立可能にする動きになっている。   Therefore, in this compression area, priority is given to the luminance follow-up speed, and control is performed to move the aperture largely. This control alleviates the problem that the composition cannot be confirmed for a long time when the exposure does not match, and instead of slowing down the brightness tracking speed when the composition is close enough to confirm the composition, the aperture is adjusted so that the flicker is not noticeable. By adjusting the driving amount little by little, it is a movement that makes it possible to achieve both luminance tracking and flicker prevention.
また、本実施の形態では、図16のように、ズレ量ΔBVの絶対値が3段以上では、一度に動かす絞りの駆動量を1.5段に設定している。これは、ちらつきが目立つ問題以外に、絞りの駆動量が大きいと絞りの駆動時間が長くなり複数のフレームに絞り駆動中の露出がズレた画像が入る頻度を減らす効果がある。   Further, in the present embodiment, as shown in FIG. 16, when the absolute value of the deviation amount ΔBV is 3 or more, the driving amount of the diaphragm that is moved at a time is set to 1.5. In addition to the problem that the flicker is conspicuous, if the driving amount of the diaphragm is large, the driving time of the diaphragm becomes long, and there is an effect of reducing the frequency at which an image in which the exposure during driving of the diaphragm is shifted appears in a plurality of frames.
例えばレンズ交換式のカメラでは、装着されたレンズに備えられた絞り機構の駆動速度に応じて、この1.5段の数値を変更しても良い。例えば絞り駆動が遅いレンズの場合は、ΔBV_nextが最大1段となるような制御にする、ということが考えられる。 For example, in an interchangeable lens camera, the numerical value of 1.5 steps may be changed according to the driving speed of the diaphragm mechanism provided in the attached lens. For example, in the case of a lens with slow aperture driving, it can be considered that control is performed so that ΔBV_next is a maximum of one stage.
すなわち、絞りの特性に最適な輝度追従速度を設定することで、動画の品位と輝度追従速度を最適な状態(バランス)で制御することができる。
BV_nextの再演算が完了したらステップS280へ進む。
In other words, by setting the optimum brightness follow-up speed for the aperture characteristics, the quality of the moving image and the brightness follow-up speed can be controlled in an optimum state (balance).
When the recalculation of BV_next is completed, the process proceeds to step S280.
(ステップS280:)
このステップS280では、次回設定する絞り値を計算する。
所定の変化ステップ(この場合、0.2段分解能)で絞り値を決定するため、下記の(12)式の計算を行う。
n=(BV_next−(AV_min+TV_min−SV))÷0.2 ……(12)
nは小数点以下切捨てとする。また、n≦0の場合はn=0とする。そして、下記の(13)式により次回設定する絞り値を計算する。ただし、この場合、AV_min=3、である。
AV_next=AV_min+0.2×n ……(13)
この(13)式で、変化ステップを0.2段分解能としているのは、絞りとシャッタ速でヒステリシスを構成するためである。
式(12)の(AV_min+TV_min−SV)で示される輝度に相当する成分は、絞りが最も開いた場合(AV=AV_min)、かつTV値がTV_minの場合に適正露出となる輝度を示すものである。
式(12)は、BV_nextが、絞りを最も開くときに適正露出となる輝度よりも明るい分だけ、AV値をAV_minから増やして適正露出とするための絞り値の変化量を0.2段ステップで何段となるかを求める計算である。
したがって、式(13)の「0.2×n」は、絞り値の変化量を示すものである。
(Step S280 :)
In step S280, the aperture value to be set next time is calculated.
In order to determine the aperture value at a predetermined change step (in this case, 0.2 stage resolution), the following equation (12) is calculated.
n = (BV _next - (AV _min + TV _min -SV c)) ÷ 0.2 ...... (12)
n is rounded down. If n ≦ 0, n = 0. Then, the aperture value to be set next time is calculated by the following equation (13). In this case, however, AV_min = 3.
AV _next = AV _min + 0.2 × n ...... (13)
The reason why the change step is 0.2 resolution in the equation (13) is that hysteresis is constituted by the aperture and the shutter speed.
The component corresponding to the luminance represented by ( AV_min + TV_min− SV c ) in Expression (12) is appropriate exposure when the aperture is most open (AV = AV_min ) and the TV value is TV_min. It shows luminance.
Expression (12) shows that the amount of change in the aperture value for increasing the AV value from AV_min to an appropriate exposure by 0.2 as much as BV_next is brighter than the brightness at which the appropriate exposure is obtained when the aperture is most opened. This is a calculation for determining the number of steps in each step.
Therefore, “0.2 × n” in Expression (13) indicates the amount of change in the aperture value.
小数点以下切捨てにする理由は、次のステップS290で行うTV_nextの計算において、TV_nextがTV_min(この場合、5)を下回らないようにするためである。 The reason for the truncation decimal point in the calculation of the TV _next performed in the next step S290, TV _next is TV _min (in this case, 5) in order so as not to fall below a.
先行するステップS270で、BV_nextとBV_calcの差を小さくしたことで、AV値の変化量が0.2段未満になり絞りがAV_calcと同じになることもあるが、絞りの変更の有無により輝度追従速度を変更するのではなく、ステップS230,S350,S260により絞り駆動領域か否かの判断で輝度追従速度を決めた方が、輝度追従速度が変わる頻度が高くなりすぎないので、LVでの画像表示の見栄え上良い。 By reducing the difference between BV_next and BV_calc in the preceding step S270, the amount of change in the AV value may be less than 0.2 and the aperture may be the same as AV_calc. Instead of changing the luminance follow-up speed by step S230, S350, S260, the frequency of changing the brightness follow-up speed does not become too high when the brightness follow-up speed is determined by determining whether or not it is the aperture drive region. The image display on the screen looks good.
(ステップS290:)
ステップS270,S280で決定されたBV値、AV値を用いて、(14)式で、次回の露出パラメータのTV値、TV_nextを算出する。
(Step S290 :)
Using the BV value and AV value determined in steps S270 and S280, the TV value of the next exposure parameter, TV_next, is calculated using equation (14).
Tv_next=Bv_next+SV−AV_next ……(14)
この演算で、絞り駆動領域(グラフC1)かつ、絞り203を開く側に駆動する場合の次回露出パラメータである絞り、シャッタ速、感度が確定したので、露出パラメータ処理を終了する。
Tv _next = Bv _next + SV c -AV _next ...... (14)
With this calculation, the aperture parameter, the shutter speed, and the sensitivity, which are the next exposure parameters when driving to the aperture driving area (graph C1) and the aperture 203 opening side, have been determined, and the exposure parameter processing is terminated.
(ステップS300:)
輝度BV_nextを、絞りを変更せずに適正にする場合、シャッタ秒時を示すTV値が7より大きくなるかを判断する。
現在の絞り値AV_nowと感度SV値(この場合、SV=5に固定)、BV_nextを用いて判断する。
すなわち、適正露出が得られる条件式である上述の(1)式の関係を用いた次の(15)式で判断する。
BV_next+SV > AV_now+TV_max ……(15)
この(15)式が満たされた場合、絞り203を閉じる方向に変化させないとTV値はTV_max(この場合、TV_max=7)より大きくなることを示すのでステップS310へ進む。
(Step S300 :)
When the brightness BV_next is made appropriate without changing the aperture, it is determined whether the TV value indicating the shutter time is larger than 7.
The current aperture value AV_now , sensitivity SV value (in this case, fixed to SV c = 5), and BV_next are used for determination.
That is, the determination is made by the following equation (15) using the relationship of the above-described equation (1), which is a conditional equation for obtaining appropriate exposure.
BV _next + SV c> AV _now + TV _max ...... (15)
If this equation (15) is satisfied, it means that the TV value will be larger than TV_max (in this case, TV_max = 7) unless the diaphragm 203 is changed in the closing direction, and the process proceeds to step S310.
ここで行っている、TV値がTV_maxより大きくなるときにのみ絞り203を閉じる変更をするという判断については、上述のステップS250で説明したとおりヒステリシスを構成するためである。 The determination made here to change the aperture 203 only when the TV value is larger than TV_max is to configure hysteresis as described in step S250 above.
この(15)式が不成立の場合、絞りを変更しなくてもTV値はTV_min(この場合、TV_min=5)より大きくなることを示すので、絞りを変更する必要は無いと判断してステップS350へ進む。 If this equation (15) is not established, it indicates that the TV value is larger than TV_min (in this case, TV_min = 5) without changing the aperture, so it is determined that there is no need to change the aperture. Proceed to step S350.
(ステップS310:)
あらかじめ決められた動画撮影で絞りを使用する駆動範囲で一番大きい絞り値をAV_maxとする。AV_maxは、絞り203を一番絞ったときのAV値で物理的に大きくできない場合や、例えばカメラの使い勝手上、回折限界などで解像度が落ちないようにするなど設計思想により決定される。
(Step S310 :)
Let AV_max be the largest aperture value in the drive range in which the aperture is used in predetermined moving image shooting. AV_max is determined by the design concept such that the AV value when the diaphragm 203 is most narrowed cannot be physically increased, or the resolution is not lowered due to the diffraction limit, for example, for the convenience of the camera.
現在設定されている絞り値が、ライブビューで使用する絞り203の駆動可能範囲で、一番大きい絞り値である場合は、これ以上絞りを動かさずTV値をTV_max(この場合、TV_max=7)以上にして適正にすることになる。よって、絞り203を駆動しないと判断してステップS350へ進む。 When the currently set aperture value is the largest aperture value within the driveable range of the aperture 203 used in the live view, the TV value is set to TV_max (in this case, TV_max = 7) The above is appropriate. Therefore, it is determined that the diaphragm 203 is not driven, and the process proceeds to step S350.
現在設定されている絞り値AV_nowが、AV_maxではない場合は、ステップS320へ進む。 Aperture value AV _Now currently set, if not the AV _max, the process proceeds to step S320.
(ステップS320:)
ステップS240,S300,S310により、次回の露出では、現在の絞り値から絞り203を閉じる方法へ制御する必要がある。すなわち図12における絞り駆動領域(グラフC1)であることが確定したと考える。
(Step S320 :)
In steps S240, S300, and S310, in the next exposure, it is necessary to control from the current aperture value to a method of closing the aperture 203. That is, it is considered that the aperture driving area (graph C1) in FIG. 12 has been determined.
輝度追従速度を遅く設定するため、BV_nextを再演算し、BV_calcからの変更量を下記(16)式によって小さくする。
BV_next=BV_calc+H(ΔBV) ……(16)
ΔBVからΔBV_nextを与える関数H(ΔBV)は、図12の点線のグラフC1を実現する関数であり、図18のようなΔBVに対するΔBV_nextの関係を格納したテーブル参照形式で実現することや、近似関数などで求められる。関数H()は、ΔBVよりもH(ΔBV)の絶対値が小さく抑えるように演算している。
In order to set the luminance tracking speed slower, BV_next is recalculated, and the amount of change from BV_calc is reduced by the following equation (16).
BV_next = BV_calc + H (ΔBV) (16)
A function H (ΔBV) that gives ΔBV_next from ΔBV is a function that realizes the dotted line graph C1 in FIG. 12, and is realized in a table reference format storing the relationship of ΔBV_next to ΔBV as shown in FIG. It can be obtained with an approximate function. The function H () is calculated so that the absolute value of H (ΔBV) is smaller than ΔBV.
本実施の形態では、上述のステップS270で説明した関数G(ΔBV)との違いは符号のみであり、この制御の狙いはステップS270で説明したとおりである。
本実施の形態では、説明簡略化のために、関数H()を示す図12の点線のグラフC1は、上述の関数G()と同一に表記している。
In the present embodiment, the difference from the function G (ΔBV) described in step S270 described above is only the sign, and the aim of this control is as described in step S270.
In the present embodiment, for simplicity of explanation, the dotted line graph C1 of FIG. 12 showing the function H () is represented in the same way as the function G () described above.
ここで補足すると、絞り駆動中の露出ズレにより画像が一瞬明るく表示されるのと、暗く表示されるのを比較すると、明るく表示された方がちらつきが目立ちやすい。   As a supplement, here, when the image is displayed brightly for a moment due to an exposure shift during aperture driving and when it is displayed darkly, flickering is more conspicuous when the image is displayed brightly.
画像が一瞬明るくなるのは、ユーザに眩しさを感じさせる点、見苦しさが異なるためと考えられる。そこで、本ステップS320の関数H(ΔBV)の絶対値は、上述のステップS270の関数G(ΔBV)の絶対値よりも大きくして、輝度追従速度をより早めにする、ということを行うこともできる。   The reason why the image is brightened for a moment is considered to be because the user feels dazzling and the unsightly is different. Therefore, the absolute value of the function H (ΔBV) in step S320 may be made larger than the absolute value of the function G (ΔBV) in step S270 described above to make the luminance tracking speed faster. it can.
絞り駆動領域におけるBV_nextが算出されたらステップS330の処理へ移動する。 When BV_next in the aperture driving area is calculated, the process proceeds to step S330.
(ステップS330:)
このステップS330では、次回設定する絞り値を計算する。
0.2段分解能で絞り値を決定するため、下記式(17)の計算を行う。
n=((AV_max+TV_max−SV)−BV_next)÷0.2 ……(17)
この(17)式では、nは小数点以下切り捨てとする。また、n≦0の場合はn=0とする。そして、下記の(18)式により次回設定する絞り値を計算する。ただし、この場合、AV_max=4である。
AV_next=AV_max−0.2×n ……(18)
変化幅の単位を0.2段分解能としているのは、上述のステップS280で説明したとおりである。
(Step S330 :)
In step S330, the aperture value to be set next time is calculated.
In order to determine the aperture value with 0.2 stage resolution, the following equation (17) is calculated.
n = ((AV _max + TV _max -SV c) -BV _next) ÷ 0.2 ...... (17)
In this equation (17), n is rounded down. If n ≦ 0, n = 0. Then, the aperture value to be set next time is calculated by the following equation (18). In this case, however, AV_max = 4.
AV _next = AV _max -0.2 × n ...... (18)
The unit of change width is set to 0.2-step resolution as described in step S280 above.
nを小数点以上切り捨てにする理由は、次のステップS340で行うTV_nextの計算において、AV_nextがAV_max未満の場合のとき、0.2段分解能による誤差分によりTV_nextがTV_max(この場合、TV_max=7)を上回らないようにするためである。 The reason for the n truncate the decimal point, in the calculation of the TV _next performed in the next step S340, when AV _next is of less than AV _max, TV _next is TV _max by an error caused by 0.2 step resolution (in this case This is so as not to exceed TV_max = 7).
ステップS320で、BV_nextとBV_calcの差を小さくしたことで、AV値の変化量が0.2段未満になり絞りがAV_calcと同じになることもあるが、これも考え方は上述のステップS280での説明と同様である。 In step S320, that has a small difference in BV _next and BV _calc, although the aperture amount of change in AV value becomes less than 0.2 stage also be the same as the AV _Calc, the above steps are also ideas This is the same as the description in S280.
このステップS330で、AV_nextが確定した。(18)式の計算が完了したらステップS340へ進む。 In this step S330, AV_next is determined. If calculation of (18) Formula is completed, it will progress to step S340.
(ステップS340:)
ステップS320,S330で決定されたBV値、AV値を用いて、次の(19)式で、次回の露出パラメータのTV値、TV_nextを算出する。
Tv_next=Bv_next+SV−AV_next ……(19)
この演算で、絞り駆動領域かつ、絞りを絞る側に駆動する場合の次回露出パラメータである絞り、シャッタ速、感度が確定したので、露出パラメータ処理を抜ける。
(Step S340 :)
Using the BV value and AV value determined in steps S320 and S330, the next exposure parameter TV value, TV_next, is calculated by the following equation (19).
Tv _next = Bv _next + SV c -AV _next ...... (19)
With this calculation, since the aperture, shutter speed, and sensitivity, which are the next exposure parameters when driving to the aperture drive area and the aperture stop side, are determined, the exposure parameter processing is exited.
(ステップS350:)
ステップS230,S240によって、BV_calcとBV_nextが同じであり、露出を変える必要が無い場合、ステップS250,S260,S300,S310で、絞り非駆動領域(グラフC0)と判断された場合、絞り203を動かさないと判断されたので、現在の絞り値AV_nowを次の露出のAV_nextにそのまま用いる。すなわち、式(20)のようにする。
AV_next=AV_now ……(20)
(Step S350 :)
If BV_calc and BV_next are the same in steps S230 and S240 and there is no need to change the exposure, if it is determined in steps S250, S260, S300, and S310 that the aperture is not driven (graph C0), the aperture 203 since it is determined not to move the, used as the current aperture value AV _Now the AV _next the next exposure. That is, the equation (20) is used.
AV _next = AV _now ...... (20 )
輝度追従速度も、ステップS220で演算された値を用いて、上述の式(14)により、TV値、SV値を計算する。
このステップS350で、絞りを変更しない場合、次回の露出パラメータの絞り、シャッタ速、感度が確定したので露出パラメータ処理を抜ける。
As for the luminance follow-up speed, the TV value and the SV value are calculated by the above formula (14) using the value calculated in step S220.
If the aperture is not changed in step S350, the next exposure parameter aperture, shutter speed, and sensitivity have been determined, and the exposure parameter processing is exited.
以上が、上述の図10のステップS40、ステップS80における露出パラメータの決定の詳細例を記す図11のフローチャートの説明である。
ここで求められた露出パラメータを、図10のステップS50またはステップS90で設定した状態で、LV画像の表示や動画記録の露出が制御される。
The above is the description of the flowchart of FIG. 11 showing a detailed example of determining the exposure parameter in step S40 and step S80 of FIG.
With the exposure parameters obtained here set in step S50 or step S90 in FIG. 10, the display of LV images and the exposure of moving image recording are controlled.
上述のステップS60、ステップS100で、ステップS40、ステップS80に戻ることで、再び露出パラメータを算出する、という動作を繰り返すことで連続した動画が生成される。   By returning to step S40 and step S80 in the above-described step S60 and step S100, a continuous moving image is generated by repeating the operation of calculating the exposure parameter again.
このとき、本実施の形態の場合には、露出パラメータの算出方法において、輝度追従速度の計算と、AV値が細かく刻まれたヒステリシスを構成することで、露出が適正レベル近傍に有る場合は、絞りを小刻みに動かし、絞り駆動中に生じる明るさのちらつきを抑え、LV画像や記録動画の画質を向上させるとともに、露出がアンダーまたはオーバにあるときは絞りを比較的大きく駆動することで輝度追従速度を速め、LV表示中の静止画撮影でのシャッタチャンスを逃がさないような構成となっている。   At this time, in the case of the present embodiment, in the exposure parameter calculation method, the brightness follow-up speed is calculated and the hysteresis in which the AV value is finely cut is configured. By moving the aperture in small increments, the brightness flickering that occurs during aperture drive is suppressed, the image quality of LV images and recorded movies is improved, and when the exposure is under or over, brightness is driven by driving the aperture relatively large. The configuration is such that the speed is increased and a photo opportunity is not missed during still image shooting during LV display.
なお、これまでの実施の形態ではSV値は固定(この場合、SV=SV=5)として説明してきたが、図13のプログラム線図においてSV値を可変にすれば、ヒステリシスの幅が広がり、明暗を繰り返す被写体の場合に絞り203が駆動する頻度をさらに抑えることができることも容易に知られる。 In the above embodiments, the SV value is fixed (in this case, SV = SV c = 5). However, if the SV value is made variable in the program diagram of FIG. It is also easily known that the frequency of driving the diaphragm 203 can be further suppressed in the case of a subject that repeats light and dark.
例えばステップS250において、TV値がTV_min(この場合、TV_min=5)を下回る条件としてSV値をSV=5で一定として計算したが、SV値をカメラがSV8まで変更することが可能なシステムでは、ステップS250の計算式(式(10))を、SV=8として、次の(21)式に変更すればよい。
BV_next+8−AV_now < TV_min ……(21)
そうすれば、さらに暗くならないと絞り203が開く方向に駆動しない動作となる。
For example, in step S250, the SV value is calculated as SV c = 5 constant under the condition that the TV value is lower than TV_min (in this case, TV_min = 5). However, the SV value can be changed up to SV8 by the camera. In the system, the calculation formula (formula (10)) in step S250 may be changed to the following formula (21) with SV c = 8.
BV _next + 8-AV _now < TV _min ...... (21)
If it does so, it will become the operation | movement which does not drive to the direction which the aperture_diaphragm | restriction 203 opens unless it becomes darker.
そして図11のステップS290、S350の計算の後で、TV_nextがTV_min(この場合、TV_min=5)より小さくなる場合は、TV_nextをTV_minにして、SV値を、次の(22)式で、
SV_next=BV_next+TV_min−AV_next……(22)
と計算する処理を付加すればよい。
And after calculation of the step S290, S350 of FIG. 11, (in this case, TV _min = 5) TV _next is TV _min If less than, and the TV _next the TV _min, the SV value, the following (22 )
SV _next = BV _next + TV _min -AV _next ...... (22)
It is sufficient to add a process for calculating.
以上説明したように、本実施の形態によれば、感度(SV)、シャッタ速(TV)を絞り値(AV)に対して優先して変化させることにより、絞り203を可能な限り動作させないヒステリシス特性を有するプログラム線図を設定するとともに、目標とする露出レベルと現在の露出レベルとの差に応じて絞り変化量を変え、また、輝度追従速度を、絞り駆動領域と非絞り駆動領域とで変化させることで、ライブビューによる動画の明るさの急激な変動(ちらつき)を抑制する。   As described above, according to the present embodiment, the hysteresis that prevents the diaphragm 203 from operating as much as possible by changing the sensitivity (SV) and the shutter speed (TV) with priority over the diaphragm value (AV). A program diagram with characteristics is set, the amount of aperture change is changed according to the difference between the target exposure level and the current exposure level, and the luminance follow-up speed is changed between the aperture drive area and the non-aperture drive area. By changing, the rapid fluctuation (flickering) of the brightness of the video due to live view is suppressed.
これにより、例えば、撮像素子111から出力される画像で構図を確認するライブビュー機能を搭載したレンズ交換式カメラにおいて、静止画撮影に最適化された、例えばステップ駆動タイプの絞り駆動機構202および絞り203を持つレンズユニット200を装着した場合でも、動画撮影中の絞り駆動によるライブビュー画像のちらつきに起因するライブビュー画像の見栄えや、記録動画の画質劣化を防止することができる。   As a result, for example, in a lens-interchangeable camera equipped with a live view function for confirming a composition with an image output from the image sensor 111, for example, a step drive type aperture drive mechanism 202 and an aperture optimized for still image shooting Even when the lens unit 200 having 203 is attached, it is possible to prevent the appearance of the live view image due to flickering of the live view image due to the aperture driving during moving image shooting and the deterioration of the image quality of the recorded moving image.
すなわち、本発明の実施の形態によれば、装着されたレンズにおける絞り機構のステップ動作等の動作特性等に影響されることなく、動画撮影中の絞り駆動によるライブビュー画像の見栄えや、記録動画の画質向上を実現することが可能となる。   That is, according to the embodiment of the present invention, the appearance of the live view image by the aperture driving during moving image shooting and the recorded moving image are not affected by the operation characteristics such as the step operation of the diaphragm mechanism in the mounted lens. Image quality can be improved.
また、絞りの特性に最適な輝度追従速度を設定することで、動画の品位と輝度追従速度を最適な状態(バランス)で制御することができ、例えば、ライブビュー中の動画の記録における記録動画の画質の向上と、ライブビューによる構図確認での静止画撮影におけるレリーズタイムラグの短縮による静止画撮影の性能向上と、を両立させることができる。   In addition, by setting the optimal brightness follow-up speed for the aperture characteristics, it is possible to control the quality of the video and the brightness follow-up speed in an optimal state (balance). It is possible to achieve both improvement in image quality and improvement in performance of still image shooting by shortening the release time lag in still image shooting with composition confirmation by live view.
さらに、ライブビューによる動画撮影中に絞り駆動機構の動作頻度や動作速度が減少するので、動画撮影中の絞り駆動機構の動作騒音が減少し、動画の画質とともに、動画に付随して記録される音声の音質も向上する。   Furthermore, since the operating frequency and operating speed of the aperture drive mechanism are reduced during moving image shooting with live view, the operating noise of the aperture drive mechanism during movie shooting is reduced and recorded together with the moving image quality along with the moving image. Sound quality is also improved.
なお、本発明は、上述の実施の形態に例示した構成に限らず、その趣旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
例えば、カメラの構成は、上述の実施の形態に例示した構成に限らない。
Needless to say, the present invention is not limited to the configuration exemplified in the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
For example, the configuration of the camera is not limited to the configuration exemplified in the above embodiment.
100 ボディユニット
101 Bμcom
102 画像処理IC
104 SDRAM
110 撮像素子駆動IC
111 撮像素子
120 シャッタユニット
121 シャッタ駆動制御回路
130 通信コネクタ
131 記録メディア
140 液晶モニタ
150 カメラ操作スイッチ
160 通信コネクタ
170 制御プログラム
200 レンズユニット
201 Lμcom
202 絞り駆動機構
203 絞り
204 レンズ駆動機構
210a 撮影レンズ
210b DCモータ
100 Body unit 101 Bμcom
102 Image processing IC
104 SDRAM
110 Image sensor drive IC
111 Image sensor 120 Shutter unit 121 Shutter drive control circuit 130 Communication connector 131 Recording medium 140 Liquid crystal monitor 150 Camera operation switch 160 Communication connector 170 Control program 200 Lens unit 201 Lμcom
202 Diaphragm drive mechanism 203 Diaphragm 204 Lens drive mechanism 210a Shooting lens 210b DC motor

Claims (4)

  1. 動画撮影およびライブビュー表示の少なくとも一方が可能なカメラにおいて、
    撮影レンズにより結像された像を電気信号に変換する撮像手段と、
    被写体輝度を取得する被写体輝度取得手段と、
    前記被写体輝度取得手段の被写体輝度に基づいて、シャッタ速度と絞り値を演算する露出演算手段と、
    前記露出演算手段の出力するシャッタ速度に基づいて、前記撮像手段が光信号を蓄積する時間を制御するシャッタ手段と、
    前記露出演算手段の出力する絞り値に基づいて、前記撮影レンズから入射する光量を制限する絞り手段の絞り開口を制御する絞り制御手段と、
    前記絞り手段の絞り値を変更するか否かを判定する判定手段と、
    適正な露出量からの偏差に応じて露出を変化させる量に関する情報であって互いに異なる第1の情報と第2の情報を記憶する記憶手段と、
    を備え、
    前記露出演算手段は、前回の露出に関連する前記被写体輝度取得手段の出力する輝度情報と、前記絞り手段の絞り値と、前記シャッタ手段のシャッタ速度とに基づいて、前回の露出量と適正な露出量との偏差を算出し、前記算出された偏差に基づいて次回の露出時の前記絞り手段の絞り値を演算する際に、前記判定手段が前記絞り手段の絞り値を変更すると判定する場合には、前記記憶手段の出力する第1の情報に基づいて前記算出された偏差の一部を解消するように次回の露出時の絞り値を演算し、前記判定手段が前記絞り手段の絞り値を変更しないと判定する場合には、前記記憶手段の出力する第2の情報に基づいて前記算出された偏差の全部を解消するように次回の露出時のシャッタ速度を演算することを特徴としたカメラ。
    In cameras that can perform at least one of video recording and live view display,
    Imaging means for converting an image formed by the taking lens into an electrical signal;
    Subject luminance acquisition means for acquiring subject luminance;
    Exposure calculation means for calculating a shutter speed and an aperture value based on the subject brightness of the subject brightness acquisition means;
    Shutter means for controlling the time during which the imaging means accumulates an optical signal based on the shutter speed output by the exposure calculating means;
    A diaphragm control means for controlling a diaphragm aperture of the diaphragm means for limiting the amount of light incident from the photographing lens based on the diaphragm value output by the exposure calculation means;
    Determining means for determining whether or not to change the aperture value of the aperture means;
    Storage means for storing first information and second information different from each other, which are information relating to an amount of change in exposure in accordance with a deviation from an appropriate exposure amount;
    With
    The exposure calculation unit is configured to determine whether the previous exposure amount is appropriate based on the luminance information output from the subject luminance acquisition unit related to the previous exposure, the aperture value of the aperture unit, and the shutter speed of the shutter unit. When calculating the deviation from the exposure amount and calculating the aperture value of the aperture means at the next exposure based on the calculated deviation, the determination means determines to change the aperture value of the aperture means For calculating the aperture value at the next exposure so as to eliminate a part of the calculated deviation based on the first information output from the storage unit, and the determining unit determines the aperture value of the aperture unit. If it is determined not to change, the shutter speed at the next exposure is calculated so as to eliminate all of the calculated deviation based on the second information output from the storage means . camera.
  2. 前記判定手段は、次回の露出量に関連するシャッタ速度が、所定範囲を超える場合に前記絞り値を変更すると判定することを特徴とする請求項に記載のカメラ。 The camera according to claim 1 , wherein the determination unit determines to change the aperture value when a shutter speed related to a next exposure amount exceeds a predetermined range.
  3. さらに、前記撮像手段の受光量に対する光電変換の感度を設定する感度設定手段を有し、
    前記判定手段は、次回の露出量に関連する感度が、所定範囲を超える場合に前記絞り値を変更すると判定することを特徴とする請求項に記載のカメラ。
    Furthermore, it has sensitivity setting means for setting the sensitivity of photoelectric conversion with respect to the amount of light received by the imaging means,
    The camera according to claim 1 , wherein the determination unit determines to change the aperture value when a sensitivity related to a next exposure amount exceeds a predetermined range.
  4. 撮影レンズと撮像手段と前記撮影レンズから入射する光量を制限する絞り手段を有し、動画撮影およびライブビュー表示の少なくとも一方が可能であるカメラの制御方法において、
    前記撮影レンズにより前記撮像手段に結像された像を電気信号に変換する第1ステップと、
    前記変換された電気信号に基づいて被写体輝度を取得する第2ステップと、
    前記第2ステップで得られる前記被写体輝度に基づいて、シャッタ速度と絞り値を演算する第3ステップと、
    前記第3ステップで演算された前記シャッタ速度と前記絞り値に基づいて、露出動作を行う第4ステップと
    含み、
    前記第3ステップでは、前回の露出に関連して前記第2ステップで得られた輝度情報と、前回の露出に関連して前記第3のステップで演算された前記絞り値と前記シャッタ速度とに基づいて、前回の露出量と適正な露出量との偏差を算出し、前記算出された偏差に基づいて次回の露出時の前記絞り手段の前記絞り値を演算する際に、前記絞り手段の絞り値を変更する場合には、前記算出された偏差の一部を解消するように次回の露出時の絞り値を演算し、前記絞り手段の絞り値を変更しない場合には、前記算出された偏差の全部を解消するように次回の露出時のシャッタ速度を演算することを特徴とするカメラの制御方法。
    In a control method for a camera having a photographing lens, an imaging means, and a diaphragm means for limiting the amount of light incident from the photographing lens, and capable of at least one of moving image shooting and live view display,
    A first step of converting an image formed on the imaging means by the photographing lens into an electrical signal;
    A second step of obtaining subject brightness based on the converted electrical signal ;
    A third step of calculating a shutter speed and an aperture value based on the subject brightness obtained in the second step;
    A fourth step of performing an exposure operation based on the shutter speed and the aperture value calculated in the third step ;
    It includes,
    In the third step, the brightness information obtained in the second step in relation to the previous exposure, the aperture value and the shutter speed calculated in the third step in relation to the previous exposure are determined. Based on the previous exposure amount and the appropriate exposure amount, and when calculating the aperture value of the aperture means at the next exposure based on the calculated deviation, When changing the value, the aperture value at the next exposure is calculated so as to eliminate a part of the calculated deviation, and when the aperture value of the aperture means is not changed, the calculated deviation is calculated. A camera control method characterized by calculating a shutter speed at the next exposure so as to eliminate all of the above .
JP2010035970A 2010-02-22 2010-02-22 Camera and camera control method Active JP5495841B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010035970A JP5495841B2 (en) 2010-02-22 2010-02-22 Camera and camera control method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010035970A JP5495841B2 (en) 2010-02-22 2010-02-22 Camera and camera control method
CN 201110037480 CN102164247B (en) 2010-02-22 2011-02-14 Camera and controlling method for same
US13/027,962 US8295697B2 (en) 2010-02-22 2011-02-15 Camera and controlling method for the same

Publications (3)

Publication Number Publication Date
JP2011172145A JP2011172145A (en) 2011-09-01
JP2011172145A5 JP2011172145A5 (en) 2013-03-28
JP5495841B2 true JP5495841B2 (en) 2014-05-21

Family

ID=44465184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010035970A Active JP5495841B2 (en) 2010-02-22 2010-02-22 Camera and camera control method

Country Status (3)

Country Link
US (1) US8295697B2 (en)
JP (1) JP5495841B2 (en)
CN (1) CN102164247B (en)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5906626B2 (en) * 2011-09-16 2016-04-20 株式会社ニコン Aperture control device and imaging device
CN103369227A (en) * 2012-03-26 2013-10-23 联想(北京)有限公司 Photographing method of moving object and electronic equipment
KR20140009606A (en) * 2012-07-11 2014-01-23 삼성전자주식회사 Test device and control method thereof
JP5749224B2 (en) * 2012-07-13 2015-07-15 株式会社東芝 The camera module
CN103747188B (en) * 2013-12-27 2017-10-27 深圳英飞拓科技股份有限公司 Security device P iris lens aperture control method and device
KR101932545B1 (en) * 2014-04-29 2019-03-15 한화테크윈 주식회사 Imaging Device including Image Signal Processing
CN104133525A (en) * 2014-07-07 2014-11-05 联想(北京)有限公司 Information processing method and electronic equipment
JP6501580B2 (en) * 2015-03-26 2019-04-17 オリンパス株式会社 Imaging device, imaging method, and program
JP6534295B2 (en) * 2015-04-30 2019-06-26 富士フイルム株式会社 Imaging apparatus and method, and imaging control program
JP6525740B2 (en) * 2015-06-01 2019-06-05 キヤノン株式会社 Information processing apparatus, control method for information processing apparatus, image processing system, and program
JP6466786B2 (en) * 2015-06-12 2019-02-06 オリンパス株式会社 Imaging apparatus, imaging method, and program
JP6765820B2 (en) * 2016-02-10 2020-10-07 オリンパス株式会社 camera
JP6727880B2 (en) * 2016-03-30 2020-07-22 オリンパス株式会社 Imaging device and imaging method
CN111095910B (en) * 2017-09-14 2021-01-12 富士胶片株式会社 Image pickup control device, image pickup control method, and recording medium
WO2019075758A1 (en) * 2017-10-20 2019-04-25 深圳市大疆创新科技有限公司 Imaging control method, imaging device and unmanned aerial vehicle
CN110945423A (en) * 2018-08-02 2020-03-31 深圳市大疆创新科技有限公司 Diaphragm control method and device, diaphragm equipment and shooting equipment
CN109218627A (en) * 2018-09-18 2019-01-15 Oppo广东移动通信有限公司 Image processing method, device, electronic equipment and storage medium
CN108933901B (en) * 2018-09-20 2020-11-20 陕西土豆数据科技有限公司 Exposure algorithm based on oblique photography camera
CN110771148A (en) * 2018-11-28 2020-02-07 深圳市大疆创新科技有限公司 Shooting method and device and unmanned aerial vehicle

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4876566A (en) * 1988-10-17 1989-10-24 Polaroid Corporation Camera having auto-trim exposure control
DE69118616T2 (en) * 1990-08-08 1996-09-19 Canon Kk Electronic still video camera
JPH10221736A (en) * 1996-12-04 1998-08-21 Ritsuku:Kk Shutter device and camera device
JP3546854B2 (en) 2001-03-28 2004-07-28 ミノルタ株式会社 Camera body and exposure control method
JP2003098567A (en) * 2001-09-20 2003-04-03 Canon Inc Camera
DE10218313B4 (en) * 2002-04-24 2018-02-15 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Digital motion picture camera
JP2004056699A (en) 2002-07-24 2004-02-19 Kyocera Corp Camera with moving picture photographing function
JP4125084B2 (en) * 2002-10-08 2008-07-23 キヤノン株式会社 Image capturing apparatus, program, and recording medium
JP5051965B2 (en) * 2003-12-05 2012-10-17 株式会社ニコン Illumination device for photographing, camera system and camera
JP4475165B2 (en) * 2005-04-26 2010-06-09 カシオ計算機株式会社 Imaging apparatus, exposure control method, and program
JP2008160175A (en) * 2006-12-20 2008-07-10 Olympus Imaging Corp Digital camera
JP2008167361A (en) * 2007-01-05 2008-07-17 Acutelogic Corp Camera module, electronic device with the same, method of manufacturing camera module, and method of manufacturing electronic device using the same
JP5221931B2 (en) * 2007-10-31 2013-06-26 キヤノン株式会社 Imaging apparatus and control method thereof

Also Published As

Publication number Publication date
CN102164247B (en) 2013-10-30
US20110206360A1 (en) 2011-08-25
US8295697B2 (en) 2012-10-23
CN102164247A (en) 2011-08-24
JP2011172145A (en) 2011-09-01

Similar Documents

Publication Publication Date Title
US9357138B2 (en) Image capture apparatus, method of controlling image capture apparatus, and electronic device
US8928761B2 (en) Digital camera
US9215372B2 (en) Image device and imaging method
JP4854581B2 (en) Imaging apparatus and control method thereof
US8106965B2 (en) Image capturing device which corrects a target luminance, based on which an exposure condition is determined
US9723220B2 (en) Imaging apparatus, control method, and program
JP4561912B2 (en) Imaging apparatus, imaging method, and program
US8810717B2 (en) Camera body and flash device with compatibility determination of external auxiliary light source
JP4173457B2 (en) Imaging apparatus and control method thereof
JP5715436B2 (en) Imaging apparatus and control method thereof
US8553139B2 (en) Image pickup apparatus
KR20110076729A (en) Multi-step exposed image acquisition method by electronic shutter and apparatus using the same
TWI360349B (en) Digital imaging apparatus with camera shake compen
US9485434B2 (en) Image capturing apparatus, control method, and program thereof
TWI423664B (en) Imaging apparatus and exposure control method
JP4808578B2 (en) Digital camera and control method thereof
JP6675194B2 (en) Imaging device, control method therefor, program, and storage medium
US9438815B2 (en) Control device, control method, and control system with multiple dynamic ranges
US10244159B2 (en) Image capturing apparatus and control method thereof
KR20090098197A (en) Digital photographing apparatus to control flash lighting, controlling method for the same, and recording medium which records the program for carrying the same method
KR20100070374A (en) Image capturing apparatus and control method therefor
US7580058B2 (en) Image capturing apparatus and image capturing method
US8896726B2 (en) Imaging apparatus and imaging method for generating electronic image data and performing special effect operations
US8779341B2 (en) Imaging apparatus and exposure control method
CN102164247B (en) Camera and controlling method for same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140304

R151 Written notification of patent or utility model registration

Ref document number: 5495841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250