JP6727880B2 - 撮影装置および撮影方法 - Google Patents

撮影装置および撮影方法 Download PDF

Info

Publication number
JP6727880B2
JP6727880B2 JP2016067960A JP2016067960A JP6727880B2 JP 6727880 B2 JP6727880 B2 JP 6727880B2 JP 2016067960 A JP2016067960 A JP 2016067960A JP 2016067960 A JP2016067960 A JP 2016067960A JP 6727880 B2 JP6727880 B2 JP 6727880B2
Authority
JP
Japan
Prior art keywords
exposure
exposure control
limit
unit
aperture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016067960A
Other languages
English (en)
Other versions
JP2017183999A (ja
Inventor
雅隼 野田
雅隼 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016067960A priority Critical patent/JP6727880B2/ja
Priority to US15/471,480 priority patent/US9967460B2/en
Priority to CN201710196016.8A priority patent/CN107277382A/zh
Publication of JP2017183999A publication Critical patent/JP2017183999A/ja
Application granted granted Critical
Publication of JP6727880B2 publication Critical patent/JP6727880B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/0805Setting of priority modes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/095Digital circuits for control of aperture
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/097Digital circuits for control of both exposure time and aperture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、絞りを有する撮影装置を用いて動画撮影を行う際に、撮影画像の輝度の変化に追従して適正露出で撮影できる撮影装置および撮影方法に関する。
動画は所定のフレームレートで撮影した画像を連続的に再生する。このため、鑑賞者から見ると、撮影画像の急激な輝度の変化は好まれず、滑らかな輝度変化が好まれる。そこで、動画撮影時には、目標とする露出と実際の露出の差に基づいて絞りの駆動速度を変化させ、露出差が大きいときには絞りの駆動速度を速くし、露出差が小さいときは駆動速度を遅くすることにより、撮影画像の輝度変化に対して円滑なAE制御を行うことが提案されている(例えば、特許文献1参照)。
特開2006−215310号公報
一眼レフカメラ用等の交換レンズは静止画撮影を主目的としており、絞り羽根の枚数が多く、絞り停止位置や駆動スピードを細かく制御する動的特性は、高いレベルが要求されていない。しかし、一眼レフカメラ用等の交換レンズを動画撮影に使用する場合が増えてきている。この場合には、本来理想とする露出変化量・スピードを絞り動作により再現することができず、このため動画の見栄えが悪くなる。
本発明は、このような事情を鑑みてなされたものであり、撮影画像の輝度が変化する場合であっても、動画の見栄えが悪くならないようにした撮影装置および撮影方法を提供することを目的とする。
上記目的を達成するため第1の発明に係る撮影装置は、撮影光学系を有し、撮影光学系を通過する光束を受光して撮像し、撮像信号を出力する撮像部を有する撮影装置において、上記撮影光学系に含まれ、開口を有し上記光束を制限する絞りと、上記絞りの開口を変更して上記撮像部の露出を制御する第1の露出制御部と、上記絞りの開口を変更しないで上記撮像部の露出を制御する第2の露出制御部と、上記撮像部が出力する撮像信号に基づいて適正露出量と現在設定されている実露出量の偏差を算出する露出量偏差算出部と、上記偏差に基づいて第1の露出制御部または第2の露出制御部を選択して露出を制御させる制御部と、撮像する画像の品位の限界となる上記第2の露出制御部の限界露出制御値を設定する限界露出制御値設定手段と、を有し、上記制御部は、上記第2の露出制御部を選択している場合に、上記第2の露出制御部の露出制御値が上記限界露出制御値に達すると、上記第1の露出制御部を選択して露出を制御させる
の発明に係る撮影装置は、上記第の発明において、上記制御部は、上記第1の露出制御部を選択している場合に、上記第1の露出制御部の露出制御値が上記絞りの開口限界に対応する露出制御値に達すると、上記第2の露出制御部を選択して露出を制御させる。
の発明に係る撮影装置は、上記第1の発明において、撮像する動画の品位の度合の限界を設定する品位限界設定手段を有し、上記限界露出制御値設定手段は、上記設定された動画の品位の限界に基づいて上記限界露出制御値を設定する。
の発明に係る撮影装置は、上記第1ないし第の発明のいずれかにおいて、上記第2の露出制御部は、上記撮像部の撮影感度を変更して露出を制御する。
の発明に係る撮影装置は、上記第の発明において、露出モード設定手段を有し、上記露出モード設定手段により露出モードとしてシャッタ速度優先モードが設定される場合に、上記第2の露出制御部は、上記撮像部の撮影感度を変更して露出を制御する。
の発明に係る撮影装置は、上記第1ないし第の発明のいずれかにおいて、上記第2の露出制御部は、上記撮像部の電子シャッタ速度を変更して露出を制御する。
の発明に係る撮影装置は、上記第の発明において、露出モード設定手段を有し、上記露出モード設定手段により露出モードとしてプログラムモードが設定される場合に、上記第2の露出制御部は、上記撮像部の電子シャッタ速度を変更して露出を制御する。
の発明に係る撮影方法は、撮影光学系と、該撮影光学系を通過する光束を受光して撮像し、撮像信号を出力する撮像部と、上記撮影光学系に含まれ、開口を有し上記光束を制限する絞りを有する撮影装置の撮像方法において、上記撮像部が出力する撮像信号に基づいて適正露出量と現在設定されている実露出量の偏差を算出する露出量偏差算出ステップと、上記絞りの開口を変更して上記撮像部の露出を制御する第1の露出制御ステップと、上記絞りの開口を変更しないで上記撮像部の露出を制御する第2の露出制御ステップと、上記偏差に基づいて第1の露出制御ステップまたは第2の露出制御ステップを選択して露出を制御させる制御ステップと、撮像する画像の品位の限界となる上記第2の露出制御ステップの限界露出制御値を設定する限界露出制御値設定ステップと、上記第2の露出制御ステップを選択している場合に、上記第2の露出制御ステップの露出制御値が上記限界露出制御値に達すると、上記第1の露出制御ステップを選択する選択ステップと、を有する。
本発明によれば、撮影画像の輝度が変化する場合であっても、動画の見栄えが悪くならないようにした撮影装置および撮影方法を提供することができる。
本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラにおいて、露出制御を決める際に使用する品位の限界を説明する図である。 本発明の一実施形態に係るカメラにおいて、シャッタ速度優先モードが設定されている場合の露出制御の仕方を説明する図である。 本発明の一実施形態に係るカメラにおいて、プログラムモードが設定されている場合の露出制御の仕方を説明する図である。 本発明の一実施形態に係るカメラにおいて、シャッタ速度優先モード設定時の露出制御動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、プログラムモード設定時の露出制御動作を示すフローチャートである。 本発明の一実施形態に係るカメラにおいて、プログラムモード設定時の露出制御動作を示すフローチャートである。 本発明の一実施形態に係るカメラの作用を説明する図である。
以下、本発明の一実施形態としてデジタルカメラに適用した例について説明する。このカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタタイミングを決定する。レリーズ操作時には、静止画の画像データが記録媒体に記録され、動画釦の操作時には、動画の画像データが記録媒体に記録される。記録媒体に記録された静止画および動画の画像データは、再生モードを選択すると、表示部に再生表示することができる。
また、動画撮影時には、撮影画像の輝度と、実露光量と適正露光量の差分とに基づいて、シャッタを制御するか、絞りを制御するか、ISO感度を制御するかを判定して、この判定結果に基づいて露出の制御を行う。また、制御対象の選択にあたっては、フリッカ品位、像流れ品位、ノイズ品位等について、これらの品位の理想値、理想制御範囲、品位の限界を考慮して決定する。実露光量と適正露光量の差が小さい範囲において、鑑賞者は、絞りの変化により生ずる画像の輝度の変化が気になり、画像劣化と感じることから、実露光量と適正露光量の差が小さい範囲においては、シャッタ速度やISO感度で露出の制御を行うようにする。なお、本明細書においては、露光と露出は同じ意味で使用する。
図1は、本実施形態に係るカメラの主として電気的構成を示すブロック図である。本実施形態に係るカメラは、カメラ本体10とレンズ鏡筒20を有する。カメラ本体10とレンズ鏡筒20は、一体に構成してもよく、また別体に構成してもよい。別体に構成する場合には、カメラ本体10にレンズ鏡筒20を装着自在とし、装着時にカメラ本体10内の制御部11と、レンズ鏡筒20内の絞り動作制御部21を電気的に接続し、通信可能に構成する。
カメラ本体10内には、制御部11、撮像制御部15、撮像素子16、およびメカシャッタ17を有する。また、レンズ鏡筒20内には、絞り動作制御部21、絞り動作部22、ズーム位置検出部23、および撮影光学系25を有する。
撮影光学系25は、前群レンズ26aと後群レンズ26b(両者を総称する場合には、レンズ26)と、絞り27を有する。レンズ26内のフォーカスレンズを光軸O方向に移動させることにより、焦点調節を行い、またズームレンズを光軸O方向に移動させることにより焦点距離を変化させることができる。
前群レンズ26aと後群レンズ26bの間には、絞り27が配置されている。絞り27は、絞り動作部22によって開口径が変化し、撮影光学系25を通過する被写体光量が制御される。絞り27は、撮影光学系に含まれ、開口を有し光束を制限する絞りとして機能する。
カメラ本体10内であって、撮影光学系25の光軸O上には、メカシャッタ17が配置されている。メカシャッタ17は、撮影光学系25を通過する被写体光束を通過および遮光し、また静止画撮影時には、撮像素子16への被写体像の露光時間(シャッタ速度)を制御する。なお、動画撮影時には、メカシャッタ17は開放状態とされ、撮像素子16への被写体像の露光時間は撮像素子16の電子シャッタによって制御される。
撮像素子16は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ等の固体撮像素子を有する。撮像素子16は、レンズ26によって結像された被写体像を光電変換し、撮像信号を出力する。前述の撮影光学系25と撮像素子16は、撮影光学系を通過する光束を受光して撮像し、撮像信号を出力する撮像部として機能する。
撮像制御部15は、撮像制御回路を有し、撮像素子16の露光時間制御(シャッタ制御)および撮像信号の読み出し制御等を行う。すなわち、撮像制御部15は、シャッタ速・感度動作制御部14からのシャッタ速情報を用いて、動画撮影時の各フレームの露光時間(シャッタ速度)の制御を行う。また、撮像制御部15は、露光時間経過後に読み出した撮像信号に対して、シャッタ速・感度動作制御部14からの感度情報に応じて、増幅処理を行う。
撮像制御部15で読出し処理された撮像信号は、制御部11に出力される。撮像制御部15は、絞りの開口を変更しないで撮像部の露出を制御する第2の露出制御部として機能する。この第2の露出制御部は、撮像部の撮影感度を変更して露出を制御する。また、第2の露出制御部は、撮像部の電子シャッタ速度を変更して露出を制御する。
制御部11は、CPU(Central Processing Unit)、その周辺回路およびメモリを有し、メモリに記憶されたプログラムに従ってカメラ内の各部を制御する。制御部11内には、露出設定値演算部12およびシャッタ速・感度動作制御部14は、プログラムによって実行される機能ブロックである。また、制御部11内には、レンズ鏡筒20内の絞り動作制御部21と信号のやり取りをして通信するための絞り値送受信部13を有する。
露出設定値演算部12は、撮像制御部15から入力した撮像信号に基づいて撮影画像の輝度を算出する。露出設定値演算部12は、撮影画像の輝度に基づいて、シャッタ速と感度を算出し、算出結果を動作制御部14に出力し、また絞り値を算出し、算出結果を絞り値送受信部13に出力する。これらの露出制御値の算出にあたっては、撮像信号に基づく適正露出量と、現在設定されている露出制御値(絞り、シャッタ速、ISO感度)に基づく実露出量の偏差を算出し、この偏差に基づいて、絞りの開口を変更して露出を制御するか、絞りの開口を変更せずに露出を制御するかを選択して行う。
すなわち、露出設定値演算部12は、撮像部が出力する撮像信号に基づいて適正露出量と現在設定されている実露出量の偏差を算出する露出量偏差算出部と、偏差に基づいて第1の露出制御部または第2の露出制御部を選択して露出を制御させる制御部として機能する。
また、露出設定値演算部12は、撮像する画像の品位の限界となる第2の露出制御部の露出制御値(例えば、撮像制御部15によるISO感度Svとシャッタ速度Tv)を設定する限界露出制御値設定手段としても機能する。ここで、画像の品位の限界としては、例えば、フリッカ品位、像流れ品位、ノイズ品位等がある(図2参照)。上述の制御部は、第2の露出制御部を選択している場合に、第2の露出制御部の露出制御値が限界露出制御値に達すると、第1の露出制御部を選択して露出を制御させる(例えば、図5のS7No、S23Yes、図6のS63Yes、図7のS77No、S91Yes等参照)。この品位限界は、予め設定値として記憶しておいてもよく、またユーザが手動で設定してもよく、また、焦点距離や温度等のパラメータによって自動的に補正するようにしてもよい。
また、上述の制御部は、第1の露出制御部(例えば、絞り動作制御部21による絞り制御)を選択している場合に、第1の露出制御部の露出制御値が絞りの開口限界に対応する露出制御値に達すると、第2の露出制御部を選択して露出を制御させる(例えば、図5のS9No、S25No、S31No等参照)。
また、露出設定演算部12は、撮像する動画の品位の度合の限界を設定する品位限界設定手段としても機能する。この限界露出制御値設定手段は、設定された動画の品位の限界に基づいて上記限界露出制御値を設定する。
また、露出設定演算部12は、露出モード設定手段としても機能する。露出モード設定手段により露出モードとしてシャッタ速度優先モードが設定される場合に、第2の露出制御部は、撮像部の撮影感度を変更して露出を制御する(例えば、図3、図5のS13、S19、S29、S35等参照)。また、露出設定演算部12は、露出モード設定手段により露出モードとしてプログラムモードが設定される場合に、第2の露出制御部は、撮像部の電子シャッタ速度を変更して露出を制御する(例えば、図4、図6のS55、S69、図7のS87、S99等参照)。なお、露出設定演算部12が、ユーザが操作部を操作した際の操作状態に基づいて露出モードを設定する。
シャッタ速・感度動作制御部14は、露出設定値演算部12が算出したシャッタ速と感度を入力すると、このシャッタ速と感度となるように、撮像制御部15に制御信号を出力する。
絞り値送受信部13は、通信回路を有し、露出設定値演算部12が算出した絞り値を入力すると、レンズ鏡筒20内の絞り動作制御部21に絞り値を出力する。また、絞り値送受信部13は、ズーム位置検出部23が撮影光学系25の焦点距離を検出すると、絞り動作制御部21を介して、焦点距離情報を入力する。露出設定値演算部12は、絞り値の算出にあたって、絞り値送受信部13が入力した焦点距離情報を用いる。絞り値は焦点距離によって変動するからである。
絞り動作制御部21は、レンズ鏡筒20が交換レンズの場合には、CPU、その周辺回路およびプログラムを記憶したメモリを有する。レンズ鏡筒がカメラ本体と一体の場合には、制御部11内に設けられている。絞り動作制御部21は、制御部11からの絞り値に基づいて、絞り動作部22を介して絞り27の開口量の制御を行う。また、ズーム位置検出部23が検出した撮影光学系25の焦点距離情報を、制御部11に出力する。絞り動作制御部21は、絞りの開口を変更して撮像部の露出を制御する第1の露出制御部として機能する。
ズーム位置検出部23は、ズームエンコーダ等のセンサを有し、レンズ26の内のズームレンズの位置を検出し、焦点距離情報を絞り動作制御部21に出力する。
絞り動作部22は、ステッピングモータ等の駆動部と、絞り駆動機構を有する。絞り動作部22は、絞り動作制御部21からの絞り値情報に基づいて、絞り27の開口量を制御する。
本実施形態におけるカメラの露出制御は、ΔEv(適正露光量と実露光量の差)と所定の条件で定めた絞り以外の各露出の品位の限界を用いて、優先して制御する露出制御対象(具体的には、絞り、シャッタ速、ISO感度のいずれか)を決定する。この制御方法を説明する前に、図2をもちいて、各露出の品位の限界について説明する。
各露出の品位とは、シャッタ速(Tv)、ISO感度(Sv)の露出操作をすることにより、動画の見栄えに影響する内容を指す。例えば、シャッタ速(Tv)を制御する場合には、品位として「フリッカ」や「像流れ量(被写体ぶれ量)」が影響し、またISO感度(Sv)を制御する場合には、「ノイズ量」が影響する。各項目で、見栄えが絞りを動かす場合よりも悪化してしまう露出設定値の境界を品位の限界と定義する。図2に各項目で挙げた各露出の品位のイメージを示す。もっとも品位がよくなるポイントについては、理想値・理想範囲(図2中で網掛けの部分)と定義し、Tv・Sv間で露出制御を切り換える際の優先度の判断基準とする。
フリッカは、一定周期で点滅する光源と、撮像フレームレートの組み合わせで撮影映像に発生する縞である。フリッカは基本的に光源の点滅の周波数とシャッタ速が同期しているか、シャッタ速が遅くなれば目立たなくなる。逆にシャッタ速が速くなれば目立ちやすくなり、映像の見栄えが悪化する。
図2(a)の上段は、横軸をシャッタ速とし、右が高速側であり、左が低速側である。なお、図2(a)は、一例として、交流電源周波数Hzを60Hz、撮像フレームレートfpsを60fpsの条件で示している。フリッカ品位の理想値は、例えば、交流電源周波数Hzに同期して点滅する光源の点滅周波数に相当するTv値、すなわち、1/(Hz*2)から−1Evに相当する1/HzのTv値と仮定している。理想範囲は理想値より低速側とフリッカの見えない+1EVの1/(Hz*2)のTv値(理想範囲限界)の範囲と仮定している(図中、網掛けの範囲)。理想範囲限界から高速側に品位の限界までの範囲は、フリッカによる縞の影響が画像に現れるが、一般的に動画品位としては許容できる範囲と仮定している(図中、横縞の範囲)。品位の限界は、フリッカによる縞の種類や、撮像フレームレートによって異なる。フリッカ品位の限界に相当するTv値は、予めメモリに記憶されており、制御部11がメモリから読出してフリッカ品位の限界として使用する。また、フリッカ品位の限界は感覚的なものであってユーザ毎に異なるものであるから、ユーザが操作部を操作することにより、フリッカ品位の限界に相当するTv値を調節してもよい。また、制御部11は、上記ユーザによる調節可能範囲を、理想値または理想範囲限界からメモリに記憶されたフリッカ品位の限界の間に制限してもよい。
像流れ量は、動画の1フレームごとの被写体ぶれ量を指す。シャッタ速が速ければ速い程像流れ量は小さくなる。動画においては静止画と違い、フレームとフレームの間での動きの連続性も見栄えに関り、像流れがフレーム間の画像の動きを補間する役割を担う。像流れ量が小さくなりすぎると、フレーム間の動きがぎこちなくなり見栄えが悪くなる。像流れ量が大きくなりすぎると、ぶれて見えるようになる。なお、撮像フレームレートより低速となるシャッタ速には設定しないことを前提としている。
図2(a)の下段は、横軸をシャッタ速とし、右が高速側であり、左が低速側である。像流れの品位の理想値は、180度シャッタの法則より仮定し、1/(fps*2)に相当するTv値としている(なお、fpsはフレームレート)。理想範囲は、像流れ量が理想的となる範囲であって、180度シャッタ以下の範囲と180度シャッタ以上で+1EVの間の範囲(図中の網掛けの範囲)を仮定している。すなわち、理想範囲の限界は、1/(fps*2*2)となるTv値を仮定している。品位の限界は、フレーム間の動きがぎこちなく見える時のシャッタ速Tvである。理想範囲の限界から、高速側に品位の限界までの範囲は、フレーム間の動きのぎこちなさの影響が画像に現れるが、一般的に動画品位としては許容できる範囲と仮定している(図中、横縞の範囲)。像流れ品位の限界に相当するTv値は、予めメモリに記憶されており、制御部11がメモリから読出して像流れ品位の限界として使用する。また、像流れ品位の限界は感覚的なものであってユーザ毎に異なるものであるから、ユーザが操作部を操作することにより、像流れ品位の限界に相当するTv値を調節してもよい。また、制御部11は、上記ユーザによる調節可能範囲を、理想値または理想範囲限界からメモリに記憶された像流れ品位の限界の間に制限してもよい。
ノイズは、撮像素子16からの撮像信号の増幅等の際に発生する。ノイズは撮像の感度を上昇させると、増え、画像の見栄えが悪くなる。図2(b)は、横軸を感度とし、右が低感度側、左が高感度側である。ノイズ品位の理想値は、最低感度値であり、品位の限界は、鑑賞者が見た目でノイズが気になるときの感度値である。ノイズ品位の限界に相当するSv値は、予めメモリに記憶されており、制御部11がメモリから読出してノイズ品位の限界として使用する。また、ノイズ品位の限界は感覚的なものであってユーザ毎に異なるものであるから、ユーザが操作部を操作することにより、ノイズ品位の限界に相当するSv値を調節してもよい。また、制御部11は、上記ユーザによる調節可能範囲を、メモリに記憶されたノイズ品位の限界を上限として制限してもよい。
次に、本実施形態における露出制御について説明する。前述したように、本実施形態においては、適正露光量と実露光量の差ΔEvと所定の条件で定めた絞り以外の各露出の品位の限界を用いて、優先して制御する露出制御対象(具体的には、絞り、シャッタ速、ISO感度のいずれか)を決定する。
すなわち、本実施形態の露出制御は、次の(1)〜(3)を実行する。
(1)ΔEvに基づいて、「Av(絞り)での追従」、「Sv(感度)またはTv(シャッタ速)での追従」のいずれを優先するか判定する。
(2)上述の(1)の判定の結果、「SvまたはTvでの追従」となった場合であっても、品位の限界に達している場合は、Avによる露出追従に切り替える。例えば、被写体輝度がゆっくり変化し続けた場合は、極力SvまたはTvで露出追従するが、露出追従中にSvまたはTvの品位限界に到達した場合には、Avで露出追従に切り替える。
(3)上述の(2)の処理の結果Avに切り替え後、Avの露出限界を超えた場合は、SvまたはTvの上昇に伴う品位の弊害を許容して、再度SvまたはTvによる露出追従を行う。
次に、図3および図4を用いて、SモードおよびPモードが設定されている場合の露出制御動作の際のAv、Tv、Svの制御の優先順について説明する。なお、Sモードは、シャッタ速度優先モードであり、ユーザが手動設定したシャッタ速度(Tv)に対して、撮影画像の輝度に基づいて適正露光となる絞り値(Av)およびISO感度(Sv)を算出し、露出制御を行うモードである。また、Pモードは、プログラムモードであり、撮影画像の輝度に基づいて適正露光となる絞り値(Av)、シャッタ速度値(Tv)、およびISO感度(Sv)を算出し、露出制御を行うモードである。
図3および図4において、横軸は実露光量であり、また縦軸は実露光量と適正露光量の偏差(ΔEv)を示す。本実施形態においては、実露光量と偏差ΔEvに応じて、優先する制御(Avを制御するか、Svを制御するか、Tvを制御するか)が変わる。なお、図3および図4において、種々の数値や優先度について記載しているが、これは一例であり、その値に固定するものではない。
図3は、Sモードが設定されている場合の露出制御の優先順を説明する図である。図3の上段は、実露光量と差分ΔEvに応じた露出制御の優先順を示す。例えば、偏差が1以上の場合には、絞りを動かしても動画品位の劣化が目立たない範囲であることから、ISO感度Svが品位の限界内かつ絞り値Avが露出限界内であれば、絞り値Avによる露出追従を優先して行う(図3中、斜め斜線の範囲)。
また、偏差(ΔEv)が所定の範囲内(図3の例では、+1〜0)では、適正露光量に近く、絞りを動かすと動画品位の劣化が目立つのでISO感度Svが露出限界になるまではISO感度Svによる露出追従を優先して行う(図3中、格子模様の範囲)。また、偏差(ΔEv)が所定の範囲内(図3の例では、0〜−1)では、絞りを動かすと動画品位の劣化が目立つので、ISO感度Svがノイズ品位の限界になるまではISO感度Svによる露出追従を優先し、その後、ISO感度Svがノイズ品位の限界に達すると絞り値Avによる露出追従を行う。そして、さらに絞り値Avが露出限界に達したら、ISO感度Svによる露出追従を行い、ISO感度Svの最大値(SvMAX)まで露出追従を行う。
また、偏差(ΔEv)が所定の範囲外(図3の例では、−1以下)では、露出のずれが大きいので絞りを動かしても、動画品位の劣化が目立たない範囲であることから、絞り値Avが露出限界内であれば絞り値Avによる露出追従を優先して行う。
図3の下段には、偏差(ΔEv)毎について、露出制御の優先順の変化を示す。Asと記載した段に、偏差(ΔEv)が1以上の場合の例を示す。この例では、実露出E5〜E4の範囲では、ISO感度Svを変化させることにより、適正露光となるように制御する。すなわち、ISO感度Sv=11(max,ISO6400)からISO感度Sv=9(ノイズ品位の限界、ISO=1600)の範囲内で、露出制御を行う。
図3のAsの段において、この例では、実露出がE4〜E2の範囲で、絞り値Avを変化させることにより、適正露光となるように制御する。すなわち、絞り値Avを開放Avから最大絞込み値の範囲内で、露出制御を行う。すなわち、開放Av(min)からAv=9(max,F22)の範囲内で、露出制御を行う。
図3のAsの段において、この例では、実露出E2〜E1の範囲で、ISO感度Svを変化させることにより、適正露光となるように制御する。すなわち、ISO感度Sv=9(ノイズ品位の限界、ISO1600)からISO感度Sv=6(min,ISO=200)の範囲内で、露出制御を行う。
図3の下段のBsと記載した段に、偏差(ΔEv)が0〜+1の場合の例を示す。この例では、実露出E5〜E2の範囲では、ISO感度Svを変化させることにより、適正露光となるように制御する。すなわち、ISO感度Sv=11(max,ISO6400)からISO感度Sv=6(min,ISO=200)の範囲内で、露出制御を行う。
図3のBsの段において、この例では、実露出がE2〜E1の範囲で、絞り値Avを変化させることにより、適正露光となるように制御する。すなわち、絞り値Avを開放Avから最大絞込み値の範囲内で、露出制御を行う。すなわち、開放Av(min)からAv=9(max,F22)の範囲内で、露出制御を行う。
図3の下段のCsと記載した段に、偏差(ΔEv)が0〜−1の場合の例を示す。この例では、実露出E1〜E3の範囲では、ISO感度Svを変化させることにより、適正露光となるように制御する。すなわち、ISO感度Sv=6(min,ISO200)からISO感度Sv=9(ノイズ品位の限界、ISO=1600)の範囲内で、露出制御を行う。
図3のCsの段において、この例では、実露出がE3〜E4の範囲で、絞り値Avを変化させることにより、適正露光となるように制御する。すなわち、絞り値Avを最大絞込み値から開放Avの範囲内で、露出制御を行う。すなわち、Av=9(max,F22)から開放Av(min)の範囲内で、露出制御を行う。
図3のCsの段において、この例では、実露出がE4〜E5の範囲で、ISO感度Svを変化させることにより、適正露光となるように制御する。すなわち、ISO感度Sv=9(ノイズ品位の限界、ISO=1600)からISO感度Sv=11(max,ISO6400)の範囲内で、露出制御を行う。
図3の下段のDsと記載した段に、偏差(ΔEv)が−1以下の場合の例を示す。この例では、実露出E1〜E4の範囲で、絞り値Avを変化させることにより、適正露光となるように制御する。すなわち、絞り値Avを最大絞込み値から開放Avの範囲内で、露出制御を行う。すなわち、Av=9(max,F22)から開放Av(min)の範囲内で、露出制御を行う。
図3のDsの段において、この例では、実露出がE4〜E5の範囲で、ISO感度Svを変化させることにより、適正露光となるように制御する。すなわち、ISO感度Sv=6(min,ISO=200)からISO感度Sv=11(max,ISO6400)の範囲内で、露出制御を行う。
図4は、Pモードが設定されている場合の露出制御の優先順を説明する図である。図4の上段は、実露光量と差分ΔEvに応じた露出制御の優先順を示す。例えば、偏差が1以上の場合には、Sモードの場合と同様に、絞りを動かしても動画品位の劣化が目立たない範囲であることから、ISO感度Svが品位の限界内かつ絞り値Avが露出限界内であれば、絞り値Avによる露出追従を優先して行う(図4中、斜め斜線の範囲)。
また、偏差(ΔEv)が所定の範囲内(図4の例では、+1〜0)では、適正露光量に近く、絞りを動かすと劣化が目立つのでISO感度Svが露出限界になるまではISO感度Svまたはシャッタ速度Tvによる露出追従を優先して行う(図4中、格子模様または横縞模様の範囲)。また、偏差(ΔEv)が所定の範囲内(図4の例では、0〜−1)では、絞りを動かすと劣化が目立つので、ISO感度Svとシャッタ速度Tvが品位の限界になるまではISO感度Svまたはシャッタ速度Tvによる露出追従を優先し、その後、絞り値Avが露出限界に達したら、ISO感度Svの最大値(SvMAX)またはシャッタ速度Tvの最大値まで露出追従を行う。
また、偏差(ΔEv)が所定の範囲外(図4の例では、−1以下)では、絞りを動かしても、動画品位の劣化が目立たない範囲であることから、図3の場合と同様、絞り値Avが露出限界内であれば絞り値Avによる露出追従を優先して行う。
図4の下段には、偏差(ΔEv)毎について、露出制御の優先順の変化を示す。Apと記載した段に、偏差(ΔEv)が1以上の場合の例を示す。この例では、実露出E17〜E16の範囲では、ISO感度Svを変化させることにより、適正露光となるように制御する。また、実露出がE16〜E15の範囲で、絞り値Avを変化させることにより、適正露光となるように制御する。
図4のApの段において、この例では、実露出E15〜E14範囲で、ISO感度Svを変化させることにより、適正露光となるように制御する。また、実露出E14〜E11範囲で、シャッタ速度Tvを変化させることにより、適正露光となるように制御する。すなわち、シャッタ速度Tv=6(min,1/60)からシャッタ速度Tv=15(max,1/32000)の範囲内で、露出制御を行う。
図4の下段のBpと記載した段に、偏差(ΔEv)が0〜+1の場合の例を示す。この例では、実露出E17〜E15の範囲で、ISO感度Svを変化させることにより、適正露光となるように制御する。また、実露出E15〜E13の範囲では、シャッタ速度Tvを変化させることにより、適正露光となるように制御する。すなわち、シャッタ速度Tv=6(min,1/60)からシャッタ速度Tv=13(像流れ品位の限界,1/8000)の範囲内で、露出制御を行う。なお、像流れ品位の限界としては、フリッカを検出している場合には、フリッカ品位の限界に対応するTvとしてもよい。
図4の下段のBpにおいて、この例では、実露出E13〜E12の範囲で、絞り値Avを変化させることにより、適正露光となるように制御する。また、実露出E12〜E11の範囲で、シャッタ速度Tvを変化させることにより、適正露光となるように制御する。すなわち、シャッタ速度Tv=13(像流れ品位の限界,1/8000)からシャッタ速度Tv=15(max,1/32000)の範囲内で、露出制御を行う。
図4の下段のCpと記載した段に、偏差(ΔEv)が0〜−1の場合の例を示す。この例では、実露出E11〜E14の範囲で、シャッタ速度Tvを変化させることにより、適正露光となるように制御する。すなわち、シャッタ速度Tv=15(max,1/32000)からシャッタ速度Tv=6(min,1/60)の範囲内で、露出制御を行う。
図4の下段のCpにおいて、実露出E14〜E15の範囲で、ISO感度Svを変化させることにより、適正露光となるように制御する。すなわち、ISO感度Sv=6(min,ISO=200)からISO感度Sv=9(ノイズ品位の限界,ISO1600)の範囲内で、露出制御を行う。
図4の下段のCpにおいて、実露出E15〜E16の範囲で、絞り値Avを変化させることにより、適正露光となるように制御する。すなわち、Av=9(max,F22)から開放Av(min)の範囲内で、露出制御を行う。
図4の下段のCpにおいて、実露出E16〜E17の範囲で、ISO感度Svを変化させることにより、適正露光となるように制御する。すなわち、ISO感度Sv=9(ノイズ品位の限界,ISO=1600)からISO感度Sv=11(max,ISO6400)の範囲内で、露出制御を行う。
図4の下段のDpと記載した段に、偏差(ΔEv)が−1以下の場合の例を示す。この例では、実露出E11〜E12の範囲で、シャッタ速度Tvを変化させることにより、適正露光となるように制御する。すなわち、シャッタ速度Tv=15(max,1/32000)からシャッタ速度Tv=13(像流れの品位の限界,1/8000)の範囲内で、露出制御を行う。なお、像流れ品位の限界としては、フリッカを検出している場合には、フリッカ品位の限界に対応するTvとしてもよい。
図4の下段のDpにおいて、実露出E12〜E13の範囲で、絞り値Avを変化させることにより、適正露光となるように制御する。すなわち、Av=9(max,F22)から開放Av(min)の範囲内で、露出制御を行う。
図4の下段のDpにおいて、実露出E13〜E14の範囲で、シャッタ速度Tvを変化させることにより、適正露光となるように制御する。すなわち、シャッタ速度Tv=13(像流れ品位の限界,1/8000)からシャッタ速度Tv=6(min,1/60)の範囲内で、露出制御を行う。
図4の下段のDpにおいて、実露出E15〜E17の範囲で、ISO感度Svを変化させることにより、適正露光となるように制御する。すなわち、ISO感度Sv=6(min,ISO=200)からISO感度Sv=11(max,ISO6400)の範囲内で、露出制御を行う。
次に、図5に示すフローチャートを用いて、Sモードが設定されている場合の露出追従制御の優先順の決め方について説明する。このフローチャートは、図3に示すSモードの露出制御の優先順となるような制御を実行する。なお、このフローチャート(後述する図6および図7も同じ)は、制御部11内のCPUがメモリに記憶されたプログラムに従って、カメラ内の各部を制御することにより実行する。
図5に示すフローに入ると、まず、偏差ΔEvを算出する(S1)。ここでは、露出設定値演算部12が、設定されている絞り値、ISO感度、シャッタ速度に基づいて算出した実露光量と、撮像制御部15から入力した目標とする輝度に基づいて算出した適正露光量を用いて、両者の差分(すなわち、実露光量−適正露光量)を算出する。
ΔEVを算出すると、次に、ΔEvが0より大きいか否かを判定する(S3)。ここでは、ステップS1で算出したΔEvに基づいて判定する。ΔEvが0より大きい範囲は、図3の上段のグラフにおいて、±0より上側の領域に相当する。
ステップS3における判定の結果、ΔEvが0より大きい場合には、次に、ΔEvが1より大きいか否かを判定する(S5)。ここでは、ステップS1で算出したΔEvに基づいて判定する。ΔEvが0より大きい範囲は、図3の上段のグラフにおいて、1より上側の領域に相当する。
ステップS5における判定の結果、ΔEvが1より大きい場合には、Svが「品位の限界内」にあるか否かを判定する(S7)。この場合は、図3のAsで示した段の動きに相当する。適正露光量から外れていることから、絞り値によって露出制御を行っても、画像のちらつきが目立たない領域である。この領域では、Svの品位限界を考慮してAvかSvかを選択する。図3で示す例では、品位の限界は、Sv=9としている。ステップS7においては、自動設定されたISO感度Svに基づいて、ISO感度Sv<9であるか否か、すなわちISO1600よりも低感度であるか否かを判定する。
ステップS7における判定の結果、Svが「品位の限界内」にある場合には、次に、絞り値Avが最大値よりも大きいか否かを判定する(S9)。ここでは、自動設定された絞り値Avに基づいて判定する。
ステップS9における判定の結果、Av<maxの場合には、絞り値Avで露出追従を実施する(S11)。この場合には、ΔEvが1より大きく(S5参照)、また絞り値Avが開放絞り値(min)から最大絞り値(max)の範囲にあるので、絞り値によって露出を制御する。ここで、Avで露出追従を実施とは、撮影画像の輝度が変化した場合に、適正露光量となるように、絞りAvを変化させることをいう。
また、ステップS9における判定の結果、Av<maxでない場合、またはステップS7における判定の結果、Svが「品位の限界内」にない場合には、ISO感度Svで露出追従を実施する(S13)。ステップS9でAv<maxでない場合には、絞りが最小絞り開口となり絞り値Avが制御範囲にないことから、ISO感度Svによって露出を制御する。また、ステップS7にてSvが「品位の限界内」にない場合には、高ISOのためにノイズが大きい状態なので、ノイズを小さくすることを優先してISO感度Svを下げてΔEvを解消するように露出を制御する。ここで、Svで露出追従を実施とは、撮影画像の輝度が変化した場合に、適正露出量となるように、ISO感度Svを変化させることをいう。
ステップS5に戻り、このステップにおける判定の結果、ΔEvが1よりも大きくない場合には、次に、Sv≦minか否かを判定する(S15)。この場合は、図3のBsで示した段の動きに相当する。ステップS5においてNoと判定される場合は、ΔEvが0と+1の間にある場合であり、適正露光量に近い露出制御がなされている場合である。この場合には、前述したように、絞り27(AV)による露光制御は、画像にちらつきが生じ、見栄えが悪くなることから、ISO感度Svによる露出制御を優先する。ステップS15においては、自動設定されたISO感度Svが最大値(min)、即ち、図3の例では、Sv=6、ISO200より小さいか否かを判定する。
ステップS15における判定の結果、Svが最小値(min)以下の場合には、絞り値Avで露出追従を実施する(S17)。ISO感度Svをこれ以上、低下させることができないことから、絞り値Avによって露出制御を行う。
一方、ステップS15における判定の結果、Svが最小値(min)以下でない場合には、ISO感度Svで露出追従を実施する(S19)。画像のちらつき防止を考慮して、絞り値Avによる露出追従を行わずISO感度Svで露出追従を行う。
ステップS3に戻り、このステップにおける判定の結果、ΔEv>0でない場合には、次に、ΔEvが−1より小さいか否かを判定する(S21)。ここでは、ステップS1で算出したΔEvに基づいて判定する。ΔEvが−1より小さい範囲は、図3の上段のグラフにおいて、−1より下側の領域に相当する。
ステップS21における判定の結果、ΔEv<−1でなかった場合には、Svが「品位の限界外」であるか否かを判定する(S23)。この場合は、図3のCsで示した段の動きに相当する。ステップS21においてNoと判定される場合は、ΔEvが0と−1の間にある場合であり、適正露光量に近い露出制御がなされている場合である。この場合には、前述したように、絞り27(Av)による露光制御は、画像にちらつきが生じ、見栄えが悪くなることから、ISO感度Svによる露出制御を優先する。ステップS23においては、自動設定されたISO感度Svが品位の限界外にあるか、即ち、図3の例では、Sv=9、ISO1600より大きいか否かを判定する。
ステップS23における判定の結果、Svが「品位の限界外」の場合には、次に、絞り値Avが最小値(min)よりも大きいか否かを判定する(S25)。ここでは、自動設定されている絞り値Avが開放絞り値(min)よりも大きいか否かを判定する。
ステップS25における判定の結果、絞り値Avが開放絞り値(min)よりも大きい場合には、Avで露出追従を実施する(S27)。Svが品位の限界にあることから、絞り値Avを変化させることにより適正露出を得る。但し、絞り値Avが開放絞り値に達すると、Svによる露出追従を行う(S25、S29参照)。
一方、ステップS23における判定の結果、Svが「品位の限界外」でない場合には、またはステップS25における判定の結果、絞り値Avが最小値(min)以下の場合には、Svで露出追従を実施する(S29)。この場合には、適正露光量に近いことから、絞りAvによる露出追従を行わずにSvによる露出制御により、適正露出を得るようにしている。
ステップS21に戻り、このステップにおける判定の結果、ΔEv<−1の場合には、次に、Av>minか否かを判定する(S31)。この場合は、図3のDsで示した段の動きに相当する。適正露光量から外れていることから、絞り値によって露出制御を行っても、画像のちらつきが目立たない領域である。この領域では、絞り値Avが開放絞り値に達するまでは、絞り27による露出制御を行う。
ステップS31における判定の結果、Av>minの場合には、Avで露出追従を実施する(S33)。一方、判定の結果、Av>minでない場合には、絞りは開放であり絞りAvで露出追従を行うことはできないのでSvで露出追従を実施する(S35)。
このように、Sモードが設定されている場合には、実露光量と適正露光量の差分に基づいて、図3のAs〜Dsの4つの領域に分類し、それぞれの領域において、露出制御を行う。この場合、ΔEvが±1内の範囲においては、Svによる露出制御を優先させ、ΔEv±1の外の範囲においては、Avによる露出制御を優先させている。
次に、図6に示すフローチャートを用いて、Pモードが設定されている場合の露出追従制御の優先順の決め方について説明する。このフローチャートは、図4に示すPモードの露出制御の優先順となるような制御を実行する。
図6に示すフローに入ると、まず、ステップS1と同様に、偏差ΔEvを算出する(S41)。ここでは、露出設定値演算部12が、設定されている絞り値、ISO感度、シャッタ速度に基づいて算出した実露光量と、撮像制御部15から入力した撮像輝度に基づいて算出した適正露出量を用いて、両者の差分(すなわち、実露光量−適正露光量)を算出する。
ΔEVを算出すると、次に、ステップS3と同様に、ΔEvが0より大きいか否かを判定する(S43)。ここでは、ステップS1で算出したΔEvに基づいて判定する。ΔEvが0より大きい範囲は、図4の上段のグラフにおいて、±0より上側の領域に相当する。
ステップS43における判定の結果、ΔEvが0より大きい場合には、次に、ΔEvが1より大きいか否かを判定する(S45)。ここでは、ステップS41で算出したΔEvに基づいて判定する。ΔEvが0より大きい範囲は、図4の上段のグラフにおいて、1より上側の領域に相当する。ΔEvが1より大きい場合は、図4のApで示した段の動きに相当する。適正露光量から外れていることから、絞り値によって露出制御を行っても、画像のちらつきが目立たない領域である。但し、Sモードの場合に比較し、シャッタ速度Tvも露出制御として使用できることから、画像の品位が低下しないように、絞り27以外も使用する範囲が広い。この領域では、Svの品位限界と絞り値Avの最大絞り値(max)を考慮してAvか、Svか、Tvかのいずれかを選択する。
ステップS45における判定の結果、ΔEvが1より大きい場合には、次に、ステップS7と同様に、Svが「品位の限界内」にあるか否かを判定する(S47)。図4で示す例では、Svの品位の限界は、Sv=9としている。ステップS47においては、ユーザが手動で設定したISO感度Svまたは自動設定されたISO感度Svに基づいて、ISO感度Sv<9であるか否か、すなわちISO1600よりも低感度であるか否かを判定する。
ステップS47における判定の結果、Svが「品位の限界内」であれば、次に、Av<maxか否かを判定する(S49)。図4で示す例では、Avのmaxは、Av=9(F22)としている。
ステップS49における判定の結果、Av<maxの場合には、Avで露出追従を実施する(S51)。自動設定された絞り値が最大絞り値よりも小さい、すなわちより開放側の値であることから、絞り27を絞ることによって露出制御を行う。
一方、ステップS49における判定の結果、Av<maxでない場合には、次に、Sv≦minであるか否かを判定する(S53)。この判定の結果、Sv≦minの場合には、Tvで露出追従を実施する(S55)。絞りが最大絞り値(max)よりも更に絞り込み、ISO感度も最小ISO感度より更に低下させないと適正露光とならないことから、ここでは、シャッタ速度Tvを制御することにより適正露光を得る。ここで、Tvで露出追従を実施とは、撮影画像の輝度が変化した場合に、適正露出量となるように、撮像素子16の電子シャッタ速度Tvを変化させることをいう。
ステップS53における判定の結果、Sv≦minでない場合、またはステップ47における判定の結果、Svが「品位の限界内」にない場合には、Svで露出追従を実施する(S57)。ISO感度Svが品位の限界外にあるが、Svのmaxに達していないことから、Svを制御することにより適正露光を得る。
ステップS45に戻り、このステップにおける判定の結果、ΔEv>1でない場合には、次に、Sv≦minか否かを判定する(S61)。この場合は、図4のBpで示した段の動きに相当する。ステップS45においてNoと判定される場合は、ΔEvが0と+1の間にある場合であり、適正露光量に近い露出制御がなされている場合である。この場合には、前述したように、絞り27(絞り値Av)による露光制御は、画像にちらつきが生じ、見栄えが悪くなることから、ISO感度Svまたはシャッタ速度Tvによる露出制御を優先する。ステップS61においては、自動設定されたISO感度Svが最大値(min)、即ち、図4の例では、Sv=6、ISO200より小さいか否かを判定する。
ステップS61における判定の結果、Sv≦minの場合には、次に、Tvが「品位の限界外」か否かの判定を行う(S63)。図4に示す例では、像流れ品位の限界として、Tv=13、シャッタ速度1/8000としている。このステップでは、露出設定値演算部12が適正露光量を得るために自動設定したシャッタ速度に基づいて判定する。
ステップS63における判定の結果、Tvが「品位の限界外」である場合には、次に、Av<maxか否かを判定する(S65)。ここでは、Tvが品位の限界外であることから、Avが制御可能範囲にあるか判定する。図4に示す例では、絞り値AvのmaxはAv=9(F22、最大絞り値)としている。
ステップ65における判定の結果、Av<maxの場合には、Avで露出追従を実施する(S67)。絞り27が制御可能範囲にあることから、絞り27の絞り値Avによって露出制御を行う。
一方、ステップS65における判定の結果、Av<maxでない場合、またはステップS63における判定の結果、Tvが「品位の限界外」でない場合には、Tvで露出追従を実施する(S69)。ここでは、ステップS63にて、TVが「品位の限界外」であり、かつ、ステップS65にてAv<maxではない場合は、絞り27による制御範囲を超えているので、TVが品位限界外であってもTvで露出制御を行う。また、Tvの品位が限界内であることから、シャッタ速度Tvで露出制御を行う。
ステップS61に戻り、この判定の結果、Sv≦minでない場合には、Svで露出追従を実施する(S71)。ステップS43およびS45の判定の結果、適正露光量に近い範囲内にあり、またステップS61の判定の結果、ISO感度Svが最低ISO感度よりも高感度で制御することが可能である。そこで、絞り27を動かさず、ISO感度Svで適正露出となるように露出制御を行う。
ステップS43に戻り、このステップの判定の結果、ΔEv>0でない場合には、次に、ΔEV<−1か否かを判定する(S75)。ここでは、ステップS41で算出したΔEvに基づいて判定する。ΔEvが−1より小さい範囲は、図4の上段のグラフにおいて、−1より下側の領域に相当する。
ステップS75における判定の結果、ΔEv<−1の場合には、Tvが「品位の限界外」か否かを判定する(S77)。この場合は、図4のDpで示した段の動きに相当する。適正露光量から大きく外れていることから、絞り値Avによって露出制御を行っても、画像のちらつきが目立たない領域である。この領域では、絞り値Avが開放絞り値に達するまでは、絞り27による露出制御を行う。但し、Sモードの場合に比較し、シャッタ速度Tvも露出制御として使用できることから、画像の品位が低下しないように、絞り27以外も使用する範囲が広い。この領域では、Svの品位限界と絞り値Avの最大絞り値(max)を考慮してAvか、Svか、Tvかのいずれかを選択する。
ステップS77においては、図4に示す例では、Tvの品位として、像流れ品位の限界として、Tv=13(シャッタ速度1/8000)を用いて、露出設定値演算部12が自動設定したシャッタ速度に基づいて判定する。
ステップS77における判定の結果、Tvが「品位の限界外」でない場合には、すなわちTvが「品位の限界内」の場合には、次に、Av>minか否かを判定する(S79)。ここでは、自動設定される絞り値Avが絞り27の制御可能範囲内であるか否かを判定する。図4に示す例では、Avのminは、開放絞り値(F開放)としている。
ステップS79における判定の結果、Av>minの場合には、Avで露出追従実施を行う(S81)。絞り値での露出制御が可能であることから、絞り27によって露出制御を行う。
一方、ステップS79における判定の結果、Av>minでない場合には、Tv≦minか否かを判定する(S83)。図4に示す例では、Tv=minは、Tv=6(シャッタ速度1/60)としている。本実施形態では、撮像のフレームレートを60fpsとしている。シャッタ速度Tvを、60fpsに同期するシャッタ速度である1/60(Tv=6)よりも遅くする(TV<6)と、60fpsに対応できない状態であるコマ落ちが発生してしまう。本実施例では、コマ落ちを防止するため、シャッタ速度が1/60より遅くならないようにしている(TV<6にならないようにしている)。
ステップS83における判定の結果、Tv≦minの場合には、Svで露出追従を実施する(S85)。ここでは、ISO感度Svによって露出制御を行う。
一方、ステップS83における判定の結果、Tv≦minでない場合、またはステップS77における判定の結果、Tvが「品位の限界外」の場合には、Tvで露出追従を実施する(S87)。ここでは、シャッタ速度Tvによって露出制御を行う。
ステップS75に戻り、このステップにおける判定の結果、ΔEv<−1でない場合には、Tv≦minであるか否かを判定する(S89)。この場合は、図4のCpで示した段の動きに相当する。ステップS43およびS75における判定の結果から、ΔEvが0と−1の間にある場合であり、適正露光量に近い露出制御がなされている場合である。この場合には、前述したように、絞り27による露光制御は、画像にちらつきが生じ、見栄えが悪くなることから、ISO感度Svまたはシャッタ速度Tvによる露出制御を優先させる。ステップS89においては、自動設定されたシャッタ速度Tvが最長シャッタ速度(min)よりも低速であるか、即ち、図4の例では、Tv6(シャッタ速度1/60)より小さいか否かを判定する。
ステップS89における判定の結果、Tv≦minの場合には、Svが「品位の限界外」か否かを判定する(S91)。ここでは、ノイズ品位の限界外にあるか、即ち、図4の例では、Sv=9、ISO1600より大きいか否かを判定する。
ステップS91における判定の結果、Svが「品位の限界外」である場合には、Av>minか否かを判定する(S93)。Avのminは、図4で示す例では、開放F値である。開放F値よりもAv値が大きければ、絞り27による露出制御を行うことができる。
一方、ステップS93における判定の結果、Avがminよりも小さい場合には、またはステップS91における判定の結果が、Svが「品位の限界外」にない場合には、Svで露出追従を行う(S97)。この場合には、ISO感度Svによって露出制御を行う。
ステップS89に戻り、このステップにおける判定の結果、Tv≦minでない場合には、Tvで露出追従を実施する(S99)。この場合には、シャッタ速度Tvが制御可能範囲内であり適正露光量を得ることができることから、シャッタ速度Tvで露出制御を行う。
このように、Pモードが設定されている場合には、実露光量と適正露光量の差分に基づいて、図4のAp〜Dpの4つの領域に分類し、それぞれの領域において、露出制御を行う。この場合、ΔEvが±1内の範囲においては、SvまたはTvによる露出制御を優先させ、ΔEv±1の外の範囲においては、Avによる露出制御を優先させている。
次に、図8を用いて、本実施形態における作用効果について説明する。図8(a)は、露出追従スピードに対する設定可能露出追従スピードを示すグラフである。露出追従スピードは、1フレームあたりの露出の変更量を示すものである。図から分かるように、ISO感度Svとシャッタ速度Tvの設定可能露出追従スピードは、露出追従スピードと一致している。このため、露出設定演算部12で算出されたISO感度Svとシャッタ速度Tvは、正確に露出制御に反映される。
しかし、絞り値Avは、絞りの機構上、露出の調節量を0.1Evにはできないので、飛び飛びの値しか取れないことから、ISO感度Svとシャッタ速度Tvの設定可能露出追従スピードは、露出追従スピードとは一致しない。このため、露出設定演算部12で算出された絞り値Avは、絞り27を制御する際に正確に反映されない。
図8(b)は、絞りの追従遅れ量を示す。横軸は、原点からの露出の偏差の絶対値|ΔEv|であり、縦軸は、ΔEv(実露光量と適正露光量の差)を解消する露出制御を行った結果を追従遅れ量として示している。前述したように、絞り値Avは飛び飛びの値でしか制御できないことから、露出設定演算部12で算出された絞り値Avで絞り27を制御できない期間が生ずる。このため、図8(b)に示すように、追従遅れが発生してしまう。すなわち、適正露光量(図中、理想追従で示す)に対して、一定の偏差がつきまとう。
そこで、本実施形態では、実露光量が適正露光量に近い範囲では、極力、絞り27による制御を行わず、ISO感度Svのみ、またはISO感度Svとシャッタ速度Tvによって適正露光が得られるように制御するようにしている。図8(c)は、本実施形態における制御の一例を示しており、ΔEv(実露光量と適正露光量の偏差)が1以内の場合には、絞り27による露出制御を控えることにより、理想追従を達成している。ΔEvが1以上では、追従遅れが発生しているが、ΔEvが大きい領域では、画像のちらつきが気づきにくいことから、ユーザは画像の劣化が気にならない。
以上説明したように、本発明の一実施形態においては、撮像部が出力する撮像信号に基づいて適正露出量と現在設定されている実露出量の偏差を算出する露出量偏差算出ステップ(例えば、図5のS1、図6のS41参照)と、絞りの開口を変更して撮像部の露出を制御する第1の露出制御ステップ(例えば、図5のS11、S17、S27、S33等参照)と、絞りの開口を変更しないで撮像部の露出を制御する第2の露出制御ステップ(例えば、図5のS13、S19、S29、S35等参照)と、偏差に基づいて第1の露出制御ステップまたは第2の露出制御ステップを選択して露出を制御させる制御ステップ(例えば、図5のS3、S5、S21等参照)を実行している。このため、撮影画像の輝度が変化する場合であっても、動画の見栄えが悪くならない。すなわち、本実施形態においては、偏差が小さい場合と大きい場合に応じて、絞りの開口による露出制御を行うか、絞りの開口によらない露出制御を行うかを選択しているので、画像のちらつきによる動画の劣化を防ぐことができる(図8参照)。
なお、本発明の一実施形態においては、ΔEvによる領域分けを4分類としたが、3分類でもよく、また4分類よりも多くしてもよい。この場合でも、ΔEvが小さい範囲においては、絞り値による露出制御の優先順位を低くすればよい。また、分類する際の閾値や、品位の限界値は、例示であり、設計思想に応じて適宜変更してもよい。また、ΔEvを求めるにあたって、実露光量と適正露光量の差分を算出していたが、これに限らず、目標輝度と撮影画像の輝度の差分を算出して、この値に基づいて、制御するようにしてもよい。
また、本発明の各実施形態においては、露出設定値演算部12、シャッタ速・感度動作制御部14等を、制御部11内のCPU等によって実行するとして説明した。しかし、これに限らず、制御部11内の各部の全部または一部をハードウエアで構成するようにしても勿論かまわない。また、制御部11以外のカメラ本体10およびレンズ鏡筒20内の各部は、ハードウエア回路や部品単体の他、CPUとプログラムによってソフトウエア的に構成してもよく、またDSP(Digital Signal Processor)等のプログラムコードで実行される回路で実現するようにしてもよい。これらは適宜組み合わせてもよいことは勿論である。
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ(PC)、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、動画を撮影する際に、絞りで露出制御を行う機器であれば、本発明を適用することができる。
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
10・・・カメラ本体、11・・・制御部、12・・・露出設定値演算部、13・・・絞り値送受信部、14・・・シャッタ速・感度動作制御部、15・・・撮像制御部、16・・・撮像素子、17・・・メカシャッタ、20・・・レンズ鏡筒、21・・・絞り動作制御部、22・・・絞り動作部、23・・・ズーム位置検出部、25・・・撮影光学系、26・・・レンズ、27・・・絞り

Claims (8)

  1. 撮影光学系を有し、撮影光学系を通過する光束を受光して撮像し、撮像信号を出力する撮像部を有する撮影装置において、
    上記撮影光学系に含まれ、開口を有し上記光束を制限する絞りと、
    上記絞りの開口を変更して上記撮像部の露出を制御する第1の露出制御部と、
    上記絞りの開口を変更しないで上記撮像部の露出を制御する第2の露出制御部と、
    上記撮像部が出力する撮像信号に基づいて適正露出量と現在設定されている実露出量の偏差を算出する露出量偏差算出部と、
    上記偏差に基づいて第1の露出制御部または第2の露出制御部を選択して露出を制御させる制御部と、
    撮像する画像の品位の限界となる上記第2の露出制御部の限界露出制御値を設定する限界露出制御値設定手段と、
    を有し、
    上記制御部は、上記第2の露出制御部を選択している場合に、上記第2の露出制御部の露出制御値が上記限界露出制御値に達すると、上記第1の露出制御部を選択して露出を制御させることを特徴とする撮影装置。
  2. 上記制御部は、上記第1の露出制御部を選択している場合に、上記第1の露出制御部の露出制御値が上記絞りの開口限界に対応する露出制御値に達すると、上記第2の露出制御部を選択して露出を制御させることを特徴とする請求項に記載の撮影装置。
  3. 撮像する動画の品位の度合の限界を設定する品位限界設定手段を有し、
    上記限界露出制御値設定手段は、上記設定された動画の品位の限界に基づいて上記限界露出制御値を設定することを特徴とする請求項の撮影装置。
  4. 上記第2の露出制御部は、上記撮像部の撮影感度を変更して露出を制御することを特徴とする請求項1ないしのいずれか1項に記載の撮影装置。
  5. 露出モード設定手段を有し、
    上記露出モード設定手段により露出モードとしてシャッタ速度優先モードが設定される場合に、
    上記第2の露出制御部は、上記撮像部の撮影感度を変更して露出を制御することを特徴とする請求項に記載の撮影装置。
  6. 上記第2の露出制御部は、上記撮像部の電子シャッタ速度を変更して露出を制御することを特徴とする請求項1ないしのいずれか1項に記載の撮影装置。
  7. 露出モード設定手段を有し、
    上記露出モード設定手段により露出モードとしてプログラムモードが設定される場合に、
    上記第2の露出制御部は、上記撮像部の電子シャッタ速度を変更して露出を制御することを特徴とする請求項に記載の撮影装置。
  8. 撮影光学系と、該撮影光学系を通過する光束を受光して撮像し、撮像信号を出力する撮像部と、上記撮影光学系に含まれ、開口を有し上記光束を制限する絞りを有する撮影装置の撮像方法において、
    上記撮像部が出力する撮像信号に基づいて適正露出量と現在設定されている実露出量の偏差を算出する露出量偏差算出ステップと、
    上記絞りの開口を変更して上記撮像部の露出を制御する第1の露出制御ステップと、
    上記絞りの開口を変更しないで上記撮像部の露出を制御する第2の露出制御ステップと、
    上記偏差に基づいて第1の露出制御ステップまたは第2の露出制御ステップを選択して露出を制御させる制御ステップと、
    撮像する画像の品位の限界となる上記第2の露出制御ステップの限界露出制御値を設定する限界露出制御値設定ステップと、
    上記第2の露出制御ステップを選択している場合に、上記第2の露出制御ステップの露出制御値が上記限界露出制御値に達すると、上記第1の露出制御ステップを選択する選択ステップと、
    を有することを特徴とする撮影方法。
JP2016067960A 2016-03-30 2016-03-30 撮影装置および撮影方法 Active JP6727880B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016067960A JP6727880B2 (ja) 2016-03-30 2016-03-30 撮影装置および撮影方法
US15/471,480 US9967460B2 (en) 2016-03-30 2017-03-28 Photographing apparatus and photographing method
CN201710196016.8A CN107277382A (zh) 2016-03-30 2017-03-29 拍摄装置和拍摄方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016067960A JP6727880B2 (ja) 2016-03-30 2016-03-30 撮影装置および撮影方法

Publications (2)

Publication Number Publication Date
JP2017183999A JP2017183999A (ja) 2017-10-05
JP6727880B2 true JP6727880B2 (ja) 2020-07-22

Family

ID=59959915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016067960A Active JP6727880B2 (ja) 2016-03-30 2016-03-30 撮影装置および撮影方法

Country Status (3)

Country Link
US (1) US9967460B2 (ja)
JP (1) JP6727880B2 (ja)
CN (1) CN107277382A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6797564B2 (ja) * 2016-06-01 2020-12-09 オリンパス株式会社 位相物体可視化装置、位相物体可視化方法
CN108683858A (zh) * 2018-08-16 2018-10-19 Oppo广东移动通信有限公司 拍照优化方法、装置、存储介质及终端设备
JP7224839B2 (ja) * 2018-10-09 2023-02-20 キヤノン株式会社 撮像装置およびその制御方法
CN111435971B (zh) * 2019-01-15 2022-04-08 阿里巴巴集团控股有限公司 一种图像采集参数配置方法、装置、终端及可读存储介质
CN111316635B (zh) * 2019-03-12 2022-01-25 深圳市大疆创新科技有限公司 相机控制方法及装置
CN112422807A (zh) * 2019-08-23 2021-02-26 上海光启智城网络科技有限公司 一种调节景深范围的方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05188426A (ja) * 1992-01-10 1993-07-30 Nikon Corp ズームカメラ
US5664243A (en) * 1995-06-08 1997-09-02 Minolta Co., Ltd. Camera
JP3546854B2 (ja) * 2001-03-28 2004-07-28 ミノルタ株式会社 カメラボディおよび露出制御方法
US8345120B2 (en) * 2004-04-06 2013-01-01 Nikon Corporation Electronic camera with self-adjusting flash and image-capture sensitivity
JP2006215310A (ja) 2005-02-04 2006-08-17 Canon Inc 交換レンズシステム
JP5130675B2 (ja) * 2006-08-11 2013-01-30 株式会社ニコン デジタルカメラ、および画像処理プログラム
JP5221931B2 (ja) * 2007-10-31 2013-06-26 キヤノン株式会社 撮像装置及びその制御方法
JP2009232275A (ja) * 2008-03-24 2009-10-08 Olympus Imaging Corp 撮像装置
KR101594294B1 (ko) * 2009-04-14 2016-02-26 삼성전자주식회사 화이트 장면 인식을 위한 디지털 영상 신호 처리 방법, 상기 방법을 실행하는 디지털 영상 신호 처리 장치 및 상기 방법을 기록한 기록 매체
JP5618513B2 (ja) * 2009-09-11 2014-11-05 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP5550304B2 (ja) * 2009-10-19 2014-07-16 キヤノン株式会社 撮像装置
JP5495841B2 (ja) * 2010-02-22 2014-05-21 オリンパスイメージング株式会社 カメラ及びカメラの制御方法
JP6214206B2 (ja) * 2013-05-13 2017-10-18 キヤノン株式会社 撮像装置、制御方法及びプログラム
KR20150056980A (ko) * 2013-11-18 2015-05-28 삼성전자주식회사 멀티 디스플레이의 색편차 보정용 카메라의 제어 방법 및 장치
US9294687B2 (en) * 2013-12-06 2016-03-22 Intel Corporation Robust automatic exposure control using embedded data
JP6278713B2 (ja) * 2014-01-20 2018-02-14 オリンパス株式会社 撮像装置および撮像方法
US9813635B2 (en) * 2015-08-24 2017-11-07 Motorola Mobility Llc Method and apparatus for auto exposure value detection for high dynamic range imaging

Also Published As

Publication number Publication date
CN107277382A (zh) 2017-10-20
US9967460B2 (en) 2018-05-08
US20170289452A1 (en) 2017-10-05
JP2017183999A (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
JP6727880B2 (ja) 撮影装置および撮影方法
US10356321B2 (en) Imaging apparatus with focus adjustment control and exposure adjustment control
KR100906166B1 (ko) 카메라 흔들림 보정과 감도 전환기능을 가진 디지털촬상장치
JP6572004B2 (ja) 露出制御装置および露出制御方法
JP2009232275A (ja) 撮像装置
JP6501580B2 (ja) 撮像装置、撮像方法、およびプログラム
JP6244062B2 (ja) 撮影装置、撮影装置本体、及び撮影装置の制御方法
US11435550B2 (en) Camera for limiting shifting of focus adjustment optical system
JP6556480B2 (ja) 撮像装置および撮像方法
JP2007124279A (ja) 画像処理装置
JPWO2016158248A1 (ja) 撮影装置、撮影装置本体、及び撮影装置の制御方法
JP4760302B2 (ja) 撮像装置
JP7281977B2 (ja) 焦点調節装置および焦点調節方法
JP6887245B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2016213775A (ja) 撮像装置、撮像方法、およびプログラム
JP2020020931A (ja) フォーカス制御装置およびフォーカス制御方法
JP2016080918A (ja) 像振れ補正装置及びその制御方法
JP2012129589A (ja) 撮像装置及びシャッタ動作選択方法
JP5153021B2 (ja) 撮影装置、撮影方法及びプログラム
JP2014053863A (ja) 撮影機器
JP2007124278A (ja) 撮像装置
JP6971618B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP4977996B2 (ja) 撮像装置
JP5403087B2 (ja) 画像処理装置
JP2020077964A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200701

R151 Written notification of patent or utility model registration

Ref document number: 6727880

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250