JP6815504B2 - 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム - Google Patents

撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム Download PDF

Info

Publication number
JP6815504B2
JP6815504B2 JP2019525119A JP2019525119A JP6815504B2 JP 6815504 B2 JP6815504 B2 JP 6815504B2 JP 2019525119 A JP2019525119 A JP 2019525119A JP 2019525119 A JP2019525119 A JP 2019525119A JP 6815504 B2 JP6815504 B2 JP 6815504B2
Authority
JP
Japan
Prior art keywords
image
boundary line
captured image
change
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019525119A
Other languages
English (en)
Other versions
JPWO2018235384A1 (ja
Inventor
杉本 雅彦
雅彦 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018235384A1 publication Critical patent/JPWO2018235384A1/ja
Application granted granted Critical
Publication of JP6815504B2 publication Critical patent/JP6815504B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/18Control of exposure by setting shutters, diaphragms or filters, separately or conjointly in accordance with light-reducing "factor" of filter or other obturator used with or on the lens of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

本開示の技術は、撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムに関する。
撮像素子により撮像光学系を通して被写体を撮像する撮像装置において、ND(Neutral Density)フィルタを用いて撮像を行う技術が知られている。また、撮像光学系に対して物理的なNDフィルタを設けたことと同等の効果を得るための技術として、いわゆる、デジタルNDフィルタ処理(以下、単に「NDフィルタ処理」という)と呼ばれる技術が知られている。また、このようなデジタルNDフィルタ(以下、単に「NDフィルタ」という)として、特許文献1及び特許文献2には、NDフィルタの濃度について勾配をもって変化させる、いわゆるグラデーションを有することにより、局所的な露出の制御を行う技術が開示されている。
特開2011−130167号公報 特開2008−72337号公報
しかしながら、上記特許文献1及び特許文献2では、撮像画像が変化した場合、露出を制御する領域の設定が行い難い場合があった。
本開示は、上記事情を考慮して成されたものであり、露出を制御する領域を簡便に設定することができる撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラムを提供することを目的とする。
上記目的を達成するために、本開示の第1の態様の撮像装置は、撮像光学系を通して被写体を撮像する撮像素子により撮像して得られた画像信号を出力する撮像部と、画像信号に応じた撮像画像を表示する表示部と、撮像画像の解析結果に基づいて、撮像画像を複数の領域に分割する境界線の位置を決定し、撮像画像が変化した場合は、決定した境界線の位置を撮像画像の変化に基づいて調整し、また、変化後の撮像画像の明るさに基づいて、調整した境界線により隔てられた複数の領域の少なくとも1つの領域における露出を制御し、撮像画像における境界線を含む境界領域の露出を、撮像画像の変化の速度に応じた異なる度合いで段階的に変化させる制御を行う制御部と、を備える。
第2の態様の撮像装置は、第1の態様の撮像装置において、制御部は、撮像画像の変化により明るさが変化した領域に対して、変化後の領域の明るさに応じて露出を制御する、とされている。
第3の態様の撮像装置は、第1の態様の撮像装置または第2の態様の撮像装置において、制御部は、撮像画像の変化の速度または加速度に応じた速度で境界線の位置を移動させることにより境界線の位置を調整する、とされている。
の態様の撮像装置は、第1の態様から第3の態様のいずれか1態様の撮像装置において、制御部は、撮像画像の変化の速度が速くなるほど、露出を変化させる度合いを小さくする、とされている。
の態様の撮像装置は、第1の態様から第4の態様のいずれか1態様の撮像装置において、制御部は、撮像画像の変化の速度に応じて、境界領域の幅を決定する、とれている。
の態様の撮像装置は、第1の態様から第5の態様のいずれか1態様の撮像装置において、制御部は、撮像画像の変化の向きに応じて、露出を変化させる方向を異ならせる、とされている。
の態様の撮像装置は、第1の態様から第6の態様のいずれか1態様の撮像装置において、制御部は、撮像画像の変化の向きに応じて、境界領域の幅を決定する、とされている。
の態様の撮像装置は、第1の態様から第の態様のいずれか1態様の撮像装置において、制御部は、撮像画像の変化に応じて変化後の境界線の位置を予測し、予測した位置に境界線の位置を調整する、とされている。
の態様の撮像装置の制御方法は、撮像光学系を通して被写体を撮像する撮像素子により撮像して得られた画像信号に応じた撮像画像を表示部に表示させ、撮像画像の解析結果に基づいて、撮像画像を複数の領域に分割する境界線の位置を決定し、撮像画像が変化した場合は、決定した境界線の位置を撮像画像の変化に基づいて調整し、また、変化後の撮像画像の明るさに基づいて、調整した境界線により隔てられた複数の領域の少なくとも1つの領域における露出を制御し、撮像画像における境界線を含む境界領域の露出を、撮像画像の変化の速度に応じた異なる度合いで段階的に変化させる制御を行う、処理を含む。
10の態様の撮像装置の制御プログラムは、コンピュータに、撮像光学系を通して被写体を撮像する撮像素子により撮像して得られた画像信号に応じた撮像画像を表示部に表示させ、撮像画像の解析結果に基づいて、撮像画像を複数の領域に分割する境界線の位置を決定し、撮像画像が変化した場合は、決定した境界線の位置を撮像画像の変化に基づいて調整し、また、変化後の撮像画像の明るさに基づいて、調整した境界線により隔てられた複数の領域の少なくとも1つの領域における露出を制御し、撮像画像における境界線を含む境界領域の露出を、撮像画像の変化の速度に応じた異なる度合いで段階的に変化させる制御を行う、処理を実行させるためのものである。
本開示によれば、露出を制御する領域を簡便に設定することができる。
第1〜第3実施形態の撮像装置の外観の一例を示す斜視図である。 第1〜第3実施形態の撮像装置の背面側の外観の一例を示す背面図である。 第1〜第3実施形態の撮像装置のハードウェア構成の一例を示すブロック図である。 第1及び第2実施形態の露出制御処理の流れの一例を示すフローチャートである。 ライブビュー画像の一例を示す図である。 ライブビュー画像のヒストグラムの一例を示す図である。 撮像装置のCPUにより決定された位置に境界線が表示された状態のライブビュー画像の一例を示す図である。 境界線の微調整の一例を説明するための図である。 第1実施形態のNDフィルタ処理の流れの一例を示すフローチャートである。 第1実施形態のNDフィルタ調整処理の流れの一例を示すフローチャートである。 第1実施形態の露出制御処理の流れの他の例を示すフローチャートである。 境界線の微調整の一例を説明するための図である。 第2実施形態のNDフィルタ調整処理の流れの一例を示すフローチャートである。 境界領域の一例について説明するための図である。 境界線と交差する方向に移動した場合における境界領域の一例について説明するための図である。 境界線と交差する方向に移動した場合における境界領域の他の例について説明するための図である。 境界線と平行な方向に移動した場合における境界領域の一例について説明するための図である。 交差する2つの境界線有する場合のNDフィルタの一例について説明するための図である。 交差する2つの境界線有する場合のNDフィルタにおける境界領域の一例について説明するための図である。 第3実施形態の露出制御処理の流れの一例を示すフローチャートである。 境界線の位置の予測の一例について説明するための図である。 境界線の位置の予測の一例について説明するための図である。 第1〜第3実施形態の露出制御処理プログラムが記憶された記憶媒体から露出制御処理プログラムが撮像装置本体にインストールされる態様の一例を示す概念図である。
以下、図面を参照して本開示の技術を実施するための形態例を詳細に説明する。
[第1実施形態]
まず、図1〜図3を参照して、本実施形態の撮像装置10の構成の一例について説明する。一例として図1に示すように、本実施形態の撮像装置10は、レンズ交換式のデジタルカメラであり、撮像装置本体12及び撮像レンズ14を含む。
撮像レンズ14は、撮像装置本体12に対して交換可能に装着される。撮像レンズ14の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング16が設けられている。撮像レンズ14は、レンズユニット18を含む。本実施形態のレンズユニット18が、本開示の撮像光学系の一例である。
レンズユニット18は、フォーカスレンズ20を含む複数のレンズが組み合わされた組み合わせレンズである。フォーカスレンズ20は、フォーカスリング16の手動による回転操作に伴って光軸L1方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子22の受光面22A(図3参照)に、被写体を示す反射光である被写体光が結像される。
撮像装置本体12の上面には、ダイヤル24及びレリーズボタン26が設けられている。ダイヤル24は、撮像モードと再生モードとの切り替え等の各種設定の際に操作される。従って、撮像装置10では、ダイヤル24がユーザによって操作されることにより、動作モードとして撮像モードと再生モードとが選択的に設定される。
撮像装置10は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、撮像装置10により被写体が撮像されて得られた静止画像を記録する動作モードであり、動画撮像モードは、撮像装置10により被写体が撮像されて得られた動画像を記録する動作モードである。
レリーズボタン26は、撮像準備指示状態と撮像指示状態との2段階の押圧操作が検出可能に構成されている。撮像準備指示状態とは、例えば待機位置から中間位置(半押し位置)まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置(全押し位置)まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
オートフォーカスモードでは、レリーズボタン26を半押し状態にすることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると本露光が行われる。つまり、レリーズボタン26を半押し状態にすることによりAE(Auto Exposure)機能が働いて露出状態が設定された後、AF(Auto Focus)機能が働いて合焦制御され、レリーズボタン26を全押し状態にすると撮像が行われる。
一例として図2に示すように、撮像装置本体12の背面には、ディスプレイ28、十字キー30、MENU/OKキー32、BACK/DISPボタン34、ファインダ36、及びタッチパネル38が設けられている。
ディスプレイ28は、例えば、LCD(Liquid Crystal Display)であり、撮像装置10により被写体が撮像されることで得られた画像及び文字等を表示する。本実施形態のディスプレイ28が、本開示の表示部の一例である。なお、本実施形態のディスプレイ28は、タッチパネル38と共に、タッチパネルディスプレイ29として構成されている。ディスプレイ28は、撮像モードにおけるライブビュー画像の表示に用いられる。ライブビュー画像は、スルー画像とも称され、撮像装置10の撮像素子22により被写体が連続フレームで撮像されて得られた連続フレーム画像である。ディスプレイ28は、静止画撮像の指示が与えられた場合に単一フレームで撮像されて得られた静止画像の表示にも用いられる。更に、ディスプレイ28は、再生モードにおける再生画像の表示及びメニュー画面等の表示にも用いられる。
ディスプレイ28の表示領域の表面には、透過型のタッチパネル38が重ねられている。タッチパネル38は、例えば、指またはスタイラスペン等の指示体による接触を検知する。タッチパネル38は、タッチパネル38に対する指示体による接触の有無等の検知結果を示す検知結果情報を予め定められた周期(例えば100ミリ秒)で既定の出力先(例えば、後述のCPU(Central Processing Unit)74、図3参照)に出力する。検知結果情報は、タッチパネル38が指示体による接触を検知した場合、タッチパネル38上の指示体による接触位置を特定可能な二次元座標(以下、「座標」という)を含み、タッチパネル38が指示体による接触を検知していない場合、座標を含まない。
十字キー30は、1つまたは複数のメニューの選択、及びズームやコマ送り等の各種の指示に応じた指示内容信号を出力するマルチファンクションのキーとして機能する。MENU/OKキー32は、ディスプレイ28の画面上に1つまたは複数のメニューを表示させる指示を行うためのメニュー(MENU)ボタンとしての機能と、選択内容の確定及び実行等を指示する許可(OK)ボタンとしての機能とを兼備した操作キーである。BACK/DISPボタン34は、選択項目等、所望の対象の消去や指定内容の取消し、あるいは1つ前の操作状態に戻す場合等に使用される。
図3は、第1実施形態の撮像装置10のハードウェア構成の一例を示すブロック図である。
図3に示すように本実施形態の撮像装置本体12はマウント13を備えており(図1も参照)、撮像レンズ14は、マウント15を備えている。撮像レンズ14は、マウント13にマウント15が結合されることにより撮像装置本体12に交換可能に装着される。
撮像レンズ14は、上述したレンズユニット18、絞り19、及び制御装置40を含む。制御装置40は、マウント13にマウント15が接続されることで、撮像装置本体12の外部I/F(Interface)72を介してCPU74と電気的に接続され、CPU74の指示に従って、撮像レンズ14の全体を制御する。
絞り19は、レンズユニット18よりも撮像装置本体12側に設けられている。絞り19には、図示を省略した絞り駆動部及び絞り駆動用モータが接続されている。絞り駆動部が、後述する受付デバイス62によって受け付けられた指示に応じて、制御装置40の制御下で、絞り駆動用モータを作動させることで、絞り19の開口の大きさを調節することにより、レンズユニット18を透過した被写体光の光量を調節し、被写体光を撮像装置本体12内に導く。
図3に示すように本実施形態の撮像装置本体12は、撮像素子22、第1ミラー42、第2ミラー44、制御部46、ミラー駆動部48、撮像素子ドライバ50、画像信号処理回路52、画像メモリ54、画像処理部56、表示制御部58、ND(Neutral Density)フィルタ80、及びNDフィルタ駆動部82を含む。また、撮像装置本体12は、タッチパネルディスプレイ29、受付I/F60、受付デバイス62、メディアI/F64、センサI/F68、ジャイロセンサ70、及び外部I/F72を含む。
制御部46は、本開示の技術のコンピュータの一例であり、CPU74、一次記憶部76、及び二次記憶部78を備えている。CPU74は、撮像装置10の全体を制御する。一次記憶部76は、各種プログラムの実行におけるワークエリア等として用いられる揮発性のメモリである。一次記憶部76の一例としては、RAM(Random Access Memory)等が挙げられる。本実施形態の二次記憶部78は、詳細を後述する露出制御処理プログラム79を含む各種プログラム、及び各種パラメータ等を予め記憶した不揮発性のメモリである。二次記憶部78の一例としては、EEPROM(Electrically Erasable Programmable Read-Only Memory)またはフラッシュメモリ等が挙げられる。
CPU74、一次記憶部76、及び二次記憶部78は、バスライン81に接続されている。また、ミラー駆動部48、撮像素子ドライバ50、画像信号処理回路52、及びNDフィルタ駆動部82も、バスライン81に接続されている。また、画像メモリ54、画像処理部56、表示制御部58、受付I/F60、メディアI/F64、センサI/F68、及び外部I/F72も、バスライン81に接続されている。
第1ミラー42は、撮像素子22の受光面22Aとレンズユニット18との間に介在しており、受光面被覆位置αと受光面開放位置βとに移動可能な可動ミラーである。
第1ミラー42は、ミラー駆動部48に接続されており、ミラー駆動部48は、CPU42の制御下で、第1ミラー42を駆動させ、第1ミラー42を受光面被覆位置αと受光面開放位置βとに選択的に配置する。すなわち、第1ミラー42は、受光面22Aに対して被写体光を受光させない場合にミラー駆動部48によって受光面被覆位置αに配置され、受光面22Aに対して被写体光を受光させる場合にミラー駆動部48によって受光面開放位置βに配置される。
受光面被覆位置αでは、第1ミラー42が受光面22Aを覆い、かつ、レンズユニット18から送り込まれた被写体光を反射して第2ミラー44に導く。第2ミラー44は、第1ミラー42から導かれた被写体光を反射することで光学系(図示省略)を介して、ファインダ36に導く。ファインダ36は、第2ミラー44によって導かれた被写体光を透過させる。
一方、受光面開放位置βでは、第1ミラー42によって受光面22Aが覆われた状態が解除され、被写体光が第1ミラー42で反射されることなく、受光面22Aによって受光される。
本実施形態のNDフィルタ80は、段階的な透過率を複数有するNDフィルタである。なお、NDフィルタ80が有する透過率は本実施形態に限定されず、例えば、NDフィルタ80は、連続的な透過率を複数有していてもよい。本実施形態のNDフィルタ80は、受光面被覆位置αにおける第1ミラー42と撮像素子22との間の、光軸L1上に配置されている。NDフィルタ80は、NDフィルタ駆動部82に接続されている。CPU74は、NDフィルタ駆動部82によりNDフィルタ80に印加する電圧を変化させることにより、予め定められた分解能に応じて、NDフィルタ80の透過率を制御する。CPU74は、このようにNDフィルタ80の透過率を制御することで、レンズユニット18から絞り19を介して撮像素子22へ結像する被写体像の露出を制御する。なお、透過率の制御方法は、領域毎に透過率が可変な物理フィルタを使用する制御方法に限定されず、撮像素子22の各領域に対応する画素毎に露光量または受光量を個別に制御する制御方法であってもよい。
なお、本実施形態の撮像装置10では、ディスプレイ28に表示されたメニューから十字キー30等を用いて、ユーザにより指示された場合に、CPU74が、詳細を後述する露出制御処理を実行する形態としているが、ユーザが露出制御処理の実行の指示方法は特に限定されない。例えば、ユーザが露出制御処理を指示するための専用のボタン等を撮像装置本体12に設け、専用のボタンにより露出制御処理の実行を指示する形態としてもよい。
撮像素子ドライバ50は、撮像素子22に接続されており、CPU74の制御下で、撮像素子22に駆動パルスを供給する。撮像素子22の各画素は、撮像素子ドライバ50によって供給された駆動パルスに従って駆動する。なお、本実施形態では、撮像素子22として、CCD(Charge Coupled Device)イメージセンサを用いているが、本開示の技術はこれに限定されるものではなく、例えば、CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ等の他のイメージセンサを用いてもよい。
画像信号処理回路52は、CPU74の制御下で、撮像素子22から1フレーム分の画像信号を画素毎に読み出す。画像信号処理回路52は、読み出した画像信号に対して、相関二重サンプリング処理、自動利得調整、及びA/D(Analog/Digital)変換等の各種処理を行う。画像信号処理回路52は、画像信号に対して各種処理を行うことでデジタル化した画像信号を、CPU74から供給されるクロック信号で規定される特定のフレームレート(例えば、数十フレーム/秒)で1フレーム毎に画像メモリ54に出力する。
本実施形態の撮像素子22、及び撮像素子ドライバ50が本開示の撮像部の一例である。
画像メモリ54は、画像信号処理回路52から入力された画像信号を一時的に保持する。
画像処理部56は、画像メモリ54から特定のフレームレートで1フレーム毎に画像信号を取得し、取得した画像信号に対して、ガンマ補正、輝度変換、色差変換、及び圧縮処理等の各種処理を行う。また、画像処理部56は、各種処理を行って得た画像信号を特定のフレームレートで1フレーム毎に表示制御部58に出力する。更に、画像処理部56は、各種処理を行って得た画像信号を、CPU74の要求に応じて、CPU74に出力する。
表示制御部58は、タッチパネルディスプレイ29のディスプレイ28に接続されており、CPU74の制御下で、ディスプレイ28を制御する。また、表示制御部58は、画像処理部56から入力された画像信号を1フレーム毎に特定のフレームレートでディスプレイ28に出力する。
ディスプレイ28は、表示制御部58から特定のフレームレートで入力された画像信号により示される画像をライブビュー画像として表示する。また、ディスプレイ28は、単一フレームで撮像されて得られた単一フレーム画像である静止画像も表示する。なお、ディスプレイ28には、ライブビュー画像の他に、再生画像及びメニュー画面等が表示される。
受付デバイス62は、ダイヤル24、レリーズボタン26、十字キー30、MENU/OKキー32、及びBACK/DISPボタン34等を有しており、ユーザによる各種指示を受け付ける。
タッチパネルディスプレイ29のタッチパネル38及び受付デバイス62は、受付I/F60に接続されており、受け付けた指示の内容を示す指示内容信号を受付I/F60に出力する。受付I/F60は、入力された指示内容信号をCPU74に出力する。CPU74は、受付I/F60から入力された指示内容信号に応じた処理を実行する。
メディアI/F64には、メモリカード66が着脱可能に接続されている。メディアI/F64は、CPU74の制御下で、メモリカード66に対する画像ファイルの記録及び読み出しを行う。
メディアI/F64によってメモリカード66から読み出された画像ファイルは、CPU74の制御下で、画像処理部56によって伸長処理が施されてディスプレイ28に再生画像として表示される。
撮像装置10では、受付デバイス62で受け付けられた指示に応じて、動作モードが切り替えられる。例えば、撮像装置10では、撮像モード下において、受付デバイス62で受け付けられた指示に応じて、静止画撮像モードと動画撮像モードとが選択的に設定される。静止画撮像モード下では、静止画像ファイルがメモリカード66に記録可能になり、動画撮像モード下では、動画像ファイルがメモリカード66に記録可能になる。
CPU74は、静止画撮像モード下でレリーズボタン26によって静止画像の撮像の指示が受け付けられた場合、撮像素子ドライバ50を制御することで、撮像素子22に1フレーム分の本露光を行わせる。画像処理部56は、CPU74の制御下で、1フレーム分の露光が行われることによって得られた画像信号を取得し、取得した画像信号に対して圧縮処理を施して特定の静止画像用フォーマットの静止画像ファイルを生成する。なお、ここで、特定の静止画像用フォーマットとは、例えば、JPEG(Joint Photographic Experts Group)形式のフォーマットを指す。静止画像ファイルは、CPU74の制御下で、画像処理部56によって、メディアI/F64を介してメモリカード66に記録される。
画像処理部56は、動画撮像モード下でレリーズボタン26によって動画像の撮像の指示が受け付けられた場合、ライブビュー画像用の画像信号に対して圧縮処理を施して特定の動画像用フォーマットの動画像ファイルを生成する。なお、ここで、特定の動画像用フォーマットとは、例えば、MPEG(Moving Picture Experts Group)形式のフォーマットを指す。動画像ファイルは、CPU74の制御下で、画像処理部56によって、メディアI/F64を介してメモリカード66に記録される。
ジャイロセンサ70は、センサI/F68に接続されており、ヨー方向、ロー方向、及びピッチ方向の各角速度を検出し、検出した角速度を示す角速度情報をセンサI/F68に出力する。センサI/F68は、ジャイロセンサ70から入力された角速度情報をCPU74に出力する。CPU74は、センサI/F68から入力された角速度情報に応じた処理を実行する。
次に、本実施形態の撮像装置10の作用として、本実施形態の露出制御処理を実行する場合の撮像装置10の作用について説明する。
本実施形態の撮像装置10では、撮像モードにおいて、上述したように、タッチパネルディスプレイ29にライブビュー画像が表示される。そして、本実施形態の撮像装置10では、タッチパネルディスプレイ29に表示されたライブビュー画像の露出を制御する露出制御処理が実行される。
具体的には、撮影モードにおいて、露出制御処理の実行をユーザから指示されると、本実施形態の撮像装置10のCPU74は、二次記憶部78から露出制御処理プログラム79を読み出して一次記憶部76に展開して実行することにより、図4に一例を示した、露出制御処理を実行する。CPU74は、露出制御処理プログラム79を実行することにより、本開示の制御部として機能する。
なお、以下では、説明の便宜上、タッチパネルディスプレイ29に表示された、図5に一例として示したライブビュー画像100に対して露出制御処理を実行する場合について説明する。図5に示したライブビュー画像100は、被写体の一例として、「海」及び「空」を撮像して得られたライブビュー画像100であり、海を主として含む海の画像102と、空を主として含む空の画像104とが含まれている。
本実施形態の撮像装置10では、ライブビュー画像100を境界線により分割することで設定された複数の領域毎に、露出の制御を行う。換言すると、本実施形態のCPU74は、ライブビュー画像100を境界線により分割して得られた領域毎に、露出を制御する。
そのため、まず、図4のステップS100でCPU74は、ライブビュー画像100を画像解析し、露出を制御する領域を設定するための境界線の位置を決定し、タッチパネルディスプレイ29に表示されているライブビュー画像100上の決定した位置に、境界線を表示させる。
なお、CPU74が、境界線の位置を決定する方法は特に限定されない。例えば、CPU74は、ライブビュー画像100を画像解析することにより得られたヒストグラム(輝度分布)に基づいて、境界線の位置を決定してもよい。一例として、図6に、ライブビュー画像100のヒストグラム200を示す。図6に示したヒストグラム200は、横軸を輝度値(明るさ)とし、縦軸を画素数(頻度)としたライブビュー画像100の輝度分布を示している。なお、以下では、「輝度値」を単に「輝度」という場合がある。
CPU74は、ヒストグラム200から、輝度値の山202と、山204との間の谷となる範囲206を検出し、検出した範囲206の中から予め定められた基準に基づいて特定の1つの輝度値208を決定する。この場合の予め定められた基準としては、例えば、範囲206の中間値であることや、最低画素数となる輝度値であること等が挙げられる。そして、CPU74は、決定した輝度値208に対応する画素の位置に基づいて、例えば、ライブビュー画像100において、輝度値が輝度値208である、画素を最も多く含む直線を境界線120とすることにより、ライブビュー画像100における境界線120の位置を決定すればよい。
なお、図6に示したヒストグラム200が、輝度値の山となる部分が2つ(山202及び山204)である場合を示したが、輝度値の山となる部分が3つ以上、すなわち、谷となる範囲206が2つ以上である場合であっても、ヒストグラムから境界線120の位置を決定することができる。この場合、例えば、複数の谷となる範囲206の各々から決定された輝度値のうちから、最小値等、予め定められた基準を満たす輝度値を決定し、決定した輝度値に基づいて境界線120の位置を決定すればよい。
また、境界線120の位置のその他の決定方法としては、ライブビュー画像100の端部から順に輝度または濃度に基づいてコントラストを抽出し、コントラストが急に変化する位置を、境界線120の位置として決定してもよい。
図7には、ライブビュー画像100上に境界線120が表示された状態の一例を示す。このように、CPU74が境界線120を表示させることにより、ユーザは、境界線120の位置、すなわち、露出を制御する領域を確認することができる。
次のステップS102でCPU74は、境界線120の位置を確定するか否かを判定する。上記ステップS100でCPU74が決定した境界線120の位置が適切でない場合や、ユーザの所望により、露出を制御する領域を調整したい場合がある。このような場合、本実施形態の撮像装置10では、ユーザの指示に応じて、境界線120の位置を微調整することが可能とされている。
例えば、図8の(A)は、上記図6と同様に、CPU74が決定した位置に境界線120が表示されたライブビュー画像100を示しているが、境界線120により分割される領域114には、空の画像104のみが含まれ、境界線120により分割される領域112には、海の画像102及び空の画像104が含まれている。
このような場合、ユーザが境界線120の位置を微調整することにより、例えば、領域112には、海の画像102のみが含まれ、領域114には空の画像104のみが含まれる状態とすることができる。
そこで、本実施形態では、タッチパネルディスプレイ29が、境界線120の位置を微調整するための指示を受け付けた場合、境界線120の位置が確定していないため、ステップS102の判定が否定判定となり、ステップS104へ移行する。
なお、ユーザによる境界線の位置の微調整方法は特に限定されないが、本実施形態では、一例として、タッチパネルディスプレイ29に表示された境界線120をユーザが指示体で指し示し、指示体をライブビュー画像100上の所望の位置に移動させることにより、境界線120の位置を指示することで微調整を行う。
そのため、次のステップS104でCPU74は、タッチパネル38から入力される検知結果情報に含まれる、ユーザが指示する位置の座標に応じた位置に、境界線120の位置を移動させた後、ステップS102に戻る。
一例として、図8の(B)には、ユーザにより、境界線120の位置が微調整された状態を示している。図8の(B)に示した場合では、境界線120により隔てられた領域112には、海の画像102のみが含まれ、領域114には空の画像104のみが含まれた状態となっている。
一方、一例として本実施形態の撮像装置10では、受付デバイス62が、ユーザからの境界線120の位置を確定する旨の指示を受け付けた場合に、境界線120の位置が確定したと判定するため、ステップS102の判定が肯定判定となり、ステップS106へ移行する。
ステップS106でCPU74は、境界線120により設定された領域112及び領域114に対して露出を制御するために、図9に一例を示したNDフィルタ処理を実行する。
図9のステップS200でCPU74は、境界線120に基づいて、ライブビュー画像100を、領域112及び領域114に分割する。
次のステップS202でCPU74は、領域112及び領域114の各々におけるNDフィルタ80の度合いを導出する。換言すると、ステップS202でCPU74は、NDフィルタ80のフィルタ係数を導出する。NDフィルタ80の度合いとは、露出を制御する度合いの一例である。本実施形態では、NDフィルタ80の度合いが高いほど、NDフィルタ処理の効果が強まり、NDフィルタ80の透過率が低くなるため、露出を制御する度合いが高くなる。この場合、いわゆる白飛びを防ぐ効果が高くなる。また、本実施形態では、NDフィルタ80の度合いが低いほど、NDフィルタ処理の効果が弱まり、NDフィルタ80の透過率が高くなるため、露出を制御する度合いが低くなる。この場合、いわゆる黒つぶれを防ぐ効果が高くなる。
CPU74がNDフィルタ80の度合いを導出する方法は特に限定されない。例えば、CPU74は、領域112及び領域114各々の輝度に基づいて、NDフィルタ80の度合いを導出してもよい。この場合の一例としては、輝度とNDフィルタ80の度合いとの対応関係を表す情報を二次記憶部78に予め記憶しておき、領域112及び領域114各々の輝度の平均値を算出し、二次記憶部78に記憶されている対応関係を表す情報から、算出した平均値に対応するNDフィルタ80の度合いを導出してもよい。また例えば、CPU74は、領域112及び領域114毎にユーザからNDフィルタ80の度合いを受付デバイス62により受け付けることによって、領域112及び領域114毎にNDフィルタ80の度合いを導出してもよい。
一例として本実施形態では、空の画像104の方が、海の画像102よりも明るい(輝度が高い)ため、領域114に対しては、予め定められた基準よりもNDフィルタ80の透過率を低くするためにNDフィルタ80の度合いを高くして白飛びを防ぎ、領域112に対しては、予め定められた基準よりもNDフィルタ80の透過率を高くするためにNDフィルタ80の度合いを低くして黒つぶれを防ぐ。
次のステップS204でCPU74は、上記ステップS202で導出したNDフィルタ80の度合いに応じてNDフィルタ80を駆動させることにより、露出を制御する指示をNDフィルタ駆動部82に出力した後、本NDフィルタ処理を終了して、露出制御処理のステップS108(図4参照)へ移行する。
このようにして、図9に一例を示したNDフィルタ処理が実行されることにより、タッチパネルディスプレイ29に表示されるライブビュー画像100が、図8の(C)に示した一例のように、CPU74により領域112及び領域114の各々に対してNDフィルタ80の度合いが制御されて得られた画像となる。
ステップS108でCPU74は、ライブビュー画像100が変化したか否かを判定する。本実施形態では、一例としてCPU74は、センサI/F68から入力された角速度情報に応じた角速度が予め定められた閾値を超えた場合に、ライブビュー画像100が変化したと判定する。
本実施形態のライブビュー画像100の変化が、本開示の撮像画像の変化の一例である。なお、撮像画像の変化とは、いわゆる撮影シーンの変化や、撮像画像に含まれる被写体(撮像対象)の画像の変化、フレーミング(画角)の変化、拡大や縮小等による変化、及び撮影範囲の変化を含む。また、被写体の変化としては、太陽の昇りや沈み、光の反射の仕方等、被写体となる自然現象の変化も含む。そのため、撮像装置10自身が動く場合に限らず、撮像装置10自身が動かない場合でも、撮像画像の変化は生じる。
ライブビュー画像100が変化した場合、ステップS108の判定が肯定判定となり、ステップS110へ移行する。ステップS110でCPU74は、ライブビュー画像100の変化に応じて境界線120の位置を移動させる。
ライブビュー画像100の変化に応じて境界線120を移動させる方法は特に限定されないが、本実施形態では、ライブビュー画像100の変化の速度または加速度に応じた速度で境界線120を移動させる。このような方法として、例えば、CPU74は、移動前のライブビュー画像100における境界線120の一部を含む領域の画像をテンプレート画像として用いて、移動後のライブビュー画像100に対してテンプレートマッチングを行うことにより、境界線120の位置を決定し、決定した位置に境界線120を表示させることにより、境界線120を移動させてもよい。また例えば、CPU74は、移動前後のライブビュー画像100における境界線120のオプティカルフローを導出することにより、境界線120の位置を決定し、決定した位置に境界線120を表示させることにより、境界線120を移動させてもよい。さらに例えば、CPU74は、ジャイロセンサ70が検出した各方向における角速度(センサI/F68から入力された角速度情報)に基づいて検出した撮像装置10の動きに応じて、境界線120の位置を決定し、決定した位置に境界線120を表示させることにより、境界線120を移動させてもよい。
このようにして、境界線120の位置を移動させることにより、領域112及び領域114は、移動後の境界線120に応じて分割された領域となる。
次のステップS112でCPU74は、変化後のライブビュー画像100に応じた露出とするために、領域112及び領域114の露出を調整するために、図10に一例を示したNDフィルタ調整処理を実行する。
図10のステップS250でCPU74は、領域112及び領域114のうち、明るいほうの領域について、輝度(明るさ)の変動を計算する。本実施形態では、上述したように、領域114の方が、領域112よりも明るいため、まず、領域114の輝度の変動値を計算する。以下、計算された変動値を「変動ΔEV1」という。
次のステップS252でCPU74は、領域112及び領域114のうち、暗いほうの領域について、輝度(明るさ)の変動を計算する。本実施形態では、上述したように、領域112の方が、領域114よりも暗いため、領域112の輝度の変動値を計算する。以下、計算された変動値を「変動ΔEV2」という。
次のステップS254で、CPU74は、変動ΔEV1の絶対値が、予め定められた閾値th未満、かつ変動ΔEV2の絶対値が、予め定められた閾値th未満であるか否かを判定する。本実施形態の撮像装置10では、ライブビュー画像100が変化し、明るさが大きく変動した場合に、明るさが大きく変動した領域に対して露出の調整(NDフィルタ80の度合いの調整)を行う。なお、明るさが大きく変動したか否かを判断するために用いる閾値thは、例えば、実験等により得られた値を予め二次記憶78に記憶させておいてもよいし、ユーザが受付デバイス62等により指示した値を予め二次記憶78に記憶させておいてもよい。
変動ΔEV1の絶対値が、予め定められた閾値th未満、かつ変動ΔEV2の絶対値が、予め定められた閾値th未満である場合、ステップS254の判定が肯定判定となり、ステップS256へ移行する。
ステップS256でCPU74は、露出の調整、すなわちNDフィルタ80の度合いの調整を行わないことを決定した後、本NDフィルタ調整処理を終了する。
一方、変動ΔEV1の絶対値が、予め定められた閾値th未満、かつ変動ΔEV2の絶対値が、予め定められた閾値th未満ではない場合、すなわち、変動ΔEV1の絶対値及び変動ΔEV2の絶対値の少なくとも一方が閾値th以上の場合、ステップS254の判定が否定判定となり、ステップS258へ移行する。
ステップS258でCPU74は、変動ΔEV1の絶対値が、予め定められた閾値th以上、かつ変動ΔEV2の絶対値が、予め定められた閾値th未満であるか否かを判定する。変動ΔEV1の絶対値が、予め定められた閾値th以上、かつ変動ΔEV2の絶対値が、予め定められた閾値th未満である場合、すなわち領域114の明るさが大きく変動し、領域112の明るさの変動が大きくない(または変動していない)場合、ステップS258の判定が肯定判定となり、ステップS260へ移行する。
ステップS260でCPU74は、明るい方の領域である領域114の露出を調整した後、本NDフィルタ調整処理を終了する。一例として本実施形態では、上述したNDフィルタ処理(図9参照)のステップS202と同様に、CPU74は、変化後のライブビュー画像100における領域114に対するNDフィルタ80の係数を導出する。そして、CPU74は、導出したNDフィルタ80の度合いに応じてNDフィルタ80を駆動させることにより、露出を制御する指示をNDフィルタ駆動部82に出力することにより、領域114の露出に対する調整を行う。なお、この場合、領域112の露出(NDフィルタ80の係数)は、上述したNDフィルタ処理(図9参照)のステップS202で決定した状態のままとされる。
一方、変動ΔEV1の絶対値が、予め定められた閾値th以上、かつ変動ΔEV2の絶対値が、予め定められた閾値th未満ではない場合、ステップS258の判定が否定判定となり、ステップS262へ移行する。
ステップS262でCPU74は、変動ΔEV1の絶対値が、予め定められた閾値th未満、かつ変動ΔEV2の絶対値が、予め定められた閾値th以上であるか否かを判定する。変動ΔEV1の絶対値が、予め定められた閾値th未満、かつ変動ΔEV2の絶対値が、予め定められた閾値th以上である場合、ステップS262の判定が肯定判定となり、ステップS264へ移行する。このようにステップS262の判定が肯定判定となる場合とは、換言すると、暗い方の領域のみ明るさが大きく変動している場合である。
そこで、ステップS264でCPU74は、暗い方の領域である領域112の露出を調整した後、本NDフィルタ調整処理を終了する。一例として本実施形態では、上述したNDフィルタ処理(図9参照)のステップS202と同様に、CPU74は、変化後のライブビュー画像100における領域112に対するNDフィルタ80の係数を導出する。そして、CPU74は、導出したNDフィルタ80の度合いに応じてNDフィルタ80を駆動させることにより、露出を制御する指示をNDフィルタ駆動部82に出力することにより、領域112に対する露出の調整を行う。なお、この場合、領域114の露出(NDフィルタ80の係数)は、上述したNDフィルタ処理(図9参照)のステップS202で決定した状態のままとされる。
一方、変動ΔEV1の絶対値が、予め定められた閾値th未満、かつ変動ΔEV2の絶対値が、予め定められた閾値th以上ではない場合、ステップS262の判定が否定判定となり、ステップS266へ移行する。このようにステップS262の判定が否定判定となる場合とは、換言すると、明るい方の領域及び暗い方の領域ともに、明るさが大きく変動している場合である。
そこで、ステップS266でCPU74は、ライブビュー画像100の全領域である領域112及び領域114の各々に対して、露出を調整した後、本NDフィルタ調整処理を終了する。一例として本実施形態では、上述したステップS260の処理を行うことにより領域114に対する露出の調整を行い、また、ステップS264の処理を行うことにより領域112に対する露出の調整を行う。
このようにしてNDフィルタ調整処理が終了すると、露出制御処理のステップS114(図4参照)へ移行する。
一方、上記ステップS108において、ライブビュー画像100が変化しない場合も、判定が否定判定となり、ステップS114へ移行する。
ステップS114でCPU74は、本露出制御処理を終了するか否かを判定する。露出制御処理を終了しない場合、ステップS114の判定が否定判定となり、ステップS108に戻り、上記ステップS108〜S112の処理を繰り返す。一方、終了する場合、ステップS114の判定が肯定判定となり、本露出制御処理を終了する。
露出制御処理が終了した後、ユーザによりレリーズボタン26によって撮像の指示が行われると、CPU74によって露出が制御された状態で撮像素子22により撮像されて得られた画像がメモリカード66に記録される。
以上説明したように、本実施形態の撮像装置10は、レンズユニット18を通して被写体を撮像素子22により撮像して得られた画像信号を出力する撮像ドライバ50と、画像信号に応じたライブビュー画像100を表示するタッチパネルディスプレイ29と、ライブビュー画像100の解析結果に基づいて、ライブビュー画像100を複数の領域に分割する境界線120の位置を決定し、ライブビュー画像100が変化した場合は、決定した境界線120の位置をライブビュー画像100の変化に基づいて調整し、また、変化後のライブビュー画像100の明るさに基づいて、調整した境界線120により隔てられた複数の領域の少なくとも1つの領域における露出を制御するCPU74と、を備える。
従って、本実施形態の撮像装置10によれば、上記のようにライブビュー画像100が変化した場合に、CPU74が、境界線120の一を調整し、変化後のライブビュー画像100の明るさに基づいて境界線120により隔てられた領域の露出を制御するため、露出を制御する領域を簡便に設定することができる。
また、ライブビュー画像100の変化に追従して、境界線120の位置が移動するため、ライブビュー画像100が変化したことによりユーザが境界線120の位置を微調整しなくてもよくなることから、ユーザの煩わしさを抑制することができる。
なお、本実施形態の撮像装置10では、上記露出制御処理(図4参照)において、境界線120の位置を微調整した後に、微調整後の境界線120に基づいてNDフィルタ処理を行う場合について説明したが、本実施形態に限らない。例えば、境界線120の位置の微調整を行う前に、ライブビュー画像100に対してNDフィルタフィルタ処理を行ってもよい。
この場合の、露出制御処理の一例のフローチャートを図11に示す。図11に示した露出制御処理では、図4に示した露出制御処理におけるステップS100に代わり、ステップS101_1〜ステップS101_3の処理を実行する。また、ステップS106のNDフィルタ処理を実行しない点で、図4に示した露出制御処理と異なっている。
図11に示したステップS101_1で、CPU74は、図4に示した露出制御処理のステップS100と同様に、ライブビュー画像100を画像解析し、露出を制御する領域を設定するための境界線の位置を決定する。
次のステップS101_2で、図4に示した露出制御処理のステップS106と同様に、NDフィルタ処理を実行する。このようにNDフィルタ処理を実行することにより、露出が制御されたライブビュー画像100がタッチパネルディスプレイ29に表示された状態となる。
次のステップS101_3でCPU74は、上記ステップS101_1で決定した位置に境界線120を表示させる。一例として、図12の(A)は、この場合の境界線120が表示されたライブビュー画像100を示している。
そのため、この場合、ユーザは、図12の(B)に示すように、NDフィルタ処理により露出が制御されたライブビュー画像100に対して境界線120の位置を微調整することができる。従って、ユーザは、NDフィルタ80の効果を確認しながら境界線120の微調整を行うことができる。
なお、上述したように、NDフィルタ処理を行う前のライブビュー画像100に対してユーザが、境界線120の位置を微調整する場合、コントラストが明確な画像に対して微調整を行うことができる。
[第2実施形態]
本実施形態では、ライブビュー画像100が変化した場合に、境界線を含む境界領域において、NDフィルタ80の透過率(濃度)を徐々に変化させるグラデーションの状態を制御する形態について説明する。なお、本実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
一例として図1〜図3に示すように、本実施形態の撮像装置10Aは、上記第1実施形態の撮像装置10に比べ、撮像装置本体12に代えて撮像装置本体12Aを有する点が異なる。
一例として図3に示すように、撮像装置本体12Aは、撮像装置本体12に比べ、制御部46に代えて制御部46Aを有する点が異なる。制御部46Aは、制御部46に比べ、二次記憶部78に代えて二次記憶部78Aを有する点が異なる。
一例として図3に示すように、二次記憶部78Aは、二次記憶部78に比べ、露出制御処理プログラム79に代えて露出制御処理プログラム79Aを記憶している点が異なる。CPU74は、二次記憶部78Aから露出制御処理プログラム79Aを読み出して一次記憶部76に展開し、展開した露出制御処理プログラム79Aに従って図4に示す露出制御処理を実行する。CPU74は、露出制御処理プログラム79Aを実行することで本開示の制御部として動作する。
次に、本実施形態の撮像装置10Aの作用として、図4に示す露出制御処理について説明する。なお、上記第1実施形態と同一の作用については説明を省略する。
本実施形態の露出制御処理は、図4に示すように、上記第1実施形態の露出制御処理に比べ、ステップS112に代えてステップS112Aを実行する点が異なる。具体的には、本実施形態の露出制御処理のステップS112Aでは、上記第1実施形態の露出制御処理のステップS112のNDフィルタ調整処理(図10参照)に代えて、図13に一例を示したNDフィルタ調整処理を実行する点で異なっている。
図13に示した本実施形態のNDフィルタ調整処理は、ステップS268〜S272の処理を実行する点で、上記第1実施形態のNDフィルタ調整処理と異なっている。
上述したように、NDフィルタ調整処理のステップS256、S260、S264、及びS266の処理により、NDフィルタ80の度合いが導出される。
その後、図13に示すように、本実施形態のステップS268でCPU74は、ジャイロセンサ70が検出した各方向における角速度に基づいて、ライブビュー画像100の変化量及び変化方向を導出する。
次のステップS270でCPU74は、上記ステップS268で導出した変化量及び変化方向に基づいて、境界線120を含む境界領域を決定する。本実施形態において「境界領域」とは、境界線120を含み、境界線120により隔てられた領域112及び領域114における一方の領域から他方の領域にNDフィルタ80の度合い(透過率)が変化する領域のことをいう。境界線120付近でNDフィルタ80の透過率が徐々に変化する場合、境界領域は、NDフィルタ80の濃淡(明るさ)の変動に勾配、いわゆる、グラデーションが生じている領域となる。
図14には、ライブビュー画像100に対して、CPU74がNDフィルタ80を駆動させた状態、すなわち、透過率が制御されたNDフィルタ80の状態の一例を模擬的に示す。以下、図14のように模擬的に示したNDフィルタ80の図を用いて本実施形態の撮像装置10AにおけるNDフィルタ調整処理について説明する。
上述したように、NDフィルタ80は、領域112に対応する部分のほうが、領域114に対応する分よりも透過率が低い。そのため、図14に示すようにNDフィルタ80は、領域112に対応するNDフィルタ80の部分134(以下、「NDフィルタ部分134」という)の方が、領域114に対応するNDフィルタ80の部分132(以下、「NDフィルタ部分132」という)よりも濃淡が濃い。なお、図14に示したNDフィルタ80は、境界線120の位置で、NDフィルタ部分134とNDフィルタ部分132の濃淡(透過率)が切り替わっている状態、すなわち、グラデーションが生じていない状態を示している。本実施形態の撮像装置10Aでは、この場合の境界領域133は、境界線120の領域(境界線120となる画素が配置された領域)としている。
一例として本実施形態の撮像装置10Aでは、ライブビュー画像100に動きが生じていない場合、CPU74は、図14に示したNDフィルタ80のように、濃淡にグラデーションが設けられていないNDフィルタ80を露出の制御に適用している。
一方、例えば、ユーザが撮像装置10Aを比較的速く動かした場合等、ライブビュー画像100の変化(動き)が速くなるほど、境界線120の移動が追従し難くなり、位置ずれが生じる懸念がある。そのため本実施形態の撮像装置10Aでは、ライブビュー画像100が変化した場合、露出の制御に濃淡のグラデーションが生じたNDフィルタ80を適用し、また、ライブビュー画像100の変化量が大きくなるほど、グラデーションが生じている境界領域133の幅(境界線120と交差する方向の幅)を広くすることにより、境界線120付近の濃淡をぼやかす制御を行う。
図15に示した一例のように、撮像装置10Aを境界線120と交差する方向の一例として矢印A方向に移動させることによりライブビュー画像100が変化した場合、CPU74は、露出の制御に適用するNDフィルタ80を、境界線120を含む境界領域133に濃淡のグラデーションが生じたものとする。さらに、矢印A方向に移動させる移動量が大きく、すなわちライブビュー画像100の変化量が大きくなると、CPU74は、図16に示した一例のように、露出の制御に適用するNDフィルタ80における境界領域133の幅を広くし、濃淡の勾配を緩やかにする。
このように、本実施形態のCPU74は、境界線120と交差する方向にライブビュー画像100が変化(撮像装置10Aが移動)する場合、変化量が大きくなるほど、露出の制御に適用するNDフィルタ80の境界領域133の幅を広くし、濃淡の勾配を緩やかにし、変化量が小さくなるほど、露出の制御に適用するNDフィルタ80の境界領域133の幅を狭くし、濃淡の勾配を急にする。
一方、図17に示した一例のように、撮像装置10Aを境界線120と平行な方向の一例として矢印B方向に移動させることによりライブビュー画像100が変化した場合も、CPU74は、露出の制御に適用するNDフィルタ80を、境界線120を含む境界領域133に濃淡のグラデーションが生じたものとする。なお、ここで「平行」とは誤差を含み、平行とみなせる予め定められた許容範囲内であればよい。
このように、境界線120と平行な方向にライブビュー画像100が変化した場合、境界線120は移動しない、もしくは境界線120と交差する方向にライブビュー画像100が変化する場合に比べて移動量が小さくなる。そのため、境界線120の位置ずれが生じにくくなる。
そのため、CPU74は、図17に示した一例のように、変化量を同等とした場合、同等の境界線120と交差する方向にライブビュー画像100が変化する場合に比べて、露出の制御に適用するNDフィルタ80の境界領域133の幅を狭くし、濃度の勾配を急にする。また、CPU74は、境界線120と平行な方向にライブビュー画像100が変化(撮像装置10Aが移動)する場合、変化量の大きさにかかわらず、露出の制御に適用するNDフィルタ80の境界領域133の幅を同等とする。
このように、CPU74は、ステップS270において、上記ステップS268で導出した変化量及び変化方向に基づいて、境界線120を含む境界領域133の幅及び位置を決定する。
次のステップS272でCPU74は、上記ステップS270の決定に基づいて、境界領域133に対するNDフィルタ80の度合い(透過率)を調整する指示を、NDフィルタ駆動部82に出力した後、本NDフィルタ調整処理を終了する。
以上説明したように、本実施形態の撮像装置10Aでは、第1実施形態の撮像装置10と同様に、ライブビュー画像100が変化した場合に、CPU74が、境界線120の一を調整し、変化後のライブビュー画像100の明るさに基づいて境界線120により隔てられた領域の露出を制御するため、露出を制御する領域を簡便に設定することができる。従って、第1実施形態の撮像装置10と同様に、露出を制御する領域を簡便に設定することができる。
また、本実施形態の撮像装置10Aでは、CPU74がライブビュー画像100の変化量及び変化方向に基づいて、境界領域133の幅、すなわちNDフィルタ80の濃淡(透過率)の勾配を制御するため、境界線120付近で明るさがずれることによる擬似境界の発生を抑制することができる。これにより、本実施形態の撮像装置10Aによれば、高画質な撮像画像を得ることができる。
なお、本実施形態では、ライブビュー画像100に対する境界線が境界線120の1本のみの場合について説明したが、境界線が複数ある場合についても同様とすることができる。なお、例えば、図18に示した一例のように、交差する2本の境界線126及び境界線128を有する場合、境界126及び境界線128の各々に対して、CPU74が上述したように境界領域133の幅等を決定し、NDフィルタ80の透過率を調整すればよい。例えば、図18に示したNDフィルタ80を適用している場合において、撮像装置10Aが矢印A方向に移動した場合、図19に示した一例のように、境界線126を含む境界領域135の方が、境界線128を含む境界領域137よりも幅が広く、濃淡の勾配が緩やかになる。
[第3実施形態]
本実施形態では、ライブビュー画像100が変化した場合の境界線120の移動のさせかたについて第1実施形態と異なる形態について説明する。なお、本実施形態では、上記第1実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。
一例として図1〜図3に示すように、本実施形態の撮像装置10Bは、上記第1実施形態の撮像装置10に比べ、撮像装置本体12に代えて撮像装置本体12Bを有する点が異なる。
一例として図3に示すように、撮像装置本体12Bは、撮像装置本体12に比べ、制御部46に代えて制御部46Bを有する点が異なる。制御部46Bは、制御部46に比べ、二次記憶部78に代えて二次記憶部78Bを有する点が異なる。
一例として図3に示すように、二次記憶部78Bは、二次記憶部78に比べ、露出制御処理プログラム79に代えて露出制御処理プログラム79Bを記憶している点が異なる。CPU74は、二次記憶部78Aから露出制御処理プログラム79Bを読み出して一次記憶部76に展開し、展開した露出制御処理プログラム79Bに従って図20に示す露出制御処理を実行する。CPU74は、露出制御処理プログラム79Bを実行することで本開示の制御部として動作する。
次に、本実施形態の撮像装置10Bの作用として、図20に示す露出制御処理について説明する。なお、上記第1実施形態と同一の作用については説明を省略する。
本実施形態の露出制御処理は、図20に示すように、上記第1実施形態の露出制御処理(図4参照)に比べ、ステップS108とステップS110との間に、ステップS109の処理を実行する点が異なる。
図20に示したステップS109でCPU74は、ライブビュー画像100の変化の加速度に応じて、境界線120の位置を予測する。例えば、図21に示した一例のように、撮像装置10Cが矢印A方向に移動する場合、ライブビュー画像100(被写体の画像)は、矢印C方向に移動する。この場合、境界線120は、図22に示した一例のように、矢印C方向に移動させる。
そのため一例として本実施形態のCPU74は、撮像装置10Cが移動する方向と、移動の加速度とに応じて、境界線120の位置を予測する。
このように境界線120の位置を予測することにより、次のステップS110でCPU74は、予測した位置に境界線120を移動させる。
以上説明したように、本実施形態の撮像装置10Aでは、第1実施形態の撮像装置10と同様に、ライブビュー画像100が変化した場合に、CPU74が、境界線120の一を調整し、変化後のライブビュー画像100の明るさに基づいて境界線120により隔てられた領域の露出を制御するため、露出を制御する領域を簡便に設定することができる。従って、第1実施形態の撮像装置10と同様に、露出を制御する領域を簡便に設定することができる。
また、本実施形態の撮像装置10Aでは、撮像装置10Cが移動する方向と、移動の加速度とに応じて、境界線120の位置を予測し、予測した位置に境界線120を移動させる。これにより、予測した位置における境界線120により、ライブビュー画像100を分割して領域112及び領域114とすることができるため、ライブビュー画像100の変化に応じて、露出の制御を行う領域を適切な領域とすることができる。
従って、ライブビュー画像100が変化した場合でも、境界線120付近で明るさがずれることによる擬似境界の発生を抑制することができる。これにより、本実施形態の撮像装置10Aによれば、高画質な撮像画像を得ることができる。
以下では、説明の便宜上、撮像装置10、10A、10Bを区別して説明する必要がない場合、符号を付さずに「撮像装置」と称する。また、以下では、説明の便宜上、撮像装置本体12、12A、12Bを区別して説明する必要がない場合、符号を付さずに「撮像装置本体」と称する。また、以下では、説明の便宜上、二次記憶部78、78A、78Bを区別して説明する必要がない場合は、符号を付さずに「二次記憶部」と称する。また、以下では、説明の便宜上、露出制御処理プログラム79、79A、79Bを総称する場合、符号を付さずに「露出制御処理プログラム」と称する。
なお、上記各実施形態では、NDフィルタ80及びNDフィルタ駆動部82を用いてCPU74がNDフィルタ80の度合い(透過率)の制御を行うことにより、露出の制御を行う形態について説明したが、NDフィルタ処理により露出の制御を行う形態はこれに限定されない。例えば、CPU74が画像信号処理回路52を制御することにより、撮像素子22により出力される画像信号のゲインを制御することでNDフィルタ処理を行うことにより、露出の制御を行う態様としてもよい。また、例えば、CPU74がシャッタースピードを制御することでNDフィルタ処理を行うことにより、露出の制御を行う態様としてもよい。
また、上記各実施形態では、境界線120が移動した場合、領域112及び領域114の露出を調整する形態について説明したが、これに限らず、露出の調整を行わない形態としてもよいし、露出の調整を行うか否かをユーザが設定(指示)可能な形態としてもよい。
また、上記各実施形態に限定されず、露出ブラケット撮影を行う場合は、ライブビュー画像100の変化に応じた境界線120の移動を行わないことが好ましい。また、ライブビュー画像100の変化に応じて境界線120の移動を行うか否かについて、ユーザによる設定(指示)を可能としてもよい。またさらに、例えば、撮像装置10の向き(縦または横)のみを変化させた場合等、撮影シーンが変化していないとみなせる予め定められた基準を満たす場合は、境界線120の移動を行わない形態としてもよい。
また、上記各実施形態では、CPU74が、ライブビュー画像100の移動に関して導出する場合に、ジャイロセンサ70が検出した角速度を用いる場合について説明したが、特に限定されず、例えば、ジャイロセンサ70に代わり、またはジャイロセンサ70に加えて加速度センサを用いてもよい。
また、上記各実施形態では、露出制御処理プログラムを二次記憶部78から読み出す場合を例示したが、必ずしも最初から二次記憶部78に記憶させておく必要はない。例えば、図13に示すように、SSD(Solid State Drave)、USB(Universal Serial Bus)メモリ、またはCD−ROM(Compact Disc Read Only Memory)等の任意の可搬型の記憶媒体300に露出制御処理プログラムを記憶させておいてもよい。この場合、記憶媒体300の露出制御処理プログラムが撮像装置本体にインストールされ、インストールされた露出制御処理プログラムがCPU74によって実行される。
また、通信網(図示省略)を介して撮像装置本体に接続される他のコンピュータまたはサーバ装置等の記憶部に露出制御処理プログラムを記憶させておき、露出制御処理プログラムが撮像装置本体の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされた露出制御処理プログラムはCPU74によって実行される。
また、上記各実施形態で説明したNDフィルタ処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
また、上記各実施形態では、コンピュータを利用したソフトウェア構成によりNDフィルタ処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、FPGA(Field-Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)等のハードウェア構成のみによって、NDフィルタ処理が実行されるようにしてもよい。また、NDフィルタ処理がソフトウェア構成とハードウェア構成とを組み合わせた構成によって実行されるようにしてもよい。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
10、10A、10B 撮像装置
12、12A、12B 撮像装置本体
13、15 マウント
14 撮像レンズ
16 フォーカスリング
18 レンズユニット
19 絞り
20 フォーカスレンズ
22 撮像素子
22A 受光面
24 ダイヤル
26 レリーズボタン
28 ディスプレイ
29 タッチパネルディスプレイ
30 十字キー
32 MENU/OKキー
34 BACK/DISPボタン
36 ファインダ
38 タッチパネル
40 制御装置
42 第1ミラー
44 第2ミラー
46、46A、46B、46C 制御部
48 ミラー駆動部
50 撮像素子ドライバ
52 画像信号処理回路
54 画像メモリ
56 画像処理部
58 表示制御部
60 受付I/F
62 受付デバイス
64 メディアI/F
66 メモリカード
68 センサI/F
70 ジャイロセンサ
72 外部I/F
74 CPU
76、 一次記憶部
78、78A、78B、78C 二次記憶部
79 露出制御処理プログラム
80 NDフィルタ
81 バスライン
82 NDフィルタ駆動部
100 ライブビュー画像
102 海の画像
104 空の画像
112、114 領域
120、126、128 境界線
200 ヒストグラム
202、204 山
206 範囲
208 輝度値
132、134 NDフィルタ部分
133、135、137 境界領域
300 記憶媒体
A、B、C 矢印
α 受光面被覆位置
β 受光面開放位置
L1 光軸

Claims (10)

  1. 撮像光学系を通して被写体を撮像する撮像素子により撮像して得られた画像信号を出力する撮像部と、
    前記画像信号に応じた撮像画像を表示する表示部と、
    前記撮像画像の解析結果に基づいて、前記撮像画像を複数の領域に分割する境界線の位置を決定し、前記撮像画像が変化した場合は、決定した前記境界線の位置を前記撮像画像の変化に基づいて調整し、また、変化後の撮像画像の明るさに基づいて、調整した前記境界線により隔てられた前記複数の領域の少なくとも1つの領域における露出を制御し、前記撮像画像における前記境界線を含む境界領域の露出を、前記撮像画像の変化の速度に応じた異なる度合いで段階的に変化させる制御を行う制御部と、
    を備えた撮像装置。
  2. 前記制御部は、前記撮像画像の変化により明るさが変化した領域に対して、変化後の前記領域の明るさに応じて露出を制御する、
    請求項1に記載の撮像装置。
  3. 前記制御部は、前記撮像画像の変化の速度または加速度に応じた速度で前記境界線の位置を移動させることにより前記境界線の位置を調整する、
    請求項1または請求項2に記載の撮像装置。
  4. 前記制御部は、前記撮像画像の変化の速度が速くなるほど、露出を変化させる度合いを小さくする、
    請求項1から請求項3のいずれか1項に記載の撮像装置。
  5. 前記制御部は、前記撮像画像の変化の速度に応じて、前記境界領域の幅を決定する、
    請求項1から請求項4のいずれか1項に記載の撮像装置。
  6. 前記制御部は、前記撮像画像の変化の向きに応じて、露出を変化させる方向を異ならせる、
    請求項1から請求項5のいずれか1項に記載の撮像装置。
  7. 前記制御部は、前記撮像画像の変化の向きに応じて、前記境界領域の幅を決定する、
    請求項1から請求項6のいずれか1項に記載の撮像装置。
  8. 前記制御部は、前記撮像画像の変化に応じて変化後の前記境界線の位置を予測し、予測した位置に前記境界線の位置を調整する、
    請求項1から請求項7のいずれか1項に記載の撮像装置。
  9. 撮像光学系を通して被写体を撮像する撮像素子により撮像して得られた画像信号に応じた撮像画像を表示部に表示させ、
    前記撮像画像の解析結果に基づいて、前記撮像画像を複数の領域に分割する境界線の位置を決定し、
    前記撮像画像が変化した場合は、決定した前記境界線の位置を前記撮像画像の変化に基づいて調整し、
    また、変化後の撮像画像の明るさに基づいて、調整した前記境界線により隔てられた前記複数の領域の少なくとも1つの領域における露出を制御し、
    前記撮像画像における前記境界線を含む境界領域の露出を、前記撮像画像の変化の速度に応じた異なる度合いで段階的に変化させる制御を行う
    処理を含む撮像装置の制御方法。
  10. コンピュータに、
    撮像光学系を通して被写体を撮像する撮像素子により撮像して得られた画像信号に応じた撮像画像を表示部に表示させ、
    前記撮像画像の解析結果に基づいて、前記撮像画像を複数の領域に分割する境界線の位置を決定し、
    前記撮像画像が変化した場合は、決定した前記境界線の位置を前記撮像画像の変化に基づいて調整し、
    また、変化後の撮像画像の明るさに基づいて、調整した前記境界線により隔てられた前記複数の領域の少なくとも1つの領域における露出を制御し、
    前記撮像画像における前記境界線を含む境界領域の露出を、前記撮像画像の変化の速度に応じた異なる度合いで段階的に変化させる制御を行う
    処理を実行させるための撮像装置の制御プログラム。
JP2019525119A 2017-06-21 2018-04-03 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム Active JP6815504B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017121443 2017-06-21
JP2017121443 2017-06-21
PCT/JP2018/014269 WO2018235384A1 (ja) 2017-06-21 2018-04-03 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2018235384A1 JPWO2018235384A1 (ja) 2020-04-16
JP6815504B2 true JP6815504B2 (ja) 2021-01-20

Family

ID=64735656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019525119A Active JP6815504B2 (ja) 2017-06-21 2018-04-03 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム

Country Status (4)

Country Link
US (1) US11064135B2 (ja)
JP (1) JP6815504B2 (ja)
CN (1) CN110741627B (ja)
WO (1) WO2018235384A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7171376B2 (ja) * 2018-11-14 2022-11-15 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US11113797B1 (en) * 2019-08-19 2021-09-07 Snap Inc. Passive flash imaging

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285834B1 (en) * 1995-09-12 2001-09-04 Smartlens Corporation Image modifiers for use in photography
JPH09214827A (ja) * 1996-02-02 1997-08-15 Mitsubishi Electric Corp 車載カメラ装置
US7245325B2 (en) 2000-03-17 2007-07-17 Fujifilm Corporation Photographing device with light quantity adjustment
JP2001333329A (ja) * 2000-03-17 2001-11-30 Fuji Photo Film Co Ltd 撮影装置
US6674474B2 (en) * 2000-10-23 2004-01-06 Hitachi Kokusai Electric Inc. Method of controlling transmission light amount and television camera apparatus using the method
JP2002204391A (ja) * 2000-10-23 2002-07-19 Hitachi Kokusai Electric Inc 透過光量制御方法およびその方法を用いたテレビジョンカメラ装置
JP5105806B2 (ja) 2006-09-13 2012-12-26 日本放送協会 色補正装置及び色補正方法
JP2011130167A (ja) 2009-12-17 2011-06-30 Sony Corp 撮像装置及びその画像処理方法
JP5589548B2 (ja) 2010-05-14 2014-09-17 株式会社リコー 撮像装置、画像処理方法、及びプログラム記憶媒体
JP5968068B2 (ja) * 2011-05-24 2016-08-10 キヤノン株式会社 露出制御を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP6083987B2 (ja) * 2011-10-12 2017-02-22 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP5860304B2 (ja) * 2012-02-23 2016-02-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
CN104506780A (zh) * 2014-12-25 2015-04-08 深圳市锐明视讯技术有限公司 一种车载成像设备的图像调节方法和装置
CN105979162B (zh) * 2016-07-21 2019-03-29 凌云光技术集团有限责任公司 一种可扩展动态范围图像的自动曝光调整方法及装置
CN106303250A (zh) * 2016-08-26 2017-01-04 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106791475B (zh) * 2017-01-23 2019-08-27 上海兴芯微电子科技有限公司 曝光调整方法及所适用的车载摄像装置

Also Published As

Publication number Publication date
US11064135B2 (en) 2021-07-13
WO2018235384A1 (ja) 2018-12-27
JPWO2018235384A1 (ja) 2020-04-16
CN110741627A (zh) 2020-01-31
US20200099867A1 (en) 2020-03-26
CN110741627B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
EP2518997B1 (en) Digital photographing apparatus, method of controlling the same, and computer-readable storage medium
US9830947B2 (en) Image-capturing device
JP6512810B2 (ja) 撮像装置および制御方法とプログラム
US11233949B2 (en) Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus
JP6727453B2 (ja) 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
US11140331B2 (en) Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus
JP6815504B2 (ja) 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP6755394B2 (ja) 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP2008263478A (ja) 撮像装置
JP6755405B2 (ja) 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP2018195938A (ja) 撮像装置、撮像装置の制御方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201222

R150 Certificate of patent or registration of utility model

Ref document number: 6815504

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250