JP7012142B2 - 焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置 - Google Patents

焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置 Download PDF

Info

Publication number
JP7012142B2
JP7012142B2 JP2020502863A JP2020502863A JP7012142B2 JP 7012142 B2 JP7012142 B2 JP 7012142B2 JP 2020502863 A JP2020502863 A JP 2020502863A JP 2020502863 A JP2020502863 A JP 2020502863A JP 7012142 B2 JP7012142 B2 JP 7012142B2
Authority
JP
Japan
Prior art keywords
phase difference
focus adjustment
adjustment operation
change
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020502863A
Other languages
English (en)
Other versions
JPWO2019167483A1 (ja
Inventor
貴嗣 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019167483A1 publication Critical patent/JPWO2019167483A1/ja
Application granted granted Critical
Publication of JP7012142B2 publication Critical patent/JP7012142B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Lens Barrels (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置に係り、特に撮像レンズの焦点調節操作を検出する焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置に関する。
一般にレンズ交換式のカメラでは、カメラ本体及び交換レンズが互いに通信可能に接続される。通常、交換レンズが手動で操作されると、その操作情報がカメラ本体に送信される。したがって、交換レンズから送信される情報を受信することにより、カメラ本体側でも交換レンズの操作状態を認識できる。
しかし、交換レンズの中には、カメラ本体と通信する機能を備えていないものも存在する。この種の交換レンズがカメラ本体に装着されると、カメラ本体は交換レンズの操作状態を認識できなくなる。
特許文献1には、イメージセンサを介して取得される被写体像のコントラスト値及び輝度値の変化に基づいて、交換レンズで行われた操作を検出する技術が記載されている。
特開2016-148832号公報
しかしながら、焦点調節操作の検出に着目した場合、特許文献1の方法は、被写体が動いた場合と焦点調節した場合とを明確に区別できないため、正確な検出ができないという欠点がある。
本発明は、このような事情に鑑みてなされたもので、撮像レンズの焦点調節操作を精度よく検出できる焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置を提供することを目的とする。
上記課題を解決するための手段は、次のとおりである。
(1)撮像レンズを通過した光学像を受光し、受光した光学像の位相差を複数の領域に分割した分割領域ごとに検出する位相差検出部と、位相差検出部で検出される分割領域ごとの位相差の変化量に基づいて、撮像レンズの焦点調節操作の有無を検出する焦点調節操作検出部と、を備えた焦点調節操作検出装置。
本態様によれば、撮像レンズを通過した光学像の位相差が、分割領域ごとに検出される。そして、検出された各分割領域の位相差の変化量に基づいて、撮像レンズの焦点調節操作の有無が検出される。すなわち、撮像レンズが焦点調節されると、各分割領域の位相差が変化するので、その各分割領域の位相差の変化量を検出して、焦点調節操作の有無を検出する。これにより、精度よく焦点調節操作の有無を検出できる。
(2)焦点調節操作検出部は、分割領域ごとに検出される位相差が全体で変化したか否かに基づいて、撮像レンズの焦点調節操作の有無を検出する、上記(1)の焦点調節操作検出装置。
本態様によれば、分割領域ごとに検出される位相差が全体で変化したか否かに基づいて、撮像レンズの焦点調節操作の有無が検出される。撮像レンズを焦点調節すると、分割領域ごとに検出される位相差が全体的に変化する。すなわち、すべての分割領域において位相差が変化する。したがって、分割領域ごとに検出される位相差が全体で変化したか否かを判定することで、焦点調節されたか否かを判別できる。
(3)焦点調節操作検出部は、分割領域ごとに検出される位相差の変化量の度数分布に基づいて、撮像レンズの焦点調節操作の有無を検出する、上記(1)又は(2)の焦点調節操作検出装置。
焦点調節された場合は、分割領域ごとに検出される位相差の変化量の度数分布が所定の分布となる。すなわち、特定の変化量の近傍に度数が集中する分布となる。したがって、分割領域ごとに検出される位相差の変化量の度数分布を求めることにより、焦点調節操作の有無を判別できる。なお、ここでの「位相差の変化量の度数分布」とは、同じ位相差の変化量となる分割領域の数の分布である。焦点調節された場合、多くの分割領域において、ほぼ同じ位相差の変化量を示す。この場合、分割領域ごとに検出される位相差の変化量の度数分布を求めると、特定の変化量の近傍に度数が集中した分布となる。したがって、分割領域ごとに検出される位相差の変化量の度数分布を求めることにより、焦点調節操作の有無を判別できる。
(4)分割領域ごとに検出される位相差の信頼性を判定する信頼性判定部を更に備え、焦点調節操作検出部は、信頼性判定部で信頼性有りと判定された分割領域の位相差の変化量に基づいて、撮像レンズの焦点調節操作の有無を検出する、上記(1)から(3)のいずれか一の焦点調節操作検出装置。
本態様によれば、検出された各分割領域の位相差の信頼性が判定され、信頼性のある分割領域の位相差の変化量にのみ基づいて、撮像レンズの焦点調節操作の有無が検出される。これにより、より精度よく焦点検出操作の有無を検出できる。
(5)撮像レンズを介して撮像される領域内の動体を検出する動体検出部を更に備え、焦点調節操作検出部は、動体が存在する分割領域を除外して、撮像レンズの焦点調節操作の有無を検出する、上記(1)から(4)のいずれか一の焦点調節操作検出装置。
本態様によれば、更に、動体が検出される。焦点調節操作検出部は、動体が存在する分割領域を除外して、焦点調節操作の有無を検出する。すなわち、動体が存在する分割領域以外の分割領域の位相差の変化量に基づいて、撮像レンズの焦点調節操作の有無を検出する。動体が存在する領域は、焦点調節の有無に関わらず位相差が変動する。したがって、当該領域を検出対象から除外することにより、より安定した高精度な検出が可能になる。
(6)分割領域ごとの輝度を個別に検出する第1輝度検出部を更に備え、焦点調節操作検出部は、分割領域ごとの輝度の変化が第1閾値以上の分割領域を除外して、撮像レンズの焦点調節操作の有無を検出する、上記(1)から(5)のいずれか一の焦点調節操作検出装置。
本態様によれば、更に、分割領域ごとの輝度が個別に検出される。焦点調節操作検出部は、輝度の変化が第1閾値以上の分割領域を除外して、焦点調節操作の有無を検出する。すなわち、輝度の変化が第1閾値以外の分割領域の位相差の変化に基づいて、撮像レンズの焦点調節操作の有無を検出する。一般に動体が存在する領域は、輝度が大きく変化する。したがって、輝度が大きい分割領域(第1閾値以上の領域)を検出対象から除外することにより、より安定した高精度な検出が可能になる。
(7)撮像レンズを介して撮像される領域全体の輝度を検出する第2輝度検出部を更に備え、撮像される領域全体の輝度の変化が第2閾値以下の場合に、焦点調節操作検出部で撮像レンズの焦点調節操作の有無を検出する、上記(1)から(6)のいずれか一の焦点調節操作検出装置。
本態様によれば、更に、撮像される領域全体の輝度が検出される。焦点調節操作検出部は、撮像される領域全体の輝度の変化が第2閾値以下の場合に、撮像レンズの焦点調節操作の有無を検出する。絞りが操作されると、全体の輝度が変化する。通常、これと同時に各分割領域で検出される位相差も変化する。したがって、全体の輝度が大きく変化した場合(全体輝度が第2閾値を超える場合)は、焦点調節操作の検出を中止する。これにより、より安定した高精度な検出が可能になる。また、通常、撮像される領域が大きく変化すると、各分割領域で検出される位相差も変化する。また、通常、これと同時に全体の輝度も変化する。したがって、全体の輝度が大きく変化した場合は、焦点調節操作の検出を中止する。これにより、より安定した高精度な検出が可能になる。
(8)画角の変化を検出する画角変化検出部を更に備え、画角変化検出部で検出される画角が一定に維持されている場合に、焦点調節操作検出部で撮像レンズの焦点調節操作の有無を検出する、上記(1)から(7)のいずれか一の焦点調節操作検出装置。
本態様によれば、更に、画角の変化が検出される。焦点調節操作検出部は、検出される画角が一定に維持されている場合に、撮像レンズの焦点調節操作の有無を検出する。画角が変化すると、各分割領域で検出される位相差が変化する。したがって、画角が変化している場合は、焦点調節操作の検出を中止する。これにより、より安定した高精度な検出が可能になる。
(9)焦点調節操作検出部が撮像レンズの焦点調節操作を検出した場合に、検出を告知する告知部を更に備えた、上記(1)から(8)のいずれか一の焦点調節操作検出装置。
本態様によれば、撮像レンズの焦点調節操作が検出された場合に告知される。これにより、ユーザが検出の有無を認識できる。
(10)撮像レンズが着脱自在に装着されるマウントと、撮像レンズを通過した光学像を撮像するイメージセンサと、上記(1)から(9)のいずれか一の焦点調節操作検出装置と、を備えた撮像装置本体。
本態様によれば、いわゆるレンズ交換式の撮像装置の撮像装置本体に焦点調節操作検出装置が備えられる。これにより、たとえば、撮像レンズと撮像装置本体とが互いに通信できない場合であっても、撮像レンズ側で行われた焦点調節操作を撮像装置本体側で検出できる。なお、ここでの撮像レンズには、いわゆるマウントアダプタを介して撮像装置本体に装着されるものも含まれる。
(11)撮像レンズとの間の通信の可否を判定する通信可否判定部を更に備え、焦点調節操作検出部は、撮像レンズと通信不能な場合に、撮像レンズの焦点調節操作の有無を検出する、上記(10)の撮像装置本体。
本態様によれば、撮像レンズとの間の通信の可否を判定する通信可否判定部が更に備えられる。焦点調節操作検出部は、撮像レンズと通信不能な場合に、撮像レンズの焦点調節操作の有無を検出する。これにより、通信が不能な場合に、自動で焦点調節操作の有無を検出できる。
(12)イメージセンサは、分割領域に対応して、撮像面に位相差検出画素を備え、位相差検出部は、位相差検出画素の出力に基づいて、分割領域ごとの位相差を検出する、上記(10)又は(11)の撮像装置本体。
本態様によれば、イメージセンサに位相差の検出機能が備えられる。これにより、撮像装置本体の構成を簡素化できる。
(13)イメージセンサを光軸に沿って移動させて焦点調節する本体側焦点調節部と、位相差検出部の検出結果に基づいて、本体側焦点調節部の駆動を制御し、イメージセンサを移動させて、焦点合わせを補助する焦点合わせ補助制御部と、を更に備え、焦点合わせ補助制御部は、焦点調節操作検出部によって撮像レンズの焦点調節操作が検出された場合に、本体側焦点調節部の駆動を制御して、焦点合わせを補助する、上記(10)から(12)のいずれか一の撮像装置本体。
本態様によれば、イメージセンサを光軸に沿って移動させて焦点調節する本体側焦点調節部と、その本体側焦点調節部の駆動を制御して、焦点合わせを補助する焦点合わせ補助制御部と、が更に備えられる。焦点合わせ補助制御部は、焦点調節操作検出部によって撮像レンズの焦点調節操作が検出された場合に、本体側焦点調節部の駆動を制御して、焦点合わせを補助する。これにより、適切に焦点調節を補助できる。
(14)撮像レンズと、撮像レンズによる光学像を撮像するイメージセンサと、上記(1)から(9)のいずれか一の焦点調節操作検出装置と、を備えた撮像装置。
本態様によれば、撮像レンズと、イメージセンサと、を備えた撮像装置に焦点調節操作検出装置が備えられる。これにより、撮像レンズの焦点調節操作の有無を検出できる。
(15)イメージセンサは、分割領域に対応して、撮像面に位相差検出画素を備え、位相差検出部は、位相差検出画素の出力に基づいて、分割領域ごとの位相差を検出する、上記(14)の撮像装置。
本態様によれば、イメージセンサに位相差の検出機能が備えられる。これにより、撮像装置本体の構成を簡素化できる。
(16)イメージセンサを光軸に沿って移動させて焦点調節する本体側焦点調節部と、位相差検出部の検出結果に基づいて、本体側焦点調節部の駆動を制御し、イメージセンサを移動させて、焦点合わせを補助する焦点合わせ補助制御部と、を更に備え、焦点合わせ補助制御部は、焦点調節操作検出部によって撮像レンズの焦点調節操作が検出された場合に、本体側焦点調節部の駆動を制御して、焦点合わせを補助する、上記(14)又は(15)の撮像装置。
本態様によれば、イメージセンサを光軸に沿って移動させて焦点調節する本体側焦点調節部と、その本体側焦点調節部の駆動を制御して、焦点合わせを補助する焦点合わせ補助制御部と、が更に備えられる。焦点合わせ補助制御部は、焦点調節操作検出部によって撮像レンズの焦点調節操作が検出された場合に、本体側焦点調節部の駆動を制御して、焦点合わせを補助する。これにより、適切に焦点調節を補助できる。
(17)撮像レンズを通過した光学像を受光し、受光した光学像の位相差を複数の領域に分割した分割領域ごとに検出するステップと、分割領域ごとの位相差の変化量に基づいて、撮像レンズの焦点調節操作の有無を検出するステップと、を備えた焦点調節操作検出方法。
本態様によれば、撮像レンズを通過した光学像の位相差の変化量が分割領域ごとに検出される。そして、検出された各分割領域の位相差の変化量に基づいて、撮像レンズの焦点調節操作の有無が検出される。これにより、精度よく焦点調節操作の有無を検出できる。
(18)撮像レンズを通過した光学像を受光し、受光した光学像の位相差を複数の領域に分割した分割領域ごとに検出する機能と、分割領域ごとの位相差の変化量に基づいて、撮像レンズの焦点調節操作の有無を検出する機能と、をコンピュータに実現させる焦点調節操作検出プログラム。
本態様によれば、撮像レンズを通過した光学像の位相差の変化量が分割領域ごとに検出される。そして、検出された各分割領域の位相差の変化に基づいて、撮像レンズの焦点調節操作の有無が検出される。これにより、精度よく焦点調節操作の有無を検出できる。
本発明によれば、撮像レンズの焦点調節操作を精度よく検出できる。
本発明が適用されたデジタルカメラシステムの一実施形態を示すシステム構成図 デジタルカメラの外観構成を示す正面斜視図 デジタルカメラの外観構成を示す背面斜視図 デジタルカメラの外観構成を示す背面図 デジタルカメラ本体と通信可能な交換レンズの内部構成の一例を示すブロック図 通信機能を備えていない交換レンズの内部構成の一例を示すブロック図 デジタルカメラ本体の内部構成の一例を示すブロック図 イメージセンサの概略構成を示す図 撮像面の一部を拡大した図 各画素の概略構成を示す図 カメラマイコンが実現する主な機能のブロック図 撮像の構図の一例を示す図 焦点調節操作された場合に各分割領域で検出される位相差の変化を示すグラフ 各分割領域で検出される位相差の変化量の度数分布を示すグラフ 絞り値が切り換えられた場合に各分割領域で検出される位相差の変化を示すグラフ 絞り値が切り換えられた場合に各分割領域で検出される位相差の変化量の度数分布を示すグラフ 撮像の構図の一例を示す図 第1被写体のみが前後方向に移動した場合に各分割領域で検出される位相差の変化を示すグラフ 第1被写体のみが横方向に移動した場合に各分割領域で検出される位相差の変化を示すグラフ 図17に示す構図において、第1被写体の移動中に焦点調節操作した場合に各分割領域で検出される位相差の変化を示すグラフ 第1被写体の移動中に焦点調節操作された場合に各分割領域で検出される位相差の変化量の度数分布を示すグラフ 焦点調節操作検出部で実行される焦点調節操作の検出処理の手順を示すフローチャート 焦点調節操作の有無を判定する処理の手順を示すフローチャート 焦点合わせの補助処理の手順を示すフローチャート 信頼性のある分割領域の位相差の変化に基づいて焦点調節操作の有無を検出する場合の主な構成のブロック図 信頼性のある分割領域の位相差の変化に基づいて焦点調節操作の有無を検出する場合の処理の手順を示すフローチャート 動体が存在する分割領域を除外して焦点調節操作の有無を検出する場合の主な構成のブロック図 動体が存在する分割領域を除外して焦点調節操作の有無を検出する場合の処理の手順を示すフローチャート 輝度の変化から動体が存在する分割領域を推定する場合の主な構成のブロック図 動体検出部の検出結果及び動体存在領域推定部の推定結果に基づいて、焦点調節操作の有無を検出する場合の主な構成のブロック図 画角の変化の情報を加味して焦点調節操作の有無を検出する場合の主な構成のブロック図 画角の変化の情報を加味して焦点調節操作の有無を検出する場合の処理の手順を示すフローチャート 画面全体の明るさの変化の情報を加味して焦点調節操作の有無を検出する場合の主な構成のブロック図 画面全体の明るさの変化の情報を加味して焦点調節操作の有無を検出する場合の処理の手順を示すフローチャート 3板式のデジタルカメラに本発明適用する場合の一例を示す図
以下、添付図面に従って本発明を実施するための好ましい形態について詳説する。
[デジタルカメラシステム]
以下においては、本発明をレンズ交換式のデジタルカメラシステムに適用した場合を例に説明する。
図1は、本発明が適用されたデジタルカメラシステムの一実施形態を示すシステム構成図である。
本実施の形態のデジタルカメラシステムDCSは、主として、デジタルカメラ本体DCBと、交換レンズ群CLGと、で構成される。交換レンズ群CLGは、仕様の異なる複数の交換レンズCLを含んで構成される。交換レンズCLの一つをデジタルカメラ本体DCBに装着することにより、デジタルカメラDCが構成される(図2参照)。デジタルカメラは、撮像装置の一例である。デジタルカメラ本体は、撮像装置本体の一例である。交換レンズCLは、撮像レンズの一例である。
[デジタルカメラの外部構成]
図2~図4は、デジタルカメラの外観構成を示す正面斜視図、背面斜視図、背面図である。
上記のように、交換レンズCLの一つをデジタルカメラ本体DCBに装着することにより、デジタルカメラDCが構成される。
《デジタルカメラ本体の外部構成》
図2~図4に示すように、デジタルカメラ本体DCBは、本体側マウント102、メインモニタ104、サブモニタ106、電子ビューファインダ108、カメラ操作部110等を備える。
本体側マウント102は、交換レンズCLの装着部であり、デジタルカメラ本体DCBの正面に備えられる。交換レンズCLは、この本体側マウント102に着脱自在に装着される。
メインモニタ104は、デジタルカメラ本体DCBの背面に備えられる。メインモニタ104は、LCD(Liquid Crystal Display/液晶ディスプレイ)で構成される。メインモニタ104は、各種設定を行う際のGUI(Graphical User Interface)として利用されるほか、撮像済み画像の再生用モニタとして利用される。また、撮像時には、必要に応じてライブビューが表示され、イメージセンサで撮像された画像がリアルタイムに表示される。
サブモニタ106は、デジタルカメラ本体DCBの上面に備えられる。サブモニタ106は、LCDで構成される。サブモニタ106には、シャッタ速度、絞り値、感度、露出補正などの主要な撮像情報が表示される。
電子ビューファインダ(EVF:Electronic View Finder)108は、デジタルカメラ本体DCBの上部に備えられる。電子ビューファインダ108には、ライブビューが表示され、イメージセンサで撮像された画像がリアルタイムに表示される。電子ビューファインダ108は、必要に応じてオン、オフでき、メインモニタ104への表示に切り換えられる。
カメラ操作部110は、デジタルカメラDCの操作部材として、感度ダイヤル111、消去ボタン112、電源レバー113、シャッタボタン114、ドライブボタン115、サブモニタ照明ボタン116、シャッタ速度ダイヤル117、再生ボタン118、フロントコマンドダイヤル119、リアコマンドダイヤル120、フォーカスレバー121、クイックメニューボタン122、メニュー/OKボタン123、セレクターボタン124、表示/BACKボタン125、第1ファンクションボタン126、第2ファンクションボタン127、第3ファンクションボタン128、第4ファンクションボタン129、第5ファンクションボタン130、フォーカスモード切換レバー132等を備える。
感度ダイヤル111は、感度を設定するダイヤルである。消去ボタン112は、撮像済みの画像を消去するボタンである。画像再生中に当該ボタンを押すと、再生中の画像が消去される。電源レバー113は、デジタルカメラDCの電源をオン、オフするレバーである。シャッタボタン114は、画像の記録を指示するボタンである。シャッタボタン114は、半押し及び全押しが可能な二段ストローク式のボタンで構成される。シャッタボタン114を半押しするとS1ON信号が出力され、全押しするとS2ON信号が出力される。静止画を撮像する場合、シャッタボタン114の半押しで撮像準備が行われ、全押しで画像の記録が行われる。動画を撮像する場合、最初のシャッタボタン114の全押しで撮像が開始され、2回目のシャッタボタン114を全押しで撮像が終了する。ドライブボタン115は、ドライブモードの選択画面を呼び出すボタンである。ドライブボタン115が押されると、メインモニタ104にドライブモードの選択画面が表示される。ドライブモードの選択画面でドライブモードが選択され、1コマ撮像、連写、ブラケット撮像、多重露光、動画撮像等が選択される。サブモニタ照明ボタン116は、サブモニタ106の照明をオン、オフするボタンである。シャッタ速度ダイヤル117は、シャッタ速度を設定するダイヤルである。再生ボタン118は、再生モードへの切り換えを指示するボタンである。デジタルカメラDCは、撮像モードで起動し、再生ボタン118を押すと、再生モードに切り換わる。なお、再生モードの状態でシャッタボタン114を押すと、撮像モードに切り換わる。フロントコマンドダイヤル119及びリアコマンドダイヤル120には、デジタルカメラDCの状態に応じた機能が割り当てられる。フォーカスレバー121は、AFエリア(AF:Auto Focus)を選択するレバーである。クイックメニューボタン122は、クイックメニューを呼び出すボタンである。クイックメニューボタン122を押すと、メインモニタ104にクイックメニューが表示される。クイックメニューには、デジタルカメラDCで設定可能な項目のうちユーザが登録した項目が表示される。メニュー/OKボタン123は、メニュー画面を呼び出すボタンである。メニュー/OKボタン123を押すと、メインモニタ104にメニュー画面が表示される。また、メニュー/OKボタン123は、選択事項等を確定するボタンとしても機能する。セレクターボタン124は、いわゆる十字ボタンであり、4方向の指示が可能なボタンである。各種設定等を行う場合は、このセレクターボタン124で項目の選択等を行う。表示/BACKボタン125は、メインモニタ104の表示内容を切り換えるボタンである。また、表示/BACKボタン125は、選択事項等をキャンセルするボタン、すなわち、一つ前の状態に戻すボタンとしても機能する。第1ファンクションボタン126、第2ファンクションボタン127、第3ファンクションボタン128、第4ファンクションボタン129及び第5ファンクションボタン130には、あらかじめ用意された機能のうちユーザが選択した機能が割り当てられる。たとえば、焦点合わせの補助機能をオン、オフする機能等が割り当てられる。フォーカスモード切換レバー132は、フォーカスモードを切り換えるレバーである。デジタルカメラDCは、このフォーカスモード切換レバー132によって、フォーカスモードがオートフォーカス(Auto Focus, AF)のモード(AFモード)と、マニュアルフォーカス(Manual Focus, MF)のモード(MFモード)とに切り換えられる。
《交換レンズの外部構成》
各交換レンズCLは、鏡筒12の基端部にレンズ側マウント12aを備える(図1参照)。各交換レンズCLは、レンズ側マウント12aを介して、デジタルカメラ本体DCBに着脱自在に装着される。
各交換レンズCLは、少なくとも焦点調節機能及び光量調節機能を備え、焦点調節可能かつ光量調節可能に構成される。
また、各交換レンズCLには、交換レンズCLを手動で操作するためのレンズ操作部14が備えられる。図2には、レンズ操作部14として、フォーカスリング16及び絞りリング18が備えられた例が示されている。
フォーカスリング16は、焦点調節用の操作部材であり、鏡筒12の周りを回転自在に設けられる。フォーカスリング16を回転操作すると、その操作に応じて焦点調節機構が作動する。すなわち、その操作に応じて、フォーカスレンズ群が光軸に沿って前後移動し、焦点調節が行われる。
絞りリング18は、絞り調節用の操作部材であり、鏡筒12の周りを回転自在に設けられる。絞りリング18は、その外周に設定可能な絞り値が一定の間隔で印字される(不図示)。絞り値の切り換えは、絞りリング18を回転操作し、鏡筒12に備えられた指標(不図示)の位置に設定を希望する絞り値を合わせることにより行われる。
[デジタルカメラの内部構成]
《交換レンズの内部構成》
交換レンズCLは、大別すると、装着されたデジタルカメラ本体DCBとの間で相互に通信できる交換レンズCLと、通信できない交換レンズCLとに分けられる。この交換レンズCLには、いわゆるマウントアダプタを介してデジタルカメラ本体DCBに装着されるものも含まれる。マウントアダプタを使用することにより、たとえば、マウントの規格の異なる交換レンズをカメラ本体に装着することが可能になる。したがって、マウントアダプタには、交換レンズ側のマウントに対応したマウントと、デジタルカメラ本体側のマウントに対応したマウントとが備えられる。
〈デジタルカメラ本体と通信できる交換レンズの内部構成〉
図5は、デジタルカメラ本体と通信可能な交換レンズの内部構成の一例を示すブロック図である。
同図に示す交換レンズCL1は、いわゆるオートフォーカス機能を備えた単焦点レンズであり、焦点調節を行うレンズ側焦点調節機構20と、光量調節を行う絞り30と、レンズ操作部14と、レンズマイコン40と、を備える。
〔レンズ側焦点調節機構〕
交換レンズCL1のレンズ側焦点調節機構20は、フォーカスレンズ群22を光軸Zに沿って前後移動させることにより、焦点調節する。フォーカスレンズ群22は、交換レンズCL1を構成するレンズ群の一部又は全部で構成される。
本例の交換レンズCL1は、フォーカスレンズ群22がフォーカスレンズ駆動部24に駆動されて、光軸Zに沿って移動する。フォーカスレンズ駆動部24は、フォーカスレンズ群22を駆動するアクチュエータ、及び、その駆動回路等を備える。アクチュエータは、たとえば、リニアモータで構成される。
フォーカスレンズ群22は、その位置がフォーカスレンズ位置検出部26によって検出される。フォーカスレンズ位置検出部26は、たとえば、フォトインタラプタ及びMRセンサ(MRセンサ:Magneto Resistive Sensor/磁気抵抗効果素子)で構成される。フォトインタラプタは、フォーカスレンズ群22が原点位置に位置したことを検出する。MRセンサは、フォーカスレンズ群22の移動量を検出する。フォトインタラプタによってフォーカスレンズ群22が原点位置に位置したことを検出し、MRセンサによって原点位置からのフォーカスレンズ群22の移動量を検出することにより、原点位置に対するフォーカスレンズ群22の位置を検出できる。
〔絞り〕
絞り30は、たとえば、虹彩絞りで構成される。絞り30は、絞り駆動部32に駆動されて、その開口径(絞り値)が変化する。絞り駆動部32は、アクチュエータ、及び、その駆動回路等を備える。
〔レンズ操作部〕
レンズ操作部14は、鏡筒12に備えられた各操作部材の操作に応じた信号をレンズマイコン40に出力する。たとえば、フォーカスリング16の操作方向、操作量及び操作速度に応じた信号をレンズマイコン40に出力する。また、絞りリング18の設定に応じた信号をレンズマイコン40に出力する。
〔レンズマイコン〕
レンズマイコン40は、CPU(CPU:Central Processing Unit/中央処理装置)、ROM(ROM:Read Only Memory)、RAM(RAM:Random Access Memory)等を備えたマイクロコンピュータで構成され、所定のプログラムを実行することにより、交換レンズCL1の制御部として機能する。本例のレンズマイコン40は、図5に示すように、フォーカスレンズ制御部42、絞り制御部46、レンズ側通信制御部48等として機能する。
フォーカスレンズ制御部42は、フォーカスリング16の操作又はデジタルカメラ本体DCBからの指令に基づいて、フォーカスレンズ駆動部24の駆動を制御し、フォーカスレンズ群22の移動を制御する。カメラのフォーカスモードがマニュアルフォーカスに設定されている場合、フォーカスレンズ制御部42は、フォーカスリング16の操作に基づいて、フォーカスレンズ群22の移動を制御する。具体的には、フォーカスリング16の操作に応じた方向、操作に応じた速度及び操作に応じた移動量でフォーカスレンズ群22を移動させる。カメラのフォーカスモードがオートフォーカスに設定されている場合、フォーカスレンズ制御部42は、デジタルカメラ本体DCBの指令に基づいて、フォーカスレンズ群22を移動させる。この際、フォーカスレンズ制御部42は、規定の速度でフォーカスレンズ群22を移動させる。
絞り制御部46は、絞りリング18の操作又はデジタルカメラ本体DCBからの指令に基づいて、絞り駆動部32を制御し、絞り30を制御する。カメラの露出制御モードが絞り優先又はマニュアルの場合、絞り制御部46は、操作リングの設定に応じて絞り駆動部32を制御し、設定された絞り値に絞り30を設定する。カメラの露出制御モードが、シャッタ速度優先又はオートの場合、絞り制御部46はデジタルカメラ本体からの指令に応じて絞り駆動部32を制御し、指示された絞り値に設定する。
レンズ側通信制御部48は、デジタルカメラ本体DCBとの間の通信を制御する。デジタルカメラ本体DCBが、交換レンズCL1の通信規格に対応した規格の通信機能を備えている場合、交換レンズCL1をデジタルカメラ本体DCBに装着すると、両者は互いに通信可能に接続される。通信は、互いのマウントに備えられた接点を介して行われる。
手動で焦点調節された場合、フォーカスレンズ群22の位置情報が、レンズ側通信制御部48を介してデジタルカメラ本体DCBに送信される。これにより、デジタルカメラ本体側で焦点調節操作の有無及びフォーカスレンズ群22の位置を認識できる。
また、絞り値が切り換えられた場合、新たに設定された絞り値の情報が、レンズ側通信制御部48を介してデジタルカメラ本体DCBに送信される。これにより、デジタルカメラ本体側で絞り値の設定状況を認識できる。
〈デジタルカメラ本体と通信できない交換レンズの内部構成〉
図6は、通信機能を備えていない交換レンズの内部構成の一例を示すブロック図である。
同図に示す交換レンズCL2は、焦点調節機能及び光量調節機能を備えた単焦点レンズであり、すべてのレンズ操作が手動で行われる。
本例の交換レンズCL2には、手動で焦点調節を行う手動焦点調節機構50及び手動で絞り値の切り替えを行う手動絞り切換機構52が備えられる。
手動焦点調節機構50は、フォーカスリング16の操作に応じて、フォーカスレンズ群22を光軸Zに沿ってメカニカルに前後移動させる。たとえば、ヘリコイド、カム機構等を利用して、フォーカスレンズ群22を光軸Zに沿ってメカニカルに前後移動させる。
手動絞り切換機構52は、絞りリング18の操作に応じて、絞り30の開口量をメカニカルに切り換える。たとえば、カム機構等を利用して、絞り30の開口量をメカニカルに切り換える。
《デジタルカメラ本体の内部構成》
図7は、デジタルカメラ本体の内部構成の一例を示すブロック図である。
同図に示すように、デジタルカメラ本体DCBは、イメージセンサ200、メカニカルシャッタ210、シャッタ駆動部212、本体側焦点調節部220、イメージセンサ駆動部226、アナログ信号処理部228、ADC(Analog-to-digital converter/アナログデジタル変換器)230、デジタル信号処理部232、位相差検出部234、輝度検出部236、メモリカードインタフェース238、メモリカード240、音声信号処理部242、スピーカ244、マイク246、メインモニタ104、サブモニタ106、電子ビューファインダ(EVF)108、カメラ操作部110及びカメラマイコン250を備える。
〈イメージセンサ〉
イメージセンサ200は、交換レンズCLを通過した被写体の光学像を受光して、被写体の光学像を撮像する。イメージセンサ200は、たとえば、CCD(Charged Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子で構成される。本実施の形態のデジタルカメラDCでは、位相差検出機能を備えたイメージセンサ200が使用される。すなわち、交換レンズCLを通過した光学像を受光し、受光した光学像の位相差を検出する機能を備えたイメージセンサ200が使用される。
図8は、イメージセンサの概略構成を示す図である。
イメージセンサ200は、所定のアスペクト比の撮像面202を有する。撮像面202は、交換レンズCLを通過した被写体の光学像を受光して、被写体の光学像を撮像する領域である。
撮像面202は、複数の領域に分割される。本実施の形態では、図8に示すように、撮像面202が、縦方向(y方向)及び横方向(x方向)に5等分割される。この場合、撮像面202は、25の領域に分割される。分割された各領域A1~A25を分割領域と称する。各分割領域A1~A25では、個別に位相差が検出される。各分割領域A1~A25は、個別にAFエリアを構成する。
図9は、撮像面の一部を拡大した図である。
撮像面202には、多数の画素が縦方向(y方向)及び横方向(x方向)に二次元的に配列される。各画素は、光電変換部を備え、受光量に応じた信号を出力する。また、各画素には、R(Red/赤)、G(Green/緑)、B(Blue/青)のいずれかの色のカラーフィルタが備えられる。カラーフィルタは、所定の配列で各画素に割り当てられる。図9は、ベイヤ配列の例を示している。なお、同図では、Rのカラーフィルタを有する画素(R画素)にRの文字を付し、Gのカラーフィルタを有する画素(G画素)にGの文字を付し、Bのカラーフィルタを有する画素(B画素)にBの文字を付している。
各分割エリアには、通常画素206の他に位相差検出画素208が配置される。通常画素206とは、通常の撮像用の画素のことである。位相差検出画素208とは、位相差を検出する画素のことである。位相差検出画素以外の画素は通常画素を構成する。
位相差検出画素208は、ペアを構成し、互いに近接して配置される。ペアの一方を第1位相差検出画素208A、他方を第2位相差検出画素208Bとする。図9に示す例では、互いに近接する同じ配列の2つの行の一方に一定の間隔で第1位相差検出画素208Aを配置し、他方に一定の間隔で第2位相差検出画素208Bを配置した例を示している。特に、R画素及びG画素が配列された特定の行の特定のG画素を位相差検出画素として利用した場合の例を示している。このように、位相差検出画素208は、各分割エリアにおいて、所定の規則に従って配置される。
図10は、各画素の概略構成を示す図である。
各画素は、所定の開口部を備えた遮光膜を有する。図10は、遮光膜を斜線で示し、遮光膜に備えられる開口部を白抜きで示している。
通常画素206は、開口部が光電変換部の中心と一致した遮光膜を有する。通常画素206は、交換レンズCLの瞳領域のほぼ全ての部分を通過した光束を受光する。
第1位相差検出画素208Aは、開口部が光電変換部の中心に対して右側に偏心した遮光膜を有する。この結果、第1位相差検出画素208Aは、交換レンズCLの瞳領域の異なる部分を通過した一対の光束のうち一方の光束が受光される。
第2位相差検出画素208Bは、開口部が光電変換部の中心に対して左側に偏心した遮光膜を有する。この結果、第2位相差検出画素208Bでは、交換レンズCLの瞳領域の異なる部分を通過した一対の光束のうち他方の光束が受光される。
以上の構成により、第1位相差検出画素208A及び第2位相差検出画素208Bの信号を取得し、両者を比較することにより、各分割領域A1~A25の位相差を個別に検出できる。すなわち、交換レンズCLを通過した光学像の位相差を分割領域ごとに検出できる。
〈メカニカルシャッタ及びシャッタ駆動部〉
メカニカルシャッタ210は、フォーカルプレーンシャッターで構成される。メカニカルシャッタ210は、イメージセンサ200の撮像面を開閉する。メカニカルシャッタ210は、シャッタ駆動部212に駆動されて、開閉される。
〈本体側焦点調節部〉
本体側焦点調節部220は、イメージセンサ200を光軸Zに沿って前後移動させて焦点調節する。本体側焦点調節部220は、イメージセンサ200を光軸にLに沿って移動させるイメージセンサ移動駆動部222及びイメージセンサ200の位置を検出するイメージセンサ位置検出部224等を備える。
イメージセンサ移動駆動部222は、たとえば、ピエゾアクチュエータ等のアクチュエータ、及び、その駆動回路等を備える。イメージセンサ200は、基準位置を基準にして、可動範囲内で移動する。基準位置は、可動範囲の中央に設定され、かつ、フランジバックの位置に設定される。一般に交換レンズCLは、フランジバックの位置を基準に光学設計が行われる。したがって、イメージセンサ200を基準位置に位置させることにより、交換レンズCLの光学性能を最大限に発揮させることができる。
イメージセンサ位置検出部224は、基準位置に対するイメージセンサ200の位置を検出する。イメージセンサ位置検出部224は、たとえば、渦電流センサ等の変位センサで構成される。
〈イメージセンサ駆動部〉
イメージセンサ駆動部226は、カメラマイコン250による制御の下、イメージセンサ200を駆動する。イメージセンサ200は、イメージセンサ駆動部226に駆動されて、画像を撮像する。
〈アナログ信号処理部〉
アナログ信号処理部228は、イメージセンサ200から出力される画素ごとのアナログの画像信号を取り込み、所定の信号処理(たとえば、相関二重サンプリング処理、増幅処理等)を施す。
〈ADC〉
ADC230は、アナログ信号処理部228から出力されるアナログの画像信号をデジタルの画像信号に変換して出力する。
〈デジタル信号処理部〉
デジタル信号処理部232は、デジタルの画像信号を取り込み、所定の信号処理(たとえば、階調変換処理、ホワイトバランス補正処理、ガンマ補正処理、同時化処理、YC変換処理等)を施して、画像データを生成する。
〈位相差検出部〉
位相差検出部234は、各分割領域A1~A25の位相差を個別に検出する。位相差検出部234は、各分割領域A1~A25から第1位相差検出画素208A及び第2位相差検出画素208Bの信号を取得し、所定の相関演算処理を行って、各分割領域A1~A25の位相差を個別に算出する。
〈輝度検出部〉
輝度検出部236は、各分割領域A1~A25の輝度を個別に検出する。輝度検出部236は、各分割領域A1~A25の通常画素からの出力に基づいて、各分割領域A1~A25の輝度を個別に検出する。
〈メモリカードインタフェース及びメモリカード〉
メモリカードインタフェース238は、カメラマイコン250による制御の下、カードスロットに装着されたメモリカード240に対して、データの読み書きを行う。
〈音声信号処理部、スピーカ及びマイク〉
音声信号処理部242は、スピーカ244から出力する音声の信号を処理する。また、音声信号処理部242は、マイク246から入力された音声の信号を処理する。
〈メインモニタ〉
メインモニタ104は、LCDで構成される。メインモニタ104の表示は、カメラマイコン250で制御される。カメラマイコン250は、LCDドライバ104aを介してメインモニタ104の表示を制御する。
〈サブモニタ〉
サブモニタ106は、LCDで構成される。サブモニタ106の表示は、カメラマイコン250で制御される。カメラマイコン250は、LCDドライバ106aを介してサブモニタ106の表示を制御する。
〈電子ビューファインダ〉
電子ビューファインダ(EVF)108は、その表示部がLCDで構成される。電子ビューファインダ108の表示は、カメラマイコン250で制御される。カメラマイコン250は、LCDドライバ108aを介して電子ビューファインダ108の表示を制御する。
〈カメラ操作部〉
カメラ操作部110は、各操作部材の操作に応じた信号をカメラマイコン250に出力する。
〈カメラマイコン〉
カメラマイコン250は、CPU、ROM、RAM等を備えたマイクロコンピュータで構成され、所定のプログラム(たとえば、焦点調節操作検出プログラム、焦点合わせ補助プログラム等)を実行することにより、カメラの各種制御を行う制御部として機能する。
図11は、カメラマイコンが実現する主な機能のブロック図である。
カメラマイコン250は、所定の制御プログラムを実行することにより、焦点状態検出部252、露出設定部254、自動焦点合わせ制御部256、焦点合わせ補助制御部258、露光制御部260、記録制御部262、メインモニタ表示制御部264、サブモニタ表示制御部266、EVF表示制御部268、音声入出力制御部269、本体側通信制御部270、レンズ装着検出部272、通信可否判定部274、焦点調節操作検出部276等として機能する。
〔焦点状態検出部〕
焦点状態検出部252は、指定されたAFエリアの焦点状態を検出する。焦点状態検出部252は、焦点状態として、デフォーカスの方向及び量を検出する。焦点状態検出部252は、位相差検出部234で算出された位相差の情報に基づいて、デフォーカスの方向及び量を算出する。
〔露出設定部〕
露出設定部254は、露出(絞り値及びシャッタ速度)を設定する。露出設定部254は、輝度検出部236の出力に基づいて、EV値(EV:Exposure Value)を算出し、得られたEV値に基づいて、露出を決定する。
〔自動焦点合わせ制御部〕
自動焦点合わせ制御部256は、カメラのフォーカスモードが、オートフォーカスに設定されている場合において、主要被写体に自動で合焦するように、フォーカスレンズ群22の駆動を制御する。自動焦点合わせ制御部256は、焦点状態検出部252の検出結果に基づいて、フォーカスレンズ群22の駆動を制御し、主要被写体に焦点を合わせる。自動焦点合わせ制御部256は、レンズマイコン40にフォーカスレンズ群22の駆動指令を出力し、フォーカスレンズ群22の駆動を制御する。
なお、自動焦点合わせができるのは、デジタルカメラ本体側で交換レンズの制御が可能な場合だけである。交換レンズCLが、デジタルカメラ本体DCBと通信不能な場合、フォーカスレンズ群22の駆動部を備えていない場合などには、自動焦点合わせの機能は使用できない。
〔焦点合わせ補助制御部〕
焦点合わせ補助制御部258は、カメラのフォーカスモードがマニュアルフォーカスに設定され、かつ、焦点合わせの補助機能がオンされた場合に、焦点状態検出部252の検出結果に基づいて、本体側焦点調節部220を制御し、焦点合わせを補助する。すなわち、イメージセンサ200を移動させて、自動的に合焦状態に導く。
なお、補助機能が作動するのは、主要被写体に対するデフォーカス量が規定量以下になった場合である。主要被写体に対するデフォーカス量が規定量以下になると、焦点状態検出部252の検出結果に基づいて、イメージセンサ200の移動が制御され、焦点合わせが補助される。したがって、補助は、最終的な微調整という形で実施される。
〔露光制御部〕
露光制御部260は、露出設定部254で設定された露出に従って露光を制御する。すなわち、設定された絞り値になるように絞り30の駆動を制御し、かつ、設定されたシャッタ速度(露光時間)で露光されるようにメカニカルシャッタ210及びイメージセンサ200の駆動を制御する。絞り30については、レンズマイコン40に駆動指令を出力し、設定された絞り値に設定する。
なお、絞り30の制御ができるのは、交換レンズCLがデジタルカメラ本体DCBと通信可能な場合だけである。交換レンズCLがデジタルカメラ本体DCBと通信不能な場合、レンズ側で設定した絞り値をデジタルカメラ本体DCBに手動で入力する。
〔記録制御部〕
記録制御部262は、撮像により得られた画像データの記録を制御する。記録制御部262は、撮像により得られた画像データから所定フォーマットの画像ファイルを生成し、メモリカード240に記録する。
〔メインモニタ表示制御部〕
メインモニタ表示制御部264は、メインモニタ104の表示を制御する。たとえば、ライブビューの表示指示に応じて、イメージセンサ200で捉えた画像をリアルタイムにメインモニタ104に表示させる。また、メニュー画面の表示指示に応じて、メインモニタ104にメニュー画面を表示させる。
〔サブモニタ表示制御部〕
サブモニタ表示制御部266は、サブモニタ106の表示を制御する。サブモニタ表示制御部266は、サブモニタ106に表示する情報を取得し、取得した情報を所定のフォーマットでサブモニタ106に表示させる。
〔EVF表示制御部〕
EVF表示制御部268は、電子ビューファインダ(EVF)108の表示を制御する。EVF108の使用が選択された場合、EVF表示制御部268は、イメージセンサ200で捉えた画像をリアルタイムに電子ビューファインダ(EVF)108に表示させる。
〔音声入出力制御部〕
音声入出力制御部269は、音声信号処理部242を介して、スピーカ244からの音声の出力を制御する。また、音声入出力制御部269は、音声信号処理部242を介して、マイク246からの音声の入力を制御する。
〔本体側通信制御部〕
本体側通信制御部270は、交換レンズCLとの間の通信を制御する。交換レンズCLが、デジタルカメラ本体DCBの通信規格に対応した規格の通信機能を備えている場合、交換レンズCLをデジタルカメラ本体DCBに装着すると、両者は互いに通信可能に接続される。通信は、互いのマウントに備えられた接点を介して行われる。
〔レンズ装着検出部〕
レンズ装着検出部272は、交換レンズCLの装着を検出する。検出は、たとえば、本体側マウント102に備えられた検出用の接点への通電を検出することにより行われる。
〔通信可否判定部〕
通信可否判定部274は、デジタルカメラ本体DCBに装着された交換レンズCLとの間の通信の可否を判定する。通信可否判定部274は、交換レンズCLとの間の通信の接続状態に基づいて、交換レンズCLとの間の通信の可否を判定する。すなわち、交換レンズCLとの間で通信の接続が確立されている場合に、通信可能と判定する。
なお、本体側通信制御部270は、デジタルカメラ本体DCBの電源が投入されると、交換レンズCLとの間で通信の接続を確立させる処理を実施する。交換レンズCLが交換された場合も同様に、交換レンズCLとの間で通信の接続を確立させる処理を実施する。交換レンズCLが、デジタルカメラ本体DCBの通信規格に対応した規格の通信機能を備えている場合、両者は互いに通信可能に接続される。
〔焦点調節操作検出部〕
焦点調節操作検出部276は、位相差検出部234で検出される分割領域A1~A25ごとの位相差の変化量に基づいて、交換レンズCLの焦点調節操作の有無を検出する。焦点調節操作検出部276は、焦点調節操作検出装置の一例である。焦点調節操作検出部276の機能は、カメラマイコン250が、焦点調節操作検出プログラムを実行することにより、カメラマイコン250により実現される。
交換レンズCLが焦点調節操作されると、交換レンズCLを介してイメージセンサ200で撮像される各領域の位相差が全体的に変化する。したがって、交換レンズCLを介してイメージセンサ200で撮像される各領域の位相差が全体的に変化したか否かを判定することにより、交換レンズCLが焦点調節操作されたか否かを判定できる。焦点調節操作検出部276は、交換レンズCLを介してイメージセンサ200で撮像される各領域の位相差が全体的に変化したか否かを判定して、交換レンズCLが焦点調節操作されたか否かを判定する。以下、この焦点調節操作検出部276による検出処理(焦点調節操作検出方法)について詳説する。
(1)検出の概念
まず、位相差の変化を利用した焦点調節操作の検出の概念について説明する。
(i)被写体が静止している場合
図12は、撮像の構図の一例を示す図である。
同図に示すように、静止した被写体Mを画面中央に配置して撮像する場合を考える。同図の場合、被写体Mに焦点を合わせると、分割領域A3、A8、A13、A18及びA23において位相差が0となる。
図13は、焦点調節操作された場合に各分割領域で検出される位相差の変化を示すグラフである。同図において、横軸は各分割領域A1~A25の位置を示し、縦軸は位相差を示している。
図13において、実線で示すグラフC1は、静止した被写体Mに焦点を合わせた場合に各分割領域A1~A25で得られる位相差のグラフである。一方、破線で示すグラフC2は、静止した被写体Mに焦点を合わせた状態から交換レンズCLのフォーカスレンズ群を一定量移動させた場合に各分割領域A1~A25で得られる位相差のグラフである。すなわち、焦点調節操作された場合に各分割領域A1~A25で得られる位相差のグラフである。
図13に示すように、交換レンズCLが焦点調節操作されると、各分割領域A1~A25で得られる位相差が全体的に変化する(全体的にシフトする。)。
図14は、各分割領域で検出される位相差の変化量の度数分布を示すグラフ(ヒストグラム)である。同図において、横軸は位相差の変化量Δd(図13参照)を示しており、縦軸は同じ位相差の変化量となる分割領域の数を示している。
被写体が静止した状態で交換レンズCLが焦点調節操作されると、各分割領域A1~A25の位相差は、ほぼ同じ変化量となる。この場合、図14に示すように、変化量の度数分布は、特定の変化量の近傍に集中した分布となる。すなわち、イレギュラーな検出を除くと、ほぼ平均値の近傍に集中した分布となる。
図15は、絞り値が切り換えられた場合に各分割領域で検出される位相差の変化を示すグラフである。
図15において、実線で示すグラフC3は、被写体Mに焦点を合わせた場合に各分割領域A1~A25で得られる位相差のグラフである。一方、破線で示すグラフC4は、静止した被写体Mに焦点が合わされた状態で絞り値が切り換えられた場合に各分割領域A1~A25で得られる位相差のグラフである。
絞り値が切り換えられると、被写界深度が変わる。このため、一部の分割領域で位相差が変化する。しかし、合焦状態は維持されるので、撮像される領域の全体で位相差が変化することはない。
図16は、絞り値が切り換えられた場合に各分割領域で検出される位相差の変化量の度数分布を示すグラフ(ヒストグラム)である。
上記のように、絞り値が切り換えられると、一部の分割領域で位相差が変化する。この場合、図16に示すように、変化量の度数分布は、ばらついた分布となる。したがって、位相差が変化する場合であっても、焦点調節の場合とは明確に区別される。
(ii)被写体が動いている場合
被写体が動いている場合、被写体が存在する領域の位相差が変化する。
図17は、撮像の構図の一例を示す図である。
同図に示すように、2つの被写体M1、M2を同時に撮像する場合を考える。一方の被写体を第1被写体M1とし、他方の被写体を第2被写体M2とする。両者は、同じ被写体距離の位置に存在するものとする。したがって、一方に焦点を合わせると、他方にも焦点が合う。図17に示す例の場合、第1被写体M1に焦点を合わせると、分割領域A3、A8、A13、A18及びA23において、位相差が0となる。
図18は、第1被写体のみが前後方向に移動した場合に各分割領域で検出される位相差の変化を示すグラフである。
図18において、実線で示すグラフC5は、移動前に各分割領域A1~A25で得られる位相差のグラフである。一方、破線で示すグラフC6は、移動後に各分割領域A1~A25で得られる位相差のグラフである。
移動前の第1被写体M1に焦点を合わせると、実線で示すグラフC5のように、分割領域A3、A8、A13、A18及びA23において位相差が0となるグラフが得られる。この状態から第1被写体M1のみが前後方向(遠ざかる方向)に移動すると、破線で示すグラフC6のように、分割領域A3、A8及びA13において、位相差が変化する。
このように、被写体が前後方向に動くと、動いている被写体の存在する領域の位相差が変化する。しかし、上記のように、焦点調節操作の場合は、撮像される領域の全体で位相差が変化する。したがって、位相差が変化する場合であっても、焦点調節の場合とは明確に区別される。
図19は、第1被写体のみが横方向に移動した場合に各分割領域で検出される位相差の変化を示すグラフである。
図19において、実線で示すグラフC7は、移動前に各分割領域A1~A25で得られる位相差のグラフである。一方、破線で示すグラフC8は、移動後に各分割領域A1~A25で得られる位相差のグラフである。
移動前の第1被写体M1に焦点を合わせると、実線で示すグラフC7のように、分割領域A3、A8、A13、A18及びA23において位相差が0となるグラフが得られる。この状態から第1被写体M1のみが横方向(図17において、右方向)に移動すると、破線で示すグラフC8のように、分割領域A3、A4、A8、A9、A13及びA14において、位相差が変化する。
このように、被写体が横方向に動いた場合も、動いている被写体の存在する領域の位相差が変化する。しかし、上記のように、焦点調節操作の場合は、撮像される領域の全体で位相差が変化する。したがって、位相差が変化する場合であっても、焦点調節の場合とは明確に区別される。
(iii)被写体が動いている場合に焦点調節操作した場合
図20は、図17に示す構図において、第1被写体の移動中に焦点調節操作した場合に各分割領域で検出される位相差の変化を示すグラフである。なお、第1被写体M1のみが、前後方向(遠ざかる方向)に移動するものとする。
図20において、実線で示すグラフC9は、第1被写体M1の移動前に各分割領域A1~A25で得られる位相差のグラフである。また、破線で示すグラフC10は、第1被写体M1の移動後に各分割領域A1~A25で得られる位相差のグラフである。また、一点破線で示すグラフC11は、第1被写体M1の移動中に焦点調節操作した場合に各分割領域A1~A25で得られる位相差のグラフである。
図20に示すように、被写体が移動している最中に焦点調節操作された場合も、撮像される領域の全体で位相差が変化する。
図21は、第1被写体の移動中に焦点調節操作された場合に各分割領域で検出される位相差の変化量の度数分布を示すグラフ(ヒストグラム)である。
被写体が前後方向に移動すると、被写体距離が変化し、位相差が変化する。しかし、この変化量は、焦点調節操作による位相差の変化に比べて小さい。したがって、図21に示すように、被写体の移動中に焦点調節操作した場合も、イレギュラーな検出を除けば、その位相差の変化量の度数分布は特定の変化量の近傍に集中した分布となる。すなわち、ほぼ平均値の近傍に集中した分布となる。
被写体が横方向に移動している最中に焦点調節操作した場合も同様であり、イレギュラーな検出を除けば、その位相差の変化量の度数分布は、特定の変化量の近傍に集中した分布となる。すなわち、ほぼ平均値の近傍に集中した分布となる。
以上のように、焦点調節操作の有無は、各分割領域A1~A25の位相差の変化から検出できる。すなわち、各分割領域A1~A25で検出される位相差の変化状態を解析することにより、焦点調節操作の有無を検出できる。
上記のように、焦点調節操作の場合、位相差の変化量が特定の度数分布を示す。したがって、位相差の変化量の度数分布から焦点調節操作の有無を検出できる。すなわち、分布のバラツキ具合を解析することにより、焦点調節操作の有無を検出できる。
上記のように、焦点調節操作の場合、その位相差の変化量の度数分布は、ほぼ平均値の近傍に集中した分布となる。したがって、位相差の変化量の平均値を求め、その近傍の数値から外れた変化量を示す領域の数の大小から、焦点調節操作の有無を判別できる。すなわち、平均値から外れる分割領域の数が多い場合は、バラツキが大きい場合なので、焦点調節操作ではないと判別できる。一方、平均値から外れる分割領域の数が少ない場合は、平均値の近傍に集中している場合なので、焦点調節操作と判別できる。したがって、位相差の変化量の度数分布に基づいて、焦点調節操作の有無を検出する場合、次の手順で検出できる。まず、各分割領域A1~A25の位相差の変化量の平均値を算出する。次に、平均値との差が規定量以上の分割領域を抽出し、その数をカウントする。次に、カウントした数が規定数以下か否かを判定する。規定数以下の場合、焦点調節操作と判定する。すなわち、この場合、変化量にバラツキがないので、位相差が全体的に変化したものとみなして、焦点調節操作と判定する。一方、規定数を超える場合、焦点調節操作ではないと判定する。すなわち、この場合、変化量がばらついているので、位相差が全体的に変化していないものとみなして、焦点調節操作ではないと判定する。
(2)焦点調節操作検出部における焦点調節操作の検出処理
上記のように、各分割領域A1~A25で検出される位相差の変化をモニタすることで、焦点調節操作の有無を検出できる。
図22は、焦点調節操作検出部で実行される焦点調節操作の検出処理の手順を示すフローチャートである。
まず、各分割領域A1~A25の位相差の変化量を検出する(ステップS1)。ここでの変化量は、単位時間あたりの変化量である。単位時間Δtは、あらかじめ設定される。焦点調節操作検出部276は、位相差検出部234から各分割領域A1~A25の位相差の情報を取得した後、更に単位時間Δt経過後に、位相差検出部234から各分割領域A1~A25の位相差の情報を取得する。そして、その差分を求めて、各分割領域A1~A25の位相差の変化量を検出する。
次に、得られた各分割領域A1~A25の位相差の変化量の情報に基づいて、焦点調節操作の有無を判定する処理を実施する(ステップS2)。すなわち、得られた各分割領域A1~A25の位相差の変化量の情報を解析し、焦点調節操作の有無を判定する。
図23は、焦点調節操作の有無を判定する処理の手順を示すフローチャートである。
まず、各分割領域A1~A25の位相差の変化量の平均値を算出する(ステップS2A)。次に、平均値との差が、あらかじめ設定された規定量以上となる分割領域を抽出する(ステップS2B)。次に、抽出された分割領域の数をカウントする(ステップS2C)。次に、カウントされた数と、あらかじめ設定された規定数とを比較し、カウントされた数が規定数以下か否かを判定する(ステップS2D)。規定数以下の場合、焦点調節操作と判定する(ステップS2E)。すなわち、この場合、変化量にバラツキがないので、位相差が全体的に変化したものとみなして、焦点調節操作と判定する。一方、規定数を超える場合、焦点調節操作ではないと判定する(ステップS2F)。すなわち、この場合、変化量がばらついているので、位相差が全体的に変化していないものとみなして、焦点調節操作ではないと判定する。
判定処理後、図22に示すように、判定処理の結果を受けて、焦点調節操作の有無を判定する(ステップS3)。焦点調節操作が検出された場合、処理を終了する。一方、焦点調節操作が検出されない場合、ステップS1に戻り、再度、検出処理を実施する。
[デジタルカメラの動作]
《通信の可否の判定》
デジタルカメラDCは、電源が投入されると、交換レンズCLの装着の有無を判定する。交換レンズCLが装着されていると判定すると、更に通信の可否を判定する。
通信不能な交換レンズがデジタルカメラ本体DCBに装着された場合、デジタルカメラ本体側から交換レンズを制御することはできない。したがって、この場合、レンズ制御に関する機能が制限される。すなわち、焦点調節、絞り値の切り換え等を手動で行う設定とされる。
《静止画撮像》
デジタルカメラDCは、シャッタボタン114の半押しで撮像準備が行われ、全押しで画像の記録が行われる。カメラのフォーカスモードがオートフォーカスに設定されている場合、シャッタボタン114の半押しでオートフォーカスが作動する。カメラのフォーカスモードがマニュアルフォーカスに設定されている場合、手動で焦点合わせが行われる。
《動画撮像》
デジタルカメラDCは、最初のシャッタボタン114の全押しで撮像が開始され、2回目のシャッタボタン114の全押しで撮像が終了する。カメラのフォーカスモードがオートフォーカスに設定されている場合、撮像の開始と同時にオートフォーカスが作動する。カメラのフォーカスモードがマニュアルフォーカスに設定されている場合、手動で焦点合わせが行われる。
[焦点合わせの補助機能]
本実施の形態のデジタルカメラDCには、手動による焦点合わせを補助する機能が備えられる。この機能は、手動で焦点合わせする際に、自動で合焦状態に導く機能であり、合焦状態に近づくと作動する。以下、この焦点合わせの補助機能について説明する。
図24は、焦点合わせの補助処理の手順を示すフローチャートである。
焦点合わせの補助機能は、カメラのフォーカスモードがマニュアルフォーカスに設定され、かつ、焦点合わせの補助機能がオンされた場合に作動する。したがって、以下の処理は、カメラのフォーカスモードがマニュアルフォーカスに設定され、かつ、焦点合わせの補助機能がオンされていることを前提に行われる。
まず、焦点調節操作の有無が検出される(ステップS11)。焦点調節操作の検出方法は、デジタルカメラ本体DCBに装着されている交換レンズCLの種類によって異なる。具体的には、デジタルカメラ本体DCBに装着されている交換レンズCLが、デジタルカメラ本体DCBと通信可能なレンズか否かによって異なる。
デジタルカメラ本体DCBと通信可能な交換レンズCLの場合、交換レンズCLが焦点調節操作されると、交換レンズCLからデジタルカメラ本体DCBに操作情報が送信される。カメラマイコン250は、この操作情報の受信の有無により、焦点調節操作の有無を検出する。
一方、デジタルカメラ本体DCBと通信不能な交換レンズCLの場合、焦点調節操作検出部276によって、焦点調節操作の有無が検出される。
デジタルカメラ本体DCBに装着された交換レンズCLが、デジタルカメラ本体DCBと通信可能か否かは通信可否判定部274で判定される。
検出が行われると、その検出結果に基づいて、焦点調節操作の有無が判定される(ステップS12)。操作が検出されていない場合は、再度、検出処理が実施される。
一方、焦点調節操作が検出された場合は、主要被写体に対するデフォーカス量が検出される(ステップS13)。そして、検出されたデフォーカス量に基づいて、合焦状態に近づいたか否かを判定する。すなわち、検出されたデフォーカス量が規定量以下になったか否かが判定される(ステップS14)。
主要被写体に対するデフォーカス量が規定量以下になったと判定されると、焦点合わせの補助処理が実施される(ステップS15)。すなわち、焦点状態検出部252の検出結果に基づいて、イメージセンサ200の移動が制御され、合焦状態に導かれる。
このように、焦点合わせの補助は、合焦状態に近づくと実施され、自動的に合焦状態に導かれる。これにより、たとえば、手動で焦点を合わせきれない場合であっても、正確に合焦状態に導くことができる。特に、解像度の低いメインモニタ104又は電子ビューファインダ108を使用して焦点合わせする場合、手動での焦点合わせには限界があるが、本補助機構を使用することにより、正確に合焦状態に導くことができる。
◆◆変形例◆◆
[焦点調節操作の検出の変形例]
《信頼性のある位相差の検出結果を利用した焦点調節操作の検出》
上記実施の形態では、焦点調節操作の有無を検出する際、各分割領域の位相差を検出している。しかし、各分割領域で検出される位相差は、信頼性の低いものも存在する。信頼性の低い検出結果を利用して、焦点調節操作の検出処理を行うと、検出精度が低下する。したがって、信頼性のある位相差の検出結果のみを利用して、焦点調節操作の処理を実施することが好ましい。
図25は、信頼性のある分割領域の位相差の変化に基づいて焦点調節操作の有無を検出する場合の主な構成のブロック図である。
同図に示すように、信頼性判定部280が更に備えられる。信頼性判定部280の機能は、カメラマイコン250が、所定のプログラムを実行することにより実現される。
信頼性判定部280は、位相差検出部234によって分割領域ごとに検出される位相差の信頼性を判定する。信頼性判定部280は、位相差を算出する際の第1位相差検出画素208Aの信号と第2位相差検出画素208Bの信号の相関度を算出し、閾値以上の相関度を有するか否かを判定して、信頼性の有無を判定する。すなわち、閾値以上の相関度を有する場合に信頼性ありと判定する。
焦点調節操作検出部276は、信頼性判定部280で信頼性ありと判定された分割領域の位相差の変化に基づいて、交換レンズCLの焦点調節操作の有無を検出する。
図26は、信頼性のある分割領域の位相差の変化に基づいて焦点調節操作の有無を検出する場合の処理の手順を示すフローチャートである。
まず、各分割領域A1~A25の位相差を検出する(ステップS21)。次に、検出された位相差の信頼性を判定する(ステップS22)。次に、信頼性ありと判定された分割領域の位相差の変化量を検出する(ステップS23)。次に、得られた各分割領域の位相差の変化量の情報に基づいて、焦点調節操作の有無を判定する処理を実施する(ステップS24)。次に、その判定処理の結果に基づいて、焦点調節操作の有無を判定する(ステップS25)。
このように、位相差の検出結果の信頼性を判定し、信頼性のある検出結果に基づいて、焦点調節操作の有無を検出することにより、高精度の検出を安定して実施できる。
《特定の分割領域を除外した焦点調節操作の検出》
上記実施の形態では、すべての分割領域A1~A25の位相差の情報を利用して、焦点調節操作の有無を検出している。しかし、特定の分割領域を除外して、焦点調節操作の有無を検出する方が好ましい場合もある。たとえば、撮像される領域に動体が存在する場合である。この場合、動体が存在する分割領域を除外して、焦点調節操作の有無を検出する。これにより、より安定した高精度な検出が可能になる。
図27は、動体が存在する分割領域を除外して焦点調節操作の有無を検出する場合の主な構成のブロック図である。
同図に示すように、動体検出部282が更に備えられる。動体検出部282の機能は、カメラマイコン250が、所定のプログラムを実行することにより実現される。
動体検出部282は、デジタル信号処理部232から順次得られる撮像画像を解析して、動体を検出する。この処理には、公知の技術(いわゆる画像処理による動体検出)が採用される。
動体が検出された場合、焦点調節操作検出部276は、動体が存在する分割領域を除外して、焦点調節操作の有無を検出する。
なお、同図に示す例では、更に信頼性判定部280を備え、信頼性判定部280で信頼性ありと判定された分割領域の位相差の変化に基づいて、焦点調節操作の有無を検出する構成としている。
図28は、動体が存在する分割領域を除外して焦点調節操作の有無を検出する場合の処理の手順を示すフローチャートである。
まず、各分割領域A1~A25の位相差を検出する(ステップS31)。次に、検出された位相差の信頼性を判定する(ステップS32)。次に、動体を検出する(ステップS33)。次に、動体の検出結果に基づいて、動体の有無を判定する(ステップS34)。動体が存在する場合は、動体が存在する分割領域を特定し、特定された分割領域を検出の対象から除外する(ステップS35)。次に、各分割領域の位相差の変化量を検出する(ステップS36)。この際、動体が検出されている場合は、除外された分割領域以外の分割領域の変位量を検出する。また、信頼性ありと判定された分割領域の位相差の変化量を検出する。次に、得られた各分割領域の位相差の変化量の情報に基づいて、焦点調節操作の有無を判定する処理を実施する(ステップS37)。次に、その判定処理の結果に基づいて、焦点調節操作の有無を判定する(ステップS38)。
このように、動体が存在する分割領域を除外して、焦点調節操作の有無を検出することにより、より安定した高精度な焦点調節操作の検出が可能になる。
〈更なる変形例〉
上記の例では、いわゆる画像処理によって動体を検出する構成としているが、輝度の変化から動体の存在する領域を推定する構成とすることもできる。この場合も、動体が存在すると推定された分割領域を除外して、焦点調節操作の有無を検出する。
図29は、輝度の変化から動体が存在する分割領域を推定する場合の主な構成のブロック図である。
同図に示すように、動体存在領域推定部284が更に備えられる。動体存在領域推定部284の機能は、カメラマイコン250が、所定のプログラムを実行することにより実現される。
動体存在領域推定部284は、輝度検出部236で検出される各分割領域A1~A25の輝度に基づいて、動体の存在する領域を推定する。具体的には、まず、各分割領域A1~A25における単位時間当たりの輝度の変化を検出する。次に、検出結果に基づいて、輝度の変化量が第1閾値以上の分割領域を抽出する。抽出された分割領域を動体が存在する分割領域と推定する。
一般に動体が存在する領域は、輝度が大きく変化する。したがって、一定以上の輝度の変化量がある領域を検出することにより、動体の存在する領域を推定できる。
このように、輝度の変化から動体の存在する領域を検出する構成としてもよい。本例の場合、輝度検出部236が第1輝度検出部として機能する。
なお、画像処理による動体の検出と輝度の変化に基づく動体の検出とを併用することもできる。すなわち、動体検出部282及び動体存在領域推定部284の双方を備える構成とすることもできる。
図30は、動体検出部の検出結果及び動体存在領域推定部の推定結果に基づいて、焦点調節操作の有無を検出する場合の主な構成のブロック図である。
この場合、焦点調節操作検出部276は、動体検出部282で動体が検出された分割領域、及び、動体存在領域推定部284で動体の存在が推定された分割領域を除外して、焦点調節操作の有無を検出する。
《画角の変化の情報を加味した焦点調節操作の検出》
交換レンズCLがズーム機能を有する場合、ズーム操作されると、その操作に応じて各分割領域A1~A25で検出される位相差が変化する。ズーム操作されている場合は、焦点調節操作の検出を中止することにより、より安定した高精度な焦点調節操作の検出が可能になる。
本例では、画角の変化を検出して、ズーム操作の有無を検出する。すなわち、画角の変化が検出されている場合は、ズームが操作されているものとみなして、焦点調節操作の検出処理を中止する。換言すると、ズームが操作されていない場合、すなわち、画角が一定に維持されている場合にのみ、焦点調節操作の有無を検出する。
図31は、画角の変化の情報を加味して焦点調節操作の有無を検出する場合の主な構成のブロック図である。
同図に示すように、画角変化検出部286が更に備えられる。画角変化検出部286の機能は、カメラマイコン250が、所定のプログラムを実行することにより実現される。
画角変化検出部286は、デジタル信号処理部232から順次得られる撮像画像を解析して、画角の変化を検出する。この処理には、公知の技術(いわゆる画像処理による画角変化の検出)が採用される。たとえば、撮像画像から被写体の位置の変化を検出し、画角の変化を検出する。
焦点調節操作検出部276は、画角変化検出部286によって画角の変化が検出されている間、焦点調節操作の検出処理を中止する。
なお、同図に示す例では、更に信頼性判定部280、動体検出部282及び動体存在領域推定部284を備え、信頼性判定部280で信頼性ありと判定された分割領域の位相差の変化に基づいて、焦点調節操作の有無を検出する構成としている。また、動体検出部282で動体が検出された分割領域、及び、動体存在領域推定部284で動体の存在が推定された分割領域を除外して、焦点調節操作の有無を検出する構成としている。
図32は、画角の変化の情報を加味して焦点調節操作の有無を検出する場合の処理の手順を示すフローチャートである。
まず、画角の変化の有無を判定する(ステップS41)。すなわち、画角変化検出部286で画角の変化が検出されているか否かを判定する。画角の変化がある場合、ズーム操作が行われているものと認定し、以降の処理を中止する。すなわち、焦点調節操作の検出処理を中止する。一方、画角の変化がない場合、ズーム操作が行われていないと認定し、以降の処理を実施する。まず、各分割領域A1~A25の位相差を検出する(ステップS42)。次に、検出された位相差の信頼性を判定する(ステップS43)。次に、動体を検出する(ステップS44)。次に、動体の検出結果に基づいて、動体の有無を判定する(ステップS45)。動体が存在する場合は、動体が存在する分割領域を特定し、特定された分割領域を検出の対象から除外する(ステップS46)。次に、各分割領域の位相差の変化量を検出する(ステップS47)。この際、動体が検出されている場合は、除外された分割領域以外の分割領域の変位量を検出する。また、信頼性ありと判定された分割領域の位相差の変化量を検出する。次に、得られた各分割領域の位相差の変化量の情報に基づいて、焦点調節操作の有無を判定する処理を実施する(ステップS48)。次に、その判定処理の結果に基づいて、焦点調節操作の有無を判定する(ステップS49)。
このように、画角の変化からズーム操作の有無を検出し、画角が一定に維持されている場合にのみ、焦点調節操作の検出を実施することにより、より安定した高精度な検出が可能になる。
《明るさの変化の情報を加味した焦点調節操作の検出》
パン、チルト等して撮像される領域が変化すると、各分割領域A1~A25で検出される位相差も変化する。撮像される領域が変化している場合は、焦点調節操作の検出を中止することにより、より安定した高精度な焦点調節操作の検出が可能になる。
本例では、画面全体の明るさ(輝度)の変化を検出して、撮像される領域の変化の有無を検出する。画面全体の明るさが変化している場合は、撮像される領域が変化しているものとみなして、焦点調節操作の検出処理を中止する。
図33は、画面全体の明るさの変化の情報を加味して焦点調節操作の有無を検出する場合の主な構成のブロック図である。
同図に示すように、全体輝度検出部288及び画面変化検出部290が更に備えられる。全体輝度検出部288及び画面変化検出部290の機能は、カメラマイコン250が、所定のプログラムを実行することにより実現される。
全体輝度検出部288は、輝度検出部236で検出される各分割領域A1~A25の輝度の変化に基づいて、画面全体の輝度、すなわち、交換レンズCLを介してイメージセンサ200で撮像される領域全体の輝度を算出する。
画面変化検出部290は、全体輝度検出部288で検出される画面全体の輝度の変化に基づいて、画面の変化、すなわち、交換レンズCLを介してイメージセンサ200で撮像される領域の変化の有無を検出する。具体的には、画面全体の輝度の単位時間当たりの変化量を求め、閾値(第2閾値)と比較する。画面全体の輝度の単位時間当たりの変化量が閾値(第2閾値)を超える場合、画面が変化していると判定する。全体輝度検出部288は、第2輝度検出部の一例である。
焦点調節操作検出部276は、画面変化検出部290によって画面の変化が検出されている間、焦点調節操作の検出を中止する。換言すると、画面変化検出部290によって画面の変化が検出されていない場合に焦点調節操作の有無を検出する。画面変化検出部290によって画面の変化が検出されていない場合とは、画面全体の輝度の変化が第2閾値以下の場合である。
なお、同図に示す例では、更に信頼性判定部280、動体検出部282、動体存在領域推定部284及び画角変化検出部286を備え、信頼性判定部280で信頼性ありと判定された分割領域の位相差の変化に基づいて、焦点調節操作の有無を検出する構成としている。また、動体検出部282で動体が検出された分割領域、及び、動体存在領域推定部284で動体の存在が推定された分割領域を除外して、焦点調節操作の有無を検出する構成としている。更に、画角変化検出部286によって画角の変化が検出されている間、焦点調節操作の検出を中止する構成としている。
図34は、画面全体の明るさの変化の情報を加味して焦点調節操作の有無を検出する場合の処理の手順を示すフローチャートである。
まず、画面全体の輝度の変化の有無を判定する(ステップS51)。画面全体の輝度の変化がある場合(画面全体の輝度の変化量が第2閾値以上の場合)、画面が変化しているものとみなして、以降の処理を中止する。一方、画面全体の輝度の変化がない場合(画面全体の輝度の変化量が第2閾値未満の場合)、画角の変化の有無を判定する(ステップS52)。画角の変化がある場合、ズーム操作が行われているものと認定し、以降の処理を中止する。一方、画角の変化がない場合、ズーム操作が行われていないと認定し、以降の処理を実施する。まず、各分割領域A1~A25の位相差を検出する(ステップS53)。次に、検出された位相差の信頼性を判定する(ステップS54)。次に、動体を検出する(ステップS55)。次に、動体の検出結果に基づいて、動体の有無を判定する(ステップS56)。動体が存在する場合は、動体が存在する分割領域を特定し、特定された分割領域を検出の対象から除外する(ステップS57)。次に、各分割領域の位相差の変化量を検出する(ステップS58)。この際、動体が検出されている場合は、除外された分割領域以外の分割領域の変位量を検出する。また、信頼性ありと判定された分割領域の位相差の変化量を検出する。次に、得られた各分割領域の位相差の変化量の情報に基づいて、焦点調節操作の有無を判定する処理を実施する(ステップS59)。次に、その判定処理の結果に基づいて、焦点調節操作の有無を判定する(ステップS60)。
このように、画面全体の輝度の変化から画面変化の有無を検出し、画面変化がない場合にのみ、焦点調節操作の検出を実施することにより、より安定した高精度な検出が可能になる。
なお、絞りが操作された場合も画面全体の輝度が変化するが、この場合も同様に焦点調節操作の検出が中止される。
《各分割領域の位相差の変化に基づく検出の変形例》
上記実施の形態では、各分割領域で検出される位相差の変化、特に位相差の変化量の度数分布に基づいて、焦点調節操作の有無を検出する構成としているが、検出の態様は、これに限定されるものではない。たとえば、学習済みの判別器を利用して、各分割領域で検出される位相差の変化から焦点調節操作の有無を検出する構成とすることもできる。
また、上記実施の形態では、交換レンズを介してイメージセンサ200で撮像される領域を縦横に等分割して、分割領域を設定しているが、分割の態様は、これに限定されるものではない。中央及び四隅のように、離散的に分割領域を設定することもできる。また、各分割領域に重み付けしてもよい。
《位相差の検出の変形例》
上記実施の形態では、イメージセンサに備えられた位相差検出画素の出力に基づいて、位相差を検出する構成としているが、各分割領域の位相差を検出する方法は、これに限定されるものではない。位相差AF(AF:Auto Focus)に使用する公知のAFセンサ(AF:Auto Focus)を用いて、各分割領域の位相差を検出する構成としてもよい。この場合、分割領域に対応してAFセンサが備えられる。
[操作検出の告知]
焦点調節操作検出部276が、交換レンズCLの焦点調節操作を検出した場合に、ユーザに検出を告知するようにしてもよい。これにより、ユーザが検出の有無を認識でき、利便性を向上できる。
たとえば、焦点調節操作が検出された場合に、スピーカ244から所定の音声を出力させる。音声入出力制御部269は、焦点調節操作検出部276で焦点調節操作が検出されると、音声信号処理部242を介して、スピーカ244から所定の音声を出力させる。この場合、音声入出力制御部269、音声信号処理部242及びスピーカ244が告知部を構成する。
また、たとえば、焦点調節操作が検出された場合に、メインモニタ104又は電子ビューファインダ108に検出を示すメッセージ又はアイコンを表示させる。メインモニタ表示制御部264は、焦点調節操作検出部276で焦点調節操作が検出されると、LCDドライバ104aを介してメインモニタ104に検出を示すメッセージ又はアイコンを表示させる。また、EVF表示制御部268は、焦点調節操作検出部276で焦点調節操作が検出されると、LCDドライバ108aを介して、電子ビューファインダ108に検出を示すメッセージ又はアイコンを表示させる。この場合、メインモニタ表示制御部264、LCDドライバ104a及びメインモニタ104が告知部を構成する。また、EVF表示制御部268、LCDドライバ108a及び電子ビューファインダ108が告知部を構成する。
[手動による焦点合わせの補助機能の変形例]
手動による焦点合わせを補助して、合焦状態に導く際、手動による焦点調節の速度とイメージセンサ200の移動による焦点調節の速度の和が、一定の速度以下となるように、イメージセンサ200の移動を制御することが好ましい。具体的には、補助を開始する際の速度以下となるように、イメージセンサ200の移動を制御する。これにより、違和感を与えることなく、焦点合わせを補助できる。補助は、デフォーカス量が規定量以下になると開始されるので、デフォーカス量が規定量に達した際の速度以下の速度となるように、イメージセンサ200の移動を制御する。たとえば、デフォーカス量が規定量に達した際の速度を維持するように、イメージセンサ200の移動を制御して、合焦状態に導く。あるいは、デフォーカス量が規定量に達した際の速度から和の速度が漸次減少するように、イメージセンサ200の移動を制御して、合焦状態に導く。
手動による焦点調節の速度は、たとえば、焦点状態検出部252で検出される焦点状態の変化、あるいは、位相差検出部234で検出される位相差の変化に基づいて、検出する構成とすることができる。すなわち、焦点状態の変化の速度、あるいは、位相差の変化の速度を検出して、手動による焦点調節の速度を検出する。これにより、たとえば、デジタルカメラ本体DCBが、交換レンズCLと通信できない場合であっても、手動による焦点調節の速度を検出できる。
また、補助によって合焦させた後は、可動範囲内でイメージセンサ200を移動させて、合焦状態を維持させることが好ましい。イメージセンサ200が可動範囲の端部に到達した場合は、基準位置に戻してもよいし、また、端部の位置で待機させてもよい。基準位置に戻す場合は、焦点の変動速度に合わせてイメージセンサ200を移動させることが好ましい。これにより、ユーザに違和感を与えることなく、イメージセンサ200を原点位置に戻すことができる。
なお、補助によって合焦状態に導かれた後に、合焦状態が解除された場合は、再度条件が満たされた場合に補助が実施される。
[イメージセンサの可動範囲]
イメージセンサ200の可動範囲は、イメージセンサ移動駆動部222の機械的な作動範囲内で任意に設定される。たとえば、イメージセンサ移動駆動部222が、ピエゾアクチュエータで構成される場合、そのピエゾアクチュエータの機械的な作動範囲内でイメージセンサ200の可動範囲が任意に設定される。イメージセンサ200の可動範囲を広くとるほど、デジタルカメラ本体側で可能な焦点調節の範囲を広くとれる。
なお、上記実施の形態のデジタルカメラのように、メインモニタ104又は電子ビューファインダ108を使用して焦点調節する場合、メインモニタ104及び電子ビューファインダ108の解像度を考慮して、イメージセンサ200の可動範囲を設定することが好ましい。メインモニタ104及び電子ビューファインダ108の解像度が、イメージセンサ200の解像度に比べて低い場合、メインモニタ104及び電子ビューファインダ108で調整可能な精度には限界がある。したがって、メインモニタ104及び電子ビューファインダ108では、調整できない範囲をイメージセンサ200の移動でカバーできるように、その可動範囲を設定することが好ましい。具体的には、メインモニタ104及び電子ビューファインダ108の画素ピッチ以上の可動範囲を確保することが好ましい。これにより、解像度の低いメインモニタ104又は電子ビューファインダ108を使用して焦点調節する場合であっても、目的とする被写体に精度よく合焦させることができる。
[イメージセンサの基準位置]
上記実施の形態では、イメージセンサ200の基準位置を可動範囲の中央に設定しているが、基準位置として設定する位置は、これに限定されるものではない。たとえば、可動範囲の中央よりも被写体側(前側)の位置に基準位置を設定してもよいし、また、像面側(後側)の位置に基準位置を設定してもよい。また、ユーザが、任意に設定できる構成としてもよい。
また、上記実施の形態では、フランジバックの位置に基準位置を設定しているが、フランジバックと異なる位置に設定してもよい。なお、上記のように、フランジバックの位置に基準位置を設定することにより、基準位置で合焦した際に交換レンズCLの光学性能を最大限に発揮させることができる。
[イメージセンサ移動駆動部]
上記実施の形態では、ピエゾアクチュエータを使用して、イメージセンサ200を光軸Zに沿って移動させる構成としているが、イメージセンサ移動駆動部の構成は、これに限定されるものではない。この他、たとえば、リニアモータ、送りネジ機構等の公知の直動式の駆動機構を用いて、イメージセンサ200を移動させることができる。
[撮像部]
上記実施の形態では、本発明を単板式のデジタルカメラに適用した場合を例に説明したが、本発明は多板式のカメラにも適用できる。
図35は、3板式のデジタルカメラに本発明適用する場合の一例を示す図である。
同図に示すように、3板式のデジタルカメラは、撮像部に色分解プリズム310、及び、3つのイメージセンサ200R、200G、200Bを備える。
色分解プリズム310は、入射面310aに入射した光をR(Red)光、G(Green)光及びB(Blue)光の3色の光に分解する。分解された3色の光は、それぞれR光出射面310r、G光出射面310g、B光出射面310bから出射される。
3つのイメージセンサは、R光を受光するイメージセンサ200Rと、G光を受光するイメージセンサ200Gと、B光を受光するイメージセンサ200Bと、で構成される。
R光を受光するイメージセンサ200Rは、R光出射面310rに対向して配置され、R光出射面310rから出射されるR光を受光する。
G光を受光するイメージセンサ200Gは、G光出射面310gに対向して配置され、G光出射面310gから出射されるG光を受光する。
B光を受光するイメージセンサ200Bは、B光出射面310bに対向して配置され、B光出射面310bから出射されるB光を受光する。
3つのイメージセンサ200R、200G、200Bは、それぞれ色分解プリズム310の入射面310aからの光路長が同じになる位置に配置される。
3つのイメージセンサ200R、200G、200Bは、図示しないホルダを介して、色分解プリズム310に一体的に取り付けられる。色分解プリズム310にイメージセンサ200R、200G、200Bが一体化されたユニットを撮像ユニット330とする。イメージセンサ移動駆動部222xは、撮像ユニット330を光軸Zに沿って前後移動させる。また、イメージセンサ位置検出部224xは、基準位置に対する撮像ユニット330の位置を検出する。
[撮像レンズ]
上記実施の形態では、フォーカスレンズを光軸に沿って前後移動させて焦点調節しているが、撮像レンズの焦点調節機構は、これに限定されるものではない。この他、液体レンズ、液晶レンズ等をフォーカスレンズとして利用することもできる。液体レンズ及び液晶レンズでは、屈折率変化を利用して、焦点調節する。
[撮像装置]
上記実施の形態では、本発明をデジタルカメラに適用した場合を例に説明したが、本発明の適用は、これに限定されるものではない。この他、たとえば、ビデオカメラ、テレビカメラ、シネマカメラ等にも適用でき、更に、撮像機能を備えた電子機器(たとえば、携帯電話、スマートフォン、タブレットパソコン、ノートパソコン等)にも同様に適用できる。
また、上記実施の形態では、レンズ交換式のデジタルカメラに本発明を適用した場合を例に説明したが、撮像レンズがデジタルカメラ本体に一体的に組み込まれたカメラにも同様に適用できる。
また、レンズマイコン40が行う各種処理は、カメラマイコン250が行うようにしてもよい。たとえば、フォーカスレンズ群22の駆動制御、絞り30の駆動制御等は、カメラマイコン250が行うようにしてもよい。
[その他]
上記実施の形態では、焦点調節操作検出部等の機能をマイクロコンピュータで実現しているが、これらの機能を実現するためのハードウェア的な構成は、これに限定されるものではない。各種のプロセッサで構成できる。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理を行う処理部として機能する汎用的なプロセッサであるCPU、FPGA(FPGA:Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるPLD(PLD:Programmable Logic Device)、ASIC(ASIC:Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。上記所定のプログラム(たとえば、焦点調節操作検出プログラム、焦点合わせ補助プログラム等)が格納される媒体は、ハードディスク、CD(Compact Disk)、DVD(Digital Versatile Disk)、各種半導体メモリ等の、非一時的かつコンピュータ読取可能な記録媒体であってもよい。
一つの処理部は、これら各種のプロセッサのうちの一つで構成されていてもよいし、同種又は異種の二つ以上のプロセッサで構成されていてもよい。たとえば、複数のFPGAで構成されてもよいし、CPU及びFPGAの組み合わせで構成されてもよい。
また、複数の処理部を一つのプロセッサで構成してもよい。複数の処理部を一つのプロセッサで構成する例としては、第1に、クライアント、サーバなどのコンピュータに代表されるように、一つ以上のCPUとソフトウェアとの組合せで一つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(SoC:System On Chip)などに代表されるように、複数の処理部を含むシステム全体の機能を一つのICチップ(IC:Integrated Circuit)で実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを一つ以上用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。
12 鏡筒
12a レンズ側マウント
14 レンズ操作部
16 フォーカスリング
18 絞りリング
20 レンズ側焦点調節機構
22 フォーカスレンズ群
24 フォーカスレンズ駆動部
26 フォーカスレンズ位置検出部
30 絞り
32 絞り駆動部
40 レンズマイコン
42 フォーカスレンズ制御部
46 絞り制御部
48 レンズ側通信制御部
50 手動焦点調節機構
52 手動絞り切換機構
102 本体側マウント
104 メインモニタ
104a LCDドライバ
106 サブモニタ
106a LCDドライバ
108 電子ビューファインダ
108a LCDドライバ
110 カメラ操作部
111 感度ダイヤル
112 消去ボタン
113 電源レバー
114 シャッタボタン
115 ドライブボタン
116 サブモニタ照明ボタン
117 シャッタ速度ダイヤル
118 再生ボタン
119 フロントコマンドダイヤル
120 リアコマンドダイヤル
121 フォーカスレバー
122 クイックメニューボタン
123 メニュー/OKボタン
124 セレクターボタン
125 表示/BACKボタン
126 第1ファンクションボタン
127 第2ファンクションボタン
128 第3ファンクションボタン
129 第4ファンクションボタン
130 第5ファンクションボタン
132 フォーカスモード切換レバー
200 イメージセンサ
200B イメージセンサ
200G イメージセンサ
200R イメージセンサ
202 撮像面
206 通常画素
208 位相差検出画素
208A 第1位相差検出画素
208B 第2位相差検出画素
210 メカニカルシャッタ
212 シャッタ駆動部
220 本体側焦点調節部
222 イメージセンサ移動駆動部
222x イメージセンサ移動駆動部
224 イメージセンサ位置検出部
224x イメージセンサ位置検出部
226 イメージセンサ駆動部
228 アナログ信号処理部
230 ADC(Analog-to-digital converter/アナログデジタル変換器)
232 デジタル信号処理部
234 位相差検出部
236 輝度検出部
238 メモリカードインタフェース
240 メモリカード
242 音声信号処理部
244 スピーカ
246 マイク
250 カメラマイコン
252 焦点状態検出部
254 露出設定部
256 自動焦点合わせ制御部
258 焦点合わせ補助制御部
260 露光制御部
262 記録制御部
264 メインモニタ表示制御部
266 サブモニタ表示制御部
268 EVF表示制御部
269 音声入出力制御部
270 本体側通信制御部
272 レンズ装着検出部
274 通信可否判定部
276 焦点調節操作検出部
280 信頼性判定部
282 動体検出部
284 動体存在領域推定部
286 画角変化検出部
288 全体輝度検出部
290 画面変化検出部
310 色分解プリズム
310a 入射面
310b B光出射面
310g G光出射面
310r R光出射面
330 撮像ユニット
A1~A25 分割領域
C1 グラフ
C2 グラフ
C3 グラフ
C4 グラフ
C5 グラフ
C6 グラフ
C7 グラフ
C8 グラフ
C9 グラフ
CL 交換レンズ
CL1 交換レンズ
CL2 交換レンズ
CLG 交換レンズ群
DC デジタルカメラ
DCB デジタルカメラ本体
DCS デジタルカメラシステム
M 被写体
M1 第1被写体
M2 第2被写体
Z 光軸
S1~S3 焦点調節操作検出部で実行される焦点調節操作の検出処理の手順
S2A~S2F 焦点調節操作の有無を判定する処理の手順
S11~S15 焦点合わせの補助処理の手順
S21~S25 信頼性のある分割領域の位相差の変化に基づいて焦点調節操作の有無を検出する場合の処理の手順
S31~S38 動体が存在する分割領域を除外して焦点調節操作の有無を検出する場合の処理の手順
S41~S49 画角の変化の情報を加味して焦点調節操作の有無を検出する場合の処理の手順
S51~S60 画面全体の明るさの変化の情報を加味して焦点調節操作の有無を検出する場合の処理の手順

Claims (30)

  1. 撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に位相差検出画素を備えたイメージセンサと、
    前記位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出する位相差検出部と、
    画角の変化を検出する画角変化検出部と、
    前記画角変化検出部で検出される画角が一定に維持されている場合に、前記位相差検出部で検出される前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する焦点調節操作検出部と、
    を備えた焦点調節操作検出装置。
  2. 撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に第1位相差検出画素及び第2位相差検出画素を備えたイメージセンサと、
    前記第1位相差検出画素及び前記第2位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出する位相差検出部と、
    前記位相差検出部で検出される前記分割領域ごとの位相差の信頼性の有無を判定する信頼性判定部であって、位相差を算出する際の前記第1位相差検出画素の信号と前記第2位相差検出画素の信号の相関度を算出し、算出した相関度が閾値以上の場合に信頼性有りと判定する信頼性判定部と、
    前記位相差検出部で検出される前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する焦点調節操作検出部であって、前記信頼性判定部で信頼性有りと判定された前記分割領域の位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する焦点調節操作検出部と、
    を備えた焦点調節操作検出装置。
  3. 撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に位相差検出画素を備えたイメージセンサと、
    前記位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出する位相差検出部と、
    前記イメージセンサで撮像される画像を解析して、撮像される領域内の動体を検出する動体検出部と、
    前記位相差検出部で検出される前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する焦点調節操作検出部であって、前記動体検出部によって動体が検出された前記分割領域を除外して、前記撮像レンズの焦点調節操作の有無を検出する焦点調節操作検出部と、
    を備えた焦点調節操作検出装置。
  4. 前記分割領域ごとの輝度を検出する第1輝度検出部と、
    単位時間当たりの輝度の変化が第1閾値以上の前記分割領域を抽出して、動体が存在する前記分割領域を推定する動体存在領域推定部と、
    を更に備え、
    前記焦点調節操作検出部は、前記動体検出部によって動体が検出された前記分割領域、及び、前記動体存在領域推定部によって動体の存在が推定された前記分割領域を除外して、前記撮像レンズの焦点調節操作の有無を検出する、
    請求項3に記載の焦点調節操作検出装置。
  5. 撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に位相差検出画素を備えたイメージセンサと、
    前記位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出する位相差検出部と、
    前記分割領域ごとの輝度を検出する第1輝度検出部と、
    単位時間当たりの輝度の変化が第1閾値以上の前記分割領域を抽出して、動体が存在する前記分割領域を推定する動体存在領域推定部と、
    前記位相差検出部で検出される前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する焦点調節操作検出部であって、前記動体存在領域推定部によって動体の存在が推定された前記分割領域を除外して、前記撮像レンズの焦点調節操作の有無を検出する焦点調節操作検出部と、
    を備えた焦点調節操作検出装置。
  6. 画角の変化を検出する画角変化検出部を更に備え、
    前記画角変化検出部で検出される画角が一定に維持されている場合に、前記焦点調節操作検出部で前記撮像レンズの焦点調節操作の有無を検出する、
    請求項2から5のいずれか1項に記載の焦点調節操作検出装置。
  7. 前記撮像レンズを介して撮像される領域全体の輝度を検出する第2輝度検出部と、
    前記撮像レンズを介して撮像される領域全体の輝度の変化に基づいて、画面の変化の有無を検出する画面変化検出部であって、単位時間当たりの輝度の変化が第2閾値を超える場合に、画面が変化していると判定する画面変化検出部と、
    を更に備え、
    前記焦点調節操作検出部は、前記画面変化検出部によって画面の変化が検出されている間、前記撮像レンズの焦点調節操作の検出を中止する、
    請求項1から6のいずれか1項に記載の焦点調節操作検出装置。
  8. 撮像レンズが着脱自在に装着されるマウントと、
    請求項1から7のいずれか1項に記載の焦点調節操作検出装置と、
    を備えた撮像装置本体。
  9. 撮像レンズと、
    請求項1から7のいずれか1項に記載の焦点調節操作検出装置と、
    を備えた撮像装置。
  10. 撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に位相差検出画素を備えたイメージセンサの前記位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出するステップと、
    画角の変化を検出するステップと、
    画角が一定に維持されている場合に、前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出するステップと、
    を備えた焦点調節操作検出方法。
  11. 撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に第1位相差検出画素及び第2位相差検出画素を備えたイメージセンサの前記第1位相差検出画素及び前記第2位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出するステップと、
    前記分割領域ごとの位相差の信頼性の有無を判定するステップであって、位相差を算出する際の前記第1位相差検出画素の信号と前記第2位相差検出画素の信号の相関度を算出し、算出した相関度が閾値以上の場合に信頼性有りと判定するステップと、
    前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出するステップであって、信頼性有りと判定された前記分割領域の位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出するステップと、
    を備えた焦点調節操作検出方法。
  12. 撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に位相差検出画素を備えたイメージセンサの前記位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出するステップと、
    前記イメージセンサで撮像される画像を解析して、撮像される領域内の動体を検出するステップと、
    前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出するステップであって、動体が検出された前記分割領域を除外して、前記撮像レンズの焦点調節操作の有無を検出するステップと、
    を備えた焦点調節操作検出方法。
  13. 前記分割領域ごとの輝度を検出するステップと、
    単位時間当たりの輝度の変化が第1閾値以上の前記分割領域を抽出して、動体が存在する前記分割領域を推定するステップと、
    を更に備え、
    前記撮像レンズの焦点調節操作の有無を検出するステップは、動体が検出された前記分割領域、及び、動体の存在が推定された前記分割領域を除外して、前記撮像レンズの焦点調節操作の有無を検出する、
    請求項12に記載の焦点調節操作検出方法。
  14. 撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に位相差検出画素を備えたイメージセンサの前記位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出するステップと、
    前記分割領域ごとの輝度を検出するステップと、
    単位時間当たりの輝度の変化が第1閾値以上の前記分割領域を抽出して、動体が存在する前記分割領域を推定するステップと、
    前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出するステップであって、動体の存在が推定された前記分割領域を除外して、前記撮像レンズの焦点調節操作の有無を検出するステップと、
    を備えた焦点調節操作検出方法。
  15. 画角の変化を検出するステップを更に備え、
    画角が一定に維持されている場合に、前記撮像レンズの焦点調節操作の有無を検出する、
    請求項11から14のいずれか1項に記載の焦点調節操作検出方法。
  16. 前記撮像レンズを介して撮像される領域全体の輝度を検出するステップと、
    前記撮像レンズを介して撮像される領域全体の輝度の変化に基づいて、画面の変化の有無を検出するステップであって、単位時間当たりの輝度の変化が第2閾値を超える場合に、画面が変化していると判定するステップと、
    を更に備え、画面の変化が検出されている間、前記撮像レンズの焦点調節操作の検出を中止する、
    請求項10から15のいずれか1項に記載の焦点調節操作検出方法。
  17. 撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に位相差検出画素を備えたイメージセンサの前記位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出する機能と、
    画角の変化を検出する機能と、
    画角が一定に維持されている場合に、前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する機能と、
    をコンピュータに実現させる焦点調節操作検出プログラム。
  18. 撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に第1位相差検出画素及び第2位相差検出画素を備えたイメージセンサの前記第1位相差検出画素及び前記第2位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出する機能と、
    前記分割領域ごとの位相差の信頼性の有無を判定する機能であって、位相差を算出する際の前記第1位相差検出画素の信号と前記第2位相差検出画素の信号の相関度を算出し、算出した相関度が閾値以上の場合に信頼性有りと判定する機能と、
    前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する機能であって、信頼性有りと判定された前記分割領域の位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する機能と、
    をコンピュータに実現させる焦点調節操作検出プログラム。
  19. 撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に位相差検出画素を備えたイメージセンサの前記位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出する機能と、
    前記イメージセンサで撮像される画像を解析して、撮像される領域内の動体を検出する機能と、
    前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する機能であって、動体が検出された前記分割領域を除外して、前記撮像レンズの焦点調節操作の有無を検出する機能と、
    をコンピュータに実現させる焦点調節操作検出プログラム。
  20. 前記分割領域ごとの輝度を検出する機能と、
    単位時間当たりの輝度の変化が第1閾値以上の前記分割領域を抽出して、動体が存在する前記分割領域を推定する機能と、
    を更に備え、
    前記撮像レンズの焦点調節操作の有無を検出する機能は、動体が検出された前記分割領域、及び、動体の存在が推定された前記分割領域を除外して、前記撮像レンズの焦点調節操作の有無を検出する、
    請求項19に記載の焦点調節操作検出プログラム。
  21. 撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に位相差検出画素を備えたイメージセンサの前記位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出する機能と、
    前記分割領域ごとの輝度を検出する機能と、
    単位時間当たりの輝度の変化が第1閾値以上の前記分割領域を抽出して、動体が存在する前記分割領域を推定する機能と、
    前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する機能であって、動体の存在が推定された前記分割領域を除外して、前記撮像レンズの焦点調節操作の有無を検出する機能と、
    をコンピュータに実現させる焦点調節操作検出プログラム。
  22. 画角の変化を検出する機能を更に備え、
    画角が一定に維持されている場合に、前記撮像レンズの焦点調節操作の有無を検出する、
    請求項18から21のいずれか1項に記載の焦点調節操作検出プログラム。
  23. 前記撮像レンズを介して撮像される領域全体の輝度を検出する機能と、
    前記撮像レンズを介して撮像される領域全体の輝度の変化に基づいて、画面の変化の有無を検出する機能であって、単位時間当たりの輝度の変化が第2閾値を超える場合に、画面が変化していると判定する機能と、
    を更に備え、画面の変化が検出されている間、前記撮像レンズの焦点調節操作の検出を中止する、
    請求項17から22のいずれか1項に記載の焦点調節操作検出プログラム。
  24. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に位相差検出画素を備えたイメージセンサの前記位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出する機能と、
    画角の変化を検出する機能と、
    画角が一定に維持されている場合に、前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する機能と、
    を含む焦点調節操作検出機能をコンピュータに実現させる記録媒体。
  25. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に第1位相差検出画素及び第2位相差検出画素を備えたイメージセンサの前記第1位相差検出画素及び前記第2位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出する機能と、
    前記分割領域ごとの位相差の信頼性の有無を判定する機能であって、位相差を算出する際の前記第1位相差検出画素の信号と前記第2位相差検出画素の信号の相関度を算出し、算出した相関度が閾値以上の場合に信頼性有りと判定する機能と、
    前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する機能であって、信頼性有りと判定された前記分割領域の位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する機能と、
    を含む焦点調節操作検出機能をコンピュータに実現させる記録媒体。
  26. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に位相差検出画素を備えたイメージセンサの前記位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出する機能と、
    前記イメージセンサで撮像される画像を解析して、撮像される領域内の動体を検出する機能と、
    前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する機能であって、動体が検出された前記分割領域を除外して、前記撮像レンズの焦点調節操作の有無を検出する機能と、
    を含む焦点調節操作検出機能をコンピュータに実現させる記録媒体。
  27. 前記分割領域ごとの輝度を検出する機能と、
    単位時間当たりの輝度の変化が第1閾値以上の前記分割領域を抽出して、動体が存在する前記分割領域を推定する機能と、
    を更に備え、
    前記撮像レンズの焦点調節操作の有無を検出する機能は、動体が検出された前記分割領域、及び、動体の存在が推定された前記分割領域を除外して、前記撮像レンズの焦点調節操作の有無を検出する、
    請求項26に記載の記録媒体。
  28. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    撮像レンズを通過した光学像を撮像するイメージセンサであって、撮像面が複数の領域に分割され、かつ、各分割領域に位相差検出画素を備えたイメージセンサの前記位相差検出画素の出力に基づいて、前記分割領域ごとの位相差を検出する機能と、
    前記分割領域ごとの輝度を検出する機能と、
    単位時間当たりの輝度の変化が第1閾値以上の前記分割領域を抽出して、動体が存在する前記分割領域を推定する機能と、
    前記分割領域ごとの位相差の変化量に基づいて、前記撮像レンズの焦点調節操作の有無を検出する機能であって、動体の存在が推定された前記分割領域を除外して、前記撮像レンズの焦点調節操作の有無を検出する機能と、
    を含む焦点調節操作検出機能をコンピュータに実現させる記録媒体。
  29. 画角の変化を検出する機能を更に備え、
    画角が一定に維持されている場合に、前記撮像レンズの焦点調節操作の有無を検出する、
    請求項25から28のいずれか1項に記載の記録媒体。
  30. 前記撮像レンズを介して撮像される領域全体の輝度を検出する機能と、
    前記撮像レンズを介して撮像される領域全体の輝度の変化に基づいて、画面の変化の有無を検出する機能であって、単位時間当たりの輝度の変化が第2閾値を超える場合に、画面が変化していると判定する機能と、
    を更に備え、画面の変化が検出されている間、前記撮像レンズの焦点調節操作の検出を中止する、
    請求項24から29のいずれか1項に記載の記録媒体。
JP2020502863A 2018-03-01 2019-01-23 焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置 Active JP7012142B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018036754 2018-03-01
JP2018036754 2018-03-01
PCT/JP2019/002046 WO2019167483A1 (ja) 2018-03-01 2019-01-23 焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置

Publications (2)

Publication Number Publication Date
JPWO2019167483A1 JPWO2019167483A1 (ja) 2021-03-11
JP7012142B2 true JP7012142B2 (ja) 2022-01-27

Family

ID=67805782

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020502863A Active JP7012142B2 (ja) 2018-03-01 2019-01-23 焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置

Country Status (3)

Country Link
US (1) US11317013B2 (ja)
JP (1) JP7012142B2 (ja)
WO (1) WO2019167483A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6997295B2 (ja) * 2018-03-30 2022-01-17 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
US11714259B2 (en) * 2018-07-20 2023-08-01 Nikon Corporation Focus detection device, imaging device, and interchangeable lens
KR20220036630A (ko) * 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템
JP2022188990A (ja) * 2021-06-10 2022-12-22 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2022188985A (ja) * 2021-06-10 2022-12-22 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004177476A (ja) 2002-11-25 2004-06-24 Fuji Photo Film Co Ltd カメラ
JP2012008522A (ja) 2010-02-19 2012-01-12 Sanyo Electric Co Ltd 制御装置および投写型映像表示装置
JP2013015751A (ja) 2011-07-06 2013-01-24 Ricoh Co Ltd 撮像装置
JP2015231192A (ja) 2014-06-06 2015-12-21 オリンパス株式会社 撮像装置および撮像装置の露光制御方法
JP2017182054A (ja) 2016-03-29 2017-10-05 パナソニックIpマネジメント株式会社 カメラ本体及び撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011166378A (ja) * 2010-02-08 2011-08-25 Canon Inc 撮像装置及びその制御方法
JP2012108243A (ja) 2010-11-16 2012-06-07 Canon Inc 撮像装置および撮像装置の制御方法
JP6465562B2 (ja) * 2014-04-30 2019-02-06 キヤノン株式会社 撮像装置及び撮像方法
JP2016148832A (ja) 2015-02-06 2016-08-18 パナソニックIpマネジメント株式会社 カメラ本体及び撮像装置
JP2017129788A (ja) * 2016-01-21 2017-07-27 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
US10200592B2 (en) 2016-03-29 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Camera body and imaging device
JP2018097253A (ja) * 2016-12-15 2018-06-21 オリンパス株式会社 焦点調節装置および焦点調節方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004177476A (ja) 2002-11-25 2004-06-24 Fuji Photo Film Co Ltd カメラ
JP2012008522A (ja) 2010-02-19 2012-01-12 Sanyo Electric Co Ltd 制御装置および投写型映像表示装置
JP2013015751A (ja) 2011-07-06 2013-01-24 Ricoh Co Ltd 撮像装置
JP2015231192A (ja) 2014-06-06 2015-12-21 オリンパス株式会社 撮像装置および撮像装置の露光制御方法
JP2017182054A (ja) 2016-03-29 2017-10-05 パナソニックIpマネジメント株式会社 カメラ本体及び撮像装置

Also Published As

Publication number Publication date
US11317013B2 (en) 2022-04-26
WO2019167483A1 (ja) 2019-09-06
JPWO2019167483A1 (ja) 2021-03-11
US20200404156A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
JP7012142B2 (ja) 焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置
EP1564988B1 (en) Imaging apparatus, a focus control method and a program for executing such a method
US10237480B2 (en) Apparatus and method for storing moving image portions
US8447179B2 (en) Method and apparatus for applying multi-autofocusing (AF) using contrast AF
US10931865B2 (en) Focus adjustment function of imaging device, focus adjustment function of imaging device main body, and focus adjustment method of imaging device
US11054721B2 (en) Imaging device, focusing assistance method thereof, and focusing assistance program thereof
JP5667304B2 (ja) 立体撮像装置
JP6856761B2 (ja) 撮像装置、撮像装置本体及び撮像装置の合焦制御方法
JP4565549B2 (ja) 撮像装置およびその合焦制御方法
JP6960755B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US20110032390A1 (en) Digital photographing apparatus and moving picture capturing method performed by the same
CN111771373B (zh) 摄像装置、曝光期间变焦摄影方法及记录介质
US9525815B2 (en) Imaging apparatus, method for controlling the same, and recording medium to control light emission
JP2005215495A (ja) 画像撮影装置
JPH06205258A (ja) 合焦位置検出装置
JP2016006463A (ja) 撮像装置およびその制御方法
JPH04296175A (ja) カメラ装置
JP2013242406A (ja) 撮像装置およびその制御方法
JP2016134811A (ja) 撮像装置
JP2012044299A (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20200826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220117

R150 Certificate of patent or registration of utility model

Ref document number: 7012142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150