JP6476349B2 - 撮像装置、合焦制御方法、及び、合焦制御プログラム - Google Patents

撮像装置、合焦制御方法、及び、合焦制御プログラム Download PDF

Info

Publication number
JP6476349B2
JP6476349B2 JP2018520999A JP2018520999A JP6476349B2 JP 6476349 B2 JP6476349 B2 JP 6476349B2 JP 2018520999 A JP2018520999 A JP 2018520999A JP 2018520999 A JP2018520999 A JP 2018520999A JP 6476349 B2 JP6476349 B2 JP 6476349B2
Authority
JP
Japan
Prior art keywords
focus control
phase difference
contrast
focus
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018520999A
Other languages
English (en)
Other versions
JPWO2017209252A1 (ja
Inventor
内田　亮宏
亮宏 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6476349B2 publication Critical patent/JP6476349B2/ja
Publication of JPWO2017209252A1 publication Critical patent/JPWO2017209252A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G02B7/346—Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Description

本発明は、撮像装置、合焦制御方法、及び、合焦制御プログラムに関する。
近年、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子の高解像度化に伴い、デジタルスチルカメラ、デジタルビデオカメラ、又は、スマートフォン等の撮像機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を撮像装置と称する。
これら撮像装置では、主要な被写体に焦点を合わせる合焦制御方法として、コントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ、自動合焦）方式又は位相差ＡＦ方式が採用されている。
特許文献１及び特許文献２には、コントラストＡＦ方式によって合焦制御を行う撮像装置が記載されている。
特許文献３には、位相差ＡＦ方式によって算出したデフォーカス量が閾値以下となった場合に、コントラストＡＦ方式による合焦制御に移行する撮像装置が記載されている。
特許文献４には、被写体が被写界深度内に入るまでは位相差ＡＦ方式によって合焦制御を行い、その後、コントラストＡＦ方式による合焦制御に移行する撮像装置が記載されている。
特許文献５には、位相差ＡＦ方式による合焦制御を行うモードと、位相差ＡＦ方式及びコントラストＡＦ方式を組み合わせた合焦制御とコントラストＡＦ方式による合焦制御とを選択的に行うモードと、を設定可能な撮像装置が記載されている。
日本国特開２０１１−２１５４８２号公報 日本国特開２０１４−１４９５４０号公報 日本国特開２０１３−０４１０７５号公報 日本国特開２００６−３５０１８８号公報 日本国特開２００７−１７９０２９号公報
位相差ＡＦ方式とコントラストＡＦ方式には一長一短があるため、位相差ＡＦ方式とコントラストＡＦ方式を使い分けることで、合焦精度を向上させることができる。
特許文献１、２に記載の撮像装置は、コントラストＡＦ方式のみで合焦制御を行うため、コントラストＡＦ方式が苦手とする被写体を撮像する場合には合焦精度が低下する。また、高速で動く被写体に合焦し続けるような場合には向かない。
特許文献３、４に記載の撮像装置は、位相差ＡＦ方式とコントラストＡＦ方式とを組み合わせて合焦制御を行うため、位相差ＡＦ方式のみで合焦制御を行う場合と比較すると、ＡＦ完了までの時間が長くなる。このため、高速で動く被写体に合焦し続けるような場合には向かない。
特許文献５に記載の撮像装置は、コントラストＡＦ方式による合焦制御と、コントラストＡＦ方式及び位相差ＡＦ方式を組み合わせた合焦制御とを選択的に行うモードが設定された場合には、高速で動く被写体に合焦し続ける撮像シーンでは合焦精度が低下する。また、位相差ＡＦ方式による合焦制御を行うモードが設定された場合には、位相差ＡＦ方式が苦手とする被写体を撮像する場合に合焦精度が低下する。
本発明は、上記事情に鑑みてなされたものであり、高速かつ高精度の合焦制御を実現することのできる撮像装置、合焦制御方法、及び、合焦制御プログラムを提供することを目的とする。
本発明の撮像装置は、フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子と、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、前記一対の光束の他方に応じた信号を検出する第２の信号検出部と、前記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行うモードにおいて、前記第１の信号検出部の検出信号及び前記第２の信号検出部の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、前記撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御部と、を備え、前記合焦制御部は、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には前記コントラストＡＦ方式による合焦制御を行い、前記合焦制御部は、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記信頼度が前記閾値以下となっている状態がＮ回未満続いておりかつ前記信頼度が前記閾値以下となってからの経過時間が時間閾値に達した場合には、前記コントラストＡＦ方式による合焦制御を行う、ものである。
本発明の撮像装置は、フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子と、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、前記一対の光束の他方に応じた信号を検出する第２の信号検出部と、前記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行うモードにおいて、前記第１の信号検出部の検出信号及び前記第２の信号検出部の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、前記撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御部と、重力方向を検出する検出部と、を備え、前記合焦制御部は、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には前記コントラストＡＦ方式による合焦制御を行い、前記合焦制御部は、前記コントラストＡＦ方式による合焦制御を行う場合の合焦対象とする第一の被写体エリアを、前記位相差ＡＦ方式による合焦制御において合焦対象とする第二の被写体エリアを含みかつ前記第二の被写体エリアよりも大きいエリアに設定し、前記合焦制御部は、前記第二の被写体エリアの第一の方向の幅と前記第一の被写体エリアの前記第一の方向の幅との差を、前記第二の被写体エリアの前記第一の方向に直交する第二の方向の幅と前記第一の被写体エリアの前記第二の方向の幅との差よりも大きくし、前記合焦制御部は、前記重力方向に直交する方向を前記第一の方向として前記第一の被写体エリアを設定する、ものである。
本発明の合焦制御方法は、フォーカスレンズを含む撮像光学系の前記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行う場合に、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部の検出信号及び前記一対の光束の他方に応じた信号を検出する第２の信号検出部前の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、前記撮像光学系を通して被写体を撮像する撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御ステップを備え、前記合焦制御ステップでは、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には前記コントラストＡＦ方式による合焦制御を行い、前記合焦制御ステップでは、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記信頼度が前記閾値以下となっている状態がＮ回未満続いておりかつ前記信頼度が前記閾値以下となってからの経過時間が時間閾値に達した場合には、前記コントラストＡＦ方式による合焦制御を行う、ものである。
本発明の合焦制御方法は、フォーカスレンズを含む撮像光学系の前記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行う場合に、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部の検出信号及び前記一対の光束の他方に応じた信号を検出する第２の信号検出部前の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、前記撮像光学系を通して被写体を撮像する撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御ステップと、重力方向を検出する検出ステップと、を備え、前記合焦制御ステップでは、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には前記コントラストＡＦ方式による合焦制御を行い、前記合焦制御ステップでは、前記コントラストＡＦ方式による合焦制御を行う場合の合焦対象とする第一の被写体エリアを、前記位相差ＡＦ方式による合焦制御において合焦対象とする第二の被写体エリアを含みかつ前記第二の被写体エリアよりも大きいエリアに設定し、前記合焦制御ステップでは、前記第二の被写体エリアの第一の方向の幅と前記第一の被写体エリアの前記第一の方向の幅との差を、前記第二の被写体エリアの前記第一の方向に直交する第二の方向の幅と前記第一の被写体エリアの前記第二の方向の幅との差よりも大きくし、前記合焦制御ステップでは、前記重力方向に直交する方向を前記第一の方向として前記第一の被写体エリアを設定する、ものである。
本発明の合焦制御プログラムは、フォーカスレンズを含む撮像光学系の前記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行う場合に、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部の検出信号及び前記一対の光束の他方に応じた信号を検出する第２の信号検出部前の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、前記撮像光学系を通して被写体を撮像する撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御ステップをコンピュータに実行させるための合焦制御プログラムであって、前記合焦制御ステップでは、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には前記コントラストＡＦ方式による合焦制御を行い、前記合焦制御ステップでは、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記信頼度が前記閾値以下となっている状態がＮ回未満続いておりかつ前記信頼度が前記閾値以下となってからの経過時間が時間閾値に達した場合には、前記コントラストＡＦ方式による合焦制御を行う、ものである。
本発明の合焦制御プログラムは、フォーカスレンズを含む撮像光学系の前記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行う場合に、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部の検出信号及び前記一対の光束の他方に応じた信号を検出する第２の信号検出部前の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、前記撮像光学系を通して被写体を撮像する撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御ステップと、重力方向を検出する検出ステップと、をコンピュータに実行させるための合焦制御プログラムであって、前記合焦制御ステップでは、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には前記コントラストＡＦ方式による合焦制御を行い、前記合焦制御ステップでは、前記コントラストＡＦ方式による合焦制御を行う場合の合焦対象とする第一の被写体エリアを、前記位相差ＡＦ方式による合焦制御において合焦対象とする第二の被写体エリアを含みかつ前記第二の被写体エリアよりも大きいエリアに設定し、前記合焦制御ステップでは、前記第二の被写体エリアの第一の方向の幅と前記第一の被写体エリアの前記第一の方向の幅との差を、前記第二の被写体エリアの前記第一の方向に直交する第二の方向の幅と前記第一の被写体エリアの前記第二の方向の幅との差よりも大きくし、前記合焦制御ステップでは、前記重力方向に直交する方向を前記第一の方向として前記第一の被写体エリアを設定する、ものである。
本発明によれば、高速かつ高精度の合焦制御を実現することのできる撮像装置、合焦制御方法、及び、合焦制御プログラムを提供することができる。
本発明の撮像装置の一実施形態であるデジタルカメラの概略構成を示す図である。 図１に示すデジタルカメラに搭載される撮像素子５の構成を示す平面模式図である。 図２に示す１つのＡＦエリア５３の部分拡大図である。 図３に示す任意のペア行を構成する位相差検出用画素を示した図である。 位相差検出用画素５２Ａの断面構成を示す図である。 撮像素子５に含まれる全ての画素を撮像用画素とし、各撮像用画素を２つに分割した構成を示す図である。 図１に示すデジタルカメラのコンティニュアスＡＦモード時の動作を説明するためのフローチャートである。 コントラストＡＦエリアの設定例を説明するための模式図である。 図１に示すデジタルカメラのコンティニュアスＡＦモード時の動作の変形例を説明するためのフローチャートである。 コントラストＡＦエリアの別の設定例を説明するための模式図である。 コントラストＡＦエリアの更に別の設定例を説明するための模式図である。 図１に示すデジタルカメラの変形例を示す図である。 図１２に示すデジタルカメラのコンティニュアスＡＦモード時の動作を説明するためのフローチャートである。 図１２に示すデジタルカメラのコントラストＡＦエリアの設定例を説明するための模式図である。 図１２に示すデジタルカメラのコントラストＡＦエリアの設定例を説明するための模式図である。 本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。 図１６に示すスマートフォン２００の構成を示すブロック図である。
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の撮像装置の一実施形態であるデジタルカメラの概略構成を示す図である。
図１に示すデジタルカメラは、撮像レンズ１と、絞り２と、レンズ制御部４と、レンズ駆動部８と、絞り駆動部９と、を有するレンズ装置４０を備える。
本実施形態において、レンズ装置４０は、デジタルカメラ本体に着脱可能であってもよいし、デジタルカメラ本体に固定されたものであってもよい。
撮像レンズ１と絞り２は撮像光学系を構成し、撮像光学系はフォーカスレンズを少なくとも含む。このフォーカスレンズは、撮像光学系の焦点位置を調節するためのレンズであり、単一のレンズ又は複数のレンズで構成される。フォーカスレンズが撮像光学系の光軸方向に移動することで焦点位置の調節が行われる。
なお、フォーカスレンズとしては、レンズの曲面を可変制御して焦点位置を変えることのできる液体レンズを用いてもよい。
レンズ装置４０のレンズ制御部４は、デジタルカメラ本体のシステム制御部１１と有線又は無線によって通信可能に構成される。
レンズ制御部４は、システム制御部１１からの指令にしたがい、レンズ駆動部８を介して撮像レンズ１に含まれるフォーカスレンズを駆動したり、絞り駆動部９を介して絞り２を駆動したりする。
デジタルカメラ本体は、撮像光学系を通して被写体を撮像するＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等の撮像素子５と、撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、アナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するアナログデジタル変換回路７と、撮像素子駆動部１０と、全体を統括制御するシステム制御部１１と、操作部１４と、を備える。
アナログ信号処理部６、アナログデジタル変換回路７、及び、撮像素子駆動部１０は、システム制御部１１によって制御される。
システム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、撮像光学系を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。
システム制御部１１は、各種のプロセッサと、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリとにより構成される。
各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
システム制御部１１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
システム制御部１１は、内蔵するＲＯＭに格納された合焦制御プログラムを含むプログラムを実行することで、後述する各機能を実現する。
さらに、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、アナログデジタル変換回路７から出力される撮像画像信号に対し信号処理を施して撮像画像データを生成するデジタル信号処理部１７と、コントラストＡＦ方式により合焦位置を決定するコントラストＡＦ処理部１８と、位相差ＡＦ方式によりデフォーカス量を算出する位相差ＡＦ処理部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された表示部２３が接続される表示制御部２２と、を備える。
メモリ制御部１５、デジタル信号処理部１７、コントラストＡＦ処理部１８、位相差ＡＦ処理部１９、外部メモリ制御部２０、及び、表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。コントラストＡＦ処理部１８と位相差ＡＦ処理部１９は、システム制御部１１のプロセッサが合焦制御プログラムを実行し各種ハードゥエアと協働することで形成される機能ブロックである。
図２は、図１に示すデジタルカメラに搭載される撮像素子５の構成を示す平面模式図である。
撮像素子５は、行方向Ｘと、行方向Ｘに直交する列方向Ｙに二次元状に配列された多数の画素が配置された受光面５０を有する。
受光面５０には、焦点を合わせる対象となるエリア（焦点を合わせる対象となる被写体像が結像されるエリア）である焦点検出エリア（以下、ＡＦエリアという）５３が図２の例では６３個設けられている。
図１に示すデジタルカメラでは、図２に示す６３個のＡＦエリア５３の中から１つ又は連続して並ぶ複数が選択され、選択されたＡＦエリア５３により撮像されている被写体に対して焦点を合わせる合焦制御が行われる。
ＡＦエリア５３は、画素として撮像用画素と位相差検出用画素とを含むエリアである。受光面５０のうちＡＦエリア５３を除く部分には、撮像用画素だけが配置される。
図３は、図２に示す１つのＡＦエリア５３の部分拡大図である。
ＡＦエリア５３には、画素５１（図中正方形のブロック）が二次元状に配列されている。各画素５１は、フォトダイオード等の光電変換部と、この光電変換部上方に形成されたカラーフィルタとを含む。なお、各画素５１は、カラーフィルタを用いずに、フォトダイオードの構造によって分光を行う構成であってもよい。
図３では、赤色光を透過するカラーフィルタ（Ｒフィルタ）を含む画素５１（Ｒ画素５１）には“Ｒ”の文字が付されている。
図３では、緑色光を透過するカラーフィルタ（Ｇフィルタ）を含む画素５１（Ｇ画素５１）には“Ｇ”の文字が付されている。
図３では、青色光を透過するカラーフィルタ（Ｂフィルタ）を含む画素５１（Ｂ画素５１）には“Ｂ”の文字が付されている。カラーフィルタの配列は受光面５０全体でベイヤ配列となっている。
ＡＦエリア５３では、Ｇ画素５１の一部（図３中の網掛けを付した画素）が位相差検出用画素５２Ａ，５２Ｂとなっている。図３の例では、Ｒ画素５１とＧ画素５１を含む画素行のうちの任意の画素行における各Ｇ画素５１が位相差検出用画素５２Ａとなっており、この各Ｇ画素５１に対して列方向Ｙに最も近い同色のＧ画素５１が位相差検出用画素５２Ｂとなっている。
位相差検出用画素５２Ａと、これに対して列方向Ｙに最も近い同色の位相差検出用画素５２Ｂとがペアを構成している。
図３中の上から３行目の画素行にある位相差検出用画素５２Ａと、図３中の上から５行目の画素行にある位相差検出用画素５２Ｂとにより、行方向Ｘに配列された複数のペアにより構成されるペア行ＰＬ１が構成される。
図３中の上から７行目の画素行にある位相差検出用画素５２Ａと、図３中の上から９行目の画素行にある位相差検出用画素５２Ｂとにより、行方向Ｘに配列された複数のペアにより構成されるペア行ＰＬ２が構成される。
図３中の上から１１行目の画素行にある位相差検出用画素５２Ａと、図３中の上から１３行目の画素行にある位相差検出用画素５２Ｂとにより、行方向Ｘに配列された複数のペアにより構成されるペア行ＰＬ３が構成される。
このように、ＡＦエリア５３には、複数のペア行が列方向Ｙに配列されている。
図４は、図３に示す任意のペア行を構成する位相差検出用画素を示した図である。
位相差検出用画素５２Ａは、行方向Ｘに２分割された撮像レンズ１の瞳領域の一方の分割領域を通過した光束を受光し受光量に応じた信号を検出する第一の信号検出部である。
位相差検出用画素５２Ｂは、上記の瞳領域の他方の分割領域を通過した光束を受光し受光量に応じた信号を検出する第二の信号検出部である。
なお、ＡＦエリア５３において、位相差検出用画素５２Ａ，５２Ｂ以外の複数の画素５１は撮像用画素である。この撮像用画素は、撮像レンズ１の瞳領域の上記２つの分割領域の双方を通過した光束を受光し受光量に応じた信号を検出する。
各画素５１の光電変換部上方には遮光膜が設けられ、この遮光膜には、光電変換部の受光面積を規定する開口が形成されている。
撮像用画素の開口の中心は、撮像用画素の光電変換部の中心と一致している。これに対し、位相差検出用画素５２Ａの開口（図４の白抜き部分）の中心は、位相差検出用画素５２Ａの光電変換部の中心に対し右側に偏心している。
また、位相差検出用画素５２Ｂの開口（図４の白抜き部分）の中心は、位相差検出用画素５２Ｂの光電変換部の中心に対して左側に偏心している。
図５は、位相差検出用画素５２Ａの断面構成を示す図である。図５に示すように、位相差検出用画素５２Ａは、開口ｃが光電変換部ＰＤに対して右に偏心している。
図５に示すように、光電変換部ＰＤの片側を遮光膜によって覆う事によって、遮光膜で覆った方向と逆の方向から入射した光を選択的に遮光することができる。
この構成により、任意のペア行を構成する位相差検出用画素５２Ａからなる画素群と、このペア行を構成する位相差検出用画素５２Ｂからなる画素群とによって、これら２つの画素群の各々によって撮像される像における行方向Ｘの位相差を検出することができる。
なお、撮像素子５の画素構成は、図２〜図５に示した構成に限らない。
例えば、撮像素子５に含まれる全ての画素を撮像用画素とし、各撮像用画素を行方向Ｘに２分割して、一方の分割部分を位相差検出用画素５２Ａとし、他方の分割部分を位相差検出用画素５２Ｂとした構成であってもよい。
図６は、撮像素子５に含まれる全ての画素５１を撮像用画素とし、各画素５１を２つに分割した構成を示す図である。
図６の構成では、撮像素子５においてＲを付した画素５１を２つに分割し、分割した２つをそれぞれ位相差検出用画素ｒ１と位相差検出用画素ｒ２としている。
また、撮像素子５においてＧを付した画素５１を２つに分割し、分割した２つをそれぞれ位相差検出用画素ｇ１と位相差検出用画素ｇ２としている。
さらに、撮像素子５においてＢを付した画素５１を２つに分割し、分割した２つをそれぞれ位相差検出用画素ｂ１と位相差検出用画素ｂ２としている。
この構成では、位相差検出用画素ｒ１，ｇ１，ｂ１がそれぞれ第一の信号検出部となり、位相差検出用画素ｒ２，ｇ２，ｂ２がそれぞれ第二の信号検出部となる。また、１つの画素５１に含まれる２つの位相差検出用画素がペアを構成する。
図６の構成例では、１つの画素５１に含まれる第一の信号検出部と第二の信号検出部の信号を加算すると、位相差のない通常の撮像用信号を得られる。つまり、図６の構成では、全ての画素を、位相差検出用画素と撮像用画素との両方として用いることができる。また、図６の構成例では、ＡＦエリアのサイズ及び形状の設定の自由度を向上させることができる。
システム制御部１１は、位相差ＡＦ方式による合焦制御と、コントラスト方式による合焦制御とのいずれかを選択的に行う。システム制御部１１は合焦制御部を構成する。
位相差ＡＦ処理部１９は、システム制御部１１の指示に応じて、６３個のＡＦエリア５３の中からユーザ操作等により選択された１つ又は複数のＡＦエリア５３（以下、位相差ＡＦエリアという）にある位相差検出用画素５２Ａ及び位相差検出用画素５２Ｂから読み出される検出信号群を用いて、上記一対の光束によって形成される２つの像の相対的な位置ずれ量である位相差を算出する。位相差ＡＦエリアは第二の被写体エリアを構成する。
そして、位相差ＡＦ処理部１９は、この位相差に基づいて、撮像レンズ１の焦点調節状態、ここでは合焦状態から離れている量と合焦状態から離れている方向、すなわちデフォーカス量を求める。
システム制御部１１は、このデフォーカス量に基づいてフォーカスレンズを駆動することで、相関演算の結果を利用した位相差ＡＦ方式による合焦制御を行う。
コントラストＡＦ処理部１８は、撮像素子５によって撮像される撮像画像を解析し、コントラストＡＦ方式によって撮像レンズ１の合焦位置を決定する。
即ち、コントラストＡＦ処理部１８は、システム制御部１１の制御によって撮像レンズ１のフォーカスレンズ位置を動かしながら、動かした位置（複数の位置）毎に得られる撮像画像のコントラスト（明暗差）を求める。そして、コントラストが最大となるフォーカスレンズ位置を合焦位置として決定する。
システム制御部１１は、コントラストＡＦ処理部１８により決められた合焦位置に基づいてフォーカスレンズを駆動することで、撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御を行う。
以上のように構成されたデジタルカメラは、主要被写体に対して焦点を合わせる合焦制御を複数回連続して行うコンティニュアスＡＦモードを搭載している。以下、コンティニュアスＡＦモード時のデジタルカメラの動作を説明する。
図７は、図１に示すデジタルカメラのコンティニュアスＡＦモード時の動作を説明するためのフローチャートである。
まず、デジタルカメラの利用者により、６３個のＡＦエリア５３から任意のもの（以下では、１つのＡＦエリア５３とする）が選択された状態で操作部１４が操作されて、ＡＦを行う指示が行われる。
この指示に応じて、位相差ＡＦ処理部１９は、例えば、位相差ＡＦエリアに含まれる全てのペア行に含まれる行方向Ｘの位置が同じ位相差検出用画素５２Ａの検出信号の平均値と、この全てのペア行に含まれる行方向Ｘの位置が同じ位相差検出用画素５２Ｂの検出信号の平均値同士の相関演算を行って相関値を算出し、この相関値に基づいて位相差を算出し、この位相差に基づいてデフォーカス量を算出する（ステップＳ１）。
次に、システム制御部１１は、ステップＳ１で算出されたデフォーカス量の信頼度、すなわち、位相差ＡＦ方式による合焦制御の信頼度を判定する（ステップＳ２）。
システム制御部１１は、例えば、ステップＳ１で算出された相関値を縦軸とし、この相関値を求める対象とした２つの検出信号群の行方向Ｘへのずらし量を横軸としたグラフにおいて、極小点が複数ある場合又は極小点が存在しない場合等には、位相差ＡＦ方式による合焦制御の信頼度は閾値ＴＨ以下である判定する。
一方、システム制御部１１は、上記のグラフにおいて１つのみ極小点が存在し、かつ、この極小点における相関値が予め決められた値を下回る場合等には、位相差ＡＦ方式による合焦制御の信頼度は閾値ＴＨを超えると判定する。この信頼度の判定方法は他の周知の方法を採用することもできる。
システム制御部１１は、位相差ＡＦ方式による合焦制御の信頼度が閾値ＴＨを超えた場合には（ステップＳ２：ＹＥＳ）、内蔵するカウンタのカウント値を初期値（＝０）にリセットする（ステップＳ３）。
そして、システム制御部１１は、ステップＳ１で算出されたデフォーカス量に基づいてフォーカスレンズを駆動し（位相差ＡＦ方式による合焦制御を行い）、合焦位置にフォーカスレンズを移動させる（ステップＳ４）。
システム制御部１１は、位相差ＡＦ方式による合焦制御を終えた後はステップＳ１に処理を戻し、次のＡＦのための動作に移行する。
システム制御部１１は、位相差ＡＦ方式による合焦制御の信頼度が閾値ＴＨ以下であると判定した場合には（ステップＳ２：ＮＯ）、内蔵するカウンタのカウント値を１つ増やし（ステップＳ５）、その後、カウント値がＮに到達したか否かを判定する（ステップＳ６）。なお、Ｎは、２以上の任意の自然数である。
システム制御部１１は、カウント値がＮに到達していない場合（ステップＳ６：ＮＯ）にはステップＳ４の処理を行う。
システム制御部１１は、カウント値がＮに到達していた場合（ステップＳ６：ＹＥＳ）には、位相差ＡＦエリアに基づいて、コントラストＡＦ方式による合焦制御を行う場合の合焦対象とする被写体が結像されるエリアであるコントラストＡＦエリアを設定する（ステップＳ７）。
コントラストＡＦエリアは第一の被写体エリアを構成する。
図８は、コントラストＡＦエリアの設定例を説明するための模式図である。
位相差ＡＦエリアが、例えば図８（ａ）に示すように、６３個のＡＦエリア５３のうちの中央にあるＡＦエリア５３（図中太枠で囲まれたもの）である場合を想定する。
この場合、システム制御部１１は、ステップＳ７において、図８（ｂ）に示すように、中央のＡＦエリア５３と、このＡＦエリア５３の周囲にある８つのＡＦエリア５３（図中の破線枠で囲まれたもの）とを含む９つのＡＦエリア５３によって囲まれる領域（９つのＡＦエリア５３と、この９つのＡＦエリア５３同士の隙間とを合わせた領域）をコントラストＡＦエリアとして設定する。
コントラストＡＦエリアは、位相差ＡＦエリアを含み、かつ、位相差ＡＦエリアよりも大きいエリアであればよく、図８に示した設定例に限定されるものではない。
ステップＳ７の後、コントラストＡＦ処理部１８は、コントラストＡＦエリアによって撮像される撮像画像のコントラストに基づいて合焦位置を決定する。そして、システム制御部１１は、この合焦位置にフォーカスレンズを移動させてコントラストＡＦ方式による合焦制御を行う（ステップＳ８）。
コントラストＡＦ方式による合焦制御を行った後、システム制御部１１は、コントラストＡＦエリアの設定及び内蔵するカウンタのカウント値をそれぞれリセットし（ステップＳ９）、その後、ステップＳ１に処理を戻して次のＡＦのための動作に移行する。
以上のように、図１に示すデジタルカメラによれば、位相差ＡＦ方式による合焦制御の信頼度が閾値ＴＨを超える状態では、位相差ＡＦ方式による合焦制御が継続して行われる。このため、高速で動く被写体であっても焦点を合わせ続けることができる。
一方、位相差ＡＦ方式による合焦制御の信頼度が閾値ＴＨ以下となっても、この状態がＮ回続いて発生していなければ、位相差ＡＦ方式による合焦制御が継続して行われる。
このため、高速で動く被写体であっても焦点を合わせ続けることができる。位相差ＡＦ方式による合焦制御は、信頼度が低い状態で実施されても、合焦状態から大きく外れる（大ボケになる）可能性は低い。したがって、被写体に対する追従性と合焦精度とのバランスを保つことができる。
また、図１に示すデジタルカメラによれば、コンティニュアスＡＦモードにおいて、位相差ＡＦ方式による合焦制御の信頼度が閾値ＴＨ以下となる状態がＮ回続いた場合に、コントラストＡＦ方式による合焦制御が初めて行われる。
このように、位相差ＡＦ方式による合焦制御の信頼度が低い状態がある程度の期間続いたときに初めてコントラストＡＦ方式による合焦制御が行われることで、被写体に対する追従性と合焦精度とのバランスを保つことができる。
プロのカメラマンは、コンティニュアスＡＦが行われている場合に、所望の被写体に対してうまく焦点が合わなくなると、その時点から２〜３秒程度の時間は待機し、それでも焦点が合わない場合にはマニュアルＡＦ等に切り換える等の対応をとる。
一方、図７のステップＳ１の処理の開始からステップＳ２の処理の終了までの時間は短い場合で０．２秒程度である。したがって、これらを考慮すると、Ｎの値は１０〜１５程度に設定されているのが好ましい。
なお、Ｎの値は、操作部１４を介してユーザにより任意の値が設定できる構成であってもよい。この構成によれば、ユーザの好みに合わせたコンティニュアスＡＦが可能となる。
また、図１に示すデジタルカメラによれば、コンティニュアスＡＦモード中は、位相差ＡＦ方式による合焦制御が行われる確率が、コントラストＡＦ方式による合焦制御が行われる確率よりも高くなる。このため、低消費電力化が可能となる。
また、図１に示すデジタルカメラによれば、コントラストＡＦ方式による合焦制御を行う場合には、位相差ＡＦ方式による合焦制御を行う場合に使用されていた位相差ＡＦエリアよりも大きいコントラストＡＦエリアが設定される。
このように、大きなサイズのコントラストＡＦエリアが設定されることで、コントラストＡＦ方式による合焦精度を向上させることができる。
なお、システム制御部１１は、ステップＳ８においてコントラストＡＦ処理部１８により合焦位置が一意に決定されなかった場合には、コントラストＡＦ方式による合焦制御を行うことなく、合焦位置が一意に決定されるまでコントラストＡＦエリアの拡大及び合焦位置の決定の処理を繰り返し行う。
そして、システム制御部１１は、合焦位置が一意に決定された時点で、この合焦位置にフォーカスレンズを移動させてステップＳ１に処理を戻してもよい。このようにすることで、合焦精度を向上させることができる。
また、図７において、ステップＳ７の処理は必須ではない。この場合は、ステップＳ６の判定がＹＥＳとなった場合にステップＳ８の処理が行われ、このステップＳ８において、コントラストＡＦ処理部１８は、位相差ＡＦエリアにより撮像される撮像画像のコントラストに基づいて合焦位置を決定すればよい。
また、システム制御部１１は、上記のＮの数を可変制御してもよい。
例えば、図１に示すデジタルカメラが、同じ被写体に焦点を長い時間合わせて撮像することを想定した第一モード（例えば、走行中の電車又は車を撮像することを想定したモード）と、焦点を合わせる被写体を頻繁に切り替えて撮像することを想定した第二モード（例えば、多人数で行う球技等のスポーツ風景の撮像を想定したモード）を設定可能であるものとする。
この場合、システム制御部１１は、第一モードに設定されたときのＮの値を、第二モードに設定されたときのＮの値よりも大きくする。
焦点を合わせる被写体を頻繁に切り替える場合には、焦点を合わせるべき被写体が切り替わった場合に、合焦状態から大きく外れる可能性が高い。このため、第二モードでは、Ｎの値を小さくしてコントラストＡＦ方式による合焦制御が実施されやすくすることで、撮像画像品質を向上させることができる。
一方、焦点を合わせる被写体がほとんど変わらない第一モードでは、Ｎの値を大きくして、位相差ＡＦ方式による合焦制御が実施されやすくすることで、高速で動く被写体に焦点を高精度に合わせることができ、撮像画像品質を向上させることができる。
以下では、図１に示すデジタルカメラの変形例を説明する。
（第一の変形例）
図９は、図１に示すデジタルカメラのコンティニュアスＡＦモード時の動作の変形例を説明するためのフローチャートである。図９において図７に示した処理と同じものには同一符号を付して説明を省略する。
システム制御部１１は、ステップＳ６の判定がＮＯであった場合にはステップＳ１０の処理を行う。
ステップＳ１０において、システム制御部１１は、カウント値が１になった時点（位相差ＡＦ方式による合焦制御の信頼度が閾値ＴＨ以下となった時点）から現時点までの経過時間を算出し、この経過時間が時間閾値に到達したか否かを判定する。
システム制御部１１は、経過時間が時間閾値に到達していないと判定した場合（ステップＳ１０：ＮＯ）には、ステップＳ４の処理を行う。
一方、システム制御部１１は、経過時間が時間閾値に到達していると判定した場合（ステップＳ１０：ＹＥＳ）には、ステップＳ７以降の処理を行う。
以上のように、第一の変形例によれば、位相差ＡＦ方式による合焦制御の信頼度が閾値ＴＨ以下となる状態がＮ回続いていない場合でも、この信頼度が最初に閾値ＴＨ以下となってからの経過時間が時間閾値に到達している場合には、コントラストＡＦ方式による合焦制御が行われる。
このように、カウント値の値だけでなく、カウント値＝１になってからの経過時間も加味してコントラストＡＦ方式による合焦制御を行うか否かを決定することで、暗い環境で撮像を行う場合等のように、位相差ＡＦ方式による合焦制御が完了するまでの時間が増加する状況であっても、コントラストＡＦ方式による合焦制御がなかなか行われなくなるという事態を防ぐことができる。
したがって、暗い環境で撮像を行う場合であっても、合焦精度を向上させて撮像画像品質を向上させることができる。
（第二の変形例）
システム制御部１１は、コントラストＡＦエリアの行方向Ｘの幅と位相差ＡＦエリアの行方向Ｘの幅との差が、コントラストＡＦエリアの列方向Ｙの幅と位相差ＡＦエリアの列方向Ｙの幅との差よりも大きくなるようにコントラストＡＦエリアを設定することが好ましい。
この変形例では、行方向Ｘが第一の方向を構成し、列方向Ｙが第二の方向を構成する。
なお、位相差ＡＦエリアが複数のＡＦエリア５３によって構成される場合、位相差ＡＦエリアの任意の方向の幅とは、この複数のＡＦエリア５３及びこの複数のＡＦエリア５３同士の隙間を合わせた領域におけるこの任意の方向の幅のことを言う。
図１０は、コントラストＡＦエリアの別の設定例を説明するための模式図である。
位相差ＡＦエリアが、例えば図１０（ａ）に示すように、６３個のＡＦエリア５３のうちの中央にあるＡＦエリア５３（図中太枠で囲まれたもの）である場合を想定する。
この場合、システム制御部１１は、図７又は図９のステップＳ７において、図１０（ｂ）に示すように、中央のＡＦエリア５３と、このＡＦエリア５３の行方向Ｘの両隣にある２つのＡＦエリア５３及びこの２つのＡＦエリア５３の各々の隣にあるＡＦエリア５３を含む４つのＡＦエリア５３（図中の破線枠で囲まれたもの）と、を含む５つのＡＦエリア５３で囲まれる領域をコントラストＡＦエリアとして設定する。
図１１は、コントラストＡＦエリアの更に別の設定例を説明するための模式図である。
位相差ＡＦエリアが、例えば図１１（ａ）に示すように、６３個のＡＦエリア５３のうちの中央にあるＡＦエリア５３（図中太枠で囲まれたもの）である場合を想定する。
この場合、システム制御部１１は、図７又は図９のステップＳ７において、図１１（ｂ）に示すように、中央のＡＦエリア５３と、このＡＦエリア５３の周囲にある１４個のＡＦエリア５３（図中の破線枠で囲まれたもの）と、を含む１５個のＡＦエリア５３で囲まれる領域をコントラストＡＦエリアとして設定する。
デジタルカメラの姿勢が、列方向Ｙに対して重力方向が平行になる姿勢である、いわゆる横撮りの場合、撮像素子５によって撮像される被写体までの距離は、列方向Ｙにおいては距離変化が大きくなり、行方向Ｘにおいては距離変化が小さくなる。
このため、図１０及び図１１に示すように、コントラストＡＦエリアが、被写体距離の変化が相対的に小さい行方向Ｘに長手の形状に設定されることで、コントラストＡＦエリアによって撮像される被写体に、主要被写体と大きく異なる距離にある被写体が含まれる可能性を減らすことができる。したがって、コントラストＡＦ方式による合焦制御の精度を向上させることができる。
（第三の変形例）
図１２は、図１に示すデジタルカメラの変形例を示す図である。図１２に示すデジタルカメラは、加速度センサ２６が追加された点を除いては図１と同じ構成である。
加速度センサ２６は、たとえば、ｘ軸、ｙ軸、ｚ軸の３軸方向の加速度を検出するセンサであり、このセンサの出力信号によって、重力方向を検出することができる。
システム制御部１１は、加速度センサ２６の出力信号に基づいて重力方向を検出する。システム制御部１１は検出部を構成する。
図１３は、図１２に示すデジタルカメラのコンティニュアスＡＦモード時の動作を説明するためのフローチャートである。図１３において図９と同じ処理には同一符号を付して説明を省略する。
ステップＳ１０の判定がＹＥＳ又はステップＳ６の判定がＹＥＳのとき、システム制御部１１は、加速度センサ２６の出力信号に基づいて重力方向を検出する（ステップＳ１１）。
そして、システム制御部１１は、検出した重力方向と位相差ＡＦエリアとに基づいてコントラストＡＦエリアを設定する（ステップＳ１２）。
具体的には、システム制御部１１は、検出した重力方向が行方向Ｘと直交している場合には、図１４に例示したように、コントラストＡＦエリアの行方向Ｘの幅と位相差ＡＦエリアの行方向Ｘの幅との差が、コントラストＡＦエリアの列方向Ｙの幅と位相差ＡＦエリアの列方向Ｙの幅との差よりも大きくなるように、コントラストＡＦエリアを設定する。
この変形例においては、検出された重力方向が行方向Ｘと直交している場合には、行方向Ｘが第一の方向を構成し、列方向Ｙが第二の方向を構成する。
一方、システム制御部１１は、検出した重力方向が列方向Ｙと直交している場合には、図１５に例示したように、コントラストＡＦエリアの列方向Ｙの幅と位相差ＡＦエリアの列方向Ｙの幅との差が、コントラストＡＦエリアの行方向Ｘの幅と位相差ＡＦエリアの行方向Ｘの幅との差よりも大きくなるように、コントラストＡＦエリアを設定する。
この変形例においては、検出された重力方向が列方向Ｙと直交している場合には、列方向Ｙが第一の方向を構成し、行方向Ｘが第二の方向を構成する。
なお、２つの方向が直交するとは、この２つの方向のなす角度が完全に９０度になる場合に限らず、この角度がおおよそ９０度（例えば８０度以上１００度以下の範囲）となっている状態を言う。
ステップＳ１２の後はステップＳ８以降の処理が行われる。
このように第三の変形例によれば、デジタルカメラの姿勢に応じてコントラストＡＦエリアが設定されるため、縦撮りと横撮りのいずれの場合であっても、コントラストＡＦ方式による合焦制御が行われた場合の合焦精度を向上させることができる。
なお、図１３においてステップＳ１０の処理は必須ではない。ステップＳ１０を省略する場合は、ステップＳ６の判定がＮＯとなった場合にはステップＳ４の処理が行われる。
以下では、撮像装置としてスマートフォンの構成について説明する。
図１６は、本発明の撮像装置の一実施形態であるスマートフォン２００の外観を示すものである。
図１６に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。
また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。
なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
図１７は、図１６に示すスマートフォン２００の構成を示すブロック図である。
図１７に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。
また、スマートフォン２００の主たる機能として、図示省略の基地局装置ＢＳと図示省略の移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
表示入力部２０４は、主制御部２２０の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。
表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。
操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。
図１６に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。
係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。
更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。
また、図１６に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。
操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１６に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。
また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。
なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。
外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。
スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。
ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。
ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。
電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。
また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。
更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。
ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部２０８は、図１又は図１２に示したに示したデジタルカメラにおける外部メモリ制御部２０、記録媒体２１、表示制御部２２、表示部２３、及び操作部１４以外の構成を含む。カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、外部入出力部２１３や無線通信部２１０を通じて出力したりすることができる。
図１６に示すスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。
また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。
また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記憶部２１２に記録したり、外部入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。
以上のような構成のスマートフォン２００においても、図１又は図１２に示したシステム制御部１１が上述した処理を行うことで、高品質の撮像が可能になる。
上記した実施形態及び各変形例では、行方向Ｘに位相差を検出する場合を例にしたが、列方向Ｙに位相差を検出する場合にも、同様に本発明を適用可能である。
以上説明してきたように、本明細書には以下の事項が開示されている。
（１） フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子と、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、上記一対の光束の他方に応じた信号を検出する第２の信号検出部と、上記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行うモードにおいて、上記第１の信号検出部の検出信号及び上記第２の信号検出部の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、上記撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御部と、を備え、上記合焦制御部は、上記位相差ＡＦ方式による合焦制御を連続して行っている間に、上記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には上記コントラストＡＦ方式による合焦制御を行う撮像装置。
（２） （１）記載の撮像装置であって、上記合焦制御部は、上記Ｎの数を可変制御する撮像装置。
（３） （１）又は（２）記載の撮像装置であって、上記合焦制御部は、上記位相差ＡＦ方式による合焦制御を連続して行っている間に、上記信頼度が上記閾値以下となっている状態がＮ回未満続いておりかつ上記信頼度が上記閾値以下となってからの経過時間が時間閾値に達した場合には、上記コントラストＡＦ方式による合焦制御を行う撮像装置。
（４） （１）〜（３）のいずれか１項記載の撮像装置であって、上記合焦制御部は、上記コントラストＡＦ方式による合焦制御を行う場合の合焦対象とする第一の被写体エリアを、上記位相差ＡＦ方式による合焦制御において合焦対象とする第二の被写体エリアを含みかつ上記第二の被写体エリアよりも大きいエリアに設定する撮像装置。
（５） （４）記載の撮像装置であって、上記合焦制御部は、上記第二の被写体エリアの第一の方向の幅と上記第一の被写体エリアの上記第一の方向の幅との差を、上記第二の被写体エリアの上記第一の方向に直交する第二の方向の幅と上記第一の被写体エリアの上記第二の方向の幅との差よりも大きくする撮像装置。
（６） （５）記載の撮像装置であって、重力方向を検出する検出部を更に備え、上記合焦制御部は、上記重力方向に直交する方向を上記第一の方向として上記第一の被写体エリアを設定する撮像装置。
（７） フォーカスレンズを含む撮像光学系の上記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行う場合に、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部の検出信号及び上記一対の光束の他方に応じた信号を検出する第２の信号検出部前の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、上記撮像光学系を通して被写体を撮像する撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御ステップを備え、上記合焦制御ステップでは、上記位相差ＡＦ方式による合焦制御を連続して行っている間に、上記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には上記コントラストＡＦ方式による合焦制御を行う合焦制御方法。
（８） （７）記載の合焦制御方法であって、上記合焦制御ステップでは、上記Ｎの数を制御する合焦制御方法。
（９） （７）又は（８）記載の合焦制御方法であって、上記合焦制御ステップでは、上記位相差ＡＦ方式による合焦制御を連続して行っている間に、上記信頼度が上記閾値以下となっている状態がＮ回未満続いておりかつ上記信頼度が上記閾値以下となってからの経過時間が時間閾値に達した場合には、上記コントラストＡＦ方式による合焦制御を行う合焦制御方法。
（１０） （７）〜（９）のいずれか１項記載の合焦制御方法であって、上記合焦制御ステップでは、上記コントラストＡＦ方式による合焦制御を行う場合の合焦対象とする第一の被写体エリアを、上記位相差ＡＦ方式による合焦制御において合焦対象とする第二の被写体エリアを含みかつ上記第二の被写体エリアよりも大きいエリアに設定する合焦制御方法。
（１１） （１０）記載の合焦制御方法であって、上記合焦制御ステップでは、上記第二の被写体エリアの第一の方向の幅と上記第一の被写体エリアの上記第一の方向の幅との差を、上記第二の被写体エリアの上記第一の方向に直交する第二の方向の幅と上記第一の被写体エリアの上記第二の方向の幅との差よりも大きくする合焦制御方法。
（１２） （１１）記載の合焦制御方法であって、重力方向を検出する検出ステップを更に備え、上記合焦制御ステップでは、上記重力方向に直交する方向を上記第一の方向として上記第一の被写体エリアを設定する合焦制御方法。
（１３） フォーカスレンズを含む撮像光学系の上記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行う場合に、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部の検出信号及び上記一対の光束の他方に応じた信号を検出する第２の信号検出部前の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、上記撮像光学系を通して被写体を撮像する撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御ステップをコンピュータに実行させるための合焦制御プログラムであって、上記合焦制御ステップでは、上記位相差ＡＦ方式による合焦制御を連続して行っている間に、上記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には上記コントラストＡＦ方式による合焦制御を行う合焦制御プログラム。
（１４） フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子と、上記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、上記一対の光束の他方に応じた信号を検出する第２の信号検出部と、上記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行うモードにおいて、上記第１の信号検出部の検出信号及び上記第２の信号検出部の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、上記撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行うプロセッサと、を備え、上記プロセッサは、上記位相差ＡＦ方式による合焦制御を連続して行っている間に、上記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には上記コントラストＡＦ方式による合焦制御を行う撮像装置。
本発明は、特にデジタルカメラ等に適用して利便性が高く、有効である。
以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。

本出願は、２０１６年６月１日出願の日本特許出願（特願２０１６−１１０３９１）に基づくものであり、その内容はここに取り込まれる。
１ 撮像レンズ
２ 絞り
４ レンズ制御部
５ 撮像素子
６ アナログ信号処理部
７ アナログデジタル変換回路
８ レンズ駆動部
９ 絞り駆動部
１０撮像素子駆動部
１１ システム制御部
１４ 操作部
１５ メモリ制御部
１６ メインメモリ
１７ デジタル信号処理部
１８ コントラストＡＦ処理部
１９ 位相差ＡＦ処理部
２０ 外部メモリ制御部
２１ 記録媒体
２２ 表示制御部
２３ 表示部
２４ 制御バス
２５ データバス
２６ 加速度センサ
５０ 受光面
５１ 画素
５２Ａ，５２Ｂ 位相差検出用画素
５３ ＡＦエリア
ＰＬ１，ＰＬ２，ＰＬ３ ペア行
ｃ 開口
ＰＤ 光電変換部
Ｘ 行方向
Ｙ 列方向
２００ スマートフォン
２０１ 筐体
２０２ 表示パネル
２０３ 操作パネル
２０４ 表示入力部
２０５ スピーカ
２０６ マイクロホン
２０７ 操作部
２０８ カメラ部
２１０ 無線通信部
２１１ 通話部
２１２ 記憶部
２１３ 外部入出力部
２１４ ＧＰＳ受信部
２１５ モーションセンサ部
２１６ 電源部
２１７ 内部記憶部
２１８ 外部記憶部
２２０ 主制御部
ＳＴ１〜ＳＴｎ ＧＰＳ衛星

Claims (14)

  1. フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子と、
    前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、
    前記一対の光束の他方に応じた信号を検出する第２の信号検出部と、
    前記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行うモードにおいて、前記第１の信号検出部の検出信号及び前記第２の信号検出部の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、前記撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御部と、を備え、
    前記合焦制御部は、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には前記コントラストＡＦ方式による合焦制御を行い、
    前記合焦制御部は、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記信頼度が前記閾値以下となっている状態がＮ回未満続いておりかつ前記信頼度が前記閾値以下となってからの経過時間が時間閾値に達した場合には、前記コントラストＡＦ方式による合焦制御を行う、撮像装置。
  2. 請求項１記載の撮像装置であって、
    前記合焦制御部は、前記Ｎの数を可変制御する撮像装置。
  3. 請求項１又は２記載の撮像装置であって、
    前記合焦制御部は、前記コントラストＡＦ方式による合焦制御を行う場合の合焦対象とする第一の被写体エリアを、前記位相差ＡＦ方式による合焦制御において合焦対象とする第二の被写体エリアを含みかつ前記第二の被写体エリアよりも大きいエリアに設定する撮像装置。
  4. 請求項３記載の撮像装置であって、
    前記合焦制御部は、前記第二の被写体エリアの第一の方向の幅と前記第一の被写体エリアの前記第一の方向の幅との差を、前記第二の被写体エリアの前記第一の方向に直交する第二の方向の幅と前記第一の被写体エリアの前記第二の方向の幅との差よりも大きくする撮像装置。
  5. 請求項４記載の撮像装置であって、
    重力方向を検出する検出部を更に備え、
    前記合焦制御部は、前記重力方向に直交する方向を前記第一の方向として前記第一の被写体エリアを設定する撮像装置。
  6. フォーカスレンズを含む撮像光学系を通して被写体を撮像する撮像素子と、
    前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部と、
    前記一対の光束の他方に応じた信号を検出する第２の信号検出部と、
    前記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行うモードにおいて、前記第１の信号検出部の検出信号及び前記第２の信号検出部の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、前記撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御部と、
    重力方向を検出する検出部と、を備え、
    前記合焦制御部は、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には前記コントラストＡＦ方式による合焦制御を行い、
    前記合焦制御部は、前記コントラストＡＦ方式による合焦制御を行う場合の合焦対象とする第一の被写体エリアを、前記位相差ＡＦ方式による合焦制御において合焦対象とする第二の被写体エリアを含みかつ前記第二の被写体エリアよりも大きいエリアに設定し、
    前記合焦制御部は、前記第二の被写体エリアの第一の方向の幅と前記第一の被写体エリアの前記第一の方向の幅との差を、前記第二の被写体エリアの前記第一の方向に直交する第二の方向の幅と前記第一の被写体エリアの前記第二の方向の幅との差よりも大きくし、
    前記合焦制御部は、前記重力方向に直交する方向を前記第一の方向として前記第一の被写体エリアを設定する、撮像装置。
  7. フォーカスレンズを含む撮像光学系の前記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行う場合に、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部の検出信号及び前記一対の光束の他方に応じた信号を検出する第２の信号検出部前の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、前記撮像光学系を通して被写体を撮像する撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御ステップを備え、
    前記合焦制御ステップでは、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には前記コントラストＡＦ方式による合焦制御を行い、
    前記合焦制御ステップでは、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記信頼度が前記閾値以下となっている状態がＮ回未満続いておりかつ前記信頼度が前記閾値以下となってからの経過時間が時間閾値に達した場合には、前記コントラストＡＦ方式による合焦制御を行う、合焦制御方法。
  8. 請求項７記載の合焦制御方法であって、
    前記合焦制御ステップでは、前記Ｎの数を制御する合焦制御方法。
  9. 請求項７又は８記載の合焦制御方法であって、
    前記合焦制御ステップでは、前記コントラストＡＦ方式による合焦制御を行う場合の合焦対象とする第一の被写体エリアを、前記位相差ＡＦ方式による合焦制御において合焦対象とする第二の被写体エリアを含みかつ前記第二の被写体エリアよりも大きいエリアに設定する合焦制御方法。
  10. 請求項９記載の合焦制御方法であって、
    前記合焦制御ステップでは、前記第二の被写体エリアの第一の方向の幅と前記第一の被写体エリアの前記第一の方向の幅との差を、前記第二の被写体エリアの前記第一の方向に直交する第二の方向の幅と前記第一の被写体エリアの前記第二の方向の幅との差よりも大きくする合焦制御方法。
  11. 請求項１０記載の合焦制御方法であって、
    重力方向を検出する検出ステップを更に備え、
    前記合焦制御ステップでは、前記重力方向に直交する方向を前記第一の方向として前記第一の被写体エリアを設定する合焦制御方法。
  12. フォーカスレンズを含む撮像光学系の前記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行う場合に、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部の検出信号及び前記一対の光束の他方に応じた信号を検出する第２の信号検出部前の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、前記撮像光学系を通して被写体を撮像する撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御ステップと、
    重力方向を検出する検出ステップと、を備え、
    前記合焦制御ステップでは、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には前記コントラストＡＦ方式による合焦制御を行い、
    前記合焦制御ステップでは、前記コントラストＡＦ方式による合焦制御を行う場合の合焦対象とする第一の被写体エリアを、前記位相差ＡＦ方式による合焦制御において合焦対象とする第二の被写体エリアを含みかつ前記第二の被写体エリアよりも大きいエリアに設定し、
    前記合焦制御ステップでは、前記第二の被写体エリアの第一の方向の幅と前記第一の被写体エリアの前記第一の方向の幅との差を、前記第二の被写体エリアの前記第一の方向に直交する第二の方向の幅と前記第一の被写体エリアの前記第二の方向の幅との差よりも大きくし、
    前記合焦制御ステップでは、前記重力方向に直交する方向を前記第一の方向として前記第一の被写体エリアを設定する、合焦制御方法。
  13. フォーカスレンズを含む撮像光学系の前記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行う場合に、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部の検出信号及び前記一対の光束の他方に応じた信号を検出する第２の信号検出部前の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、前記撮像光学系を通して被写体を撮像する撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御ステップをコンピュータに実行させるための合焦制御プログラムであって、
    前記合焦制御ステップでは、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には前記コントラストＡＦ方式による合焦制御を行い、
    前記合焦制御ステップでは、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記信頼度が前記閾値以下となっている状態がＮ回未満続いておりかつ前記信頼度が前記閾値以下となってからの経過時間が時間閾値に達した場合には、前記コントラストＡＦ方式による合焦制御を行う、合焦制御プログラム。
  14. フォーカスレンズを含む撮像光学系の前記フォーカスレンズを駆動して主要被写体に焦点を合わせる合焦制御を複数回連続して行う場合に、前記撮像光学系の瞳領域の異なる部分を通過した一対の光束の一方に応じた信号を検出する第１の信号検出部の検出信号及び前記一対の光束の他方に応じた信号を検出する第２の信号検出部前の検出信号の相関演算の結果を利用した位相差ＡＦ方式による合焦制御と、前記撮像光学系を通して被写体を撮像する撮像素子によって撮像される撮像画像のコントラストを利用したコントラストＡＦ方式による合焦制御とのいずれかを選択的に行う合焦制御ステップと、
    重力方向を検出する検出ステップと、をコンピュータに実行させるための合焦制御プログラムであって、
    前記合焦制御ステップでは、前記位相差ＡＦ方式による合焦制御を連続して行っている間に、前記位相差ＡＦ方式による合焦制御の信頼度が閾値以下となる状態がＮを２以上の任意の自然数としてＮ回続いた場合には前記コントラストＡＦ方式による合焦制御を行い、
    前記合焦制御ステップでは、前記コントラストＡＦ方式による合焦制御を行う場合の合焦対象とする第一の被写体エリアを、前記位相差ＡＦ方式による合焦制御において合焦対象とする第二の被写体エリアを含みかつ前記第二の被写体エリアよりも大きいエリアに設定し、
    前記合焦制御ステップでは、前記第二の被写体エリアの第一の方向の幅と前記第一の被写体エリアの前記第一の方向の幅との差を、前記第二の被写体エリアの前記第一の方向に直交する第二の方向の幅と前記第一の被写体エリアの前記第二の方向の幅との差よりも大きくし、
    前記合焦制御ステップでは、前記重力方向に直交する方向を前記第一の方向として前記第一の被写体エリアを設定する、合焦制御プログラム。
JP2018520999A 2016-06-01 2017-06-01 撮像装置、合焦制御方法、及び、合焦制御プログラム Active JP6476349B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016110391 2016-06-01
JP2016110391 2016-06-01
PCT/JP2017/020474 WO2017209252A1 (ja) 2016-06-01 2017-06-01 撮像装置、合焦制御方法、及び、合焦制御プログラム

Publications (2)

Publication Number Publication Date
JP6476349B2 true JP6476349B2 (ja) 2019-02-27
JPWO2017209252A1 JPWO2017209252A1 (ja) 2019-05-16

Family

ID=60478850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018520999A Active JP6476349B2 (ja) 2016-06-01 2017-06-01 撮像装置、合焦制御方法、及び、合焦制御プログラム

Country Status (4)

Country Link
US (7) US10578830B2 (ja)
JP (1) JP6476349B2 (ja)
CN (1) CN109196403B (ja)
WO (1) WO2017209252A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107124557A (zh) * 2017-05-31 2017-09-01 广东欧珀移动通信有限公司 对焦方法、装置、计算机可读存储介质和终端
CN111131703A (zh) * 2019-12-25 2020-05-08 北京东宇宏达科技有限公司 一种连续变焦红外相机全程自动对焦方法
KR20210105056A (ko) * 2020-02-18 2021-08-26 에스케이하이닉스 주식회사 이미지 센서 및 이를 포함하는 촬영 장치
US11477364B1 (en) * 2021-04-01 2022-10-18 Visera Technologies Company Limited Solid-state image sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003486A (ja) * 2011-06-21 2013-01-07 Nikon Corp 焦点検出装置および撮像装置
WO2015045704A1 (ja) * 2013-09-27 2015-04-02 富士フイルム株式会社 撮像装置及び合焦制御方法
JP2015087558A (ja) * 2013-10-31 2015-05-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2016090816A (ja) * 2014-11-05 2016-05-23 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445409B1 (en) * 1997-05-14 2002-09-03 Hitachi Denshi Kabushiki Kaisha Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object
US6272291B2 (en) * 1998-03-13 2001-08-07 Canon Kabushiki Kaisha Focus detecting device
JP3592147B2 (ja) * 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
US6819360B1 (en) * 1999-04-01 2004-11-16 Olympus Corporation Image pickup element and apparatus for focusing
JP4324402B2 (ja) * 2003-04-08 2009-09-02 Ｈｏｙａ株式会社 カメラの自動焦点調節装置
JP2006350188A (ja) 2005-06-20 2006-12-28 Nikon Corp オートフォーカス装置
US7728903B2 (en) 2005-11-30 2010-06-01 Nikon Corporation Focus adjustment device, focus adjustment method and camera
JP5003121B2 (ja) 2005-11-30 2012-08-15 株式会社ニコン 焦点調節装置、焦点調節方法、およびカメラ
US7751700B2 (en) * 2006-03-01 2010-07-06 Nikon Corporation Focus adjustment device, imaging device and focus adjustment method
US8390733B2 (en) * 2007-02-15 2013-03-05 Panasonic Corporation Imaging device with interchangeable lens and camera body for imaging device
US7989745B2 (en) * 2007-10-01 2011-08-02 Nikon Corporation Solid-state imaging device with focus detection and electronic camera with focus adjustment
JP5448731B2 (ja) * 2009-11-09 2014-03-19 キヤノン株式会社 焦点検出装置
JP5610818B2 (ja) 2010-04-01 2014-10-22 キヤノン株式会社 撮像装置及びその制御方法
CN103460103B (zh) * 2011-03-31 2015-06-17 富士胶片株式会社 成像装置及其驱动方法
CN103430073B (zh) * 2011-03-31 2014-12-31 富士胶片株式会社 摄像装置及摄像装置的控制方法
JP2013008018A (ja) * 2011-05-25 2013-01-10 Canon Inc 撮像装置およびその制御方法
JP5858683B2 (ja) 2011-08-15 2016-02-10 キヤノン株式会社 焦点検出装置および撮像装置
CN103842878B (zh) * 2011-09-28 2016-05-04 富士胶片株式会社 固态图像捕捉元件、图像捕捉设备和聚焦控制方法
JP5959923B2 (ja) * 2012-04-26 2016-08-02 キヤノン株式会社 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP6045214B2 (ja) * 2012-06-19 2016-12-14 キヤノン株式会社 焦点調節装置及びその制御方法
JP6149369B2 (ja) * 2012-09-27 2017-06-21 株式会社ニコン 撮像素子
JP5705270B2 (ja) * 2013-05-27 2015-04-22 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP5990665B2 (ja) * 2014-03-25 2016-09-14 富士フイルム株式会社 撮像装置及び合焦制御方法
JP2014149540A (ja) 2014-03-28 2014-08-21 Canon Inc 焦点調節装置、撮像装置、及びその制御方法
KR102268712B1 (ko) * 2014-06-23 2021-06-28 삼성전자주식회사 자동 초점 이미지 센서 및 이를 포함하는 디지털 영상 처리 장치
CN104065885B (zh) * 2014-06-27 2018-02-13 宇龙计算机通信科技(深圳)有限公司 一种终端、视频摄像装置及方法
JP6429546B2 (ja) * 2014-09-11 2018-11-28 キヤノン株式会社 撮像装置、制御方法、プログラム、および、記憶媒体
EP3018516B1 (en) 2014-11-05 2019-06-19 Canon Kabushiki Kaisha Image capturing apparatus and method for controlling image capturing apparatus
US9804357B2 (en) * 2015-09-25 2017-10-31 Qualcomm Incorporated Phase detection autofocus using masked and unmasked photodiodes
JP6738553B2 (ja) * 2016-05-02 2020-08-12 富士ゼロックス株式会社 変化度合い導出装置、変化度合い導出システム、変化度合い導出方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003486A (ja) * 2011-06-21 2013-01-07 Nikon Corp 焦点検出装置および撮像装置
WO2015045704A1 (ja) * 2013-09-27 2015-04-02 富士フイルム株式会社 撮像装置及び合焦制御方法
JP2015087558A (ja) * 2013-10-31 2015-05-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2016090816A (ja) * 2014-11-05 2016-05-23 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
US20200192056A1 (en) 2020-06-18
US20190094487A1 (en) 2019-03-28
US10746958B2 (en) 2020-08-18
JPWO2017209252A1 (ja) 2019-05-16
WO2017209252A1 (ja) 2017-12-07
US10578830B2 (en) 2020-03-03
US11693207B2 (en) 2023-07-04
US20220283402A1 (en) 2022-09-08
US10859791B2 (en) 2020-12-08
US20240319475A1 (en) 2024-09-26
CN109196403B (zh) 2020-11-24
US20200348486A1 (en) 2020-11-05
US12044899B2 (en) 2024-07-23
US11372196B2 (en) 2022-06-28
US20230273398A1 (en) 2023-08-31
US20210011251A1 (en) 2021-01-14
CN109196403A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
JP5799178B2 (ja) 撮像装置及び合焦制御方法
JP6165680B2 (ja) 撮像装置
JP5982601B2 (ja) 撮像装置及び合焦制御方法
US12044899B2 (en) Imaging device, focusing control method, and computer readable non-transitory recording medium storing a focusing control program capable of realizing focusing control at a high speed with high accuracy
JP6307526B2 (ja) 撮像装置及び合焦制御方法
JP6028112B2 (ja) 撮像装置及び合焦制御方法
WO2015033646A1 (ja) 撮像装置及び合焦制御方法
JP5978411B2 (ja) 撮像装置及び合焦制御方法
WO2017057071A1 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
WO2015045704A1 (ja) 撮像装置及び合焦制御方法
WO2015141081A1 (ja) 撮像装置及び合焦制御方法
JP5990665B2 (ja) 撮像装置及び合焦制御方法
JP6171105B2 (ja) 撮像装置及び合焦制御方法
JP6446599B2 (ja) 合焦制御装置、レンズ装置、撮像装置、合焦制御方法、合焦制御プログラム
WO2022145322A1 (ja) 撮像装置、フォーカス制御方法、及び、フォーカス制御プログラム
WO2013145887A1 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181129

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181129

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190204

R150 Certificate of patent or registration of utility model

Ref document number: 6476349

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250