JP5866537B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP5866537B2
JP5866537B2 JP2015127156A JP2015127156A JP5866537B2 JP 5866537 B2 JP5866537 B2 JP 5866537B2 JP 2015127156 A JP2015127156 A JP 2015127156A JP 2015127156 A JP2015127156 A JP 2015127156A JP 5866537 B2 JP5866537 B2 JP 5866537B2
Authority
JP
Japan
Prior art keywords
focus lens
focus
image
movement amount
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015127156A
Other languages
Japanese (ja)
Other versions
JP2015200907A (en
Inventor
基範 小倉
基範 小倉
充義 岡本
充義 岡本
成功 八釣
成功 八釣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015127156A priority Critical patent/JP5866537B2/en
Publication of JP2015200907A publication Critical patent/JP2015200907A/en
Application granted granted Critical
Publication of JP5866537B2 publication Critical patent/JP5866537B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本開示は撮像装置に関する。   The present disclosure relates to an imaging apparatus.

特許文献1は、DFD(Depth From Defocus)方式のシステムを採用した撮像装置を開示している。この撮像装置は、複数種類のボケが得られるようにフォーカス制御を実施し、撮像素子によりボケの大きさが異なる複数の画像を取得する。次に、撮像装置は、ボケの大きさが異なる複数の画像に基づいて、被写体距離を算出する。そして、撮像装置は、算出した被写体距離に基づいて、フォーカス制御を実施する。   Patent Document 1 discloses an imaging apparatus that employs a DFD (Depth From Defocus) system. The imaging apparatus performs focus control so that a plurality of types of blur can be obtained, and acquires a plurality of images having different blur sizes by the imaging element. Next, the imaging apparatus calculates the subject distance based on a plurality of images having different blur sizes. Then, the imaging apparatus performs focus control based on the calculated subject distance.

特開2011−15163号公報JP 2011-15163 A

DFD方式のシステムを採用することにより、被写体への合焦動作の高速化が期待される。一方、DFD方式のシステムを採用するため、より高い合焦精度の改善が求められている。   By adopting the DFD system, it is expected to increase the speed of the focusing operation on the subject. On the other hand, in order to employ the DFD system, there is a demand for higher focusing accuracy.

本開示は、より精度高い合焦動作を実現する撮像装置を提供する。   The present disclosure provides an imaging apparatus that realizes a focusing operation with higher accuracy.

本開示の撮像装置は、フォーカスレンズと、フォーカスレンズを介して形成された被写体像を撮像し、画像データを生成する撮像部と、フォーカスレンズが第1の位置にあるときに撮像部によって生成された第1の画像データと、フォーカスレンズが第1の位置から第1の移動量を移動した第2の位置にあるときに撮像部によって生成された第2の画像データとに基づいて、合焦位置に関する値を算出する画像処理部と、合焦位置に関する値の算出結果に基づいてフォーカスレンズの移動量を決定する制御部と、フォーカスレンズの移動量に基づいてフォーカスレンズを駆動するレンズ駆動部と、を備える。制御部は、合焦位置に関する値が第1の所定の範囲内にあるか否かを判定し、(i)合焦位置に関する値が、第1の所定の範囲内にないと判定したときは、次回のフォーカスレンズの移動量を第1の移動量から増加させた第2の移動量に決定し、(ii)合焦位置に関する値が、第1の所定の範囲内にあると判定したときは、次回のフォーカスレンズの移動量を第1の移動量から減少させた第3の移動量に決定する。   The imaging device according to the present disclosure is generated by an imaging unit that captures a focus lens, an object image formed via the focus lens, and generates image data, and the focus lens is at a first position. Based on the first image data and the second image data generated by the imaging unit when the focus lens is at the second position moved the first movement amount from the first position, focusing is performed. An image processing unit that calculates a value related to the position, a control unit that determines a moving amount of the focus lens based on a calculation result of a value related to the in-focus position, and a lens driving unit that drives the focus lens based on the moving amount of the focus lens And comprising. The control unit determines whether or not the value related to the focus position is within the first predetermined range, and (i) when it is determined that the value related to the focus position is not within the first predetermined range. When the next movement amount of the focus lens is determined as the second movement amount increased from the first movement amount, and (ii) when it is determined that the value related to the in-focus position is within the first predetermined range. Determines the third movement amount obtained by reducing the next movement amount of the focus lens from the first movement amount.

本発明によれば、より精度高い合焦動作を実現する撮像装置を提供できる。   ADVANTAGE OF THE INVENTION According to this invention, the imaging device which implement | achieves a highly accurate focusing operation can be provided.

実施の形態におけるデジタルビデオカメラの電気的構成を示すブロック図1 is a block diagram showing an electrical configuration of a digital video camera in an embodiment 実施の形態におけるデジタルビデオカメラの動作のブロック図Block diagram of operation of digital video camera in embodiment 実施の形態におけるデジタルビデオカメラの動作のイメージ図Image diagram of operation of digital video camera in embodiment 実施の形態におけるデジタルビデオカメラのDFD演算のイメージ図Diagram of DFD operation of digital video camera in embodiment 実施の形態のデジタルビデオカメラにおけるオートフォーカス動作のフローチャートFlowchart of autofocus operation in digital video camera of embodiment 実施の形態のデジタルビデオカメラにおけるオートフォーカス動作を説明するイメージ図An image diagram for explaining an autofocus operation in the digital video camera of the embodiment 実施の形態におけるデジタルビデオカメラの複数の被写体距離に対するズームトラッキングテーブルを示す図The figure which shows the zoom tracking table with respect to several object distance of the digital video camera in embodiment 実施の形態のデジタルビデオカメラにおけるDFD演算の精度を説明するためのイメージ図FIG. 3 is an image diagram for explaining the accuracy of DFD calculation in the digital video camera of the embodiment.

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。   Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art.

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。   In addition, the inventors provide the accompanying drawings and the following description in order for those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter described in the claims. Absent.

撮像装置から被写体までの距離である被写体距離を計測する数ある方法の1つに、撮影された画像に生じるボケ量(Defocus)の相関値を利用するDFD(Depth from Defocus)と呼ばれる手法がある。一般に、撮影画像に生じるボケ量は、撮影時のフォーカス位置と被写体距離との関係に応じて撮像装置毎に一意に決まる。DFD演算ではこの特性を利用し、フォーカス位置を変動させることでボケ量の異なる2枚の画像を意図的に作り出し、ボケ量の違いと点拡がり関数(Point spread function、PSF)とから被写体距離を計測する。実施の形態にかかる撮像装置は、DFD演算を用いて被写体距離を計測することによりオートフォーカス制御を行う。   One of many methods for measuring the subject distance, which is the distance from the imaging device to the subject, is a technique called DFD (Depth from Defocus) that uses a correlation value of a blur amount (Defocus) generated in a captured image. . In general, the amount of blur that occurs in a captured image is uniquely determined for each imaging device in accordance with the relationship between the focus position at the time of shooting and the subject distance. In the DFD calculation, this characteristic is used to intentionally create two images with different amounts of blur by changing the focus position, and the subject distance is calculated from the difference in the amount of blur and the point spread function (PSF). measure. The imaging apparatus according to the embodiment performs autofocus control by measuring a subject distance using DFD calculation.

以下、実施の形態における撮像装置の構成および動作について説明する。   Hereinafter, the configuration and operation of the imaging apparatus according to the embodiment will be described.

〔1.撮像装置の電気的構成〕
図1は、実施の形態における撮像装置であるデジタルビデオカメラ100の電気的構成を示すブロック図である。デジタルビデオカメラ100は、1以上のレンズからなる光学系110を備える。光学系110は被写体からの光により被写体像をCMOSイメージセンサ140上に形成する。形成された被写体像を撮像センサであるCMOSイメージセンサ140で撮像する。CMOSイメージセンサ140は撮像した被写体像に基づいて画像データを生成する。CMOSイメージセンサ140で生成された画像データは、A/Dコンバータ(ADC)150でデジタル信号に変換された後、画像処理部160で各種処理が施され、メモリカード200に格納される。以下、デジタルビデオカメラ100の構成を詳細に説明する。
[1. Electrical configuration of imaging device]
FIG. 1 is a block diagram illustrating an electrical configuration of a digital video camera 100 that is an imaging apparatus according to an embodiment. The digital video camera 100 includes an optical system 110 including one or more lenses. The optical system 110 forms a subject image on the CMOS image sensor 140 by light from the subject. The formed subject image is picked up by a CMOS image sensor 140 which is an image pickup sensor. The CMOS image sensor 140 generates image data based on the captured subject image. Image data generated by the CMOS image sensor 140 is converted into a digital signal by an A / D converter (ADC) 150, and then subjected to various processes by the image processing unit 160 and stored in the memory card 200. Hereinafter, the configuration of the digital video camera 100 will be described in detail.

実施の形態における光学系110は、ズームレンズ111、手振れ補正レンズ112、フォーカスレンズ113、絞り114により構成される。ズームレンズ111を光軸110Xに沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズ113を光軸110Xに沿って移動させることにより被写体像のフォーカスを調整することができる。また、手振れ補正レンズ112は、光学系110の光軸110Xに垂直な面内で移動可能である。デジタルビデオカメラ100のブレを打ち消す方向に手振れ補正レンズ112を移動することで、デジタルビデオカメラ100のブレが撮像画像に与える影響を低減できる。また、絞り114は光軸110X上に位置する開口部114Aを有し、使用者の設定に応じて若しくは自動で開口部114Aの大きさを調整し、透過する光の量を調整する。   The optical system 110 in the embodiment includes a zoom lens 111, a camera shake correction lens 112, a focus lens 113, and a diaphragm 114. The subject image can be enlarged or reduced by moving the zoom lens 111 along the optical axis 110X. Further, the focus of the subject image can be adjusted by moving the focus lens 113 along the optical axis 110X. The camera shake correction lens 112 is movable in a plane perpendicular to the optical axis 110X of the optical system 110. By moving the camera shake correction lens 112 in a direction in which the blur of the digital video camera 100 is canceled, the influence of the blur of the digital video camera 100 on the captured image can be reduced. The diaphragm 114 has an opening 114A located on the optical axis 110X, and adjusts the size of the opening 114A according to the setting of the user or automatically to adjust the amount of transmitted light.

レンズ駆動部120は、ズームレンズ111を駆動するズームアクチュエータや、手振れ補正レンズ112を駆動する手振れ補正アクチュエータや、フォーカスレンズ113を駆動するフォーカスアクチュエータや、絞り114を駆動する絞りアクチュエータを含む。そして、レンズ駆動部120は、上記のズームアクチュエータや、フォーカスアクチュエータや、手振れ補正アクチュエータや、絞りアクチュエータを制御する。   The lens driving unit 120 includes a zoom actuator that drives the zoom lens 111, a camera shake correction actuator that drives the camera shake correction lens 112, a focus actuator that drives the focus lens 113, and a diaphragm actuator that drives the diaphragm 114. The lens driving unit 120 controls the zoom actuator, the focus actuator, the camera shake correction actuator, and the aperture actuator.

CMOSイメージセンサ140は、光学系110で形成された被写体像を撮像してアナログ信号であるアナログ画像データを生成する。CMOSイメージセンサ140は、露光、転送、電子シャッタなどの各種動作を行う。   The CMOS image sensor 140 captures a subject image formed by the optical system 110 and generates analog image data that is an analog signal. The CMOS image sensor 140 performs various operations such as exposure, transfer, and electronic shutter.

A/Dコンバータ150は、CMOSイメージセンサ140で生成されたアナログ画像データをデジタル信号であるデジタル画像データに変換する。   The A / D converter 150 converts the analog image data generated by the CMOS image sensor 140 into digital image data that is a digital signal.

画像処理部160は、CMOSイメージセンサ140で生成された画像データに対して各種処理を施し、表示モニタ220に表示するための画像データを生成したり、メモリカード200に格納するための画像データを生成したりする。例えば、画像処理部160は、CMOSイメージセンサ140で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部160は、CMOSイメージセンサ140で生成された画像データを、H.264規格やMPEG2規格に準拠した圧縮形式等により圧縮する。画像処理部160は、DSPやマイコンなどで実現可能である。   The image processing unit 160 performs various processes on the image data generated by the CMOS image sensor 140, generates image data to be displayed on the display monitor 220, and stores image data to be stored in the memory card 200. Or generate. For example, the image processing unit 160 performs various processes such as gamma correction, white balance correction, and flaw correction on the image data generated by the CMOS image sensor 140. The image processing unit 160 converts the image data generated by the CMOS image sensor 140 into the H.264 format. It compresses by the compression format etc. based on H.264 standard or MPEG2 standard. The image processing unit 160 can be realized by a DSP, a microcomputer, or the like.

制御部180は、デジタルビデオカメラ100全体を制御する。制御部180は半導体素子などで実現できる。制御部180はハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部180は、マイコンなどで実現できる。   The control unit 180 controls the entire digital video camera 100. The control unit 180 can be realized by a semiconductor element or the like. The control unit 180 may be configured only by hardware, or may be realized by combining hardware and software. The control unit 180 can be realized by a microcomputer or the like.

バッファ170は、画像処理部160及び制御部180のワークメモリとして機能する。バッファ170は、例えば、DRAM、強誘電体メモリなどで実現できる。   The buffer 170 functions as a work memory for the image processing unit 160 and the control unit 180. The buffer 170 can be realized by, for example, a DRAM or a ferroelectric memory.

カードスロット190はメモリカード200を着脱可能に保持する。カードスロット190は機械的及び電気的にメモリカード200と接続可能である。メモリカード200はフラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部160で生成された画像ファイル等のデータを格納できる。   The card slot 190 holds the memory card 200 in a detachable manner. The card slot 190 can be mechanically and electrically connected to the memory card 200. The memory card 200 includes a flash memory, a ferroelectric memory, and the like, and can store data such as an image file generated by the image processing unit 160.

内部メモリ240は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ240は、デジタルビデオカメラ100全体を制御するための制御プログラム等を記憶する。また、内部メモリ240は点拡がり関数を格納している。   The internal memory 240 is composed of a flash memory or a ferroelectric memory. The internal memory 240 stores a control program for controlling the entire digital video camera 100 and the like. The internal memory 240 stores a point spread function.

操作部材210は使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部材210は、例えば、使用者からの操作を受け付ける十字キーや決定釦等を含む。   The operation member 210 is a generic term for user interfaces that accept operations from the user. The operation member 210 includes, for example, a cross key that accepts an operation from the user, a determination button, and the like.

表示モニタ220は、CMOSイメージセンサ140で生成された画像データが示す画像や、メモリカード200から読み出された画像データが示す画像を表示できる画面220Aを有する。また、表示モニタ220は、デジタルビデオカメラ100の各種設定を行うための各種メニュー画面等も画面220Aに表示できる。表示モニタ220の画面220A上にはタッチパネル220Bが配置されている。タッチパネル220Bはユーザによりタッチされて各種タッチ操作を受け付けることができる。タッチパネル220Bに対するタッチ操作が示す指示は制御部180に通知され各種処理が行われる。   The display monitor 220 includes a screen 220 </ b> A that can display an image indicated by the image data generated by the CMOS image sensor 140 or an image indicated by the image data read from the memory card 200. The display monitor 220 can also display various menu screens for performing various settings of the digital video camera 100 on the screen 220A. A touch panel 220B is arranged on the screen 220A of the display monitor 220. Touch panel 220B is touched by the user and can accept various touch operations. The instruction indicated by the touch operation on the touch panel 220B is notified to the control unit 180 and various processes are performed.

角速度センサ250は、手振れ等に起因してデジタルビデオカメラ100に発生した角速度を検出する。角速度センサ250が検出した角速度は制御部180に通知される。制御部180は、角速度センサ250から通知された角速度により、デジタルビデオカメラ100に発生した角速度に基づく画像のブレを解消するよう手振れ補正レンズ112を駆動させることができる。   The angular velocity sensor 250 detects an angular velocity generated in the digital video camera 100 due to camera shake or the like. The angular velocity detected by the angular velocity sensor 250 is notified to the control unit 180. The control unit 180 can drive the camera shake correction lens 112 based on the angular velocity notified from the angular velocity sensor 250 so as to eliminate image blurring based on the angular velocity generated in the digital video camera 100.

〔2.デジタルビデオカメラ100の動作〕
デジタルビデオカメラ100は、DFD演算の結果を用いてオートフォーカス動作を行う。図2は、実施の形態におけるデジタルビデオカメラ100のDFD演算の結果を用いたフォーカスレンズ制御を説明するためのブロック図である。
[2. Operation of digital video camera 100]
The digital video camera 100 performs an autofocus operation using the result of the DFD calculation. FIG. 2 is a block diagram for explaining focus lens control using the result of the DFD calculation of the digital video camera 100 according to the embodiment.

DFD演算回路161は、画像処理部160内に構成された演算回路であり、DFD演算を実施してDepthマップを作成する。具体的には、DFD演算回路161は、フォーカス位置を変動させることで、意図的に作り出したボケ量の異なる2枚の画像である観測画像PA、参照画像PBと点拡がり関数とから観測画像PA(参照画像PB)の各画素での被写体距離を示すDepthマップを作成する。   The DFD operation circuit 161 is an operation circuit configured in the image processing unit 160, and performs a DFD operation to create a depth map. Specifically, the DFD arithmetic circuit 161 changes the focus position, thereby observing the observation image PA based on the observation image PA, the reference image PB, and the point spread function, which are two images with different amounts of blur created intentionally. A depth map indicating the subject distance at each pixel of the (reference image PB) is created.

次に、DFD演算回路161は、作成したDepthマップを制御部180に通知する。制御部180は、通知されたDepthマップに基づいてフォーカスレンズ113を駆動するようレンズ駆動部120を制御する。   Next, the DFD arithmetic circuit 161 notifies the control unit 180 of the created depth map. The control unit 180 controls the lens driving unit 120 to drive the focus lens 113 based on the notified depth map.

以下、図2に示したDFD演算回路161によるDFD演算の詳細と、制御部180による被写体距離の決定の詳細について説明する。   Details of the DFD calculation by the DFD calculation circuit 161 shown in FIG. 2 and details of determination of the subject distance by the control unit 180 will be described below.

まず、DFD演算回路161によるDFD演算の詳細について説明する。図3は、実施の形態におけるデジタルビデオカメラ100のDFD演算におけるフォーカスレンズ113の移動を説明するためのイメージ図である。DFD演算において、制御部180はフォーカス位置を変動させることで、意図的にボケ量の異なる2枚の画像を作り出す。具体的には、図3に示すように、制御部180はレンズ駆動部120を制御して、時刻t1におけるフォーカスレンズ113の位置をフォーカス位置L1に設定する。同様に、時刻t2におけるフォーカスレンズ113の位置を、フォーカス位置L1と異なるフォーカス位置L2に設定する。CMOSイメージセンサ140は、フォーカスレンズ113がフォーカス位置L1にあるときに被写体を撮像して、観測画像PAを作成する。同様に、CMOSイメージセンサ140は、フォーカスレンズ113がフォーカス位置L2にあるときにその被写体を撮像して参照画像PBを作成する。観測画像PAと参照画像PBとは、撮像されたときのフォーカスレンズ113の位置が異なるので、同一被写体を撮像した画像ではあるが互いにボケ量が異なる。   First, details of the DFD calculation performed by the DFD calculation circuit 161 will be described. FIG. 3 is an image diagram for explaining the movement of the focus lens 113 in the DFD calculation of the digital video camera 100 according to the embodiment. In the DFD calculation, the control unit 180 intentionally creates two images with different amounts of blur by changing the focus position. Specifically, as shown in FIG. 3, the control unit 180 controls the lens driving unit 120 to set the position of the focus lens 113 at the time t1 to the focus position L1. Similarly, the position of the focus lens 113 at time t2 is set to a focus position L2 different from the focus position L1. The CMOS image sensor 140 images a subject when the focus lens 113 is at the focus position L1, and creates an observation image PA. Similarly, the CMOS image sensor 140 images the subject when the focus lens 113 is at the focus position L2, and creates a reference image PB. Since the observation image PA and the reference image PB are different in the position of the focus lens 113 when imaged, the amounts of blur are different from each other although they are images of the same subject.

図4は、実施の形態におけるデジタルビデオカメラ100のDFD演算による被写体距離の算出を説明するイメージ図である。DFD演算回路161は、観測画像PAを構成する各観測画素SA、参照画像PBを構成する各参照画素SBに対してDFD演算を行い、各画素SA(SB)での被写体距離を算出する。DFD演算回路161は、観測画素SAに複数の点拡がり関数を畳み込んで得られた結果である複数の観測画素CAを、観測画素CAと画像上の同じ座標の参照画素SBと照合する。その動作を以下に説明する。   FIG. 4 is a conceptual diagram illustrating calculation of the subject distance by DFD calculation of the digital video camera 100 according to the embodiment. The DFD calculation circuit 161 performs DFD calculation on each observation pixel SA that constitutes the observation image PA and each reference pixel SB that constitutes the reference image PB, and calculates a subject distance at each pixel SA (SB). The DFD arithmetic circuit 161 collates a plurality of observation pixels CA, which is a result obtained by convolving a plurality of point spread functions with the observation pixel SA, with a reference pixel SB having the same coordinates on the image as the observation pixel CA. The operation will be described below.

点拡がり関数は、光学系の点光源に対する応答を示す関数であり、ボケ量の変化を示す。点拡がり関数を、点光源の集合に対応する画像に畳み込む(Convolution)ことで、人為的にボケ画像を生成することができる。本実施の形態では、多数の被写体距離に対応して予め多数の点拡がり関数が内部メモリ240内に用意している。制御部180は、至近側から遠側までを16段階の被写体距離に分解し、それらの被写体距離にそれぞれ対応する16個の点拡がり関数PSF1〜PSF16を内部メモリ240に用意された多数の点拡がり関数から選択する。このとき、フォーカスレンズ113の移動量に応じて、至近側から遠側までの16段階の被写体距離の分解能を変化させる。すなわち、制御部180は、フォーカスレンズ113の移動量が減少するにつれて、至近側から遠側までを16段階に分解する被写体距離の間隔を狭くする。一方、制御部180は、フォーカスレンズ113の移動量が増加するにつれて、至近側から遠側までを16段階に分解する被写体距離の間隔を広くする。そして、制御部180は、選択した16個の点拡がり関数PSF1〜PSF16をDFD演算回路161に通知する。   The point spread function is a function indicating the response of the optical system to the point light source, and indicates a change in the amount of blur. By convolutioning the point spread function with an image corresponding to a set of point light sources (convolution), it is possible to artificially generate a blurred image. In the present embodiment, a large number of point spread functions are prepared in advance in the internal memory 240 corresponding to a large number of subject distances. The control unit 180 divides the subject distance from the closest side to the far side into 16 subject distances, and the 16 point spread functions PSF1 to PSF16 respectively corresponding to the subject distances are provided in a number of point spreads prepared in the internal memory 240. Select from functions. At this time, the resolution of the subject distance in 16 steps from the closest side to the far side is changed according to the movement amount of the focus lens 113. That is, as the movement amount of the focus lens 113 decreases, the control unit 180 narrows the interval of the subject distance that is decomposed into 16 steps from the closest side to the far side. On the other hand, as the movement amount of the focus lens 113 increases, the control unit 180 widens the subject distance interval that decomposes the closest side to the far side into 16 steps. Then, the control unit 180 notifies the DFD arithmetic circuit 161 of the selected 16 point spread functions PSF1 to PSF16.

DFD演算回路161は、各観測画素SAでの被写体までの距離に対応した16個の点拡がり関数PSF1〜PSF16を各観測画素SAに畳み込みすることで、各観測画素SAでの被写体までの距離に対応した16個の観測画素CA1〜CA16を生成する。16個の観測画素CA1〜CA16は、畳み込まれている点拡がり関数がそれぞれ異なるので、それぞれ異なるボケ画像を形成する。   The DFD operation circuit 161 convolves the 16 point spread functions PSF1 to PSF16 corresponding to the distance to the subject at each observation pixel SA into each observation pixel SA, thereby obtaining the distance to the subject at each observation pixel SA. Corresponding 16 observation pixels CA1 to CA16 are generated. Since the 16 observation pixels CA1 to CA16 have different point spread functions that are convoluted, different blurred images are formed.

続いて、DFD演算回路161は、観測画素CA1〜CA16を参照画素SBと照合し、観測画素CA1〜CA16のうち参照画素SBとの差分値が最小となる観測画素CAnを判定する。そして、観測画素CAnに畳み込まれている点拡がり関数に対応する被写体距離を観測画素SAの被写体距離であると決定する。例えば、観測画素CA3と参照画素SBとの差分値が、他の観測画素CA1〜2、CA4〜16のそれぞれと参照画素SBとの差分値と比較して最小となる場合、DFD演算回路161は、観測画素CA3を作成する際に観測画素SAに畳み込んだ点拡がり関数PSF3に対応する被写体距離を観測画素SAでの被写体距離であると決定する。   Subsequently, the DFD arithmetic circuit 161 collates the observation pixels CA1 to CA16 with the reference pixel SB, and determines an observation pixel CAn having a minimum difference value from the reference pixel SB among the observation pixels CA1 to CA16. Then, the subject distance corresponding to the point spread function convolved with the observation pixel CAn is determined to be the subject distance of the observation pixel SA. For example, when the difference value between the observation pixel CA3 and the reference pixel SB is minimum compared to the difference value between each of the other observation pixels CA1 to CA2 and CA4 to 16 and the reference pixel SB, the DFD arithmetic circuit 161 The object distance corresponding to the point spread function PSF3 convoluted with the observation pixel SA when the observation pixel CA3 is created is determined to be the object distance at the observation pixel SA.

以上の動作を、観測画像PA及び参照画像PBの各画素について実施することにより、DFD演算回路161は各画素についての被写体距離の分布であるDepthマップを完成させる。実施の形態では各被写体までの距離に対応した16個の点拡がり関数を用いたので、Depthマップは16階調の被写体距離を示す。   By performing the above operation for each pixel of the observation image PA and the reference image PB, the DFD arithmetic circuit 161 completes a Depth map that is a distribution of subject distances for each pixel. In the embodiment, since 16 point spread functions corresponding to the distance to each subject are used, the Depth map indicates a subject distance of 16 gradations.

続いて、図5及び図6を用いて、DFD演算結果を用いたオートフォーカス動作について説明する。図5は、デジタルビデオカメラ100におけるオートフォーカス動作のフローチャートである。図6は、デジタルビデオカメラ100におけるオートフォーカス動作を説明するイメージ図である。図6は、フォーカスレンズ113の各位置P1〜P4における被写体距離に対するコントラスト値のイメージを示している。図6において、位置P1〜P4は、フォーカスレンズ113の位置を示す。移動量D1〜D3は、フォーカスレンズ113の移動量を示す。また、被写体距離S1〜S5は、被写体までの距離を示す。また、コントラストカーブCC1〜CC4は、それぞれ被写体距離S1〜S4においてフォーカスレンズ113が位置P1〜P4にあるときに、コントラスト値がピークとなるコントラストカーブである。被写体距離S5は、合焦動作の目的としている被写体が存在する被写体距離を示す。   Subsequently, an autofocus operation using the DFD calculation result will be described with reference to FIGS. 5 and 6. FIG. 5 is a flowchart of the autofocus operation in the digital video camera 100. FIG. 6 is an image diagram for explaining an autofocus operation in the digital video camera 100. FIG. 6 shows an image of the contrast value with respect to the subject distance at each position P1 to P4 of the focus lens 113. In FIG. 6, positions P <b> 1 to P <b> 4 indicate the position of the focus lens 113. The movement amounts D1 to D3 indicate the movement amount of the focus lens 113. The subject distances S1 to S5 indicate the distance to the subject. Further, the contrast curves CC1 to CC4 are contrast curves in which the contrast value peaks when the focus lens 113 is at the positions P1 to P4 at the subject distances S1 to S4, respectively. The subject distance S5 indicates the subject distance where the subject to be focused is present.

図5に示すように、デジタルビデオカメラ100は、撮影モードにおいて、オートフォーカス動作を実施する。まず、画像処理部160は、現在のフォーカスレンズ113の位置P1において、CMOSイメージセンサ140が撮像した画像を取得する(ステップS300)。続いて、制御部180は、レンズ駆動部120を制御して、フォーカスレンズ113を、位置P1から第1の移動量D1だけシフトした位置P2へと移動させる(ステップS301)。画像処理部160は、フォーカスレンズ113が位置P2に移動すると、CMOSイメージセンサ140が撮像した画像を取得する(ステップS302)。   As shown in FIG. 5, the digital video camera 100 performs an autofocus operation in the shooting mode. First, the image processing unit 160 acquires an image captured by the CMOS image sensor 140 at the current position P1 of the focus lens 113 (step S300). Subsequently, the control unit 180 controls the lens driving unit 120 to move the focus lens 113 to the position P2 shifted from the position P1 by the first movement amount D1 (step S301). When the focus lens 113 moves to the position P2, the image processing unit 160 acquires an image captured by the CMOS image sensor 140 (step S302).

ここで、画像処理部160は、ステップS300にて取得した画像を観測画像PAとし、ステップS302にて取得した画像を参照画像PBとして、上述したDFD演算を実施する(ステップS303)。画像処理部160は、DFD演算により被写体距離(合焦位置を示す情報)を算出する。   Here, the image processing unit 160 performs the above-described DFD calculation using the image acquired in step S300 as the observation image PA and the image acquired in step S302 as the reference image PB (step S303). The image processing unit 160 calculates the subject distance (information indicating the in-focus position) by DFD calculation.

次に、制御部180は、ステップS303のDFD演算により算出された被写体距離(合焦位置を示す情報)が、所定の範囲内であるか否かを判定する(ステップS304)。このとき、ステップS303のDFD演算により算出された被写体距離(合焦位置を示す情報)が、16個の点拡がり関数PSF1〜PSF16のいずれに対応する被写体距離であるかを判定する。上述したように、点拡がり関数PSF1〜PSF16は、至近側から遠側までを16段階に分解された被写体距離に対応している。このとき、点拡がり関数PSF1は、点拡がり関数PSF1〜PSF16のうち、最も至近側の被写体距離に対応している。一方、点拡がり関数PSF16は、点拡がり関数PSF1〜PSF16のうち、最も遠側の被写体距離に対応している。よって、具体的には、制御部180は、ステップS303のDFD演算により算出された被写体距離(合焦位置を示す情報)が、点拡がり関数PSF1又は点拡がり関数PSF16に対応するか(所定の範囲外であるか)、点拡がり関数PSF2〜PSF15に対応するか(所定の範囲内であるか)を判定する。   Next, the control unit 180 determines whether or not the subject distance (information indicating the in-focus position) calculated by the DFD calculation in step S303 is within a predetermined range (step S304). At this time, it is determined whether the subject distance (information indicating the in-focus position) calculated by the DFD calculation in step S303 is the subject distance corresponding to any of the 16 point spread functions PSF1 to PSF16. As described above, the point spread functions PSF1 to PSF16 correspond to subject distances that are resolved in 16 steps from the closest side to the far side. At this time, the point spread function PSF1 corresponds to the closest subject distance among the point spread functions PSF1 to PSF16. On the other hand, the point spread function PSF16 corresponds to the farthest subject distance among the point spread functions PSF1 to PSF16. Therefore, specifically, the control unit 180 determines whether the subject distance (information indicating the in-focus position) calculated by the DFD calculation in step S303 corresponds to the point spread function PSF1 or the point spread function PSF16 (predetermined range). It is determined whether it corresponds to the point spread functions PSF2 to PSF15 (within a predetermined range).

ステップS303のDFD演算により算出された被写体距離(合焦位置を示す情報)が、所定の範囲内にない(点拡がり関数PSF1又は点拡がり関数PSF16に対応する)と判定されたとき(ステップS304の「No」)、制御部180は、DFD演算におけるフォーカスレンズ113の移動量として、第1の移動量D1よりも移動量を増加させた第2の移動量D2を設定する(ステップS305)。そして、制御部180は、レンズ駆動部120を制御して、フォーカスレンズ113を位置P2から第2の移動量D2だけシフトした位置P3へと移動させる(2巡目のステップS301)。画像処理部160は、フォーカスレンズ113が位置P3に移動すると、CMOSイメージセンサ140が撮像した画像を取得する(2巡目のステップS302)。   When it is determined that the subject distance (information indicating the in-focus position) calculated by the DFD calculation in step S303 is not within the predetermined range (corresponding to the point spread function PSF1 or the point spread function PSF16) (in step S304). “No”), the control unit 180 sets the second movement amount D2 that is larger than the first movement amount D1 as the movement amount of the focus lens 113 in the DFD calculation (step S305). Then, the control unit 180 controls the lens driving unit 120 to move the focus lens 113 from the position P2 to the position P3 shifted by the second movement amount D2 (step S301 in the second round). When the focus lens 113 moves to the position P3, the image processing unit 160 acquires an image captured by the CMOS image sensor 140 (step S302 in the second round).

ここで、画像処理部160は、1巡目のステップS302にて取得した画像を観測画像PAとし、2巡目のステップS302にて取得した画像を参照画像PBとして、DFD演算を再度実施する(2巡目のステップS303)。そして、画像処理部160は、DFD演算により被写体距離(合焦位置を示す情報)を算出する。再び、制御部180は、ステップS303のDFD演算により算出された被写体距離(合焦位置を示す情報)が、所定の範囲内であるか否かを判定する(2巡目のステップS304)。制御部180は、ステップS303のDFD演算により算出された被写体距離(合焦位置を示す情報)が、所定の範囲内になる(点拡がり関数PSF2〜PSF15に対応する)まで、ステップS301からステップS305の動作を繰り返す。ステップS303のDFD演算により算出された被写体距離が、所定の範囲内にない場合に、フォーカスレンズ113の移動量を増加させる技術的意義については後述する。   Here, the image processing unit 160 performs the DFD operation again using the image acquired in step S302 of the first round as the observation image PA and the image acquired in step S302 of the second round as the reference image PB ( Step S303 of the second round). Then, the image processing unit 160 calculates the subject distance (information indicating the in-focus position) by DFD calculation. Again, the control unit 180 determines whether or not the subject distance (information indicating the in-focus position) calculated by the DFD calculation in step S303 is within a predetermined range (step S304 in the second round). The control unit 180 performs steps S301 to S305 until the subject distance (information indicating the in-focus position) calculated by the DFD calculation in step S303 falls within a predetermined range (corresponding to the point spread functions PSF2 to PSF15). Repeat the operation. The technical significance of increasing the amount of movement of the focus lens 113 when the subject distance calculated by the DFD calculation in step S303 is not within the predetermined range will be described later.

ステップS304において、ステップS303のDFD演算により算出された被写体距離(合焦位置を示す情報)が、所定の範囲内であると判定されると(ステップS304の「Yes」)、制御部180は、DFD演算におけるフォーカスレンズ113の移動量として、前回の移動量(第1の移動量D1又は第2の移動量D2)よりも移動量を減少させた第3の移動量D3を設定する(ステップS306)。続いて、制御部180は、レンズ駆動部120を制御して、フォーカスレンズ113を、位置P3から第3の移動量D3だけシフトした位置P4へと移動させる(ステップS307)。画像処理部160は、フォーカスレンズ113が位置P4に移動すると、CMOSイメージセンサ140が撮像した画像を取得する(ステップS308)。   If it is determined in step S304 that the subject distance (information indicating the in-focus position) calculated by the DFD calculation in step S303 is within a predetermined range (“Yes” in step S304), the control unit 180 may As the amount of movement of the focus lens 113 in the DFD calculation, a third amount of movement D3 that is smaller than the amount of movement of the previous time (first amount of movement D1 or second amount of movement D2) is set (step S306). ). Subsequently, the control unit 180 controls the lens driving unit 120 to move the focus lens 113 from the position P3 to the position P4 shifted by the third movement amount D3 (step S307). When the focus lens 113 moves to the position P4, the image processing unit 160 acquires an image captured by the CMOS image sensor 140 (step S308).

ここで、画像処理部160は、前回のステップS302にて取得した画像を観測画像PAとし、ステップS308にて取得した画像を参照画像PBとして、DFD演算を実施する(ステップS309)。画像処理部160は、DFD演算により被写体距離(合焦位置を示す情報)を算出する。   Here, the image processing unit 160 performs the DFD calculation using the image acquired in the previous step S302 as the observation image PA and the image acquired in step S308 as the reference image PB (step S309). The image processing unit 160 calculates the subject distance (information indicating the in-focus position) by DFD calculation.

次に、制御部180は、DFD演算により算出された被写体距離(合焦位置を示す情報)が所定の分解能を満たすか否かを判定する(ステップS310)。本実施の形態では、画像上でボケを感じさせない分解能を所定の分解能とする。   Next, the control unit 180 determines whether or not the subject distance (information indicating the focus position) calculated by the DFD calculation satisfies a predetermined resolution (step S310). In the present embodiment, the resolution that does not cause blur on the image is set as a predetermined resolution.

DFD演算により算出された被写体距離(合焦位置を示す情報)が所定の分解能を満たさない場合(ステップS310の「No」)、制御部180は、DFD演算を画像処理部160に再度実施させる。このとき、制御部180は、DFD演算におけるフォーカスレンズ113の移動量として、第3の移動量D3よりも移動量を更に減少させた移動量を設定する(2巡目のステップS306)。そして、制御部180は、ステップS309におけるDFD演算により算出された被写体距離(合焦位置を示す情報)が、所定の分解能を満たすまで、ステップS306からステップS310の処理を繰り返す(ステップS310の「No」)。ステップS309のDFD演算により算出された被写体距離(合焦位置を示す情報)が、所定の分解能以下である場合に、フォーカスレンズ113の移動量を減少させる技術的意義については後述する。   When the subject distance (information indicating the focus position) calculated by the DFD calculation does not satisfy the predetermined resolution (“No” in step S310), the control unit 180 causes the image processing unit 160 to perform the DFD calculation again. At this time, the control unit 180 sets a movement amount obtained by further reducing the movement amount from the third movement amount D3 as the movement amount of the focus lens 113 in the DFD calculation (step S306 in the second round). Then, the control unit 180 repeats the processing from step S306 to step S310 until the subject distance (information indicating the focus position) calculated by the DFD calculation in step S309 satisfies a predetermined resolution (“No” in step S310). "). The technical significance of reducing the amount of movement of the focus lens 113 when the subject distance (information indicating the in-focus position) calculated by the DFD calculation in step S309 is equal to or less than a predetermined resolution will be described later.

ステップS310において、ステップS309のDFD演算により算出された被写体距離(合焦位置を示す情報)が、所定の分解能を満たすと判定された場合(ステップS310の「Yes」)、制御部180は、オートフォーカス動作において、DFD演算により決定された被写体距離に基づいて、フォーカスレンズ113を最終的に移動させるべき合焦位置を決定する(ステップS311)。具体的には、制御部180は、トラッキングテーブルを参照して、求めた被写体距離と現在のズームレンズ111の位置とに基づいて合焦位置を算出する。図7は、実施の形態におけるデジタルビデオカメラ100の複数の被写体距離に対するズームトラッキングテーブルを示す。図7に示すように、ズームトラッキングテーブルは、代表的ないくつかの被写体距離DL(図7では1m、2m、3m、無限遠(INF))に対応してズームレンズ111の位置に対する合焦位置を示すカーブDM1〜DM4を含む。制御部180は、ズームトラッキングテーブルに記載のカーブを被写体距離について補間することで、代表的な被写体距離DL以外の被写体距離についてもフォーカスレンズ113を移動させるべき位置である合焦位置を算出することができる。   In step S310, when it is determined that the subject distance (information indicating the in-focus position) calculated by the DFD calculation in step S309 satisfies the predetermined resolution (“Yes” in step S310), the control unit 180 performs auto In the focus operation, the focus position where the focus lens 113 should be finally moved is determined based on the subject distance determined by the DFD calculation (step S311). Specifically, the control unit 180 refers to the tracking table and calculates a focus position based on the obtained subject distance and the current position of the zoom lens 111. FIG. 7 shows a zoom tracking table for a plurality of object distances of the digital video camera 100 according to the embodiment. As shown in FIG. 7, the zoom tracking table is a focus position with respect to the position of the zoom lens 111 corresponding to several typical subject distances DL (1 m, 2 m, 3 m, and infinity (INF) in FIG. 7). Including curves DM1 to DM4. The control unit 180 interpolates the curve described in the zoom tracking table with respect to the subject distance, thereby calculating a focus position that is a position to move the focus lens 113 for subject distances other than the representative subject distance DL. Can do.

そして、制御部180は、レンズ駆動部120を制御することにより、フォーカスレンズ113を合焦位置へと移動させる(ステップS312)。   Then, the control unit 180 controls the lens driving unit 120 to move the focus lens 113 to the in-focus position (step S312).

以上説明したオートフォーカス動作により、デジタルビデオカメラ100は、合焦精度を確保することができる。   With the autofocus operation described above, the digital video camera 100 can ensure focusing accuracy.

続いて、ステップS303のDFD演算により算出された被写体距離(合焦位置を示す情報)が、所定の範囲内にない(点拡がり関数PSF1又は点拡がり関数PSF16に対応する)場合に、フォーカスレンズ113の移動量を増加させる技術的意義について説明する。   Subsequently, when the subject distance (information indicating the in-focus position) calculated by the DFD calculation in step S303 is not within a predetermined range (corresponding to the point spread function PSF1 or the point spread function PSF16), the focus lens 113 is used. The technical significance of increasing the amount of movement will be described.

図6は、フォーカスレンズ113が位置P1〜P4に位置するときの、被写体距離に対するコントラスト値の関係を示している。DFD演算においては、互いに異なるフォーカスレンズ位置において取得した少なくとも2枚の画像から、被写体距離を算出する。具体的には、前述したとおり、画像処理部160は、観測画像PAの観測画素SAに対して点拡がり関数を畳み込んだ結果である観測画素CAと、参照画像PBの参照画素SBとを照合して、被写体距離を算出する。この照合において、有意な被写体距離を算出するためには、参照画像PBは、目的の被写体距離において、所定値以上のコントラスト値を有している必要がある。目的の被写体距離において、所定値以上のコントラスト値を有していない場合とは、参照画像PBにて、目的の被写体距離に位置する被写体像のコントラスト値を有意に検出できていないことを意味する。そのため、目的の被写体距離に位置する被写体像のコントラスト値を有意に検出できる位置に、フォーカスレンズ113を更に移動させる必要がある。図6に示す例では、被写体距離S5に目的の被写体が存在する。このとき、被写体距離S2にピークをもつコントラストカーブCC2の被写体距離S5におけるコントラスト値はたいへん小さいため、コントラストカーブCC2からは、被写体距離S5において有意なコントラスト値を検出することができない。すなわち、フォーカスレンズ113が位置P2に位置しているときは、被写体距離S5にある被写体に対しては有意なコントラスト値を検出することができない。このとき、図5のステップS305において移動量を増加させることなく、前回(ステップS301)と同じ第1の移動量D1にてフォーカスレンズ113を移動させても可能である。しかし、第1の移動量D1よりも大きい第2の移動量D2によりフォーカスレンズ113を移動させることで、目的の被写体距離に位置する被写体像のコントラスト値を有意に検出できる可能性を高めることができる。図6に示すように、フォーカスレンズ113を第1の移動量D1よりも大きい第2の移動量D2の移動量で移動させて位置P3に位置させることにより、被写体距離S5において有意なコントラスト値C1を検出することができる。すなわち、被写体距離S3にピークをもつコントラストカーブCC3は、被写体距離S5において有意なコントラスト値C1を有する。   FIG. 6 shows the relationship of the contrast value with respect to the subject distance when the focus lens 113 is located at positions P1 to P4. In the DFD calculation, the subject distance is calculated from at least two images acquired at different focus lens positions. Specifically, as described above, the image processing unit 160 collates the observation pixel CA that is the result of convolving the point spread function with the observation pixel SA of the observation image PA and the reference pixel SB of the reference image PB. Then, the subject distance is calculated. In this collation, in order to calculate a significant subject distance, the reference image PB needs to have a contrast value equal to or greater than a predetermined value at the target subject distance. The case where the target subject distance does not have a contrast value equal to or greater than the predetermined value means that the contrast value of the subject image located at the target subject distance cannot be detected significantly in the reference image PB. . Therefore, it is necessary to further move the focus lens 113 to a position where the contrast value of the subject image located at the target subject distance can be detected significantly. In the example shown in FIG. 6, the target subject exists at the subject distance S5. At this time, since the contrast value at the subject distance S5 of the contrast curve CC2 having a peak at the subject distance S2 is very small, a significant contrast value at the subject distance S5 cannot be detected from the contrast curve CC2. That is, when the focus lens 113 is located at the position P2, a significant contrast value cannot be detected for the subject at the subject distance S5. At this time, it is possible to move the focus lens 113 by the same first movement amount D1 as in the previous step (Step S301) without increasing the movement amount in Step S305 of FIG. However, by moving the focus lens 113 by the second movement amount D2 that is larger than the first movement amount D1, it is possible to increase the possibility that the contrast value of the subject image located at the target subject distance can be detected significantly. it can. As shown in FIG. 6, by moving the focus lens 113 by the movement amount of the second movement amount D2 that is larger than the first movement amount D1 to be positioned at the position P3, a significant contrast value C1 at the subject distance S5. Can be detected. That is, the contrast curve CC3 having a peak at the subject distance S3 has a significant contrast value C1 at the subject distance S5.

続いて、ステップS309のDFD演算により算出された被写体距離(合焦位置を示す情報)が、所定の分解能より低い場合に、フォーカスレンズ113の移動量を減少させる技術的意義について説明する。   Next, the technical significance of reducing the amount of movement of the focus lens 113 when the subject distance (information indicating the in-focus position) calculated by the DFD calculation in step S309 is lower than a predetermined resolution will be described.

フォーカスレンズ113の移動量を減少させることは、参照画像PBを観測画像PAにより近づけることを意味する。DFD演算においては、観測画像PAが示すコントラスト値と、参照画像PBが示すコントラスト値とが重畳する範囲が少しでもあれば、何かしらの照合結果を得ることができる。観測画像PAと参照画像PBとの照合における精度について図8を用いて説明する。図8は、DFD演算の精度を説明するためのイメージ図である。図8のコントラストカーブCC3及びCC4に示すように、裾野付近からピーク位置付近に近づくにつれて傾きが急峻になるが、裾野付近では傾きがなだらかである。そのため、観測画像PAが示すコントラスト値と、参照画像PBが示すコントラスト値とが重畳する範囲があったとしても、その重畳する範囲が裾野付近である場合は、コントラスト値の所定の差分ΔCに対する被写体距離の差分(例えば、コントラストカーブCC3の被写体距離S5におけるコントラスト値の所定の差分ΔCに対する被写体距離の差分ΔS3)が大きくなってしまい、十分な被写体距離の検出精度を確保することができない。一方、その重畳する範囲が裾野側からよりピーク位置側に近付いた場合は、コントラスト値の所定の差分ΔCに対する被写体距離の差分(例えば、コントラストカーブCC4の被写体距離S5におけるコントラスト値の所定の差分ΔCに対する被写体距離の差分ΔS4)を小さくすることができ、十分な被写体距離の検出精度を確保することができる。   Decreasing the amount of movement of the focus lens 113 means bringing the reference image PB closer to the observation image PA. In the DFD calculation, if the contrast value indicated by the observed image PA and the contrast value indicated by the reference image PB are slightly overlapped, some kind of collation result can be obtained. The accuracy in matching the observation image PA with the reference image PB will be described with reference to FIG. FIG. 8 is an image diagram for explaining the accuracy of the DFD calculation. As shown by contrast curves CC3 and CC4 in FIG. 8, the slope becomes steeper as it approaches the peak position from the vicinity of the base, but the slope is gentle in the vicinity of the base. Therefore, even if there is a range in which the contrast value indicated by the observed image PA and the contrast value indicated by the reference image PB are superimposed, if the overlapped range is near the base, the subject with respect to the predetermined difference ΔC in the contrast value The difference in distance (for example, the difference ΔS3 in the subject distance with respect to the predetermined difference ΔC in the contrast value at the subject distance S5 in the contrast curve CC3) becomes large, and sufficient subject distance detection accuracy cannot be ensured. On the other hand, when the overlapping range is closer to the peak position side from the base side, the difference of the subject distance with respect to the predetermined difference ΔC of the contrast value (for example, the predetermined difference ΔC of the contrast value at the subject distance S5 of the contrast curve CC4). The difference ΔS4) in the subject distance with respect to can be reduced, and sufficient subject distance detection accuracy can be ensured.

図5に示すステップS306においてフォーカスレンズ113の移動量を減少させる段階では、すでにステップS304において、DFD演算により算出された被写体距離(合焦位置を示す情報)が所定の範囲内であること(点拡がり関数PSF2〜PSF15に対応すること)を満たしている。これは、図6に示すコントラストカーブCC3の被写体距離S5におけるコントラスト値C1が示すように、ステップS302で取得する参照画像PB(ステップS309におけるDFD演算では観測画像PA)における、目的の被写体に対するコントラスト値が、裾野付近よりは比較的ピーク位置側にあることを示している。したがって、図5及び図6に示すコントラストカーブCC4のように、ステップS308で取得する参照画像PBにおける、目的の被写体に対するコントラスト値を、よりピーク位置側に近づけることで、ステップS309のDFD演算のときに被写体距離の検出精度を高めることができる。このように、ステップS309のDFD演算のときの観測画像PAは、すでに裾野付近よりピーク位置側にあるため、フォーカスレンズ113の移動量を減少させることで、参照画像PBにおける、目的の被写体のコントラスト値を、更にピーク位置側に漸近させることができる。図6に示す例では、フォーカスレンズ113をより小さい第3の移動量D3で位置P4に移動させることにより、被写体距離S5においてより有意なコントラスト値C2を検出することができる。これにより、DFD演算結果に基づく合焦動作の精度を向上させることができる。   In the step of reducing the movement amount of the focus lens 113 in step S306 shown in FIG. 5, the subject distance (information indicating the in-focus position) calculated by the DFD calculation in step S304 is already within a predetermined range (points). It corresponds to the spread functions PSF2 to PSF15). This is because the contrast value C1 at the subject distance S5 of the contrast curve CC3 shown in FIG. 6 indicates the contrast value for the target subject in the reference image PB acquired at step S302 (observed image PA in the DFD calculation at step S309). However, it has shown that it exists in the peak position side comparatively rather than the base vicinity. Therefore, as in the contrast curve CC4 shown in FIGS. 5 and 6, the contrast value for the target subject in the reference image PB acquired in step S308 is made closer to the peak position side, so that the DFD calculation in step S309 is performed. In addition, the detection accuracy of the subject distance can be increased. Thus, since the observation image PA at the time of the DFD calculation in step S309 is already on the peak position side from the vicinity of the base, the amount of movement of the focus lens 113 is reduced, so that the contrast of the target subject in the reference image PB is reduced. The value can be further asymptotically closer to the peak position. In the example shown in FIG. 6, by moving the focus lens 113 to the position P4 with a smaller third movement amount D3, a more significant contrast value C2 can be detected at the subject distance S5. Thereby, the precision of the focusing operation based on the DFD calculation result can be improved.

〔3.効果等〕
上記のように、デジタルビデオカメラ100は、フォーカスレンズ113と、フォーカスレンズ113を介して形成された被写体像を撮像し、画像データを生成するCMOSイメージセンサ140と、フォーカスレンズ113が第1の位置にあるときにCMOSイメージセンサ140によって生成された第1の画像データ(観測画像PA)と、フォーカスレンズ113が第1の位置から第1の移動量を移動した第2の位置にあるときにCMOSイメージセンサ140によって生成された第2の画像データ(参照画像PB)とに基づいて、合焦位置に関する値を算出する画像処理部160と、合焦位置に関する値の算出結果に基づいてフォーカスレンズ113の移動量を決定する制御部180と、フォーカスレンズ113の移動量に基づいてフォーカスレンズ113を駆動するレンズ駆動部120と、を備える。制御部180は、合焦位置に関する値が第1の所定の範囲内にあるか否かを判定し、(i)合焦位置に関する値が、第1の所定の範囲内にないと判定したときは、次回のフォーカスレンズ113の移動量を第1の移動量から増加させた第2の移動量に決定し、(ii)合焦位置に関する値が、第1の所定の範囲内にあると判定したときは、次回のフォーカスレンズ113の移動量を第1の移動量から減少させた第3の移動量に決定する。これにより、すでに算出した合焦位置に関する値の精度を更に高めることができる。
[3. Effect etc.)
As described above, in the digital video camera 100, the focus lens 113, the CMOS image sensor 140 that captures the subject image formed through the focus lens 113 and generates image data, and the focus lens 113 are in the first position. The first image data (observation image PA) generated by the CMOS image sensor 140 and the focus lens 113 in the second position moved by the first movement amount from the first position. Based on the second image data (reference image PB) generated by the image sensor 140, the image processing unit 160 that calculates a value related to the focus position, and the focus lens 113 based on the calculation result of the value related to the focus position. Based on the amount of movement of the focus lens 113 and the control unit 180 that determines the amount of movement of the focus lens 113. It includes a lens driving unit 120 for driving the Kasurenzu 113. The control unit 180 determines whether or not the value related to the focus position is within the first predetermined range, and (i) when the value related to the focus position is determined not to be within the first predetermined range. Determines the next movement amount of the focus lens 113 to be the second movement amount increased from the first movement amount, and (ii) determines that the value related to the in-focus position is within the first predetermined range. When this is done, the next movement amount of the focus lens 113 is determined to be a third movement amount that is reduced from the first movement amount. Thereby, the precision of the value regarding the already calculated in-focus position can be further improved.

一般に、コントラストオートフォーカス方式と呼ばれているオートフォーカス方式では、あるフォーカスレンズ位置における撮像画像の高周波成分を抽出しているのみであり、それだけでは合焦位置はわからない。一方、DFD演算を用いたオートフォーカス方式では、被写体距離に対応して合焦位置の結果はすでに算出されている。本開示のデジタルビデオカメラ100では、DFD演算を用いてすでに合焦位置が算出されているが、フォーカスレンズ113の移動量を変化させることにより、合焦位置の算出結果の精度を更に高めることができる。   In general, in an autofocus method called a contrast autofocus method, only a high-frequency component of a captured image at a certain focus lens position is extracted, and the focus position cannot be determined by that alone. On the other hand, in the autofocus method using the DFD calculation, the result of the focus position has already been calculated corresponding to the subject distance. In the digital video camera 100 of the present disclosure, the in-focus position has already been calculated using the DFD calculation. However, by changing the movement amount of the focus lens 113, the accuracy of the in-focus position calculation result can be further improved. it can.

また、制御部180は、合焦位置に関する値が、所定の範囲内にあるか否かを判定する。そして、制御部180は、合焦位置に関する値が、所定の範囲内にないと判定したときは、次回のフォーカスレンズ113の移動量を第1の移動量から増加させた第2の移動量へと変化させ、再度合焦位置に関する値を算出する。これにより、合焦位置に関する値が、所定の範囲内に収まるように、より確実に合焦動作を行うことができる。   In addition, the control unit 180 determines whether or not the value related to the in-focus position is within a predetermined range. Then, when the control unit 180 determines that the value related to the in-focus position is not within the predetermined range, the control unit 180 shifts the next movement amount of the focus lens 113 to the second movement amount that is increased from the first movement amount. Then, the value relating to the in-focus position is calculated again. Thereby, the focusing operation can be performed more reliably so that the value relating to the in-focus position falls within a predetermined range.

一方、制御部180は、合焦位置に関する値が、所定の範囲内にあると判定したときは、次回のフォーカスレンズ113の移動量を第1の移動量から減少させた第3の移動量へと変化させ、再度合焦位置に関する値を算出する。これにより、すでに所定の範囲内に収まっている合焦位置に関する値の精度を、より高めることができる。   On the other hand, when it is determined that the value related to the in-focus position is within the predetermined range, the control unit 180 shifts the next movement amount of the focus lens 113 to the third movement amount that is reduced from the first movement amount. Then, the value relating to the in-focus position is calculated again. Thereby, the precision of the value regarding the focus position which is already within the predetermined range can be further increased.

そして、制御部180は、再度算出した合焦位置に関する値が、第2の所定の範囲にある(所定の分解能を満たす)と判定したときに、当該算出した合焦位置へとフォーカスレンズ113を移動させる。これにより、精度の高い合焦動作を実現することができる。   Then, when the control unit 180 determines that the value relating to the calculated focus position is within the second predetermined range (satisfies a predetermined resolution), the control unit 180 moves the focus lens 113 to the calculated focus position. Move. Thereby, a highly accurate focusing operation can be realized.

〔4.他の実施の形態〕
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
[4. Other Embodiments]
As described above, the embodiments have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed. Moreover, it is also possible to combine each component demonstrated in the said embodiment and it can also be set as a new embodiment.

上記の実施の形態において、点拡がり関数は内部メモリ240に用意されている。本発明はこれに限定されず、点拡がり関数は、例えば画像処理部160内のメモリに用意されていてもよい。また、実施の形態におけるデジタルビデオカメラ100では、16個の点拡がり関数が選択されるが、Depthマップの階調の数に応じて、選択される点拡がり関数の数は16個以上であっても16個未満であってもよい。   In the above embodiment, the point spread function is prepared in the internal memory 240. The present invention is not limited to this, and the point spread function may be prepared in a memory in the image processing unit 160, for example. In the digital video camera 100 according to the embodiment, 16 point spread functions are selected, but the number of point spread functions to be selected is 16 or more according to the number of gradations of the Depth map. May be less than 16.

実施の形態における撮像装置であるデジタルビデオカメラは非レンズ交換式のデジタルビデオカメラであるが、これに限定されず、レンズ交換式のデジタルビデオカメラであってもよい。   The digital video camera which is the imaging device in the embodiment is a non-lens interchangeable digital video camera, but is not limited thereto, and may be a lens interchangeable digital video camera.

上記実施の形態では、観測画素SAに、点拡がり関数PSF1〜PSF16を畳み込んだ結果を、参照画素SBと照合するようにしたが、本開示はこれに限定されない。観測画素SAと参照画素SBとから、奥行が幅広く焦点が合った全焦点画像を一旦生成し、この全焦点画像に点拡がり関数PSF1〜PSF16を畳み込んだ結果を、参照画素SBと照合するようにしてもよい。全焦点画像によれば、奥行が幅広く焦点が合っているため、奥行に幅広くコントラスト情報を有することになり、DFD演算のS/Nを向上させることができる。そのため、合焦位置の算出精度をより向上させることができる。更には、この全焦点画像に点拡がり関数PSF1〜PSF16を畳み込んだ結果を、参照画素SBでなく、観測画素SAと照合するようにしてもよい。観測画素SAと、参照画素SBとでは、画像を撮像したときのフォーカスレンズの位置が互いに異なるため、被写体に対して異なるコントラスト情報を有する。そのため、観測画素SAでは、コントラスト情報を有する被写体であっても、参照画素SBでは、コントラスト情報を有しない被写体が発生し得る。このような場合に、この全焦点画像に点拡がり関数PSF1〜PSF16を畳み込んだ結果を、観測画素SAと照合することで、DFD演算によって合焦位置を判定可能なダイナミックレンジを拡げることができる。   In the above embodiment, the result of convolution of the point spread functions PSF1 to PSF16 into the observation pixel SA is collated with the reference pixel SB, but the present disclosure is not limited to this. From the observation pixel SA and the reference pixel SB, an omnifocal image whose depth is wide and in focus is once generated, and the result obtained by convolving the point spread functions PSF1 to PSF16 with the omnifocal image is collated with the reference pixel SB. It may be. According to the omnifocal image, since the depth is widely focused, the depth has a wide range of contrast information, and the S / N of the DFD calculation can be improved. Therefore, the calculation accuracy of the in-focus position can be further improved. Furthermore, the result of convolving the point spread functions PSF1 to PSF16 with the omnifocal image may be collated with the observation pixel SA instead of the reference pixel SB. The observation pixel SA and the reference pixel SB have different contrast information with respect to the subject because the positions of the focus lenses are different from each other when an image is captured. Therefore, even if the observation pixel SA is a subject having contrast information, a subject having no contrast information may occur in the reference pixel SB. In such a case, the dynamic range in which the in-focus position can be determined by the DFD calculation can be expanded by collating the result obtained by convolving the point spread functions PSF1 to PSF16 with the omnifocal image with the observation pixel SA. .

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。   As described above, the embodiments have been described as examples of the technology in the present disclosure. For this purpose, the accompanying drawings and detailed description are provided.

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。   Accordingly, among the components described in the accompanying drawings and the detailed description, not only the components essential for solving the problem, but also the components not essential for solving the problem in order to illustrate the above technique. May also be included. Therefore, it should not be immediately recognized that these non-essential components are essential as those non-essential components are described in the accompanying drawings and detailed description.

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。   Moreover, since the above-mentioned embodiment is for demonstrating the technique in this indication, a various change, substitution, addition, abbreviation, etc. can be performed in a claim or its equivalent range.

本開示における撮像装置は、デジタルビデオカメラや、デジタルスチルカメラや、カメラ機能付携帯電話や、カメラ機能付スマートフォン等に適用できる。   The imaging device according to the present disclosure can be applied to a digital video camera, a digital still camera, a mobile phone with a camera function, a smartphone with a camera function, and the like.

100 デジタルビデオカメラ(撮像装置)
110 光学系
111 ズームレンズ
112 手振れ補正レンズ
113 フォーカスレンズ
114 絞り
120 レンズ駆動部
140 CMOSイメージセンサ(撮像センサ)
150 A/Dコンバータ
160 画像処理部
170 バッファ
180 制御部
190 カードスロット
200 メモリカード
210 操作部材
220 表示モニタ
240 内部メモリ
250 角速度センサ
100 Digital video camera (imaging device)
DESCRIPTION OF SYMBOLS 110 Optical system 111 Zoom lens 112 Camera shake correction lens 113 Focus lens 114 Aperture 120 Lens drive part 140 CMOS image sensor (imaging sensor)
150 A / D converter 160 Image processing unit 170 Buffer 180 Control unit 190 Card slot 200 Memory card 210 Operation member 220 Display monitor 240 Internal memory 250 Angular velocity sensor

Claims (2)

フォーカスレンズと、
前記フォーカスレンズを介して形成された被写体像を撮像し、画像データを生成する撮像部と、
前記フォーカスレンズが第1の位置にあるときに前記撮像部によって生成された第1の画像データと、前記フォーカスレンズが前記第1の位置から第1の移動量を移動した第2の位置にあるときに前記撮像部によって生成された第2の画像データとに基づいて、合焦位置に関する値を算出する画像処理部と、
前記合焦位置に関する値の算出結果に基づいて前記フォーカスレンズの移動量を決定する制御部と、
前記フォーカスレンズの移動量に基づいて前記フォーカスレンズを駆動するレンズ駆動部と、を備え、
前記制御部は、前記合焦位置に関する値が第1の所定の範囲内にあるか否かを判定し、
(i)前記合焦位置に関する値が、第1の所定の範囲内にないと判定したときは、次回の前記フォーカスレンズの移動量を前記第1の移動量から増加させた第2の移動量に決定し、
(ii)前記合焦位置に関する値が、第1の所定の範囲内にあると判定したときは、次回の前記フォーカスレンズの移動量を前記第1の移動量から減少させた第3の移動量に決定する、撮像装置。
A focus lens,
An imaging unit that captures a subject image formed via the focus lens and generates image data;
The first image data generated by the imaging unit when the focus lens is at the first position and the second position where the focus lens has moved the first movement amount from the first position. An image processing unit that calculates a value related to the in-focus position based on the second image data generated by the imaging unit at times.
A control unit that determines a moving amount of the focus lens based on a calculation result of a value related to the in-focus position;
A lens driving unit that drives the focus lens based on the amount of movement of the focus lens,
The control unit determines whether or not a value related to the in-focus position is within a first predetermined range;
(I) When it is determined that the value relating to the in-focus position is not within the first predetermined range, the second movement amount obtained by increasing the next movement amount of the focus lens from the first movement amount. Decided on
(Ii) A third movement amount obtained by reducing the next movement amount of the focus lens from the first movement amount when it is determined that the value related to the in-focus position is within the first predetermined range. The imaging device to be determined.
前記フォーカスレンズの前記第3の移動量に基づいて前記フォーカスレンズを駆動後に前記画像処理部は再度合焦位置に関する値を算出し、
前記制御部は、前記再度算出した前記合焦位置に関する値が、所定の分解能を満たすと判定したときに、当該算出した合焦位置に関する値に基づいて前記フォーカスレンズを最終的に移動させるべき合焦位置を決定する、請求項1に記載の撮像装置。
After driving the focus lens based on the third movement amount of the focus lens, the image processing unit again calculates a value related to the focus position,
When the control unit determines that the recalculated value related to the focus position satisfies a predetermined resolution , the control unit finally moves the focus lens based on the calculated value related to the focus position. The imaging device according to claim 1, wherein a focal position is determined.
JP2015127156A 2013-11-19 2015-06-25 Imaging device Active JP5866537B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015127156A JP5866537B2 (en) 2013-11-19 2015-06-25 Imaging device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013238475 2013-11-19
JP2013238475 2013-11-19
JP2015127156A JP5866537B2 (en) 2013-11-19 2015-06-25 Imaging device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014217960A Division JP5866493B2 (en) 2013-11-19 2014-10-27 Imaging device

Publications (2)

Publication Number Publication Date
JP2015200907A JP2015200907A (en) 2015-11-12
JP5866537B2 true JP5866537B2 (en) 2016-02-17

Family

ID=54552147

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015127155A Active JP5866569B2 (en) 2013-11-19 2015-06-25 Imaging device
JP2015127156A Active JP5866537B2 (en) 2013-11-19 2015-06-25 Imaging device
JP2015127157A Active JP5866570B2 (en) 2013-11-19 2015-06-25 Imaging device
JP2015224366A Pending JP2016057633A (en) 2013-11-19 2015-11-17 Imaging device

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015127155A Active JP5866569B2 (en) 2013-11-19 2015-06-25 Imaging device

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2015127157A Active JP5866570B2 (en) 2013-11-19 2015-06-25 Imaging device
JP2015224366A Pending JP2016057633A (en) 2013-11-19 2015-11-17 Imaging device

Country Status (1)

Country Link
JP (4) JP5866569B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7002050B2 (en) 2018-07-11 2022-02-10 パナソニックIpマネジメント株式会社 Imaging device
JP6687210B1 (en) * 2019-10-03 2020-04-22 株式会社ザクティ Imaging device

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965840A (en) * 1987-11-27 1990-10-23 State University Of New York Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system
JP2000152064A (en) * 1998-11-16 2000-05-30 Ricoh Co Ltd Automatic focus controller
JP2006323172A (en) * 2005-05-19 2006-11-30 Olympus Corp Focusing information obtaining apparatus
JP2007139893A (en) * 2005-11-15 2007-06-07 Olympus Corp Focusing detection device
KR101415872B1 (en) * 2007-09-14 2014-07-11 삼성전기주식회사 Method and apparatus for auto focusing of image capturing
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
JP5635844B2 (en) * 2010-09-06 2014-12-03 キヤノン株式会社 Focus adjustment apparatus and imaging apparatus
JP6011862B2 (en) * 2011-01-27 2016-10-19 パナソニックIpマネジメント株式会社 3D image capturing apparatus and 3D image capturing method
JP2013044844A (en) * 2011-08-23 2013-03-04 Panasonic Corp Image processing device and image processing method
JP2013130762A (en) * 2011-12-22 2013-07-04 Sony Corp Imaging device, method for controlling the same, and program

Also Published As

Publication number Publication date
JP2015200908A (en) 2015-11-12
JP5866569B2 (en) 2016-02-17
JP5866570B2 (en) 2016-02-17
JP2015207019A (en) 2015-11-19
JP2015200907A (en) 2015-11-12
JP2016057633A (en) 2016-04-21

Similar Documents

Publication Publication Date Title
JP5866493B2 (en) Imaging device
JP5895270B2 (en) Imaging device
JP6405531B2 (en) Imaging device
KR20190021138A (en) Electronic device which stores depth information associating with image in accordance with Property of depth information acquired using image and the controlling method thereof
JP6357646B2 (en) Imaging device
JP2016167801A (en) Imaging device, imaging method and imaging program
JP6326631B2 (en) Imaging device
JP6432038B2 (en) Imaging device
JP6300670B2 (en) Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus
JP6564284B2 (en) Image processing apparatus and image processing method
TWI693828B (en) Image-capturing device and method for operating the same
JP5866537B2 (en) Imaging device
JP7002050B2 (en) Imaging device
JP6089232B2 (en) Imaging device
WO2021065065A1 (en) Imaging device
KR101700360B1 (en) Digital photographing apparatus, method for controlling the apparatus, and medium for recording the method
JP2011071712A (en) Stereoscopically imaging device and method
US10681274B2 (en) Imaging apparatus and control method thereof
JP2008026801A (en) Optical device and control method thereof
JP6724395B2 (en) Image display control device, image display control method, and image display control program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151012

R151 Written notification of patent or utility model registration

Ref document number: 5866537

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151