JP6245885B2 - Imaging apparatus and control method thereof - Google Patents

Imaging apparatus and control method thereof Download PDF

Info

Publication number
JP6245885B2
JP6245885B2 JP2013161267A JP2013161267A JP6245885B2 JP 6245885 B2 JP6245885 B2 JP 6245885B2 JP 2013161267 A JP2013161267 A JP 2013161267A JP 2013161267 A JP2013161267 A JP 2013161267A JP 6245885 B2 JP6245885 B2 JP 6245885B2
Authority
JP
Japan
Prior art keywords
distance
image
range
map
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013161267A
Other languages
Japanese (ja)
Other versions
JP2015032144A5 (en
JP2015032144A (en
Inventor
隆弘 高橋
隆弘 高橋
知 小松
知 小松
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2013161267A priority Critical patent/JP6245885B2/en
Publication of JP2015032144A publication Critical patent/JP2015032144A/en
Publication of JP2015032144A5 publication Critical patent/JP2015032144A5/ja
Application granted granted Critical
Publication of JP6245885B2 publication Critical patent/JP6245885B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors

Description

本発明は、撮像装置に関し、特に、距離マップを取得可能な撮像装置に関する。 The present invention relates to an image pickup apparatus, particularly to obtain an imaging apparatus capable of distance map.

従来、観賞用の画像と同時に距離マップを取得する方式として、ステレオ方式(例えば、特許文献1)や、Depth from Defocus(DFD、特許文献2)、Depth from Focus(DFF、特許文献3)などがある。 Conventionally, as a method for obtaining an image at the same time distance map ornamental, stereo system (e.g., Patent Document 1) and, Depth from Defocus (DFD, Patent Document 2), Depth from Focus (DFF, Patent Document 3), etc. is there. これらの方式は、特殊な照明を必要としないパッシブ方式であるため、一般的な撮像装置に好適な距離マップ取得方式である。 These schemes are the passive method that does not require special lighting, a suitable distance map acquisition scheme for general imaging apparatus. DFD、DFFは、撮影画像のぼけ方が撮影シーンの撮像装置からの距離によって異なることに基づき、複数の撮影条件で撮影された画像群(2画像以上)のぼけ方の違いを解析し距離マップを算出する方法である。 DFD, DFF is based on the person blur of the photographed image differs depending on the distance from the imaging device imaging a scene, a distance map analyzes the difference in blur side of the plurality of captured images by the imaging condition (2 or more images) it is a method of calculating the. 一方、ステレオ法は、三角測量の原理に基づき、2視点以上の撮像画像中の各画素の対応関係から求めた視差に基づき、対象シーンの距離マップを算出する方法である。 On the other hand, the stereo method, based on the principle of triangulation based on the parallax calculated from the correspondence relationship between each pixel in the two viewpoints or more captured images, a method of calculating a distance map of the scene. ステレオ法の実施形態は、撮像装置を複数並べたり、光学系の瞳分割をして1つの撮像装置で2視点の画像を取得したりするなど様々な形態がある。 Embodiment of the stereo method is arranged or a plurality of imaging devices, there are various forms such as or retrieve images of two viewpoints in one imaging device and a pupil division optical system.

このようにして算出された距離マップは、主被写体付近を切り出す切り出し機能に利用されたり、主被写体以外の領域をぼかして擬似的に被写界深度を狭くする背景ぼかし機能に利用されたり、様々な画像処理に適用することができる。 Thus the distance map that is calculated is or are utilized in the background Blurring narrowing or be utilized cut function for cutting the vicinity of the main object, the pseudo depth of field blur the region other than the main subject, various it can be applied to an image processing.

特開平04−138577号公報 JP 04-138577 discloses 特開平01−167610号公報 JP 01-167610 discloses 国際公開第2002/082805号公報 WO 2002/082805 No.

前述の通り、距離マップを用いた画像処理を撮影者の所望の通りに行うには、ユーザが望む画像処理効果に必要な距離マップが取得されている必要がある。 As described above, the image processing using the distance map to perform as desired by the photographer, it is necessary to distance maps required for image processing effect desired by the user is acquired. 具体的には、連続的な奥行きを有するシーンに対して、距離マップを用いてぼけを連続的に変化させて表現させたい場合、変化させたい奥行き方向の範囲の距離マップを取得する必要がある。 Specifically, with respect to a scene having a continuous depth, when it is desired to express the blur is continuously changed, it is necessary to obtain a distance map of the range of the depth direction to be changed by using the distance map . しかし、後述する通り、DFD、DFFやステレオ法などの距離マップ取得方式では、取得可能な距離マップの奥行き範囲(以後、測距範囲と呼ぶ)は、距離マップ取得時のパラメータに依存する。 However, as described later, DFD, a distance map acquisition scheme such as DFF and stereo method, the depth range of obtainable distance map (hereinafter, referred to as distance measurement range) depends on the distance at the map acquisition parameters. したがって、所望の測距範囲を得るにはパラメータを適切に設定する必要がある。 Therefore, it is necessary to properly set the parameters to obtain the desired distance measurement range. 例えば、距離マップを利用した画像処理において所望の効果を得ようとした場合、撮影シーンに適応した測距範囲を有する距離マップを得るためのパラメータ設定を行う必要がある。 For example, if the image processing using the distance map was sought the desired effect, it is necessary to perform parameter setting for obtaining the distance map with a distance measurement range adapted to the shooting scene. しかし、従来は距離マップを撮影時に確認することができなかったため、撮影後の画像処理結果を観察するまで所望の画像処理結果を得ることが可能か否かを確認できないという課題があった。 However, the prior art because it could not confirm the distance map at the time of shooting, there is a problem that can not be confirmed whether it is possible to obtain a desired image processing result to observe the result of image processing after photographing.

上記課題を考慮して、本発明は、撮影中に取得する距離マップの測距範囲を確認可能な撮像装置を提供することを目的とする。 In view of the above problems, the present invention aims at providing a check imaging device capable of distance measurement range of the distance map that acquired during imaging.

上記課題を解決するために、本発明に係る撮像装置は、画像を取得する画像取得手段と、 DFDにより第1の距離マップを取得する距離マップ取得手段と、前記第1の距離マップに基づいて、前記画像における測距範囲を示す測距範囲マップを生成する測距範囲マップ生成手段と、前記画像と前記測距範囲マップとを合成した合成画像を生成する合成手段と、前記合成画像を表示する表示手段と、 前記距離マップ取得手段の測距範囲の変更指示をユーザから受け付ける変更指示手段と、前記変更指示手段により変更された測距範囲に基づいて、前記距離マップ取得手段が用いる距離マップ取得用パラメータを変更するパラメータ変更手段と、を備え、前記パラメータ変更手段は前記距離マップ取得用パラメータを第1のパラメータに変更し、 In order to solve the above problem, an imaging apparatus according to the present invention includes an image obtaining unit for obtaining an image, a distance map obtaining means for obtaining a first distance map by DFD, on the basis of the first distance map , display a distance measuring range map generating means for generating a synthesizing means for generating a composite image of said distance measuring range map and the image, the composite image distance measurement range map showing the distance measurement range in the image and display means for the distance map and change instruction means for accepting from a user an instruction to change the distance measurement range acquisition means, based on the changed distance measurement range by the change instructing means, a distance map using said distance map acquisition means comprises a parameter changing means for changing the acquisition parameters, and the parameter changing means to change the distance map acquisition parameter to the first parameter, 変更度合いが所定の閾値より大きければF値を変更し、前記変更度合いが前記所定の閾値以下であればフォーカスブラケット量を変更する、ことを特徴とする Change degree changes the F value is greater than a predetermined threshold value, the change degree to change the focus bracketing amount equal to or less than the predetermined threshold value, characterized in that.

また、本発明に係る撮像装置の制御方法は、画像を取得する画像取得ステップと、 DFDにより第1の距離マップを取得する距離マップ取得ステップと、前記第1の距離マップに基づいて、前記画像における測距範囲を示す測距範囲マップを生成する測距範囲マップ生成ステップと、前記画像と前記測距範囲マップとを合成した合成画像を生成する合成ステップと、前記合成画像を表示する表示ステップと、 前記距離マップ取得ステップの測距範囲の変更指示をユーザから受け付ける変更指示ステップと、前記変更指示ステップにおいて変更された測距範囲に基づいて、前記距離マップ取得ステップにおいて用いられる距離マップ取得用パラメータを変更するパラメータ変更ステップと、を含み、前記パラメータ変更ステップは前記距離マッ A control method of an imaging apparatus according to the present invention includes an image acquisition step of acquiring an image, and distance map acquisition step you get a first distance map by DFD, on the basis of the first distance map, displaying a distance measuring range map generation step of generating a distance measurement range map showing the distance measurement range, a combining step of generating a synthesized composite image and the distance measuring range map and the image, the composite image in the image a display step, a change instruction step of accepting an instruction to change the distance measuring range of the distance map acquisition step from the user, based on the changed distance measurement range in the change instruction step, a distance map used in the distance map acquisition step It is seen containing a parameter changing step of changing the acquisition parameters, and the parameter changing step said distance map プ取得用パラメータを第1のパラメータに変更し、変更度合いが所定の閾値より大きければF値を変更し、前記変更度合いが前記所定の閾値以下であればフォーカスブラケット量を変更する、ことを特徴とする。 Change the for-flop acquisition parameters in the first parameter, the change degree changes the F value is greater than a predetermined threshold value, the change degree to change the focus bracketing amount equal to or less than the predetermined threshold value, characterized in that to.

本発明によれば、撮影中に取得する距離マップの測距範囲を確認することが可能となり、撮影者が所望する画像処理効果を得ることができる。 According to the present invention, it is possible to confirm ranging range of the distance map to get during shooting, the photographer can obtain an image processing effect to be desired.

実施例1に係る撮像装置の構成を示すブロック図である。 Is a block diagram showing a configuration of an imaging apparatus according to the first embodiment. 実施例1に係る撮像装置の動作を示すフローチャートである。 Is a flow chart showing an operation of the imaging apparatus according to the first embodiment. 実施例1に係る撮像装置の表示部における表示例を模式的に示した図である。 A display example on the display unit of the imaging apparatus according to the first embodiment is a view schematically showing. 実施例2に係る撮像装置の構成を示すブロック図である。 It is a block diagram showing a configuration of an imaging apparatus according to the second embodiment. PSFの断面をプロットした図である。 It is a plot of PSF cross section. PSFピーク値のデフォーカス特性を示す図である。 Is a diagram showing the defocus characteristic of the PSF peak value. PSFピーク比の特性を示す図である。 Is a diagram showing characteristics of PSF peak ratio. FB量の変化に伴うPSFピーク比の変化を示す図である。 Is a diagram showing changes in PSF peak ratio accompanying the change of the FB amount. 計測範囲とPSFピーク比の値域のFB量依存性を示す図である。 It is a diagram showing an FB amount dependency of the range of the measurement range and PSF peak ratio. ステレオ法の原理を示す図である。 Is a diagram showing the principle of a stereo method.

本発明は、例えばデジタルカメラなどの撮像装置の一機能として実装される。 The present invention is, for example, is implemented as a function of the imaging apparatus such as a digital camera. まず、パッシブ方式の距離マップ取得方式であるDFD法、DFF法、ステレオ法の距離マップ取得原理と測距範囲を説明する。 First, DFD method is the distance map acquisition mode passive, DFF method, the distance map acquisition principle and ranging scope of the stereo method will be described. その後、本発明の具体的な実施形態について、図面を参照しながら説明する。 Then, specific embodiments of the present invention will be described with reference to the drawings. ただし、本発明の範囲は実施形態の説明で図示した例に限定されるものではない。 However, the scope of the present invention is not limited to the example shown in the description of the embodiment.

<DFDの距離計測原理および計測可能な距離範囲> <Distance Measurement principles and measurable distance range of DFD>
(距離計測の原理) (Principle of distance measurement)
DFD法は、同一の被写体を、撮影条件を変えて複数回撮影し、撮影画像のぼけ方の違いを手掛かりとして、距離マップを取得する。 DFD method, the same subject, taken several times while changing the shooting conditions, as a clue to differences in blur side of the captured image, obtains a distance map. ここでは、撮影条件として、フォーカス位置を2回変えて撮影した場合を説明する。 Here, as an imaging condition, a case taken by changing the focus position twice. なお、本明細書中でフォーカス位置の変更量であるフォーカスブラケット量(FB)は、特に断りの無い限り、センサ側(以下、像面)の移動量(第一フォーカス位置の像面と第二フォーカス位置の像面の間の距離)を指す。 The focus bracket amount is the amount of change in focus position herein (FB) are unless otherwise specified, the sensor side (hereinafter, image plane) movement amount (image plane and a second of the first focus position It refers to the distance) between the image plane of focus position.

(PSFピーク値のデフォーカス特性) (Defocus characteristic of PSF peak value)
本実施形態のDFD法では、光学系のPSF(Point Spread Function:点拡がり関数)のピーク値のデフォーカス特性を利用して距離を推定する。 The DFD method of the present embodiment, the optical system of PSF: using the defocus characteristic of the peak value of (Point Spread Function point spread function) for estimating the distance. 以下、収差の無い理想的な撮像光学系のPSFを用いて説明するが、実際の撮像光学系においてもほぼ同様に扱うことができる。 Hereinafter, will be explained with reference to PSF ideal imaging optical system without aberrations, it can be handled much like even in actual image pickup optical system.

フォーカス位置での収差の無い理想的なPSFの形状は、PSF中心の座標における値をピークとしてなだらかに減少していくガウス関数のような形状をしている。 Ideal PSF shape without aberrations with the focus position is shaped as a Gaussian function going gently decreases the value at the coordinates of PSF center as a peak. 図5にPS PS in Figure 5
Fの断面形状を実線で示す。 The F of the cross-sectional shape shown by the solid line. デフォーカスするに従い、PSF座標中心での値は低下し、形状は崩れていく。 According to defocus value at PSF coordinate center decreases, the shape will collapse. 図5の点線はそれぞれ、20μm、40μm、60μm、80μmだけデフォーカスした場合のPSFの断面を示している。 Each dotted line in FIG. 5 shows 20 [mu] m, 40 [mu] m, 60 [mu] m, the PSF of a cross section in the case of defocused 80 [mu] m. ここでは、このPSFの座標中心での値を「PSFピーク値」と定義する。 Here, it defines the value of the coordinate center of the PSF as "PSF peak value".

図6は、収差がない理想的な撮像光学系におけるPSFピーク値のデフォーカス特性を示している。 Figure 6 shows the defocus characteristic of the PSF peak value in the aberration is not ideal imaging optical system. 横軸がデフォーカス量、縦軸がPSFピーク値である。 The horizontal axis is the defocus amount, and the vertical axis represents the PSF peak value. なお、撮影条件は、撮像光学系の焦点距離:18.0mm、F値:4.00、物体距離:3000mm、フォーカスブラケット量:−0.02mm、波長:587.56nmである。 The image-capturing conditions, the focal length of the imaging optical system: 18.0 mm, F value: 4.00, the object distance: 3000 mm, focus bracketing amount: -0.02 mm, wavelength: is 587.56 nm. 図6に示すように、PSFピーク値はフォーカス位置で最大となり、デフォーカスするに従って低下し、SINC関数のように振動しながら0へと近づいていく。 As shown in FIG. 6, PSF peak value becomes maximum at the focus position, decreases with defocusing, approaches to 0 while oscillating as SINC function.

(PSFピーク比) (PSF peak ratio)
次に、PSFピーク値から距離を算出する方法について説明する。 Next, a method for calculating the distance from the PSF peak value. 図6に示したように、PSFピーク値はデフォーカス量に依存する。 As shown in FIG. 6, PSF peak value depends on the defocus amount. 従って、PSFピーク値を撮影画像から算出できれば、デフォーカス量がわかり、被写体までの物体距離に換算することが可能となる。 Therefore, if calculating the PSF peak value from the captured image, it reveals the defocus amount, it is possible to convert the object distance to the object. しかしながら、被写体の空間周波数等の影響があるため、1枚の画像から撮像光学系のPSFピーク値を正確に求めることは困難である。 However, because of the influence of the spatial frequency of an object, it is difficult to obtain from a single image exactly the PSF peak value of the imaging optical system. そこで、撮影条件を変えて撮影した複数の画像を用いて、被写体の影響を除去する。 Therefore, by using a plurality of images taken by changing the photographing condition, to remove the effects of the subject. 被写体の影響をキャンセルするためには、比を取るのが良い。 In order to cancel the influence of the subject, it is to take the ratio. 以下、2つの画像からそれぞれ求めたPSFピーク値の比を「PSFピーク比」と定義する。 Hereinafter, the ratio of the PSF peak values ​​obtained from each of the two images is defined as "PSF peak ratio". 本実施形態の距離計算では、理論的に求めた撮像光学系のPSFピーク比のデフォーカス特性と、実際に撮影して得た2枚の画像から求めたPSFピーク比の値との対応を取ることで距離を算出する。 The distance calculation in this embodiment, take the correspondence between the defocus characteristic of the PSF peak ratio of the imaging optical system determined theoretically, the value of the PSF peak ratio obtained from two images obtained by actually photographing to calculate the distance by.

図7は、理論的に求めた、2画像それぞれPSFピーク値のデフォーカス特性と、PSFピーク比のデフォーカス特性を示している。 Figure 7 is theoretically calculated, and the defocus characteristics of the two images respectively PSF peak value shows the defocus characteristic of the PSF peak ratio. 撮影条件は図6と同じである。 Shooting conditions are the same as those shown in FIG. 6. 横軸は像面側のフォーカス位置である。 The horizontal axis is the focus position of the image surface side. 図7において、点線で示した2つの曲線が、フォーカス位置の異なる2つのPSFピーク値のデフォーカス特性であり、実線で示した曲線が、PSFピーク比のデフォーカス特性である。 7, two curves shown by the dotted line, a defocus characteristic of two PSF peak values ​​with different focus positions, the curve indicated by the solid line, a defocus characteristic of PSF peak ratio. ピーク比をとる際は、ピークの大きな方を分母とすることで、正規化している。 When a peak ratio by the denominator the larger peak is normalized. その結果、PSFピーク比は最大値が1となり、2つのフォーカス位置の中間位置にピークを持ち、ピークから離れるに従い値が低下していく対称な曲線となる。 As a result, PSF peak ratio is the maximum value becomes 1, has a peak at an intermediate position of the two focus positions, a symmetrical curve whose value decreases as the distance from the peak.

実際に撮影された2画像から、画像中の各点(画素又は画像群)のPSFピーク比を求め、その値を図7の実線で示されるデフォーカス特性に当てはめれば、画像中の各点に写っている物体が、基準のフォーカス位置からどれだけ離れているかを計算できる。 From actually photographed two images, determine the PSF peak ratio of each point in the image (pixels or images), if Atehamere defocus characteristic shown its value by the solid line in FIG. 7, each point in the image object that is reflected in the can be calculated far apart from the reference focus position. なお、図7の場合、基準のフォーカス位置は、2画像のフォーカス位置の中間位置である。 In the case of Figure 7, the reference focus position of an intermediate position of the focus position of the two images. また、どちらのPSFピーク値で正規化したか(どちらのPSFピーク値が大きいか)により、基準のフォーカス位置より手前側(撮像装置側)か奥側かの区別も可能である。 Further, by which of the normalized with PSF peak value (Which is greater PSF peak value), the front side of the reference focus position of the (imaging apparatus) or back side of the distinction is also possible.

PSFピーク比から物体側での距離Z0を求めるためには、まずPSFピーク比の値から、像面上でのフォーカス位置からのデフォーカス量Ziを求める。 To determine the distance Z0 on the object side from the PSF peak ratio, first from the value of the PSF peak ratio, obtaining the defocus amount Zi from the focus position on the image plane. 次に、焦点距離fおよび物体距離sから、式2により像面側距離s'を求め、デフォーカス量Ziを用いて式3により物体距離側の距離Z0に変換する。 Next, the focal length f and the object distance s, determine the image-space distance s' by Equation 2, is converted to a distance Z0 object distance side by Equation 3 using the defocus amount Zi.


(画像からのPSFピーク比算出方法) (PSF peak ratio calculation method from the image)
実際に撮影して得られた2画像からPSFピーク比を計算する方法について説明する。 It describes a method of calculating the PSF peak ratio from 2 image obtained by actually photographing. 2画像において、対応する局所領域I1とI2はシーンsとPSF1およびPSF2の畳み込みで表される。 In two images, the corresponding local regions I1 and I2 is represented by the convolution of the scene s and PSF1 and PSF2. フーリエ変換した前記領域をFI1、FI2とし、シーンsのフーリエ変換をSとすると、この比は、式3のように表される。 The region of Fourier transform and FI1, FI2, the Fourier transform of the scene s When S, this ratio is expressed by formula 3.

ここで、PSFをフーリエ変換した光学伝達関数をOTFとし、2つのOTFの比をOTFrとする。 Here, the optical transfer function obtained by Fourier transform of the PSF and OTF, the ratio of the two OTF and OTFr. このOTFrは、式3に示すようにシーンSが打ち消されることでシーンに依存しない値となる。 This OTFr is a value that does not depend on the scene by scene S is canceled as shown in Equation 3. このOTFrからPSFピーク比PSFrを求めるには、式4に示すようにOTFrの平均値を求めればよい。 To determine the PSF peak ratio PSFr this OTFr, it may be found the average value of OTFr as shown in Equation 4. PSFのピークが画像I1,I2の中心にあるとすると、PSFピーク比PSFrは When the peak of the PSF is referred to as being the center of the image I1, I2, PSF peak ratio PSFr is

が成り立つ。 It holds. これを離散的に表現すると、 If you discretely express this,

となる。 To become. 式5により画像から算出されたPSFピーク比PSFrを図7に示すようなPSFピーク比のデフォーカス特性に当てはめることで、局所領域I1とI2に写っている物体のデフォーカス量、すなわち距離情報を得ることができる。 The PSF peak ratio PSFr calculated from the image by equation 5 by fitting the defocus characteristic of the PSF peak ratio as shown in FIG. 7, the object that is reflected in the local region I1 and I2 defocus amount, i.e., the distance information it is possible to obtain.

(測距範囲) (Distance measurement range)
次に、PSFピーク比を用いた距離計測において、計測可能な距離範囲(以下、測距範囲)に関して図7を用いて説明する。 Then, the distance measurement using the PSF peak ratio, measurable distance range (hereinafter, the distance measurement range) will be described with reference to FIG. 7 with respect. 図7の実線で示すように、PSFピーク比のデフォーカス特性は、異なる二つのフォーカス位置の中間位置から徐々に値が低下し、極小値に達した後、再び上昇し、これを繰り返す。 As shown by the solid line in FIG. 7, the defocus characteristic of the PSF peak ratio gradually value from the intermediate position of the two different focus positions is reduced, after reaching the minimum value, then rises again, repeating this. これは図6に示すように、PSFピーク値のデフォーカス特性が振動しているためである。 This is because, as shown in FIG. 6, because the defocus characteristic of the PSF peak value is vibrating. 以下、PSFピーク値、PSFピーク比などのデフォーカス特性曲線における最大ピークを「最大ピーク」もしくは「一次ピーク」と呼び、最大ピークの前側と後ろ側にそれぞれ最初に現れる極小値を「一次極小値」と呼ぶ。 Hereinafter, PSF peak value, referred to as the maximum peak in the defocus characteristic curve such as PSF peak ratio "maximum peak" or "primary peak", it appears first minimum values, respectively the front and rear side of the maximum peak "primary minimum value referred to as ".

図6のPSFピーク値のデフォーカス特性を見ればわかるように、一次極小値以降のPSFピーク値は、値が小さくノイズ等の影響を受けやすい。 As can be seen from the defocus characteristics of the PSF peak values ​​of Figure 6, PSF peak value of the primary minimum value after the value is susceptible to small noise. そのため、比を取った際にばらつきが大きく信頼性が低い。 Therefore, large unreliable variations when taking the ratio. よって、測距範囲は、PSFピーク比のデフォーカス特性(図7の実線)において、最大ピークの前側の一次極小値の位置と後側の一次極小値の位置の間の測距範囲701である。 Therefore, the distance measurement range, the defocus characteristic of the PSF peak ratio (solid line in FIG. 7) is the distance measurement range 701 between the position of the primary minimum value of the position and the rear side of the primary minimum value of the front of the maximum peak . 実際には、PSFピーク比がゼロに近いとノイズ等により精度が下がるため、前側の一次極小値と後側の一次極小値の間よりもやや狭い範囲を計測可能範囲に設定することが望ましい。 In fact, since the PSF peak ratio decreases the accuracy by a noise or the like close to zero, it is desirable to set the measurement range slightly narrower than between the primary minimum value of the front of the primary minimum value and the rear. 図7の例では約−75μm〜55μmが計測可能範囲となる。 It is about -75μm~55μm the measurable range in the example of FIG. なお、図における負方向を前側とする。 Incidentally, the negative direction in FIG the front.

ここで、計測可能範囲を規定するPSFピーク比の一次極小値の位置は、PSFピーク値のデフォーカス特性(図6)の一次極小値の位置に依存する。 Here, the position of the primary minimum value of the PSF peak ratio which defines the measurement range depends on the position of the primary minimum value of the defocus characteristic of the PSF peak value (Fig. 6). すなわち、図7に示すように前側のPSFピーク比の一次極小値の位置は、フォーカス位置の異なる2画像のうち、フォーカス位置が後側の画像のPSFピーク値の前側の一次極小値の位置に対応している。 That is, the position of the primary minimum value of the front of the PSF peak ratio as shown in FIG. 7, among the focus positions of two different images, the position of the primary minimum value of the front of the PSF peak value of the focus position of the rear image It is compatible. 一方、後側のPSFピーク比の一次極小値の位置は、フォーカス位置が前側の画像のPSFピーク値の後側の一次極小値の位置に対応している。 On the other hand, the position of the primary minimum value of the rear PSF peak ratio of the focus position corresponds to the position of the primary minimum value of the rear side of the PSF peak value of the front image. つまり、計測可能範囲は、PSFピーク値のデフォーカス特性(前後の一次極小値の間隔)とフォーカスブラケット量によって決まる。 That is, the measurement range is determined by the focus bracketing amount defocus characteristic of PSF peak value (spacing of the primary minimum value of the longitudinal).

光学系のF値をF、光の波長をλとしたとき、その光学系(収差は無いものとする)におけるPSFピーク値のデフォーカス特性における前側と後側の一次極小値の間隔は、約15F λと求めることができる(「約」と記載したのは、厳密には、前後の一次極小値の間隔は15F λ〜16F λの間の値となるからである)。 When the F value of the optical system F, and the wavelength of light lambda, the spacing of the primary minimum value of the front and rear side of the defocus characteristic of the PSF peak value in the optical system (aberrations shall not), about can be obtained and 15F 2 lambda (those described as "about", strictly speaking, the interval of the primary minimum value of the longitudinal is because a value of between 15F 2 λ~16F 2 λ). 従って、フォーカスブラケット量をFbとすると、計測可能範囲Rは以下の式で表される。 Therefore, when the focus bracket amount and Fb, the measurement range R is expressed by the following equation.

(フォーカスブラケット量とPSFピーク比の特性) (Characteristics of the focus bracket amount and PSF peak ratio)
次に、フォーカスブラケット量と計測可能範囲の変化の関係、およびフォーカスブラケット量とPSFピーク比の値域変化の関係を説明する。 Next, the relationship between the change in the measurable range and focus bracket amount, and the focus bracketing amount and PSF peak ratio the relationship range varying explained. 図8(a)〜(f)にフォーカスブラケット量を変えた場合のPSFピーク値のデフォーカス特性と、PSFピーク比の変化を示す。 And the defocus characteristics of the PSF peak value when changing the focus bracket amount in FIG. 8 (a) ~ (f), shows the variation of the PSF peak ratio. フォーカスブラケット量は、2つのPSFピーク値のデフォーカス特性(点線)の横軸方向の差である。 Focus bracketing amount is the difference between the horizontal axis direction of the defocus characteristic of the two PSF peak values ​​(dashed line). つまり、図8(a)〜(f)にいくに従って、フォーカスブラケット量を徐々に大きくしている。 In other words, toward the FIG. 8 (a) ~ (f), is gradually increased focus bracket amount. ここでは、2つのPSFピーク値のデフォーカス特性の交点(点線の交点)における値が、PSFピーク値の最大値の99.8%、90%、70%、50%、20%、5%となるように設定した例を示している。 Here, the value at the intersection of the defocus properties of the two PSF peak values ​​(dotted intersection) is 99.8% of the maximum value of the PSF peak value, 90%, 70%, 50%, 20%, and 5% It shows an example configuration so. フォーカスブラケット量の増加に伴い、PSFピーク比(実線)の特性が変化することが分かる。 With the increase in the focus bracket amount, it can be seen that a change in characteristics of the PSF peak ratio (solid line). 具体的には、フォーカスブラケット量が大きくなるに従って、計測可能範囲(PSFピーク比の最大ピークの前側の一次極小値位置と後側の一次極小値位置の間の範囲)が狭くなっていくことがわかる。 Specifically, according to the focus bracket amount increases, the measurement range (the range between the primary minimum value position of the primary minimum value position and the rear of the front of the maximum peak of the PSF peak ratio) that is gradually narrowed toward Recognize. このような特性は式6から明らかである。 This characteristic is evident from Equation 6.

PSFピーク比の値域(PSFピーク比の最大値と一次極小値の差)は、フォーカスブラケット量が大きくなるにつれて急激に広がり、その後、徐々に1に近づいていく。 Range of PSF peak ratio (difference between the maximum value and the primary minimum value of the PSF peak ratio) is rapidly spread as the focus bracket amount increases, then gradually approaches to 1. PSFピーク比の値域が広いほど距離分解能が高く、ノイズ等の変動要因に対して耐性が高くなり距離推定精度が向上する。 Higher range of PSF peak ratio is wide range resolution is high, resistance is improved higher becomes the distance estimation accuracy with respect to the variable factor such as noise. また、フォーカスブラケット量が大きくなるに従い、PSFピーク比のデフォーカス特性が急峻になっていくが、これも距離分解能(推定精度)に影響する。 Further, in accordance with the focus bracket amount increases, although the defocus characteristics of the PSF peak ratio is getting steeper, which also affects the distance resolution (estimation accuracy). PSFピーク比の傾きが大きければ、僅かな距離差でもPSFピーク比の値の変化を検知しやすくなるからである。 The greater the inclination of the PSF peak ratio, resulting in easy detection of the change in the value of the PSF peak ratio at a slight distance difference.

フォーカスブラケット量に伴う計測可能範囲の変化、およびPSFピーク比の値域の変化をそれぞれ図9(a)、(b)に示す。 Change of the measurement range due to the focus bracket amount, and each change in the value range of the PSF peak ratio diagram 9 (a), it is shown in (b). 図9(a)において、横軸がフォーカスブラケット量であり、縦軸が像面側での計測範囲である。 9 (a), the horizontal axis indicates the focus bracket amount, and the vertical axis represents the measurement range of the image plane side. 同様に図9(b)において、横軸がフォーカスブラケット量であり、縦軸がPSFピーク比の値域である。 Similarly, in FIG. 9 (b), the horizontal axis indicates the focus bracketing amount, and the vertical axis represents the value range of the PSF peak ratio. ここで、PSFピーク比は正規化されているため、値域の最大値は1である。 Here, PSF peak ratio because it is normalized, the maximum value of the range is 1. なお、フォーカスブラケット量が0の場合は距離計測できないため特異点となる。 Note that the singular point for when the focus bracket amount of 0 can not distance measurement. 図9(a)、(b)より、フォーカスブラケット量を大きくしていくと計測可能範囲が狭くなるものの、距離分解能(推定精度)は向上することが分かる。 FIG. 9 (a), the more (b), although the measurable range is increased the focus bracket amount is narrowed, the distance resolution (estimation accuracy) it can be seen that improved.

(最適な撮影条件の指針) (Guidelines for optimum shooting conditions)
式6に示したように、測距範囲(R)は、F値(F)、波長(λ)、及びフォーカスブラケット量(FB)の関数で与えられる。 As shown in Equation 6, the distance measurement range (R) is given by a function of the F value (F), the wavelength (lambda), and focus bracketing amount (FB). また、図9(a)、(b)から分かるように、フォーカスブラケット量(FB)を変えると、測距範囲(R)だけでなく、距離分解能(推定精度)も変化する。 Moreover, as can be seen from FIG. 9 (a), (b), when changing the focus bracket amount (FB), not only the distance measuring range (R), the distance resolution (estimation accuracy) is also changed. 従って、所望の距離範囲や精度といった計測条件が与えられた場合に、それを満足するように、各画像を撮影する際のフォーカス位置や光学系のF値などの撮影条件を適切に設定することが望ましい。 Therefore, when the measurement conditions such as the desired distance range and accuracy are given, so as to satisfy it, appropriately set to the photographing conditions such as focus position or F value of the optical system when capturing each image It is desirable

基本的な考え方は次のとおりである。 The basic idea is as follows. 計測すべき距離範囲が狭いほど、2画像を撮影するときのF値は小さくするとよい。 The smaller the distance range to be measured, may F value is small when taking two images. F値を小さくするほど被写界深度が浅くなる(PSFピーク比のデフォーカス特性が急峻になる)ので、距離分解能(推定精度)の向上が期待できるからである。 Since the depth of field becomes shallower smaller the F value (defocus characteristic of PSF peak ratio is steep), improved axial resolution (estimation accuracy) can be expected. このときのフォーカスブラケット量はF値に応じて適宜決めればよい。 Focus bracketing amount at this time may be appropriately determined depending on the F value. また、F値を変更できない撮像装置の場合には、計測すべき距離範囲が狭いほど、フォーカスブラケット量を大きくすればよい。 Further, in the case of the image pickup apparatus can not be changed F value, the smaller the distance range to be measured, may be increased focus bracket amount. 上述したように、フォーカスブラケット量を大きくするほど距離分解能(推定精度)が向上するからである。 As described above, because the distance resolution higher the focus bracket amount (estimation accuracy) is improved.

F値とフォーカスブラケット量の具体的な決定方法の一例を説明する。 An example of a specific method for determining the F value and the focus bracket amount will be described. まず、F値(F)とフォーカスブラケット量(FB)を次の関係式を用いて設計する。 First, F value (F) and focus bracketing amount (FB) is designed using the following equation. つまり、フォーカスブラケット量を被写界深度に比例する量として捉えるのである。 That is, the capture focus bracket amount as an amount proportional to the depth of field. なお式8において、kはフォーカスブラケット量の大きさを調整するための係数、λは波長である。 Note in the formula 8, k is a coefficient for adjusting the magnitude of the focus bracket amount, lambda is the wavelength.
式7を式6に代入したものが、下記の式8である。 Those obtained by substituting Equation 7 into Equation 6 is an equation 8 below.

例えば、測距範囲rが与えられた場合には、式9を用いて、距離範囲rを満足するF値を決定することができる(係数kと波長λは予め決まっているものとする)。 For example, when the distance measurement range r is given, using equation 9, the distance range r can be determined F value satisfying (the coefficient k and the wavelength λ is assumed that the previously determined). 具体的には、r≦R、すなわち、 Specifically, r ≦ R, i.e.,
を満たすように、F値を決める。 To meet, decide F value. 例えば、撮像光学系で設定可能なF値の中で、式9を満たす最小のF値を選べばよい。 For example, in a settable F value by the imaging optical system, it may be selected minimum F value satisfying Equation 9. そして、そのF値を式7に代入することにより、フォーカスブラケット量FBを決定することができる。 Then, by substituting the F value in Equation 7, it is possible to determine the focus bracket amount FB. 2つの画像を撮影するときのフォーカス位置(像面側の位置)は、距離範囲rの中心位置rcを基準に、それぞれ、rc−FB/2、rc+FB/2のように決めればよい。 Focus position when taking two images (the position of the image surface side) with respect to the center position rc distance range r, respectively, it may be determined as rc-FB / 2, rc + FB / 2. 以上の方法により、計測可能範囲Rを計測可能な撮影条件として、F値、フォーカスブラケット量、2画像それぞれのフォーカス位置を決定することができる。 By the above method, as measurable photographing condition measurement range R, F value, the focus bracket amount can be determined two images each focus position.

(係数k) (Coefficient k)
次に係数kの好ましい値について説明する。 It will now be described a preferred value of the coefficient k. 本発明者はシミュレーションと実験により、好ましい係数kの値を以下のように見出した。 The present inventor has by simulation and experiment, it was found preferable value of the coefficient k as follows. 係数kは、0<k<15の範囲の値とすべきである。 Coefficient k should be a value in the range of 0 <k <15. kが15よりも大きいと、被写体のボケが大きくなりすぎ、計測精度が低下するからである。 When k is greater than 15, because the blur of the subject is too large, the measurement accuracy decreases. なお、k=0が除外されているのは、同じフォーカス位置の画像からはボケの違いが得られないからである。 Note that the k = 0 is excluded, from the image of the same focus position because no difference in blur can be obtained. 距離計測の目的が、距離の2層分離、つまり被写体が特定の距離範囲に含まれるか否かを判定するというものである場合、係数kは、8<k<15の範囲の値に設定するとよい。 The purpose of distance measurement, two layers separation distance, if that is is that determining whether the object is within a specific distance range, the coefficient k is set to a value in the range of 8 <k <15 good. 係数kが大きいほどフォーカスブラケット量は大きくなり、計測可能範囲が狭まる(図8(e)、(f)参照)。 Focus bracketing amount higher coefficient k is large becomes large, the measurement range is narrowed (refer to FIG. 8 (e), (f)). 計測可能範囲が狭いということは、ある特定の距離周辺に被写体が存在するかしないかで、PSFピーク比の値が大きく変化するということである。 That measurable range is narrow, in whether or not subject to a specific distance around there, is that the value of the PSF peak ratio is greatly changed. よって、2層分離の場合は、フォーカスブラケット量をある程度大きくするほうがよい。 Therefore, in the case of two-layer separation, the better to some extent focus bracketing amount.

一方、距離計測の目的が、距離の多層分離、つまり被写体が3つ以上の距離範囲のうちのいずれに含まれるかを判定するというものである場合、係数kは、1<k≦8の範囲の値に設定するとよい。 On the other hand, when the distance an object of measurement, the distance of multilayer separation, i.e. those that determine the object is included in any of the three or more distance ranges, the coefficient k is 1 <range of k ≦ 8 it may be set to the value. 図8(b)〜(d)に示すように、係数kが小さいほどフォーカスブラケット量は小さくなり、計測可能範囲が広がるため、2層以上の分離に適するからである。 As shown in FIG. 8 (b) ~ (d), focus bracketing amount higher coefficient k is small becomes small, since the measurable range is widened, because suitable two or more layers separated. なお、0<k≦1の範囲を除外した理由は、この場合は、計測可能範囲は広がる反面、距離分解能が低下してしまうため、多層の分離に向かないからである(図8(a)参照)。 Incidentally, 0 <reason for excluding the range of k ≦ 1 is, in this case, although the measurable range is widened, the distance resolution is reduced, it is unfit to multilayer separation (see FIG. 8 (a) reference). さらに、係数kが2≦k<4の範囲の値であると好適である。 Further, it is preferable that the coefficient k is a value in the range of 2 ≦ k <4. この範囲では、計測可能範囲の広さと距離分解能のバランスが特に良好となり、広い距離範囲を高い精度で計測することが可能になるからである(図8(b)、(c)参照)。 In this range, the balance of the size and distance resolution of the measurement range becomes particularly good, because it becomes possible to measure a wide distance range with a high accuracy (FIG. 8 (b), the reference (c)). 以上のように、距離計測の目的に応じて、係数kの値は0〜15の範囲で適宜設定すればよい。 As described above, according to the purpose of distance measurement, the value of the coefficient k may be suitably set in the range of 0 to 15.

以上、説明したように、DFD法において、測距範囲と2画像の撮影条件に関連性がある。 As described above, in the DFD method, it is relevant to the photographing condition of the distance measuring range and 2 images. すなわち、所望の測距範囲の正しい距離マップを取得するには、そのシーンに応じた撮影条件を設定する必要がある。 That is, in order to get the correct distance map of the desired distance measurement range, it is necessary to set the image capturing conditions depending on the scene.

<DFF法の距離計測原理および計測可能な距離範囲> <Distance measurement principles and measurable distance range of DFF method>
DFF法の場合は、フォーカス位置を変更して取得した複数の画像の中で、被写体領域中の最も合焦しているフォーカス位置を決定し、その位置から物体側の距離を式2の結像公式を用いて算出することができる。 For DFF method, among the plurality of images obtained by changing the focus position, most focusing the focus position determined that the imaging distance of the object side of the Equation 2 from its position in the object area it can be calculated using the formula. このフォーカス位置をどの範囲で動かすかによって、測距範囲が決定する。 Depending moving the focus position in which range, the distance measurement range is determined. しかし、フォーカス位置の移動範囲を広くすれば、その分時間がかかるためフォーカス位置の移動ステップを粗くするなど、トレードオフ関係があることは容易に想像できる。 However, if a wide range of movement of the focus position, etc. to roughen the shifting steps of the focus position since it takes correspondingly time, that there is a trade-off relationship it can be easily imagined.

<ステレオ法> <Stereo method>
次に、図10を用いて、ステレオ法の距離計測原理および計測可能な距離範囲について説明する。 Next, with reference to FIG. 10, described distance measurement principle and measurable distance range of the stereo method. 図10(a)は三次元空間中の点Pを、同一の焦点距離を有する2台のカメラを用いて撮影している状況を上から見た模式図である。 10 (a) is a point P in three-dimensional space is a schematic view from above of the situation in which photographed using two cameras with the same focal length. 各撮像装置の光軸は並行で、かつ、同一の高さに設置されるよう調整されているものとする。 In parallel optical axes of the imaging devices, and assumed to be adjusted so as to be placed at the same height. また、図10(b)は、左右の撮像装置で取得した画像をそれぞれ表している。 Further, FIG. 10 (b) represents an image obtained by the left and right image pickup devices, respectively.

今、点Pが左カメラ、右カメラのそれぞれのPl(u,v)、Pr(u',v')に写っているとする。 Now, the point P is reflected in the left camera, each of Pl right camera (u, v), Pr (u ', v'). 焦点距離から点Pまでの距離をD、撮像装置の焦点距離をf、撮像装置の光軸間の距離(以下、基線長と呼ぶ)をb、各カメラで取得した画像の点Pの位置PlとPrの差(以下、視差)をdで表現すると、Dは式(10)で算出することができる。 The distance from the focal length to the point P D, the distance between the optical axes of the focal length of the imaging device f, the imaging device (hereinafter, referred to as base length) to b, the position Pl of the point P of the image acquired by each camera the difference Pr (hereinafter, parallax) is expressed with d, D can be calculated by the formula (10).

なお、視差dは、撮像装置の光軸が平行で、同一の高さになるよう校正されているため、式10に記載の通り、横方向の変化のみを考えればよい。 Incidentally, the parallax d is parallel optical axis of the imaging device, since it is calibrated to be the same height, as described in Equation 10 may be considered only in the horizontal direction changes. 各撮像装置の光軸や高さが校正されていない場合は、事前に校正する必要がある。 When the optical axis and the height of the imaging devices is not calibrated, it is necessary to calibrate in advance. 式10の通り、fは光学系が決定すれば一意に定まるが、基線長bおよび視差dは計測対象までの距離に必要な分解能によって適切に設定する必要がある。 As Equation 10, f is uniquely determined if decision optics, the baseline length b and disparity d should be appropriately set by the resolution required of the distance to the measurement target. 基線長に関しては、カメラの配置を変更することで対応が可能である。 For the base line length, it is possible dealt with by changing the arrangement of the camera.

視差は、一般的には、左右の画像を対応する点を全画素について算出して求める必要があり、基準とする画像の局所領域を他方の画像から探索するブロックマッチング等の画像処理により求める。 Parallax is generally, it is necessary to obtain the corresponding points of the left and right images is calculated for all the pixels, calculated by the image processing block matching or the like searching for a local region of the image to the reference from the other images. この時、視差の最小分解能は、前記ブロックマッチングの探索精度に依存し、画素間隔あるいはサブ画素間隔である。 At this time, the minimum resolution of the parallax depends on the search accuracy of the block matching, a pixel interval or sub-pixel interval. また、視差の値域(範囲)は、ブロックマッチングの探索範囲に依存し、撮影シーンのなかで測距したい近景までの距離に対応する視差と、許容される計算時間によって決定される。 Also, the disparity value range (range), depending on the search range of the block matching, a parallax corresponding to the distance to the near distance to be the distance measurement among photographic scene is determined by computation time allowed. 即ち、探索範囲が狭ければ、ある距離より手前側の対象物は検出できなくなる。 That is, if the search range is narrow, the object on the near side than a certain distance can not be detected. このように、ステレオ法においては、探索範囲と測距可能な範囲にトレードオフの関係がある。 Thus, in the stereo method, there is a trade-off in measurable range and search range.

以上、パッシブ距離マップ取得方式として、DFD、DFF、ステレオ法それぞれの方式の距離マップ取得原理および測距範囲の関係について説明した。 Above, as a passive distance map acquisition scheme, described DFD, DFF, the relationship between the distance map acquisition principles and ranging scope of stereo method each method. いずれの方式も、測距範囲は事前に設定したパラメータと関連がある。 Either method also, the distance measurement range is associated with the parameters set in advance. そのため、撮影対象・撮影条件に応じて調整できることが望ましいことが分かる。 Therefore, it can be seen it is desirable to be able to adjust according to the imaging target-shooting conditions.
<実施例1> <Example 1>

以下、本発明の好ましい実施形態について図面を参照しながら説明する。 It will be described below with reference to the accompanying drawings preferred embodiments of the present invention. ただし、発明の範囲は実施形態の説明で図示した例に限定されるものではない。 However, the scope of the invention is not limited to the example shown in the description of the embodiment.

(構成) (Constitution)
図1は、本実施形態に係る撮像装置1の構成を模式的に示している。 Figure 1 is a configuration of an imaging apparatus 1 according to this embodiment is schematically shown. 撮像装置1は、DFD方式により距離マップを取得する。 Imaging apparatus 1 obtains a distance map by the DFD. 撮影レンズ100は、撮像素子102に被写体光を導く。 Photographing lens 100 guides the object light to the image sensor 102. 露光制御部材101は絞りやシャッタ等を含む。 Exposure control member 101 includes an aperture and a shutter or the like. 撮影レンズ100を介して入射された被写体光は、露光制御部材101を介して撮像素子102へ入射される。 Subject light incident through the photographing lens 100, and enters the image pickup element 102 through an exposure control member 101. 撮像素子102は被写体光を電気信号に変換して出力する撮像素子であり、典型的にはCCDやCMOS等のイメージセンサで構成される。 Image sensor 102 is an imaging device for converting a subject light into an electrical signal, typically constituted by an image sensor such as a CCD or a CMOS. 画像形成回路103は、撮像素子102から出力されたアナログ信号をデジタル化して画像化するための画像形成回路である。 Image forming circuit 103 is an image forming circuit for imaging and digitizes the analog signal output from the image sensor 102. 画像形成回路103は、不図示のアナログ/デジタル変換回路、オートゲイン制御回路、オートホワイトバランス回路、画素補間処理回路、色変換回路などによって構成される。 Image forming circuit 103 is configured analog / digital conversion circuit (not shown), automatic gain control circuit, an auto white balance circuit, a pixel interpolation processing circuit, such as by a color conversion circuit. 画像形成回路103は、本発明における画像取得手段に相当する。 Image forming circuit 103 corresponds to the image acquisition unit in the present invention. 露光制御部104は、露光制御部材101を制御する手段である。 The exposure control unit 104 is means for controlling the exposure control member 101. また、フォーカス制御部105は撮影レンズ100のフォーカシングを制御する手段である。 The focus control unit 105 is means for controlling the focusing of the taking lens 100. 露光制御部104およびフォーカス制御部105は、例えば、TTL方式(Through The Lens:撮影用のレンズを実際に通った光を測定することで露出やフォーカスを制御する方式)を用いて制御される。 Exposure control unit 104 and the focus control unit 105, for example, TTL method: is controlled using (Through The Lens system for controlling the exposure and focus by measuring actually through a light lens for photographing). 距離マップ算出回路106は、フォーカス制御部105で制御されたフォーカス位置に応じ、距離マップパラメータ算出回路107で制御された撮影条件で撮影された2画像を基に距離マップを算出する回路である。 Distance map calculation circuit 106 is a circuit for calculating a response to the controlled focus position by the focus control unit 105, the distance map parameter calculating circuit 107 distance map based on captured two images in controlled shooting conditions. 距離マップパラメータ算出回路107は、フォーカス制御部105で制御されたフォーカス位置や、所望の測距範囲などから距離マップを取得するために好適な撮影条件を算出する回路である。 Distance map parameter calculating circuit 107, and a focus position is controlled by the focus control unit 105 is a circuit for calculating the suitable imaging condition for obtaining the distance map such as the desired distance measurement range. システム制御回路108は、撮像装置1全体の動作を司る制御回路であり、撮影のための光学系の制御と、撮影した画像をデジタル処理するための制御を行う。 The system control circuit 108 is a control circuit which controls the operation of the entire imaging apparatus 1 performs a control of an optical system for photographing, the control for the shot images digitally. 距離マップ算出回路106および距離マップパラメータ算出回路107は、それぞれ、本発明における距離マップ生成手段およびパラメータ変更手段に相当する。 Distance map calculation circuit 106 and the distance map parameter calculating circuit 107, respectively, correspond to the distance map generating means and the parameter changing means in the present invention.

メモリ109は、システム制御回路108で用いる動作制御用のデータ、および処理プログラムなどを記録するフラッシュROM等を用いたメモリである。 Memory 109 is a memory using a flash ROM or the like for recording and operation control for the data, and processing program used in the system control circuit 108. また、不揮発性メモリ110は各種調整値などの情報を記憶する、電気的に消去および記録可能なEEPROM等の不揮発性メモリである。 The nonvolatile memory 110 stores information such as various adjustment values, a nonvolatile memory such as electrically erasable and recordable EEPROM. フレームメモリ110は、画像形成回路103で生成された画像を数フレーム分記憶するフレームメモリである。 The frame memory 110 is a frame memory for several frames stored image generated by the image forming circuit 103. また、メモリ制御回路111は、フレームメモリ110に入出力される画像信号を制御するメモリ制御回路である。 The memory control circuit 111 is a memory control circuit for controlling the image signals input to and output from the frame memory 110. 測距範囲マップ生成回路112は、距離マップ算出回路106で生成された距離マップを元に測距範囲を表す測距範囲マップを生成する回路である。 Ranging range map generation circuit 112, based on the distance map distance map generated by the calculation circuit 106 is a circuit for generating a distance measurement range map representing the distance measurement range. 画像合成回路113では、画像形成回路103で生成された観賞用画像と測距範囲マップ生成回路112で生成された測距範囲マップを合成し、不図示の表示装置に表示する表示画像を生成する回路である。 In the image synthesizing circuit 113 synthesizes the distance measurement range maps generated as ornamental image generated by the image forming circuit 103 in the distance measuring range map generation circuit 112 generates a display image to be displayed on the display device (not shown) it is a circuit. 画像出力部114は、画像形成回路103や画像合成回路113で生成された画像を不図示の画像出力装置(ディスプレイ等)に表示するための機能部である。 The image output unit 114 is a functional unit for displaying the image generated by the image forming circuit 103 and the image synthesizing circuit 113 to the image output apparatus (not shown) (display). 入力部115は、ユーザからの入力操作を受け付けるための機能ブロックであり、ボタンやスイッチ、タッチパネルなどから構成される。 Input unit 115 is a functional block for accepting an input operation from the user, buttons and switches, and a touch panel. 本実施例では、ユーザは、測距範囲マップが合成された表示画像を確認しながら、測距範囲の調整を指示する操作を入力可能である画像処理部116は、観賞用画像に対して距離マップに基づいた画像処理(例えば、切り出し処理や背景ぼかし処理など)を行う。 In this embodiment, the user, while viewing the display image distance measurement range map is synthesized, the image processing unit 116 is capable of inputting operation to instruct an adjustment of the distance measuring range, distance to ornamental image performing image processing based on the map (for example, extraction processing and background blurring processing).

(処理の流れ) (Processing flow)
次に、図2のフローチャートを用いて、本実施形の撮影開始から完了までの処理の流れを説明する。 Next, with reference to the flowchart of FIG. 2, the flow of processing up to completion from the start of photographing present type. まず、ステップS201では、撮影者が撮影対象に対して、ズームなどを行い、構図を決めと同時にシャッタ速度やFナンバーなど所定の撮影条件を設定する。 First, in step S201, the photographer is against shooting target, such as a perform zooming, a predetermined shooting condition such as at the same time the shutter speed and F-number and compose the picture. なお、撮影条件の一部を撮像装置1が自動的に決定しても良い。 Incidentally, a part of the imaging condition imaging apparatus 1 may be automatically determined. また、ここでは、距離マップを取得して所望の画像処理を行うモードにユーザが設定したものとする。 Further, here, the distance map acquired by it is assumed that the user sets the mode for the desired image processing.

次に、ステップS202で、撮影スイッチの1stスイッチを押したか否かを判定する。 Next, in step S202, it is determined whether the pressed 1st switch of the photographing switch. 押していない場合は何もせず、押した場合はステップS203へ移動する。 If you do not press without doing anything, if you press to move to step S203.

ステップS203では、S201で決定した構図や撮影条件でフォーカス調整を行う。 In step S203, it performs focus adjustment by composition and imaging conditions determined in S201. このフォーカス調整方法は、コントラスト法や位相差方法など、様々な方法によって実現可能で、特に制限はない。 The focus adjustment method, such as contrast method or the phase difference method, can be implemented by a variety of methods is not particularly limited.

ステップS204では、距離マップパラメータ算出回路107が、距離マップ取得のための撮影条件、および距離マップ生成のパラメータ(距離マップ取得用パラメータ)設定を行う。 In step S204, the distance map parameter calculating circuit 107, imaging conditions for the distance map acquisition, and the distance map generation parameters (distance map acquisition parameters) to set. まず、距離マップ取得のための撮影条件として、ステップS203で取得したフォーカシング制御における主被写体までの距離sを取得する。 First, as an imaging condition for the distance map acquisition, it acquires the distance s to the main subject in the acquired focusing control at step S203. 続いて、測距範囲の初期値r0を設定する。 Subsequently, the initial value r0 of the distance measurement range. この初期値の設定方法は、特に制限はなく、主被写体距離sと焦点距離から設定したり、主被写体距離から想定される像倍率などから決定したりすればよい。 The method of setting the initial value is not particularly limited, and set the main object distance s and the focal length may be or determined from such image magnification estimated from the main subject distance. 例えば、s=2000mmで、主被写体が人物の上半身のような場合、後段の画像処理では主被写体はぼかさず、かつ、背景の連続的な奥行きは奥行きに応じてぼかしたい場合を想定すると、r0は約5m程度とする。 For example, in s = 2000 mm, if the main object, such as the upper body of a person, the main object is not blurred in the image processing in the subsequent stage, and a continuous depth of background Assuming you want blur depending on the depth, r0 It is on the order of about 5m. このような、測距範囲初期値をテーブルで保持してもよいし、所定の関係式から類推してもよいし、撮影者の設定履歴などから類推してもよいし、その方法には制限はない。 Such may be held a distance measurement range initial value table, may be by analogy with the predetermined relational expression, may be inferred from such photographer's setting history, and its method limits no. 距離マップパラメータ算出回路107は、決定した測距範囲に応じて、距離マップ取得のための2画像のフォーカス位置を決定する。 Distance map parameter calculating circuit 107, in response to the determined distance measurement range, to determine the focus position of the two images for the distance map acquisition. ここでは、一方の画像のフォーカス位置は主被写体の位置とし、他方の画像のフォーカス位置は上記測距範囲を満たすようなフォーカスブラケット量だけ主被写体位置から変更した位置とする。 Here, the focus position of one of the images is the position of the main subject, the focus position of the other image is a position change from the main subject position by focus bracketing amount that satisfies the above distance measurement range.

さらに、ここでは、ステップS205で行う距離マップ生成のパラメータ設定を行う。 Further, here, setting parameters of the distance map generation performed at step S205. ここでは表示部に表示可能な画素数相当の解像度(観賞用画像よりも低い解像度)で距離マップを生成すればよいので、そのようなパラメータ設定を行えばよい。 Here, since it is sufficient generate a distance map of printable pixel number corresponding resolution to the display unit (lower resolution than the ornamental image) may be performed such parameter setting. 一般的に表示部の画素数はVGA(640x480画素)程度なので、距離マップを求める位置を表示部の画素数に相当するように算出することで、計算コストを低減し高速化を図る。 Since the number of pixels typically display unit degree VGA (640x480 pixels), by calculating to correspond the position for obtaining the distance map to the number of pixels of the display unit, reducing the speed of the computational cost. このことで、本撮影前に距離マップの測距範囲を確認することが可能となる。 In this, it becomes possible to confirm the distance measurement range of the distance map before the shooting.

次に、ステップS205において、プレ撮影を行って、表示用の観賞画像(以下、プレビュー画像)および表示用距離マップの取得を行う。 Next, in step S205, it performs pre-photographing, viewing images (hereinafter, preview image) for display acquires the and display the distance map. システム制御部108は、ステップS206において設定された撮影パラメータにしたがって、2枚の画像を撮影する。 The system control unit 108 according to the set shooting parameters in step S206, photographing two images. 画像形成回路103は、2画像のうち主被写体にフォーカスがあった画像に対して、所定の信号処理を施してプレビュー画像を生成する。 Image forming circuit 103, to the a image is focused on the main object of the second image to generate a preview image by performing predetermined signal processing. プレビュー画像の画質(解像度等)は本撮影時よりも低品質でよい。 Preview image quality (resolution and the like) may be a lower quality than when the shooting. 一方、距離マップ算出回路106は、2画像とステップS206で設定されたパラメータに基づいて表示用距離マップを生成する。 On the other hand, the distance map calculation circuit 106 generates the display distance map based on parameters set by the second image and the step S206. 距離の算出方法は、式1〜式5に示した通り、撮影条件の異なる2画像のPSFピーク比に基づいて、距離マップを算出する。 Distance calculation method of, as shown in Equations 1 5, based on the PSF peak ratio of two different images capturing conditions, and calculates the distance map. なお、局所領域の大きさは任意である。 The size of the local region is arbitrary. この時、ステップS204において、離散的に距離マップを算出するよう設定されているため、算出していない領域は算出した領域で代表したり、補間したりするなどの処理を行って距離マップを生成すればよく、その方法に制限はない。 At this time, in step S204, discrete because it is configured to calculate a distance map, calculated non regions or represented by the calculated area, generating a distance map by performing processing such or interpolated it is sufficient, there is no limitation to the method.

ステップS205では、測距範囲マップ生成回路112が、生成された表示距離マップに基づいて、測距範囲マップを生成する。 In step S205, the distance measuring range map generation circuit 112, based on the generated display distance map to generate a distance measurement range map. 測距範囲マップは、測距可能な範囲(奥行き範囲)を表すマップで、画素毎に測距可能か否かを示す。 Ranging range map is a map representing the measurable range (depth range) indicates whether it is possible ranging for each pixel. 例えば、距離マップをDとして、測距範囲を表すスコアの最小値および最大値をsminおよびsmaxとしたときに、測距範囲マップRは、R=1(smin≦D≦smax)、0(それ以外の時)である。 For example, a distance map as D, and when the minimum and maximum values ​​of the score representing the distance measurement range was smin and smax, ranging range map R is, R = 1 (smin ≦ D ≦ smax), 0 (it Besides being at the time).

次に、ステップS206で、画像合成回路113は、ステップS205で生成した測距範囲マップとプレビュー画像(観賞用画像)を合成した合成画像を生成し、画像出力部114が不図示の画像表示装置にこの合成画像を表示する。 Next, in step S206, the image synthesizing circuit 113 generates a composite image of the distance measurement range map and the preview image (ornamental image) generated in step S205, the image output unit 114 is an image display device (not shown) to display this composite image. 合成画像は、プレビュー画像において、どの部分が測距範囲内であるかが分かるように表示された画像である。 Composite image, the preview image, which portion is displayed image as seen it is within the distance measurement range. 具体的には、プレビュー画像をI、測距範囲マップR、表示用合成画像をI'とすると、以下の式に基づいて合成画像を生成することができる。 Specifically, the preview image I, ranging range map R, a display composite image When I ', it is possible to generate a composite image based on the following equation.

ただし、αは、0<α<1を満たす定数である。 However, alpha is a constant satisfying 0 <α <1.

この様子を、図3を用いて説明する。 This state will be described with reference to FIG. 図3(a)は、撮影者が構図や撮影条件を決定した状態の表示画像であり、主被写体401をピント面として、背景の壁402が連続的に続いているシーンを表している。 3 (a) is a display image of the state where the photographer to determine the composition and imaging conditions, the main subject 401 as the focal plane, and represents a scene in which the wall 402 of the background is continuously followed. 図3(b)が、ステップS202で1stスイッチを押下後、ステップS203〜S206にかけて、表示用距離マップを取得し、測距範囲403を合成して表示した様子を表している。 Figure 3 (b) is, after pressing the 1st switch in step S202, over the step S203 to S206, and acquires the display distance map, which shows a state of displaying the distance measurement range 403 synthesizes. ここで、測距範囲を表すRを二値で表すようにしたが、測距範囲403を識別可能な態様であれば、任意の方法により合成画像を生成することができる。 Here, the R representing the distance measurement range was as indicated by the binary, if identifiable manner distance measurement range 403 can generate a composite image by any method. たとえば、濃淡や擬似色をつけるようにしてもよく、その方法に特に制限はない。 For example, it may also be put grayscale or pseudo-color, and there is no particular limitation on the method.

次にステップS207において、撮影者が合成画像を観察して、表示されている測距範囲で所望の画像処理が実現可能か否かを判断する。 In step S207, the photographer can observe the combined image, the desired image processing in the distance measurement range being displayed to determine whether feasible. その様子を図3(c)に示す。 This is shown in Figure 3 (c).

ここで、現在の測距範囲で良ければ、撮影者は入力部115を操作して、図3(c)のOKを選択する。 Here, if you are happy with the current distance measurement range, the photographer operates the input unit 115, selects the OK in FIG. 3 (c). これに応答して、距離マップパラメータ算出回路107は、ステップS210で画像処理用距離マップ取得のためのパラメータ設定を行う。 In response to this, the distance map parameter calculating circuit 107 performs parameter setting for the image processing distance map obtained at step S210. 具体的には、最終的に記録する画素数(解像度)に合わせた距離マップを生成するようパラメータ設定を行う。 Specifically, setting parameters to generate a distance map that matches the number of pixels (resolution) to be finally recorded. 次に、ステップS211で、本撮影を行って観賞用画像と距離マップの取得を行う。 Next, in step S211, the acquisition of the ornamental image and the distance map performed by performing the main imaging. システム制御部108は、ステップS210において設定された撮影パラメータに基づいて、2枚の画像を撮影する。 The system control unit 108, based on the imaging parameters set in step S210, the photographed two images. 画像形成回路103は、2画像のうち主被写体にフォーカスがあった画像に対して、所定の信号処理を施して観賞用画像を生成し、所定の圧縮処理などを実施後記憶する。 Image forming circuit 103, to the a image is focused on the main subject of the two images to produce the ornamental image by performing predetermined signal processing, and stores after implementing such a predetermined compression process. また、距離マップ算出回路106は、2つの画像とステップS210で設定されたパラメータに基づいて距離マップ(画像処理用距離マップ)を生成する。 The distance map calculation circuit 106 generates a distance map (image processing distance map) based on the parameters set in the two images and step S210. その後、ステップS212において、画像処理部116は、画像処理用距離マップを取得し、この距離マップに基づいて観賞用画像に対して画像処理を行い、所定の圧縮処理などを実施後に不揮発性メモリ110に記録する。 Thereafter, in step S212, the image processing unit 116 obtains the image processing distance map, performs image processing on the ornamental image on the basis of the distance map, nonvolatile memory 110 a predetermined compression process and the like after performing It is recorded in the.

ステップS207で、測距範囲を変更したい場合は、撮影者は入力部115を操作して、図3(c)のNoを選択する。 In step S207, if you want to change the distance measuring range, the photographer operates the input unit 115, selects No in FIG. 3 (c). そうすると処理はステップS208へ移り、撮影者に対して、測距範囲の変更を促す。 Then the process proceeds to step S208, with respect to the photographer, prompting the change of the distance measurement range. 撮影者は入力部115を介して測距範囲の変更指示を入力する。 Photographer inputs an instruction to change the distance measurement range via the input unit 115. 例えば、図3(d)のように、撮影者が、現在の測距範囲403から測距範囲404のように測距範囲を広げるよう不図示のユーザーインターフェース(ボタンやタッチパネル)を用いて変更する。 For example, as shown in FIG. 3 (d), the photographer is changed by using a not shown user interface to widen the distance measurement range as ranging range 404 from the current distance measurement range 403 (buttons and a touch panel) . 撮影範囲を変更するためのユーザーインターフェースは任意であって良く、例えば、測距範囲を拡大・縮小や平行移動を可能するものや、任意の範囲指定を可能とするもの採用できる。 User interface for changing the imaging range may be any, for example, those that allow scaling and translating the distance measuring range, can be adopted as to enable any range specified.

次にステップS209において、距離マップパラメータ算出回路107は、ステップS208で変更された測距範囲を達成するための撮影パラメータを算出する。 In step S209, the distance map parameter calculating circuit 107 calculates the imaging parameters to achieve the changed distance measurement range in step S208. 具体的には、距離マップパラメータ算出回路107は、ステップS208における測距範囲の変更度合いに基づいて撮影パラメータを変更して測距範囲を変更する。 Specifically, the distance map parameter calculating circuit 107 changes the imaging parameters to change the distance measurement range based on the change degree of the distance measurement range in step S208. 例えば、変更前の測距範囲403と変更後の測距範囲404の大きさの変更度合(大きさの比)に基づいて、撮影パラメータを変更して測距範囲を変更する。 For example, based on the magnitude of the change degree of the distance measurement range 404 of after the change and ranging scope 403 before the change (the size ratio), to change the distance measurement range by changing the imaging parameters. 具体的には、変更前の測距範囲403と変更後の測距範囲404の変更度合が所定の閾値よりも大きい場合(測距範囲403の四角形の右辺と左辺と測距範囲403の右辺と左辺の変位量が閾値よりも大きい場合)は、F値をあらかじめ決められた量だけ変更する。 Specifically, the right side before the change of the distance measurement range 403 and if the change degree of the distance measurement range 404 of after the change is greater than a predetermined threshold value (the right-hand and left-hand sides of the square of the distance measurement range 403 ranging range 403 If the displacement amount of the left-hand side is greater than the threshold value) changes by an amount that is predetermined to F values. 一方、変更前の測距範囲403と変更後の撮影範囲404の変位量が所定の閾値以下の場合は、フォーカスブラケット量、あらかじめ決められた移動量だけ変更する。 On the other hand, displacement of the shooting range 404 after the change and ranging scope 403 before the change is in the case of less than a predetermined threshold value, the focus bracket amount, changing only the amount of movement determined in advance. なお、測距範囲を拡大する場合には、F値を大きな値にするか、フォーカスブラケット量を小さな値に変更する。 In the case of enlarging the distance measuring range, either the F value to a larger value, to change the focus bracket amount to a small value. 逆に、測距範囲を縮小する場合には、F値を小さな値にするか、フォーカスブラケット量を大きくする。 Conversely, when reducing the distance measuring range, either the F value to a small value to increase the focus bracket amount.

次にステップS209において、距離マップパラメータ算出回路107は、ステップS208で変更された測距範囲を達成するための撮影パラメータを算出する。 In step S209, the distance map parameter calculating circuit 107 calculates the imaging parameters to achieve the changed distance measurement range in step S208. 具体的には、先に説明したように、Fナンバーやフォーカスブラケット量を再度算出し、撮影条件として設定する。 Specifically, as described earlier, it calculates the F-number and focus bracketing amount again, set as an imaging condition. この際、測距範囲403と測距範囲404の大きさの変更度合を考慮して、撮影パラメータを変更することも好ましい。 In this case, in consideration of the change degree of the magnitude of the distance measurement range 403 a ranging range 404, it is also preferable to change the imaging parameters. 具体的には、測距範囲403と測距範囲404の変更度合が大きい場合は、即ち、測距範囲403の四角形の右辺と左辺と測距範囲403の右辺と左辺の変位量が大きい場合、F値を一段大きな値に設定する。 Specifically, if the change degree of the distance measurement range 403 and the distance measurement range 404 is large, i.e., when the displacement amount of the left and right sides of the left and right sides and ranging range 403 square of the distance measurement range 403 is large, the F value is set to one step larger value. 測距範囲403と撮影範囲404の変位量が小さい場合は、フォーカスブラケット量、あらかじめ決められた移動量だけ小さくすればよい。 If the displacement amount of the distance measurement range 403 and the imaging range 404 is small, the focus bracket amount, may be reduced by the amount of movement determined in advance.

その後、処理はステップS202に戻り、1stスイッチが押されたら、ステップS203以降について同様に処理を行う。 After that, the process returns to step S202, When the 1st switch is pressed, it performs the same processing for steps S203 and later. 図3(e)が、変更された撮影条件で撮影した際の測距範囲405を表している。 Figure 3 (e) it is, represents the distance measurement range 405 at the time of shooting with the changed image capturing conditions.

(効果) (effect)
以上説明したように、本実施形態に係る撮像装置は、撮影時に表示用距離マップを取得合成し、表示部に表示している。 As described above, the imaging apparatus according to the present embodiment, the display distance map acquired synthesized at the time of imaging, are displayed on the display unit. これにより、撮影者は現在の撮影における測距範囲を容易に確認することができる。 Thus, the photographer can easily check the distance measurement range in the current shooting. さらに、撮影者が測距範囲の変更を指示した場合には、指定された測距範囲を測距できるように、距離マップ取得用の撮影パラメータを自動で変更する。 Further, when the photographer has instructed to change the distance measuring range, to allow the distance measuring a specified distance measurement range, changing the camera parameters of the distance map for obtaining automatically. このことで、撮影者は所望する測距範囲の距離マップを得られ、さらには所望する画像処理結果を確実に得られるという効果がある。 In this, the photographer get a distance map of the distance measuring range desired, further there is an effect that surely obtained an image processing results desired.

(変形例) (Modification)
前記実施例において、距離マップ取得方法をDFD方式として説明したが、DFF方式の場合においても適用可能である。 In the embodiment, the distance map acquisition method has been described as the DFD, is also applicable in the case of a DFF type. DFF方式の場合は、撮像装置を固定可能で、かつ、被写体が静止しているような場合に好適である。 For DFF method, an imaging apparatus can be fixed, and is suitable when such an object is stationary. このような場合は、処理全体の流れは変わらず、各回路および処理の内容を変更するだけでよい。 In such a case, the entire processing flow does not change, it is only necessary to change the contents of the circuits and processes.

まず、距離マップパラメータ算出回路107に、フォーカスブラケット量および範囲の初期値を撮影条件毎に保持しておけばよい。 First, the distance map parameter calculation circuit 107, it is sufficient to hold the initial value of the focus bracket amount and range for each shooting condition. また、距離マップ算出回路106は、画像中の撮影された複数画像のうち、同一の局所領域中のコントラスト値などの評価値を算出し、評価値の最も高い画像から、式1、式2を用いて距離を推定して距離マップを算出すればよい。 The distance map calculation circuit 106, among the captured multiple images in an image, calculates an evaluation value such as contrast values ​​in the same local area, from the highest image evaluation value, Equation 1, Equation 2 distance may be calculated distance map by estimating using. このようにして、作成した距離マップを、DFDの場合と同様に観賞用画像と合成し、表示して、測距範囲を撮影者に確認する。 In this manner, the distance map created, combined with as in the case ornamental image of DFD, displayed, to confirm the distance measurement range photographer. 撮影者は、必要であれば測距範囲の変更指示を行う。 Photographer, make changes indication of the distance measurement range, if necessary. DFFの場合は、測距範囲はフォーカスブラケット範囲そのものになるので、枚数を一定にして範囲を増やすよう変更すればよい。 For DFF, since the distance measurement range is in focus bracketing range itself may be changed so as to increase the range by the number constant.

以上のようにすることで、DFFにおいても撮影完了前に距離マップの測距範囲を確認・変更することが可能となり、DFDの場合と同様、撮影者が所望する画像処理結果を確実に得られるという効果がある。 In the manner described above, it is possible to check and change the distance measuring range of the distance map before recording completed at DFF, as in the case of DFD, it is surely obtain an image processing result of the photographer desires there is an effect that.

<実施例2> <Example 2>
次に、本発明の第2の実施例として、2眼ステレオ方式で距離マップを取得し、所望の画像処理を行う場合について、図を用いて説明する。 Next, a second embodiment of the present invention to obtain a distance map in two-eye stereo system, the case where the desired image processing will be described with reference to FIG.

(構成) (Constitution)
本実施例における撮像装置の構成を図4に示す。 The configuration of the imaging apparatus in this embodiment shown in FIG. 本実施例における撮像装置は図1に示した撮像装置1と共通するものは、図1の符号と同符号を付し、相違点のみ説明する。 That the imaging apparatus of this embodiment in common with the image pickup apparatus 1 shown in FIG. 1 are denoted by the same sign as in Fig. 1, only differences will be described.

本実施例に係る撮像装置4は、2眼ステレオ方式であるため、撮影レンズ400、露光制御部材401、撮像素子402がそれぞれもう1組追加される。 Imaging device 4 according to this embodiment is the binocular stereo system, a photographing lens 400, an exposure control member 401, the imaging device 402 is added another set respectively. それらを制御する、露光制御部104、フォーカス制御部105は2組の露光制御部材、撮影レンズを制御する。 To control them, the exposure control unit 104, the focus control unit 105 two pairs of exposure control member, for controlling the photographic lens. また、画像形成回路103は、2つの撮像素子102、402からの出力を画像化することとする。 The image forming circuit 103, and imaging the output from the two imaging devices 102, 402. 距離マップ算出回路403、距離マップパラメータ算出回路404はそれぞれステレオ方式に対応した距離マップ算出およびパラメータ設定を行う回路である。 Distance map calculation circuit 403, the distance map parameter calculating circuit 404 is a circuit that performs the distance map calculation and parameter setting corresponding to stereo, respectively. 2つのレンズの光軸は調整されているものとする。 Optical axes of the two lenses is assumed to be adjusted. また、ここでは、基線長は固定とするが、基線長を変更させる機構を追加してもよく、特に限定は無い。 Further, here, the baseline length is fixed, may be added a mechanism for changing the base line length, it is not particularly limited.

(処理の流れ) (Processing flow)
次に、本実施例の撮像装置の場合の処理の流れをフローチャートを用いて説明する。 Now it is described with reference to a flowchart a flow of processing when the image pickup apparatus of the present embodiment.
本実施例の処理の流れは、第1の実施例の処理の流れ図2と同じで、ステップS204〜ステップS205の各ステップの処理内容のみが異なるので、相違点のみ説明する。 Processing flow of this embodiment is the same as the flow chart 2 of the process of the first embodiment, since only the processing content of each step of the step S204~ step S205 is different, and only a difference will be described.

ステップS204において、距離マップ算出をステレオ法で行うようにすればよい。 In step S204, it may be the distance map calculated as performed by stereo method. ステップS204では、ステレオ法の算出パラメータを設定する。 In step S204, it sets the calculated parameters of the stereo method. 具体的には、式10で示した通り、被写体距離は、基線長bと視差dにより決定する。 Specifically, as shown in Equation 10, the subject distance is determined by the baseline length b and the parallax d. 基線長bを固定とした場合は、視差dの探索範囲(ブロックマッチングの探索範囲)によって、測距範囲が決定する。 If the baseline length b fixed, the search range of the disparity d (search range of block matching), ranging range is determined. 探索範囲がd0であるということは、基準画像を左画像(x,y)とした際に、右画像の(x±d0,y)で表される範囲で最も類似している領域を探索することを意味する。 That the search range is d0, when the reference image was left image (x, y), and searches for a region most similar in the range represented by the right image (x ± d0, y) it means that. ただし、ここでは、撮像装置の光軸方向や高さが校正されているものとして、探索範囲を水平方向のみとしたが、校正されていない場合は垂直方向など探索範囲とすればよい。 However, in this case, as the optical axis direction and height of the image pickup apparatus is calibrated, but the search range has a horizontal direction only, if not calibrated may be a search range including vertical. 視差の探索範囲d0と視差の探索範囲の関係は式10から導ける。 Relationship of the search range of the search range d0 and parallax parallax Michibikeru from equation 10. また、基線長bが可変な構成であれば、基線長bを変化させることによって測距範囲を調整しても良い。 Further, if the baseline length b is variable configuration may adjust the distance measuring range by changing the baseline length b.

ステップS206〜ステップS208は実施例1と同一の処理であるため、説明は割愛する。 For Step S206~ step S208 is the same process as in Example 1, description thereof is omitted.

ステップS209で、撮影者から指示されたように測距範囲を変更する。 In step S209, it changes the distance measurement range as instructed by the photographer. 具体的には、撮影者の手前側に測距範囲を拡大するように指示された場合は、ブロックマッチングの探索範囲d0を大きくすることで対応することが可能である。 Specifically, when instructed to enlarge the distance measurement range in front of the photographer, it can be dealt with by increasing the search range d0 block matching. また、測距範囲を奥行き方向に拡大したい場合は、式10からわかるように、焦点距離fや基線長bを大きくすればよい。 Also, if you want to expand the distance measurement range in the depth direction, as can be seen from Equation 10, it may be increased focal length f and baseline length b.

(効果) (effect)
以上、説明したように距離マップ取得方式がステレオ法の場合においても、撮影完了前に距離マップの測距範囲を確認することが可能となり、撮影者の所望する画像処理結果を確実に得ることが可能になる、という効果がある。 Above, when the distance map acquisition scheme as described is a stereo method also, it is possible to confirm ranging range of the distance map before photographing completion, is possible to reliably obtain desired image processing result of the photographer possible to become, there is an effect that.

(変形例) (Modification)
上記では、2眼ステレオ方式を例に説明したが、光学系の瞳分割を行って1つの光学系で2視点の画像を取得する撮像装置にも本発明を適用可能である。 In the above description, the two-eye stereo system is described as an example, the present invention is also applicable to an imaging device for acquiring an image of the two viewpoints in one optical system by performing a pupil division optical system.

<その他の実施例> <Other embodiments>
なお、上記装置への具体的な実装は、ソフトウェア(プログラム)による実装と、ハードウェアにより実装のいずれも可能である。 The specific implementation of the above devices, software and implementation (program), it can be either mounted in the hardware. 例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータ(又はCPU、MPU等のデバイス)によっても、本発明を実施することができる。 For example, the storage device in a recording computer (or CPU, devices such as an MPU) of the program system and device for realizing the functions of the above by reading performed also makes it possible to implement the present invention. また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。 Further, for example, by a method comprising the steps performed by a computer of a system or apparatus for implementing the functions of the above by reading executes a program recorded in the storage device, it is possible to implement the present invention . この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体(つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体)から、上記コンピュータに提供される。 For this purpose, the program is, for example, through a network, or from various types of recording media that can be the storage device (i.e., non-temporarily computer-readable recording medium for holding data), the computer It is provided to. したがって、上記コンピュータ(CPU、MPU等のデバイスを含む)、上記方法、上記プログラム(プログラムコード、プログラムプロダクトを含む)、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。 Therefore, the computer (CPU, including a device such as an MPU), the above-described method, the program (program code includes a program product), computer-readable recording medium for holding the program non temporarily are all included in the scope of the invention.

1 撮像装置 103 画像形成回路 106 距離マップ算出回路 112 測距範囲マップ生成回路 113 画像合成回路 114 画像出力部 1 imaging apparatus 103 imaging circuit 106 distance map calculation circuit 112 ranging range map generation circuit 113 the image synthesizing circuit 114 an image output unit

Claims (4)

  1. 画像を取得する画像取得手段と、 An image obtaining unit for obtaining an image,
    DFDにより第1の距離マップを取得する距離マップ取得手段と、 A distance map obtaining means for obtaining a first distance map by DFD,
    前記第1の距離マップに基づいて、前記画像における測距範囲を示す測距範囲マップを生成する測距範囲マップ生成手段と、 Based on the first distance map, a distance measuring range map generating means for generating a distance measurement range map showing the distance measurement range in the image,
    前記画像と前記測距範囲マップとを合成した合成画像を生成する合成手段と、 Synthesizing means for generating a composite image of said distance measuring range map and the image,
    前記合成画像を表示する表示手段と、 Display means for displaying the composite image,
    前記距離マップ取得手段の測距範囲の変更指示をユーザから受け付ける変更指示手段と、 A change instruction means for accepting a change instruction of the distance measurement range of the distance map acquisition unit from the user,
    前記変更指示手段により変更された測距範囲に基づいて、前記距離マップ取得手段が用いる距離マップ取得用パラメータを変更するパラメータ変更手段と、 Based on the changed distance measurement range by the change instructing means, and parameter changing means for changing the distance map acquisition parameters used by the distance map acquisition means,
    を備え Equipped with a,
    前記パラメータ変更手段は前記距離マップ取得用パラメータを第1のパラメータに変更し、変更度合いが所定の閾値より大きければF値を変更し、前記変更度合いが前記所定の閾値以下であればフォーカスブラケット量を変更する、 Is the parameter changing means to change the distance map acquisition parameter to the first parameter, the change degree changes the F value is greater than a predetermined threshold value, focus bracketing amount if the change degree than the predetermined threshold to change the,
    ことを特徴とする撮像装置。 Imaging device, characterized in that.
  2. 前記パラメータ変更手段は、前記変更指示手段が前記測距範囲の変更指示をユーザから受け付けない場合、本撮影する画像の解像度に基づき前記距離マップ取得用パラメータを第2のパラメータに変更し Wherein the parameter changing means changes if the change instruction means is not received from a user an instruction to change the distance measuring range, the distance map acquisition parameters based on the resolution of the image to be the shooting to the second parameter,
    前記距離マップ取得手段は、前記第2のパラメータを用いて第2の距離マップを取得し、 The distance map acquisition means acquires the second distance map using the second parameter,
    前記第2の距離マップに基づいて前記画像に画像処理を施す画像処理手段を更に備え Further Ru comprising an image processing hand stage for performing image processing on the image based on the second distance map,
    ことを特徴とする請求項1に記載の撮像装置。 The imaging apparatus according to claim 1, characterized in that.
  3. 前記第1の距離マップの解像度は、前記第2の距離マップの解像度よりも低い、 The first distance map resolution is lower than said second distance map resolution,
    請求項2に記載の撮像装置。 The imaging apparatus according to claim 2.
  4. 画像を取得する画像取得ステップと、 An image acquisition step of acquiring an image,
    DFDにより第1の距離マップを取得する距離マップ取得ステップと、 A distance map acquisition step you get a first distance map by DFD,
    前記第1の距離マップに基づいて、前記画像における測距範囲を示す測距範囲マップを生成する測距範囲マップ生成ステップと、 Based on the first distance map, a distance measuring range map generation step of generating a distance measurement range map showing the distance measurement range in the image,
    前記画像と前記測距範囲マップとを合成した合成画像を生成する合成ステップと、 A synthesizing step of generating a composite image of said distance measuring range map and the image,
    前記合成画像を表示する表示ステップと、 A display step of displaying the composite image,
    前記距離マップ取得ステップの測距範囲の変更指示をユーザから受け付ける変更指示ステップと、 A change instruction step of accepting an instruction to change the distance measuring range of the distance map acquisition step from the user,
    前記変更指示ステップにおいて変更された測距範囲に基づいて、前記距離マップ取得ステップにおいて用いられる距離マップ取得用パラメータを変更するパラメータ変更ステップと、 Based on the changed distance measurement range in the change instruction step, a parameter changing step of changing the distance map acquisition parameters used in the distance map acquisition step,
    を含 Only including,
    前記パラメータ変更ステップは前記距離マップ取得用パラメータを第1のパラメータに変更し、変更度合いが所定の閾値より大きければF値を変更し、前記変更度合いが前記所定の閾値以下であればフォーカスブラケット量を変更する、 Wherein the parameter changing step changes the said distance map acquisition parameter to the first parameter, the change degree changes the F value is greater than a predetermined threshold value, focus bracketing amount if the change degree than the predetermined threshold to change the,
    ことを特徴とする撮像装置の制御方法。 Control method for an imaging apparatus, characterized in that.
JP2013161267A 2013-08-02 2013-08-02 Imaging apparatus and control method thereof Active JP6245885B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013161267A JP6245885B2 (en) 2013-08-02 2013-08-02 Imaging apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013161267A JP6245885B2 (en) 2013-08-02 2013-08-02 Imaging apparatus and control method thereof
US14/340,824 US9961329B2 (en) 2013-08-02 2014-07-25 Imaging apparatus and method of controlling same

Publications (3)

Publication Number Publication Date
JP2015032144A JP2015032144A (en) 2015-02-16
JP2015032144A5 JP2015032144A5 (en) 2016-09-08
JP6245885B2 true JP6245885B2 (en) 2017-12-13

Family

ID=52427242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013161267A Active JP6245885B2 (en) 2013-08-02 2013-08-02 Imaging apparatus and control method thereof

Country Status (2)

Country Link
US (1) US9961329B2 (en)
JP (1) JP6245885B2 (en)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9282228B2 (en) 2013-01-05 2016-03-08 The Lightco Inc. Camera methods and apparatus using optical chain modules which alter the direction of received light
JP2015036841A (en) 2013-08-12 2015-02-23 キヤノン株式会社 Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9197816B2 (en) 2013-10-18 2015-11-24 The Lightco Inc. Zoom related methods and apparatus
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9557519B2 (en) 2013-10-18 2017-01-31 Light Labs Inc. Methods and apparatus for implementing a camera device supporting a number of different focal lengths
US9426365B2 (en) 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US9462170B2 (en) 2014-02-21 2016-10-04 The Lightco Inc. Lighting methods and apparatus
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
US10191356B2 (en) 2014-07-04 2019-01-29 Light Labs Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
US10110794B2 (en) 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
WO2016061565A1 (en) 2014-10-17 2016-04-21 The Lightco Inc. Methods and apparatus for using a camera device to support multiple modes of operation
EP3235243A4 (en) 2014-12-17 2018-06-20 Light Labs Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) * 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US9967535B2 (en) * 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
WO2016172641A1 (en) 2015-04-22 2016-10-27 The Lightco Inc. Filter mounting methods and apparatus and related camera apparatus
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US9958585B2 (en) 2015-08-17 2018-05-01 Microsoft Technology Licensing, Llc Computer vision depth sensing at video rate using depth from defocus
US10051182B2 (en) 2015-10-05 2018-08-14 Light Labs Inc. Methods and apparatus for compensating for motion and/or changing light conditions during image capture
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965840A (en) * 1987-11-27 1990-10-23 State University Of New York Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system
JP2993610B2 (en) 1990-09-29 1999-12-20 アイシン精機株式会社 Image processing method
US5838836A (en) * 1995-11-06 1998-11-17 Agfa Division-Bayer Corporation Method and apparatus for rough cropping images
US5793900A (en) * 1995-12-29 1998-08-11 Stanford University Generating categorical depth maps using passive defocus sensing
DE60136968D1 (en) 2001-03-30 2009-01-22 Nat Inst Of Advanced Ind Scien Real-time omnifokus-microscope camera
JP2003087545A (en) * 2001-09-07 2003-03-20 Canon Inc Image pickup device, image processor and method
JP3799019B2 (en) * 2002-01-16 2006-07-19 オリンパス株式会社 The method of taking stereo imaging apparatus and stereo imaging apparatus
US7231087B2 (en) * 2002-10-30 2007-06-12 Metrica, Inc. Matching binary templates against range map derived silhouettes for object pose estimation
JP2007139892A (en) * 2005-11-15 2007-06-07 Olympus Corp Focusing detection device
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
KR20120023431A (en) * 2010-09-03 2012-03-13 삼성전자주식회사 Method and apparatus for converting 2-dimensinal image to 3-dimensional image with adjusting depth of the 3-dimensional image
US8582820B2 (en) * 2010-09-24 2013-11-12 Apple Inc. Coded aperture camera with adaptive image processing
US9035939B2 (en) * 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
JP2012124555A (en) 2010-12-06 2012-06-28 Canon Inc Imaging apparatus
JP5870533B2 (en) * 2011-08-09 2016-03-01 株式会社リコー An imaging apparatus and an imaging method
JP6140709B2 (en) * 2011-09-28 2017-05-31 ペリカン イメージング コーポレイション System and method for encoding and decoding the bright-field image file
US9185393B2 (en) * 2011-10-12 2015-11-10 Panasonic Intellectual Property Management Co., Ltd. Image capturing device, semiconductor integrated circuit, and image capturing method
US9208570B2 (en) * 2012-03-28 2015-12-08 Sony Corporation System and method for performing depth estimation by utilizing an adaptive kernel
JP6214183B2 (en) 2012-05-11 2017-10-18 キヤノン株式会社 Distance measuring device, an imaging device, a distance measuring method, and a program
JP5932476B2 (en) 2012-05-17 2016-06-08 キヤノン株式会社 The image processing apparatus, an imaging apparatus, the distance measuring method and a distance measuring program
US20140184586A1 (en) * 2013-01-02 2014-07-03 International Business Machines Corporation Depth of field visualization

Also Published As

Publication number Publication date
US20150035824A1 (en) 2015-02-05
US9961329B2 (en) 2018-05-01
JP2015032144A (en) 2015-02-16

Similar Documents

Publication Publication Date Title
JP5486317B2 (en) Operation of the dual lens camera that extends image
JP4207980B2 (en) Imaging device, and imaging apparatus control method, and computer program
JP5544047B2 (en) Image processing apparatus, method and program, and a stereoscopic imaging device, a portable electronic device, a printer, and stereoscopic image reproducing apparatus
CN100587538C (en) Imaging apparatus and control method of imaging apparatus
US8654195B2 (en) Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
US8773509B2 (en) Imaging device, imaging method and recording medium for adjusting imaging conditions of optical systems based on viewpoint images
KR101345012B1 (en) Apparatus for electronically capturing images, the apparatus for estimating focusing distance from a camera to an object, the camera-object focal depth, and a method for automatically estimating a computer-readable medium
CN103155537B (en) Based on continuous autofocus face detection and tracking
JP5870264B2 (en) Imaging apparatus, an imaging method, a program, and an integrated circuit
JP4678603B2 (en) An imaging apparatus and an imaging method
US8135270B2 (en) Imaging device and imaging method
JP4582423B2 (en) Imaging device, an image processing apparatus, an imaging method, and an image processing method
CN101106647B (en) Image pickup apparatus, control method therefor
JP2012095186A (en) Electronic device
JP2006201282A (en) Digital camera
JP2007034261A (en) Automatic focusing control device and control method thereof
JP2010521005A (en) Multi-lens camera having an improved focus adjustment function
US9208396B2 (en) Image processing method and device, and program
JP2010177741A (en) Image capturing apparatus
JP5898501B2 (en) The image processing apparatus, an imaging apparatus, a control method, program and recording medium
JP4990234B2 (en) Ranging apparatus, ranging method, the distance measurement program or imaging device
EP2566150B1 (en) Image processing apparatus, image processing method, and program
CN103026171A (en) Image processing apparatus and image processing method
WO2011158498A1 (en) Image capture device and image capture method
US9961329B2 (en) Imaging apparatus and method of controlling same

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160719

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170704

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171114

R151 Written notification of patent or utility model registration

Ref document number: 6245885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151