JP6645711B2 - Image processing apparatus, image processing method, and program - Google Patents

Image processing apparatus, image processing method, and program Download PDF

Info

Publication number
JP6645711B2
JP6645711B2 JP2019029513A JP2019029513A JP6645711B2 JP 6645711 B2 JP6645711 B2 JP 6645711B2 JP 2019029513 A JP2019029513 A JP 2019029513A JP 2019029513 A JP2019029513 A JP 2019029513A JP 6645711 B2 JP6645711 B2 JP 6645711B2
Authority
JP
Japan
Prior art keywords
image
image processing
distance
distance map
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019029513A
Other languages
Japanese (ja)
Other versions
JP2019083580A (en
Inventor
伸 田中
伸 田中
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013016816 priority Critical
Priority to JP2013016816 priority
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of JP2019083580A publication Critical patent/JP2019083580A/en
Application granted granted Critical
Publication of JP6645711B2 publication Critical patent/JP6645711B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、デジタル画像処理に関し、特に撮影画像に対し画像処理を行う画像処理技術に関する。   The present invention relates to digital image processing, and more particularly to an image processing technique for performing image processing on a captured image.
カメラの撮影テクニックの一つに、被写体以外の部分(背景等)を意図的にぼけさせることで、注目する被写体を際立たせるという撮影手法が知られている。しかし、コンパクトカメラのように光学系の性能があまり高くない場合には、被写界深度を浅くすることができず、十分なぼけをつくることができない。そこで最近では、デジタル画像処理によって後からぼけを付加することで、背景等がぼけた画像を生成する技術が提案されている。例えば特許文献1の撮像装置では、合焦対象である被写体の画像上の位置を基準点と定め、画像上で基準点から離れるほどぼけが大きくなるように、ぼけ加工を施している。また特許文献2には、3次元計測カメラで撮影した3次元画像データと、ユーザが指定した仮想的なカメラパラメータ及びピント位置とから、適当なぼけ効果を付けた画像を生成する画像処理装置が開示されている。   As one of photographing techniques of a camera, a photographing method of intentionally blurring a portion (background or the like) other than a subject to make a subject of interest stand out is known. However, when the performance of the optical system is not so high as in a compact camera, the depth of field cannot be reduced, and sufficient blur cannot be created. Therefore, recently, a technique of generating an image with a blurred background or the like by adding a blur later by digital image processing has been proposed. For example, in the imaging apparatus of Patent Literature 1, the position of an object to be focused on an image is determined as a reference point, and blur processing is performed such that the farther away from the reference point on the image, the greater the blur. Patent Document 2 discloses an image processing apparatus that generates an image with an appropriate blurring effect from three-dimensional image data captured by a three-dimensional measurement camera, virtual camera parameters and a focus position specified by a user. It has been disclosed.
特開2011−091570号公報JP 2011091570A 特開2000−207549号公報JP 2000-207549 A
特許文献1の方法は、奥行き距離ではなく、画像上の位置に応じてぼけの大きさを決めている。そのため、奥行き距離が合焦物体と同じであっても(つまり、ピント位置に存在する物体であるにも拘わらず)ぼけが付加されるなど、不自然なぼけ画像が生成される可能性がある。一方、特許文献2の方法は、高品質なぼけ画像が得られるかもしれないが、3次元計測カメラという特殊な装置が必要であり、一般的な小型カメラ等への適用が困難である。しかも、カメラパラメータやピント位置などの条件をユーザが指定しなければならず、操作が難しいという問題もある。   In the method of Patent Document 1, the size of the blur is determined not according to the depth distance but according to the position on the image. Therefore, even if the depth distance is the same as that of the focused object (in other words, even though the object is at the focus position), an unnatural blurred image may be generated, such as adding a blur. . On the other hand, the method of Patent Document 2 may provide a high-quality blurred image, but requires a special device such as a three-dimensional measurement camera, and is difficult to apply to a general small-sized camera or the like. In addition, there is a problem that the user has to specify conditions such as camera parameters and a focus position, which makes the operation difficult.
そこで本発明者らは、画像を撮影する際に、その画像中の各点の奥行き距離を記録したデータ(距離マップ又はデプスマップと呼ぶ)を作成し、この距離マップをぼけ付加処理に利用することを検討している。オートフォーカスの情報から撮影画像のピント位置(合焦距離)がわかれば、距離マップ中の各点の距離情報との差分を計算することで、画像中の各点でのピント位置からのずれ量(デフォーカス量)を算出できる。このデフォーカス量に基づいてぼけの大きさを制御すれば、ピント位置にある合焦物体のシャープさを維持しつつ、ピント位置からずれるほどぼけが大きくなる画像を生成することができる。   Therefore, when capturing an image, the present inventors create data (called a distance map or a depth map) that records the depth distance of each point in the image, and use this distance map for blur addition processing. I'm considering that. If the focus position (focusing distance) of the captured image is known from the autofocus information, the difference between the focus information and the distance information of each point in the distance map is calculated, and the amount of deviation from the focus position at each point in the image is calculated. (Defocus amount) can be calculated. By controlling the magnitude of the blur based on the defocus amount, it is possible to generate an image in which the blur increases as the focus object is shifted from the focus position, while maintaining the sharpness of the focused object at the focus position.
しかしながら、本発明者らが検討を進める中で、上記の方法には次のような課題があることを見出した。距離マップは、例えば、DFD(Depth from Defocus)法やステレオ法などの手法により作成できるが、いずれの方法の場合でも、ノイズや空間周波数の影響により距離推定結果に誤差が生じる。図11を参照して詳しく説明する。球80、三角錐81、円柱82をカメラから3m、4m、10mの位置に配置し、球80にピントを合わせて撮影及び距離マップの作成を行ったとする。符号83が撮影画像、符号84が距離マップの例である。距離マップ84には、4×6の24個のエリアについて測距結果が記録されているが、実際の物体距離に比べて多少の誤差が生じている。この距離マップ84と、
オートフォーカスの情報から得たピント位置(3m)とから、各エリアのデフォーカス量を計算すると符号85のようになる。距離マップの誤差に起因して、合焦物体である球80のエリア(ドットの部分)の方が、背景である三角錐81のエリア(ハッチングの部分)よりも、デフォーカス量が大きくなってしまっている。このようなデフォーカス量に従ってぼけを付加すると、撮影者がピントを合わせた被写体である球80がぼけてしまい、撮影者の意図と異なるぼけ画像86が生成されることとなる。
また、ぼけ付加処理だけでなく、例えば、被写体の切り出し処理に関しても同様な課題が生じる。つまり、距離マップ84と、オートフォーカスの情報から得たピント位置とから、合焦物体である球80のエリア(ドットの部分)を切り出すはずが、デフォーカス量の小さい三角錐81のエリア(ハッチングの部分)を切り出してしまう。このため、撮影者の意図した被写体を切り出すことができなくなる。
However, as the inventors proceeded with the study, they found that the above-described method had the following problems. The distance map can be created by, for example, a DFD (Depth from Defocus) method or a stereo method. However, in any case, an error occurs in the distance estimation result due to the influence of noise or a spatial frequency. This will be described in detail with reference to FIG. It is assumed that the sphere 80, the triangular pyramid 81, and the cylinder 82 are arranged at positions of 3 m, 4 m, and 10 m from the camera, and the sphere 80 is focused and photographing and distance map creation are performed. Reference numeral 83 denotes an example of a captured image, and reference numeral 84 denotes an example of a distance map. In the distance map 84, the distance measurement results are recorded for 24 areas of 4 × 6, but some errors occur in comparison with the actual object distance. This distance map 84,
When the defocus amount of each area is calculated from the focus position (3 m) obtained from the information of the auto focus, reference numeral 85 is obtained. Due to the error in the distance map, the defocus amount is larger in the area of the sphere 80 (dot portion), which is the focused object, than in the area of the triangular pyramid 81 (hatched portion), which is the background. I'm done. If blur is added according to such a defocus amount, the sphere 80, which is a subject to which the photographer has focused, is blurred, and a blurred image 86 different from the photographer's intention is generated.
A similar problem occurs not only in the blur adding process but also in, for example, a subject cutting process. In other words, the area (dot portion) of the sphere 80, which is the in-focus object, should be cut out from the distance map 84 and the focus position obtained from the information of the autofocus. Part) is cut out. For this reason, it becomes impossible to cut out the subject intended by the photographer.
本発明は上記実情に鑑みなされたものであって、その目的とするところは、撮影者の意図を反映した高品質な画像処理を行うための技術を提供することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique for performing high-quality image processing that reflects a photographer's intention.
本発明に係る画像処理装置は、撮影画像上の各領域に対応する、像面側での奥行きの分布を示す距離マップを取得する距離マップ取得手段と、前記撮影画像上の基準領域の情報を取得する取得手段と、前記基準領域および前記距離マップに基づいて、前記基準領域との奥行きの差に応じた大きさのぼけを付加するように前記撮影画像に画像処理を施す画像処理手段と、を有することを特徴とする画像処理装置である。
The image processing apparatus according to the present invention includes a distance map acquisition unit that acquires a distance map indicating a depth distribution on an image plane side corresponding to each region on a captured image, and information on a reference region on the captured image. Acquiring means for acquiring, based on the reference area and the distance map, an image processing means for performing image processing on the captured image so as to add a blur having a size corresponding to a difference in depth from the reference area, An image processing apparatus comprising:
本発明に係る画像処理方法は、撮影画像上の各領域に対応する、像面側での奥行きの分布を示す距離マップを取得する取得ステップと、前記撮影画像上の基準領域の情報を取得する取得ステップと、前記基準領域および前記距離マップに基づいて、前記基準領域との奥行きの差に応じた大きさのぼけを付加するように前記撮影画像に画像処理を施す画像処理ステップと、を有することを特徴とする画像処理方法である。
The image processing method according to the present invention includes an obtaining step of obtaining a distance map indicating a depth distribution on an image plane side corresponding to each area on a captured image, and obtaining information of a reference area on the captured image. An acquiring step, and an image processing step of performing image processing on the captured image so as to add a blur having a size corresponding to a difference in depth from the reference area based on the reference area and the distance map. An image processing method characterized in that:
本発明に係るプログラムは、本発明に係る画像処理装置の各手段の機能をコンピュータに実現させるためのプログラムである。 The program according to the present invention is a program for causing a computer to realize the function of each unit of the image processing apparatus according to the present invention.
本発明によれば、撮影者の意図を反映した高品質な画像処理を行うことができる。   According to the present invention, high-quality image processing reflecting the intention of the photographer can be performed.
第1実施形態に係る撮像装置の構成を示す図。FIG. 1 is a diagram illustrating a configuration of an imaging device according to a first embodiment. 第1実施形態のぼけ画像撮影処理の流れを示すフローチャート。5 is a flowchart illustrating a flow of a blurred image capturing process according to the first embodiment. 撮影画像と距離マップからぼけ画像を生成する方法を説明する図。FIG. 4 is a diagram illustrating a method for generating a blurred image from a captured image and a distance map. ぼけ量の決定方法を説明する図。FIG. 4 is a diagram illustrating a method for determining a blur amount. 第2実施形態に係る撮像装置の構成を示す図。FIG. 6 is a diagram illustrating a configuration of an imaging device according to a second embodiment. 第2実施形態の追尾処理部の処理を示すフローチャート。9 is a flowchart illustrating processing of a tracking processing unit according to the second embodiment. 第4実施形態におけるデフォーカス量の調整を説明する図。FIG. 14 is a diagram illustrating adjustment of a defocus amount according to a fourth embodiment. 第5実施形態に係る撮像装置の構成を示す図。FIG. 13 is a diagram illustrating a configuration of an imaging device according to a fifth embodiment. 奥行き距離のヒストグラム。Histogram of depth distance. 第5実施形態の切り出し画像生成処理の流れを示すフローチャート。15 is a flowchart illustrating the flow of a cut-out image generation process according to the fifth embodiment. 距離マップの誤差による課題を説明する図。The figure explaining the subject by the error of a distance map.
本発明は、距離マップを利用することで、撮影画像に対し奥行き距離に応じたぼけの付加や、被写体の切り出しなどを行うための技術に関する。かかる技術は、例えば、デジタルカメラやデジタルビデオカメラ等の撮像装置に搭載される画像処理装置(画像処理エンジン)の一機能として実装され、被写界深度が深い撮影画像に対しぼけ効果を付加する処理や被写体の切り出し処理などの画像処理に利用される。   The present invention relates to a technique for adding a blur according to a depth distance to a captured image, extracting a subject, and the like by using a distance map. This technology is implemented as a function of an image processing device (image processing engine) mounted on an imaging device such as a digital camera or a digital video camera, and adds a blurring effect to a captured image with a large depth of field. It is used for image processing such as processing and subject clipping processing.
なお本明細書において、「合焦領域」という用語は、ピント(焦点)が合っている被写体の像が存在する画像上の領域のことを意味し、「合焦位置」とは、画像上における合焦領域の位置(XY位置)をいう。また、「合焦距離」とは、撮像光学系の光軸方向(Z方向)における、ピント(焦点)が合っている被写体とカメラとの距離のことをいい、「ピント位置」も同義である。「焦点距離」は、撮像光学系の主点から焦点までの距離をいい、一般にfで表記されるパラメータである。   In this specification, the term “focus area” means an area on an image where an image of a subject that is in focus exists, and the “focus position” means Refers to the position (XY position) of the focusing area. The “focusing distance” refers to the distance between the camera and the focused object in the optical axis direction (Z direction) of the imaging optical system, and the “focus position” has the same meaning. . “Focal length” refers to the distance from the principal point of the imaging optical system to the focal point, and is a parameter generally denoted by f.
<第1実施形態>
(撮像装置の構成)
図1は、本発明の第1実施形態に係る撮像装置の構成を模式的に示している。撮像装置1は、撮像光学系10、撮像素子11、制御部12、画像処理装置13、記憶部14、入力部15、表示部16を有している。
<First embodiment>
(Configuration of imaging device)
FIG. 1 schematically illustrates a configuration of an imaging device according to a first embodiment of the present invention. The imaging device 1 includes an imaging optical system 10, an imaging element 11, a control unit 12, an image processing device 13, a storage unit 14, an input unit 15, and a display unit 16.
撮像光学系10は、複数のレンズから構成され、入射する光を撮像素子11の像面上に結像させる光学系である。撮像光学系10としては可変焦点の光学系が用いられており、制御部12のオートフォーカス機能により自動焦点合わせが可能である。オートフォーカスの方式はパッシブ方式でもアクティブ方式でもよい。撮像素子11は、CCDやCMOSなどのイメージセンサを有する撮像素子である。カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよいし、三板式の撮像素子でもよい。   The imaging optical system 10 is an optical system that includes a plurality of lenses and forms incident light on the image plane of the imaging element 11. A variable-focus optical system is used as the imaging optical system 10, and automatic focusing can be performed by an autofocus function of the control unit 12. The autofocus method may be a passive method or an active method. The image sensor 11 is an image sensor having an image sensor such as a CCD or a CMOS. An image sensor having a color filter, a monochrome image sensor, or a three-plate image sensor may be used.
画像処理装置13は、信号処理部130、メモリ131、距離マップ生成部132、データ取得部133、合焦位置取得部134、基準距離決定部135、ぼけ画像生成部136などを有している。信号処理部130は、撮像素子11から出力されるアナログ信号のAD変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う機能である。信号処理部130から出力されるデジタル画像データはメモリ131に蓄積され、表示部16への表示、記憶部14への記録(保存)、距離計測(距離マップ生成)などに供される。距離マップ生成部132は、撮影条件を変えて撮影したぼけの異なる画像を用いて、画像中の各点の奥行き距離を計算し、距離マップを生成する機能である。距離マップ生成部132で生成された距離マップは記憶部14などに格納される。データ取得部133は、ぼけ付加処理の対象となる撮影画像のデータを記憶部14から読み込む機能(画像取得機能)と対応する距離マップのデータを記憶部14から読み込む機能(距離マップ取得機能)を有する。合焦位置取得部134は、撮影画像上の合焦位置を取得する機能である。基準距離決定部135は、ぼけ付加処理の基準となる奥行き距離(基準距離)を決定する機能である。ぼけ画像生成部136は、距離マップに基づいて撮影画像に対しぼけを付加する機能である。画像処理装置13の詳細については後述する。   The image processing device 13 includes a signal processing unit 130, a memory 131, a distance map generation unit 132, a data acquisition unit 133, a focus position acquisition unit 134, a reference distance determination unit 135, a blurred image generation unit 136, and the like. The signal processing unit 130 has a function of performing various kinds of signal processing such as AD conversion, noise removal, demosaicing, luminance signal conversion, aberration correction, white balance adjustment, and color correction of an analog signal output from the image sensor 11. Digital image data output from the signal processing unit 130 is stored in the memory 131, and is used for display on the display unit 16, recording (saving) in the storage unit 14, distance measurement (distance map generation), and the like. The distance map generation unit 132 has a function of calculating a depth distance of each point in the image using images with different blurs shot under different shooting conditions, and generating a distance map. The distance map generated by the distance map generation unit 132 is stored in the storage unit 14 or the like. The data acquisition unit 133 has a function of reading data of a captured image to be subjected to blur addition processing from the storage unit 14 (image acquisition function) and a function of reading the corresponding distance map data from the storage unit 14 (distance map acquisition function). Have. The focus position acquisition unit 134 has a function of acquiring a focus position on a captured image. The reference distance determination unit 135 has a function of determining a depth distance (reference distance) serving as a reference for the blur addition processing. The blurred image generation unit 136 has a function of adding a blurred image to a captured image based on a distance map. Details of the image processing device 13 will be described later.
記憶部14は、撮影画像のデータ、距離マップのデータ、撮像装置1で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部14としては、高速に読み書きでき、且つ、大容量の記憶媒体であればどのようなものを利用してもよい。例え
ばフラッシュメモリやDRAMなどが好ましい。入力部15は、ユーザが操作し、撮像装置1に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。表示部16は、液晶ディスプレイや有機ELディスプレイなどで構成される表示手段である。表示部16は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。制御部12は、撮像装置1の各部を制御する機能である。制御部12の機能としては、例えば、オートフォーカス(AF)による自動焦点合わせ、フォーカス位置の変更、F値(絞り)の変更、画像の取り込み、シャッタやフラッシュ(いずれも不図示)の制御、記憶部14や入力部15や表示部16の制御などがある。
The storage unit 14 is a non-volatile storage medium that stores captured image data, distance map data, parameter data used in the imaging device 1, and the like. As the storage unit 14, any storage medium that can read and write at high speed and has a large capacity may be used. For example, a flash memory or a DRAM is preferable. The input unit 15 is an interface that is operated by a user to input information or change settings to the imaging device 1. For example, dials, buttons, switches, touch panels, and the like can be used. The display unit 16 is a display unit including a liquid crystal display, an organic EL display, and the like. The display unit 16 is used for checking the composition at the time of shooting, browsing the shot and recorded images, displaying various setting screens and message information, and the like. The control unit 12 has a function of controlling each unit of the imaging device 1. The functions of the control unit 12 include, for example, automatic focusing by auto focus (AF), change of a focus position, change of an F-number (aperture), capture of an image, control of a shutter and a flash (all not shown), and storage. The control of the unit 14, the input unit 15, and the display unit 16 is provided.
(処理フロー)
次に、図2を用いて撮像装置1の動作について説明する。図2は、撮像装置1によるぼけ画像撮影処理の流れを示すフローチャートである。
(Processing flow)
Next, the operation of the imaging device 1 will be described with reference to FIG. FIG. 2 is a flowchart illustrating the flow of the blurred image capturing process performed by the imaging device 1.
ユーザ(撮影者)が、入力部15を操作してぼけ画像撮影モードに設定すると、撮像素子11から画像の取り込みが開始され、信号処理部130及びメモリ131を介して取り込まれた画像が表示部16に順次表示される(ステップS20)。ユーザが表示部16で構図を確認しながら、オートフォーカスにより所望の被写体にピントを合わせ(ステップS21)、シャッタボタンを押すと、撮影画像が取り込まれる(ステップS22)。取り込まれたデータは記憶部14に格納される。   When the user (photographer) operates the input unit 15 to set the blurred image capturing mode, the capture of the image from the image sensor 11 is started, and the image captured via the signal processing unit 130 and the memory 131 is displayed on the display unit. 16 are sequentially displayed (step S20). When the user focuses on a desired subject by auto-focusing while checking the composition on the display unit 16 (step S21) and presses a shutter button, a captured image is captured (step S22). The captured data is stored in the storage unit 14.
このとき制御部12は、オートフォーカスの際にピント合わせに使われた測距点(測距フレーム)の情報を合焦位置として記録する(ステップS23)。合焦位置は例えば画像座標系の座標値(XY)で与えられる。合焦位置は1点の座標値で定義してもよいし、フレームの左上と右下の2点の座標値で定義してもよい。或いは、測距点の番号と座標の対応関係が予め決まっていれば、座標値ではなく測距点の番号を合焦位置として記録してもよい。   At this time, the control unit 12 records information on the ranging point (ranging frame) used for focusing at the time of autofocus as a focusing position (step S23). The in-focus position is given by, for example, a coordinate value (XY) of an image coordinate system. The in-focus position may be defined by the coordinate value of one point, or may be defined by the coordinate values of two points at the upper left and lower right of the frame. Alternatively, if the correspondence between the number of the ranging point and the coordinates is predetermined, the number of the ranging point may be recorded as the in-focus position instead of the coordinate value.
続いて、制御部12は、距離マップの生成に用いる測距用画像の取り込みを行う(ステップS24)。本実施形態ではDFD法を利用するため、距離計算にはぼけの異なる2枚の画像が必要となる。それゆえ、制御部12は、ステップS22の撮影時からフォーカス位置を若干移動させて、測距用画像の撮影を行う。なおこのときの撮影条件(フォーカス位置の移動量、F値など)は予め設定されているものとする。   Subsequently, the control unit 12 captures a distance measurement image used for generating a distance map (step S24). In the present embodiment, since the DFD method is used, two images having different blurs are required for distance calculation. Therefore, the control unit 12 shoots the distance measurement image by slightly moving the focus position from the time of shooting in step S22. Note that the photographing conditions (movement amount of the focus position, F value, and the like) at this time are set in advance.
次に、距離マップ生成部132が、DFD法により撮影画像と測距用画像のぼけの違いから画像上の各点の奥行き距離を推定し、距離マップを生成する(ステップS25)。奥行き距離の推定は、画素ごとに行うこともできるし、離散的もしくはエリア単位で行うこともできる。距離マップの解像度は、要求精度、処理速度、データ容量などのバランスを考慮して適宜設計すればよい。以下では説明の簡単のため、4×6の24個のエリアをもつ距離マップを例示する。生成された距離マップは記憶部14に格納される。なお距離マップの生成には、DFD法の他、視差のある2画像を用いて三角測量の原理で距離を推定するステレオ法や、超音波や赤外線などで直接物体までの距離を測定するTOF法なども利用できる。いずれの方法も公知であるため、ここでは詳しい説明を割愛する。   Next, the distance map generation unit 132 estimates the depth distance of each point on the image from the difference in blur between the captured image and the distance measurement image by the DFD method, and generates a distance map (step S25). Estimation of the depth distance can be performed for each pixel, or can be performed discretely or in units of areas. The resolution of the distance map may be appropriately designed in consideration of the balance between required accuracy, processing speed, data capacity, and the like. Hereinafter, a distance map having 24 areas of 4 × 6 will be exemplified for simplicity of description. The generated distance map is stored in the storage unit 14. In addition to the DFD method, the distance map is generated by a stereo method that estimates the distance based on the principle of triangulation using two images with parallax, and a TOF method that directly measures the distance to an object using ultrasonic waves or infrared rays. Also available. Since both methods are well-known, detailed description is omitted here.
図3は、ステップS22で撮影された画像33とステップS25で生成された距離マップ34の一例を示している。図11と同じく、球30、三角錐31、円柱32を撮像装置1から3m、4m、10mの位置に配置し、球30にピントを合わせて撮影を行ったものとする。距離マップ34には、4×6の24個のエリアについて奥行き距離が記録されているが、実際の物体距離に比べて多少の誤差があることがわかる。被写体の空間周波数、照明条件、各種ノイズ、光学系の収差などのさまざまな影響により、距離推定の誤差が生
じるためである。なお図3の距離マップでは、各点(各エリア)の物体距離の値をそのまま記録しているが、奥行き距離と対応関係があれば、どのような情報を記録してもよい。例えば、像面側の距離(デフォーカス量)でもよいし、物体側の距離でもよいし、DFD法での距離計算で得られる指標値(スコア)でも構わない。特に、像面側の情報を記憶すると、距離マップの誤差補正時に単純なオフセットでぼけ効果に合った補正をすることができるので、好ましい。なお、物体側の情報を記憶する場合には、光学系の情報(縦倍率等)による換算を予め行うことが更に必要となる。
FIG. 3 shows an example of the image 33 captured in step S22 and the distance map 34 generated in step S25. As in FIG. 11, it is assumed that the sphere 30, the triangular pyramid 31, and the cylinder 32 are arranged at positions 3m, 4m, and 10m from the imaging device 1, and the sphere 30 is focused and photographed. In the distance map 34, depth distances are recorded for 24 areas of 4 × 6, but it can be seen that there are some errors compared to the actual object distance. This is because an error in distance estimation occurs due to various effects such as the spatial frequency of the subject, illumination conditions, various noises, and aberrations of the optical system. In the distance map of FIG. 3, the value of the object distance at each point (each area) is recorded as it is, but any information may be recorded as long as there is a correspondence with the depth distance. For example, the distance on the image plane side (defocus amount), the distance on the object side, or an index value (score) obtained by distance calculation by the DFD method may be used. In particular, it is preferable to store the information on the image plane side, since a correction suitable for the blurring effect can be performed with a simple offset when correcting the error of the distance map. When information on the object side is stored, it is further necessary to perform conversion based on information of the optical system (vertical magnification or the like) in advance.
次に、距離マップ34を使って撮影画像33に対しぼけ効果を与える処理を行う。まずデータ取得部133が、記憶部14から撮影画像33のデータと距離マップ34のデータを取得する(ステップS26)。続いて合焦位置取得部134が、制御部12からステップS23で記録された合焦位置のデータを取得する(ステップS27)。そして、基準距離決定部135が、距離マップ34の中から合焦位置に対応する奥行き距離を取得し、これを基準距離に設定する(ステップS28)。図3の例では、合焦位置の座標(x1,y1)は距離マップ34上の左から2番目かつ上から3番目のエリア内に属するため、当該エリアの奥行き距離の値「2.2m」が基準距離として選ばれる。基準距離とは、後段のぼけ付加処理において、合焦距離(ピント位置)とみなす奥行き距離のことである。   Next, a process of giving a blur effect to the captured image 33 using the distance map 34 is performed. First, the data acquisition unit 133 acquires data of the captured image 33 and data of the distance map 34 from the storage unit 14 (Step S26). Subsequently, the focus position acquisition unit 134 acquires the data of the focus position recorded in step S23 from the control unit 12 (step S27). Then, the reference distance determination unit 135 acquires the depth distance corresponding to the in-focus position from the distance map 34, and sets this as the reference distance (step S28). In the example of FIG. 3, since the coordinates (x1, y1) of the in-focus position belong to the second area from the left and the third area from the top on the distance map 34, the value of the depth distance of the area “2.2 m” Is selected as the reference distance. The reference distance is a depth distance regarded as a focusing distance (focus position) in the subsequent blur addition processing.
なお、基準距離の決定方法は、上記の例に限られない。例えば、図3では、1点(1エリア)のみの奥行き距離から基準距離を決定したが、複数の点の奥行き距離に基づいて基準距離を決定してもよい。複数の点の奥行き距離の平均、線形補間、最頻値、中間値などを計算し、それを基準距離に選ぶことで、ノイズの影響を低減できる効果が期待できる。この方法は、距離マップの解像度が高い場合に特に有利である。なお、図3のように、合焦位置が1点の座標で指定される場合には、その座標を中心とする所定範囲に含まれる複数点の奥行き距離を用いればよい。また、合焦位置がエリア指定される場合には、当該エリアに含まれる複数点の奥行き距離を用いればよい。   The method for determining the reference distance is not limited to the above example. For example, in FIG. 3, the reference distance is determined from the depth distance of only one point (one area), but the reference distance may be determined based on the depth distance of a plurality of points. By calculating the average of the depth distances of a plurality of points, linear interpolation, the mode, the intermediate value, and the like and selecting them as the reference distance, the effect of reducing the influence of noise can be expected. This method is particularly advantageous when the resolution of the distance map is high. When the in-focus position is designated by the coordinates of one point as shown in FIG. 3, the depth distance of a plurality of points included in a predetermined range centered on the coordinates may be used. When the in-focus position is designated as an area, the depth distance of a plurality of points included in the area may be used.
次に、ぼけ画像生成部136が、距離マップに基づいて奥行き距離に応じたぼけを撮影画像に付加する(ステップS29)。このとき、ぼけ画像生成部136は、ステップS28で求めた基準距離を合焦距離(ピント位置)とみなし、距離マップの値が基準距離と一致するエリアに対してはぼけを加えない。一方、距離マップの値が基準距離から外れたエリアに対しては、基準距離からのずれ量(デフォーカス量)に応じてぼけが大きくなるようにぼけ量を制御する。図11に示したデフォーカス量85と比較すると分かるように、基準距離を基準にしてデフォーカス量35を計算したことにより、合焦位置に対応する物体(球30)の領域でのデフォーカス量が最も小さくなっている。また、物体間の相対距離に応じたデフォーカス量が得られていることが分かる。この結果、図3に示すように、基準距離にある物体である球30はコントラストが維持され、それよりも奥に存在する三角錐31、円柱32はそのデフォーカス量に応じたぼけが付加される。生成されたぼけ画像36は表示部16に表示されるとともに記憶部14に格納される。   Next, the blur image generation unit 136 adds a blur corresponding to the depth distance to the captured image based on the distance map (step S29). At this time, the blurred image generation unit 136 regards the reference distance obtained in step S28 as a focusing distance (focus position), and does not add blur to an area where the value of the distance map matches the reference distance. On the other hand, for an area in which the value of the distance map deviates from the reference distance, the blur amount is controlled so that the blur increases in accordance with the deviation amount (defocus amount) from the reference distance. As can be seen from a comparison with the defocus amount 85 shown in FIG. 11, the defocus amount 35 is calculated based on the reference distance, so that the defocus amount in the area of the object (sphere 30) corresponding to the in-focus position is obtained. Is the smallest. In addition, it can be seen that the defocus amount according to the relative distance between the objects is obtained. As a result, as shown in FIG. 3, the sphere 30 which is the object at the reference distance maintains the contrast, and the triangular pyramid 31 and the cylinder 32 located behind the sphere 30 are blurred according to the defocus amount. You. The generated blurred image 36 is displayed on the display unit 16 and stored in the storage unit 14.
(ぼけ量の制御)
以下、ステップS29の処理におけるぼけ量の決定方法の一例を説明する。
図4は、基準距離(球体30)から外れた位置に存在する物体(三角錐31)の像面におけるぼけ量(ぼけサイズr)を示している。図4において、doは三角錐31の物体距離
、dsは三角錐31の像面距離、dobpは基準距離(物体側)、dsbpは基準距離(像面側)、Dは瞳サイズ、diはデフォーカス量(像面側)を示す。また光学系の焦点距離をf、F値をFnoとする。
(Control of blur amount)
Hereinafter, an example of a method of determining the blur amount in the process of step S29 will be described.
FIG. 4 shows the amount of blur (blur size r) on the image plane of an object (triangular pyramid 31) located at a position deviating from the reference distance (sphere 30). In FIG. 4, do is the object distance of the triangular pyramid 31, ds is the image plane distance of the triangular pyramid 31, dobp is the reference distance (object side), dsbp is the reference distance (image plane side), D is the pupil size, and di is Indicates the focus amount (image side). The focal length of the optical system is f, and the F value is Fno.
ぼけサイズrは、図4の幾何学的な関係、及び、
の関係から、以下のようになる。
The blur size r is the geometric relationship of FIG.
From the relationship, it becomes as follows.
図3の例のように距離マップに物体距離が記録されている場合は、(2)式及び(3)式より、基準距離(物体側)dobpと三角錐31の物体距離doとから、像面側のデフォーカス量diを算出できる。そして、デフォーカス量diと三角錐31の物体距離doを(1)式に代入することで、三角錐31の像のぼけサイズrを決定することができる。焦点距離f、F値Fnoは撮影時の条件を用いてもよいし、適宜設定してもよい。ぼけサイズrが導出できれば、撮像素子の条件から、フィルタサイズを一意に決定することができる。この処理を画像中のすべての画素(又はエリア)に対して行うことで、デフォーカス量に応じたぼけを付加することができる。   When the object distance is recorded in the distance map as in the example of FIG. 3, the image is obtained from the reference distance (object side) dobp and the object distance do of the triangular pyramid 31 according to the expressions (2) and (3). The defocus amount di on the surface side can be calculated. Then, by substituting the defocus amount di and the object distance do of the triangular pyramid 31 into Expression (1), the blur size r of the image of the triangular pyramid 31 can be determined. The focal length f and the F value Fno may use the conditions at the time of photographing, or may be set as appropriate. If the blur size r can be derived, the filter size can be uniquely determined from the conditions of the image sensor. By performing this process for all pixels (or areas) in the image, it is possible to add blur according to the defocus amount.
(本実施形態の利点)
以上述べた本実施形態の方法によれば、撮影時の合焦位置に対応する距離マップの値を基準距離に選んだので、ユーザがピントを合わせた物体の像がぼけ付加後も合焦した状態に維持され、ユーザの意図どおりのぼけ画像が得られる。また、基準距離に対する奥行き距離のずれ量に応じてぼけ量を制御したので、基準距離と同距離の物体はぼけない、基準距離から遠ざかるほどぼけが大きくなるなど、実際の光学系で撮影したような自然なぼけ効果を表現できる。また、ぼけ付加処理に必要なパラメータ(合焦位置)が自動で取得されるので、ユーザの操作負担が小さいという利点もある。また、これらの効果は、距離マップの誤差の大小にかかわらず有効である。したがって、本実施形態の方法は、距離マップの誤差が比較的大きい場合、例えば、DFD法やステレオ法のように画像処理によって距離マップを生成する場合や、距離マップにおける奥行き距離が2値でなく多値の情報の場合など、に特に有利である。
(Advantages of this embodiment)
According to the method of the present embodiment described above, the value of the distance map corresponding to the in-focus position at the time of shooting is selected as the reference distance, so that the image of the object on which the user has focused is in focus even after adding the blur. The state is maintained, and a blurred image as intended by the user is obtained. Also, since the amount of blur is controlled according to the amount of deviation of the depth distance from the reference distance, objects at the same distance as the reference distance are not blurred, and the blur increases as the distance from the reference distance increases. You can express a natural blurring effect. In addition, since a parameter (in-focus position) required for the blur adding process is automatically acquired, there is an advantage that a user's operation load is small. Further, these effects are effective regardless of the magnitude of the error of the distance map. Therefore, the method of the present embodiment is used when the error of the distance map is relatively large, for example, when the distance map is generated by image processing such as the DFD method or the stereo method, or when the depth distance in the distance map is not binary. This is particularly advantageous for multi-valued information.
<第2実施形態>
次に、本発明の第2実施形態について説明する。第1実施形態ではオートフォーカスの測距点の座標を合焦位置として利用したが、この方法では、フォーカスロック撮影が行われた場合に問題が生じる。フォーカスロック撮影とは、オートフォーカスにおいて、ピント位置を固定したまま構図をずらし撮影を行うテクニックである。例えば画面中央にある被写体にオートフォーカスでピントを合わせた後、シャッタボタンを半押ししながらカメラを右に向けていくと、被写体の距離に合焦したまま被写体を画面左端に配置した構図で撮影できる。この場合、測距点の座標(画像の中央)と合焦領域の座標(画像の左端)が一致しないため、第1実施形態のように測距点の座標に基づき距離マップを参照すると、不適切な基準距離が設定される結果となる。
<Second embodiment>
Next, a second embodiment of the present invention will be described. In the first embodiment, the coordinates of the auto-focus distance measurement point are used as the in-focus position. However, this method has a problem when focus lock shooting is performed. Focus lock photographing is a technique for performing photographing while shifting the composition while keeping the focus position fixed in auto focus. For example, after focusing on the subject in the center of the screen with auto focus, turn the camera to the right while pressing the shutter button halfway, and shoot the composition with the subject placed on the left edge of the screen while focusing on the subject distance it can. In this case, since the coordinates of the ranging point (the center of the image) and the coordinates of the in-focus area (the left end of the image) do not match, if the distance map is referred to based on the coordinates of the ranging point as in the first embodiment, it is impossible. As a result, an appropriate reference distance is set.
図5は、第2実施形態の撮像装置1の構成を模式的に示す図である。第1実施形態との違いは、画像処理装置13が追尾処理部137を有している点である。図6のフローチャ
ートを用いて、追尾処理部137の動作を説明する。
FIG. 5 is a diagram schematically illustrating a configuration of the imaging device 1 according to the second embodiment. The difference from the first embodiment is that the image processing apparatus 13 has a tracking processing unit 137. The operation of the tracking processing unit 137 will be described with reference to the flowchart of FIG.
ユーザ(撮影者)が、撮像装置1をぼけ画像撮影モードに設定し、オートフォーカスにより所望の被写体にピントを合わせると(ここまでは図2のステップS20〜S21と同じ)、図6の追尾ルーチンが実行される。まず追尾処理部137は、ピントが固定されているか否かを判断し(ステップS60)、固定されていなければルーチンを抜けて、通常のオートフォーカス動作に戻す。シャッタボタンの半押しなどによりピントが固定されると(ステップS60のYES)、追尾処理部137は、ピントを合わせた被写体の特徴及び初期位置を記憶する(ステップS61)。例えば、ピント合わせに使われた測距点(測距フレーム)を含む局所領域から画像特徴が抽出され、測距点の座標値とともに記録される。   When the user (photographer) sets the image capturing apparatus 1 to the blurred image capturing mode and focuses on a desired subject by auto-focusing (up to this point, the same as steps S20 to S21 in FIG. 2), the tracking routine in FIG. Is executed. First, the tracking processing unit 137 determines whether or not the focus is fixed (step S60). If the focus is not fixed, the process exits the routine and returns to the normal autofocus operation. When the focus is fixed by half-pressing the shutter button or the like (YES in step S60), the tracking processing unit 137 stores the feature and the initial position of the focused object (step S61). For example, an image feature is extracted from a local area including a ranging point (ranging frame) used for focusing, and is recorded together with the coordinate values of the ranging point.
その後、追尾処理部137は、この画像特徴に基づき追尾対象である被写体の追尾を行う。具体的には、追尾処理部137は、構図確認用(ライブビュー用)の画像が取り込まれるたびに、画像の中から画像特徴が一致又は類似する領域を探索することにより、追尾対象を検出する。追尾対象が見つかった場合には、その位置(座標値)を更新する。追尾処理部137は、ピントが解除されるまで追尾対象の追尾を継続する(ステップS63)。なお、ユーザがシャッタボタンを全押しすると、割り込みが発生し、追尾ルーチンから抜けて、図2のステップS22へ進む。ステップS22で撮影画像が取り込まれた後、ステップS23では、追尾処理部137によって記録された追尾対象の位置(撮影時の位置)が合焦位置に設定される。それ以降の処理は第1実施形態と同じである。   After that, the tracking processing unit 137 performs tracking of the subject to be tracked based on the image features. Specifically, the tracking processing unit 137 detects a tracking target by searching for an area in which image features match or similar from each other every time an image for composition confirmation (for live view) is captured. . When a tracking target is found, its position (coordinate value) is updated. The tracking processing unit 137 continues tracking the tracking target until the focus is released (Step S63). When the user fully presses the shutter button, an interrupt occurs, and the process exits from the tracking routine and proceeds to step S22 in FIG. After the captured image is captured in step S22, in step S23, the position of the tracking target (the position at the time of shooting) recorded by the tracking processing unit 137 is set to the in-focus position. Subsequent processing is the same as in the first embodiment.
以上述べた第2実施形態の構成によっても、第1実施形態と同様の効果を得ることができる。加えて、第2実施形態では、ピント合わせに使われた物体を自動で追尾し、その物体の撮影時の位置を合焦位置として記録するようにしたので、フォーカスロック撮影が行われた場合でも、ユーザの意図どおりのぼけ画像を生成することができる。   With the configuration of the second embodiment described above, the same effects as those of the first embodiment can be obtained. In addition, in the second embodiment, the object used for focusing is automatically tracked, and the position of the object at the time of shooting is recorded as the in-focus position. Therefore, even when focus lock shooting is performed, Thus, it is possible to generate a blurred image as intended by the user.
<第3実施形態>
次に、本発明の第3実施形態について説明する。第1及び第2実施形態では撮影時のオートフォーカスの情報から合焦位置を取得した。これに対し、第3実施形態では撮影画像から所定の物体を検出し、その検出された位置を合焦位置とみなす。所定の物体とは、ユーザが被写体として選ぶ蓋然性が高い物体であれば何でもよい。例えば、人の顔、半身、全身などが想定される。ポートレートや集合写真を撮る場合、人の顔や半身にピントを合わせることが殆どだからである。本実施形態はこの傾向を利用したものといえる。以下、人の顔を検出する例を説明する。
<Third embodiment>
Next, a third embodiment of the present invention will be described. In the first and second embodiments, the in-focus position is obtained from the information of the auto focus at the time of shooting. On the other hand, in the third embodiment, a predetermined object is detected from a captured image, and the detected position is regarded as a focus position. The predetermined object may be any object as long as it is highly probable that the user selects the object. For example, a person's face, half body, whole body, and the like are assumed. This is because when taking a portrait or a group photo, the focus is usually on the human face or half body. The present embodiment can be said to utilize this tendency. Hereinafter, an example of detecting a human face will be described.
第1実施形態との違いは、合焦位置取得部134の動作である。すなわち、合焦位置取得部134は、図2のステップS27の処理において、撮影画像を解析し、人の顔を検出する。画像からの顔検出方法は公知の技術を利用できるため詳しい説明は割愛する。そして、合焦位置取得部134は、顔が検出された画像上の位置を合焦位置に設定する。それ以降の処理は第1実施形態と同じである。なお、画像から複数の顔が検出された場合には、顔のサイズ(例えば一番大きい顔)や位置(例えば画像の中央にある顔)などに基づいて、合焦位置とみなす顔を選定すればよい。或いは、複数の顔を包含する領域を合焦位置に設定してもよい。   The difference from the first embodiment is the operation of the focus position acquisition unit 134. That is, in the process of step S27 in FIG. 2, the focus position acquiring unit 134 analyzes the captured image and detects a human face. Since a known technique can be used for a face detection method from an image, a detailed description is omitted. Then, the focus position acquisition unit 134 sets the position on the image where the face is detected as the focus position. Subsequent processing is the same as in the first embodiment. When a plurality of faces are detected from the image, the face to be regarded as the in-focus position is selected based on the face size (for example, the largest face) and the position (for example, the face at the center of the image). I just need. Alternatively, an area including a plurality of faces may be set as the focus position.
以上述べた第3実施形態の構成によれば、被写体の蓋然性が高い物体(顔など)を自動で検出し、その物体以外の領域にのみぼけを付加するので、ユーザの意図にマッチしたぼけ画像を自動で生成することが可能となる。第3実施形態の構成は、撮影時のオートフォーカスの情報を利用できない場合に(例えば、PCの画像処理ソフトでぼけ画像を生成する場合など)、特に好ましく適用できる。   According to the configuration of the third embodiment described above, an object (such as a face) having a high probability of a subject is automatically detected, and only an area other than the object is added with a blur. Can be automatically generated. The configuration of the third embodiment can be particularly preferably applied when autofocus information at the time of shooting cannot be used (for example, when a blurred image is generated by PC image processing software).
<第4実施形態>
次に、本発明の第4実施形態について説明する。第1から第3実施形態では、合焦位置が1つである。これに対し、第4実施形態では複数の合焦位置を指定する例を説明する。例えば、第3実施形態の方法において、画像から複数の顔が検出された場合に、それぞれの顔の位置を別個の合焦位置に指定することを想定する。
<Fourth embodiment>
Next, a fourth embodiment of the present invention will be described. In the first to third embodiments, the number of focus positions is one. On the other hand, in the fourth embodiment, an example in which a plurality of focus positions are specified will be described. For example, in the method of the third embodiment, when a plurality of faces are detected from an image, it is assumed that the positions of the respective faces are designated as separate in-focus positions.
図7の上段に示すように、画像中の3つの顔の位置がそれぞれ合焦位置に指定された場合、それらの顔の奥行き距離が一致しているとは限らない。仮に、中間の顔の奥行き距離を基準距離に選んで第1実施形態と同じ処理を適用すると、手前側の顔と奥側の顔がぼけてしまい、ユーザの望む結果と相違する可能性がある。   As shown in the upper part of FIG. 7, when the positions of the three faces in the image are designated as the in-focus positions, the depth distances of the faces are not necessarily the same. If the same processing as in the first embodiment is applied by selecting the depth distance of the intermediate face as the reference distance, the face on the near side and the face on the back side are blurred, which may be different from the result desired by the user. .
そこで本実施形態では、図7の下段のように、ぼけ画像生成部136が、複数の合焦位置に対応する奥行き距離がすべて同距離(基準距離)であるとみなしデフォーカス量の計算を行うことで、すべての合焦位置のぼけ量をゼロにする。単純な方法としては、図7の上段のように第1実施形態と同じ方法で距離マップの各点(各エリア)のデフォーカス量dを計算した後、
d<−bの場合: d←d+b
−b≦d≦aの場合:d←0
d>aの場合: d←d−a
のようにデフォーカス量dを調整し、調整後のデフォーカス量dに基づいてぼけ付加処理を行うとよい。
Therefore, in the present embodiment, as shown in the lower part of FIG. 7, the blurred image generation unit 136 calculates the defocus amount assuming that all the depth distances corresponding to a plurality of focus positions are the same distance (reference distance). Thus, the blur amounts at all the in-focus positions are set to zero. As a simple method, as shown in the upper part of FIG. 7, after calculating the defocus amount d of each point (each area) of the distance map by the same method as the first embodiment,
If d <−b: d ← d + b
-B ≦ d ≦ a: d ← 0
If d> a: d ← da
It is preferable to adjust the defocus amount d as described above, and to perform the blur adding process based on the adjusted defocus amount d.
以上述べた本実施形態の構成によれば、複数の合焦位置が指定された場合に、それらの合焦位置に対応する奥行き距離に存在する物体がいずれもぼけていない画像を生成できる。言い換えると、複数の合焦位置のそれぞれに写る被写体の奥行き距離の分布(ばらつき)をちょうど包含するように被写界深度が制御されたぼけ画像を自動で生成することができる。   According to the configuration of the present embodiment described above, when a plurality of focus positions are designated, it is possible to generate an image in which none of the objects existing at a depth distance corresponding to the focus positions is blurred. In other words, it is possible to automatically generate a blurred image in which the depth of field is controlled so as to exactly include the distribution (variation) of the depth distance of the subject shown in each of the plurality of focus positions.
<第5実施形態>
次に、本発明の第5実施形態について説明する。本実施形態では、撮影画像から被写体の切り出し処理を行う技術について説明する。被写体の切り出しとは、着目した被写体のみを画像上から切り出し、その他の背景と区別する技術である。切り出した被写体の画像は、例えば、画像合成や高画質化処理等に応用される。
<Fifth embodiment>
Next, a fifth embodiment of the present invention will be described. In the present embodiment, a technique for performing a process of extracting a subject from a captured image will be described. The subject clipping is a technique of cutting out only a focused subject from an image and distinguishing the subject from other backgrounds. The cut-out image of the subject is applied to, for example, image synthesis or high-quality processing.
図8は、本実施形態に係る撮像装置の構成を模式的に示している。本実施形態の画像処理装置13は、ぼけ画像生成部136の代わりに切り出し画像生成部138を有する点が、第1実施形態の画像処理装置13(図1参照)と異なる。切り出し画像生成部138は、基準距離決定部135で決定された基準距離を基準に特定の距離範囲に含まれるエリアを同一の被写体として、撮影画像から切り出す機能を有する。つまり、切り出し画像生成部138は、距離マップと基準距離とを用いて撮影画像に対して画像処理を行う画像処理部である。   FIG. 8 schematically illustrates a configuration of the imaging device according to the present embodiment. The image processing apparatus 13 of the present embodiment is different from the image processing apparatus 13 of the first embodiment (see FIG. 1) in having a cut-out image generation unit 138 instead of the blurred image generation unit 136. The cut-out image generation unit 138 has a function of cutting out an area included in a specific distance range as the same subject based on the reference distance determined by the reference distance determination unit 135 from the captured image. That is, the cut-out image generation unit 138 is an image processing unit that performs image processing on a captured image using the distance map and the reference distance.
特定の距離範囲とは、例えば、基準距離を含んでいても、含まなくてもよい。基準距離を含まない場合には、特定の距離範囲は、例えば、「基準距離+5m乃至基準距離+6mの範囲」のように指定される。   The specific distance range may or may not include the reference distance, for example. When the reference distance is not included, the specific distance range is specified as, for example, “a range of reference distance + 5 m to reference distance + 6 m”.
特定の距離範囲の指定は、ユーザが、基準距離を基準にした上限値、下限値を指定する方法や、基準範囲を含む距離範囲の値を指定する方法が挙げられる。ユーザが指定する場合には、入力部15を用いて上限値及び下限値などの数値、距離範囲の数値などを入力す
る。
The specification of the specific distance range includes a method in which the user specifies an upper limit value and a lower limit value based on the reference distance, and a method in which the user specifies a value of the distance range including the reference range. When the user specifies, the input unit 15 is used to input numerical values such as an upper limit value and a lower limit value, a numerical value of a distance range, and the like.
また、特定の距離範囲は、予め決定されていてもよいし、画像処理装置13内で、距離マップや他の情報から自動的に設定されてもよい。例えば、図9のように奥行き距離のヒストグラムを用いて、基準距離が含まれるように隣り合った極小値間を特定の距離範囲と設定する方法が挙げられる。   Further, the specific distance range may be determined in advance, or may be automatically set in the image processing device 13 from a distance map or other information. For example, there is a method of setting a specific distance range between adjacent minimum values so as to include the reference distance by using a histogram of the depth distance as shown in FIG.
次に、図10を用いて本実施形態の撮像装置1の動作について説明する。図10は、撮像装置1による被写体の切り出し画像生成処理の流れを示すフローチャートである。本実施形態の動作は、第1実施形態の動作とは、ステップS28までは同じであり、ぼけ画像の生成(ステップS29)の代わりに、切り出し画像の生成(ステップS30)を有する点が異なっている。   Next, the operation of the imaging device 1 of the present embodiment will be described with reference to FIG. FIG. 10 is a flowchart illustrating a flow of the cutout image generation processing of the subject by the imaging device 1. The operation of the present embodiment is the same as the operation of the first embodiment up to step S28, except that a cutout image is generated (step S30) instead of a blurred image (step S29). I have.
ステップS30では、切り出し画像生成部138が、特定の距離範囲に含まれる被写体を、距離マップと基準距離とを用いて撮影画像から切り出す。このとき、ユーザが特定の距離範囲を指定する場合には、切り出し画像生成部138は、ユーザに対して、基準距離を基準にした上限値及び下限値、距離範囲を指定するように要求する。例えば、表示部16に「切り出す距離範囲を入力してください」というガイドメッセージをオーバーレイ表示すればよい。   In step S30, the cut-out image generation unit 138 cuts out a subject included in the specific distance range from the captured image using the distance map and the reference distance. At this time, when the user specifies a specific distance range, the cut-out image generation unit 138 requests the user to specify an upper limit value, a lower limit value, and a distance range based on the reference distance. For example, a guide message of “Please input a distance range to cut out” may be displayed on the display unit 16 as an overlay.
なお、撮影者が切り出したい被写体以外の被写体が特定の距離範囲に含まれる場合は、切り出し画像に含まれる場合があるが、その場合は、切り出し画像生成部138が、切り出す必要ない被写体を消すような処理を切り出し画像に適宜施してもよい。   Note that when a subject other than the subject that the photographer wants to cut out is included in the specific distance range, the cutout image may be included. In such a case, the cutout image generation unit 138 deletes the subject that does not need to be cut out. May be appropriately applied to the cut-out image.
以上述べた本実施形態の構成によれば、撮影時の合焦位置に対応する距離マップの値を基準距離に選んだので、ユーザがピントを合わせた物体に対して切り出し処理が行われ、ユーザの意図どおりの被写体が切り出される。また基準距離に対する特定の距離範囲によって、同一の被写体を判断しているため、画像上の位置が離れていても適切にピントを合わせた距離にある被写体を切り出すことができる。   According to the configuration of the present embodiment described above, since the value of the distance map corresponding to the in-focus position at the time of shooting is selected as the reference distance, the user performs cutout processing on the focused object, The subject is cut out as intended. Further, since the same subject is determined based on a specific distance range with respect to the reference distance, it is possible to cut out a subject at a properly focused distance even if the position on the image is far away.
上述した本発明の技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器(携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む)にも本発明の技術を適用可能である。なお、上記装置への具体的な実装は、ソフトウェア(プログラム)による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ(マイコン、FPGA等)のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するASIC等の専用プロセッサを設けることも好ましい。   The technology of the present invention described above can be preferably applied to, for example, an imaging device such as a digital camera or a digital camcorder, or an image processing device or a computer that performs image processing on image data obtained by the imaging device. Further, the technology of the present invention can be applied to various electronic devices (including mobile phones, smartphones, slate terminals, and personal computers) incorporating such an imaging device or an image processing device. It should be noted that the specific implementation on the above-described device can be either software (program) implementation or hardware implementation. For example, a program is stored in a memory of a computer (microcomputer, FPGA, or the like) built in an imaging device or an image processing device, and the program is executed by the computer, thereby realizing various processes for achieving the object of the present invention. May be. It is also preferable to provide a dedicated processor such as an ASIC that realizes all or a part of the processing of the present invention by a logic circuit.
1:撮像装置、13:画像処理装置、133:データ取得部、134:合焦位置取得部、135:基準距離決定部、136:ぼけ画像生成部、138:切り出し画像生成部   1: imaging device, 13: image processing device, 133: data acquisition unit, 134: focus position acquisition unit, 135: reference distance determination unit, 136: blurred image generation unit, 138: cut-out image generation unit

Claims (13)

  1. 撮影画像上の各領域に対応する、像面側での奥行きの分布を示す距離マップを取得する距離マップ取得手段と、
    前記撮影画像上の基準領域の情報を取得する取得手段と、
    前記基準領域および前記距離マップに基づいて、前記基準領域との奥行きの差に応じた大きさのぼけを付加するように前記撮影画像に画像処理を施す画像処理手段と、を有することを特徴とする画像処理装置。
    Distance map acquisition means for acquiring a distance map indicating a distribution of depth on the image plane side corresponding to each area on the captured image,
    Acquisition means for acquiring information of a reference region on the captured image,
    Image processing means for performing image processing on the photographed image so as to add a blur having a size corresponding to a difference in depth from the reference region, based on the reference region and the distance map, Image processing device.
  2. 前記画像処理手段は、前記基準領域との奥行きの差が第1の差である領域に、前記第1の差より小さい第2の差である領域よりも大きなぼけを付加するように、前記撮影画像に画像処理を施すことを特徴とする請求項1に記載の画像処理装置。   The image processing means is configured to add a larger blur to an area whose depth difference from the reference area is a first difference than a second difference area that is smaller than the first difference. The image processing apparatus according to claim 1, wherein the image processing is performed on the image.
  3. 前記画像処理手段は、前記距離マップにおける各点の奥行きと、焦点距離およびF値と、に基づいて、各点に付加するぼけ量を決定することを特徴とする請求項1または2に記載の画像処理装置。   3. The image processing unit according to claim 1, wherein the image processing unit determines a blur amount to be added to each point based on a depth of each point on the distance map, a focal length, and an F value. 4. Image processing device.
  4. 前記基準領域に対応する奥行きが0となるように、前記距離マップにおける各点の奥行きをオフセットすることにより、前記距離マップを補正した補正距離マップを生成する生成手段を有することを特徴とする請求項1乃至3のいずれか1つに記載の画像処理装置。   The apparatus according to claim 1, further comprising a generation unit configured to generate a corrected distance map by correcting the distance map by offsetting a depth of each point in the distance map so that a depth corresponding to the reference area becomes 0. Item 4. The image processing apparatus according to any one of Items 1 to 3.
  5. 前記基準領域は、前記撮影画像を撮像する撮像光学系へのオートフォーカスによって得られたピントのあった領域であることを特徴とする請求項1乃至4のいずれか1つに記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the reference area is an in-focus area obtained by autofocusing on an imaging optical system that captures the captured image. .
  6. 前記距離マップ取得手段は、前記オートフォーカスの手法とは異なる手法で前記距離マップを生成することを特徴とする請求項5に記載の画像処理装置。   The image processing apparatus according to claim 5, wherein the distance map obtaining unit generates the distance map using a method different from the autofocus method.
  7. 前記基準領域は、特定の被写体が検出された領域であることを特徴とする請求項1乃至6のいずれか1つに記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the reference area is an area where a specific subject is detected.
  8. 前記距離マップ取得手段は、複数の撮影画像のぼけの違いに基づいて前記距離マップを生成することを特徴とする請求項1乃至7のいずれか1つに記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the distance map obtaining unit generates the distance map based on a difference between a plurality of captured images.
  9. 前記距離マップ取得手段は、複数の撮影画像の視差に基づいて前記距離マップを生成することを特徴とする請求項1乃至7のいずれか1つに記載の画像処理装置。   The image processing device according to claim 1, wherein the distance map obtaining unit generates the distance map based on a parallax of a plurality of captured images.
  10. 前記基準領域の情報は、パッシブ方式のオートフォーカスによって得られた情報であることを特徴とする請求項1乃至9のいずれか1つに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the information of the reference area is information obtained by passive autofocus.
  11. 前記基準領域の情報は、アクティブ方式のオートフォーカスによって得られた情報であることを特徴とする請求項1乃至9のいずれか1つに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the information of the reference area is information obtained by active autofocus.
  12. 撮影画像上の各領域に対応する、像面側での奥行きの分布を示す距離マップを取得する取得ステップと、
    前記撮影画像上の基準領域の情報を取得する取得ステップと、
    前記基準領域および前記距離マップに基づいて、前記基準領域との奥行きの差に応じた大きさのぼけを付加するように前記撮影画像に画像処理を施す画像処理ステップと、を有することを特徴とする画像処理方法。
    Acquisition step of acquiring a distance map showing a distribution of depth on the image plane side corresponding to each area on the captured image,
    An acquisition step of acquiring information of a reference area on the captured image,
    An image processing step of performing image processing on the captured image so as to add a blur having a size corresponding to a difference in depth from the reference region based on the reference region and the distance map. Image processing method.
  13. 請求項1乃至11のいずれか1つに記載の画像処理装置の各手段の機能をコンピュータに実現させるためのプログラム。
    Program for realizing the functions of the respective means of the image processing apparatus according to the computer in any one of claims 1 to 11.
JP2019029513A 2013-01-31 2019-02-21 Image processing apparatus, image processing method, and program Active JP6645711B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013016816 2013-01-31
JP2013016816 2013-01-31

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017255159A Division JP6486453B2 (en) 2013-01-31 2017-12-29 Image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2019083580A JP2019083580A (en) 2019-05-30
JP6645711B2 true JP6645711B2 (en) 2020-02-14

Family

ID=61908986

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017255159A Active JP6486453B2 (en) 2013-01-31 2017-12-29 Image processing apparatus, image processing method, and program
JP2019029513A Active JP6645711B2 (en) 2013-01-31 2019-02-21 Image processing apparatus, image processing method, and program

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017255159A Active JP6486453B2 (en) 2013-01-31 2017-12-29 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (2) JP6486453B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5289105B2 (en) * 2009-03-05 2013-09-11 キヤノン株式会社 Image processing apparatus, control method therefor, and imaging apparatus
JP2011010194A (en) * 2009-06-29 2011-01-13 Nikon Corp Blurred image forming apparatus and camera provided with the same
JP5899629B2 (en) * 2011-03-01 2016-04-06 株式会社ニコン Imaging device
CN103384998B (en) * 2011-03-31 2015-07-15 富士胶片株式会社 Imaging device and imaging method
JP2013005091A (en) * 2011-06-14 2013-01-07 Pentax Ricoh Imaging Co Ltd Imaging apparatus and distance information acquisition method

Also Published As

Publication number Publication date
JP6486453B2 (en) 2019-03-20
JP2019083580A (en) 2019-05-30
JP2018061292A (en) 2018-04-12

Similar Documents

Publication Publication Date Title
JP6271990B2 (en) Image processing apparatus and image processing method
TWI538512B (en) Method for adjusting focus position and electronic apparatus
US9992478B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images
JP6091228B2 (en) Image processing apparatus and imaging apparatus
JP2010524279A (en) Distance map generation type multi-lens camera
JP2008288975A (en) Imaging apparatus, imaging method and imaging program
CN108076278B (en) Automatic focusing method and device and electronic equipment
JP2015148532A (en) Distance measuring device, imaging apparatus, distance measuring method, and program
JP6319972B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2010279054A (en) Image pickup device, image processing device, image pickup method, and image processing method
KR101797040B1 (en) Digital photographing apparatus and control method thereof
JP4807582B2 (en) Image processing apparatus, imaging apparatus, and program thereof
JP6752685B2 (en) Imaging equipment, imaging methods and programs
JP2012124555A (en) Imaging apparatus
JP2018107526A (en) Image processing device, imaging apparatus, image processing method and computer program
WO2017130522A1 (en) Image processing device, image capturing device, image processing method and program
US10681260B2 (en) Focus detection device and focus detection method
JP2008028890A (en) Imaging apparatus, imaging method, and imaging program
JP6645711B2 (en) Image processing apparatus, image processing method, and program
JP6270413B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US10511781B2 (en) Image pickup apparatus, control method for image pickup apparatus
JP5889022B2 (en) Imaging apparatus, image processing apparatus, image processing method, and program
JP5182395B2 (en) Imaging apparatus, imaging method, and imaging program
JP2011193496A (en) Imaging apparatus, imaging method, and imaging program
JP2017063340A (en) Image blur correction device, imaging device, and control method

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20191029

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200107

R151 Written notification of patent or utility model registration

Ref document number: 6645711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151