JP5127628B2 - Image processing apparatus and image processing method - Google Patents

Image processing apparatus and image processing method Download PDF

Info

Publication number
JP5127628B2
JP5127628B2 JP2008206392A JP2008206392A JP5127628B2 JP 5127628 B2 JP5127628 B2 JP 5127628B2 JP 2008206392 A JP2008206392 A JP 2008206392A JP 2008206392 A JP2008206392 A JP 2008206392A JP 5127628 B2 JP5127628 B2 JP 5127628B2
Authority
JP
Japan
Prior art keywords
correction amount
face
image
correction
focus detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008206392A
Other languages
Japanese (ja)
Other versions
JP2010045457A (en
Inventor
義尊 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008206392A priority Critical patent/JP5127628B2/en
Publication of JP2010045457A publication Critical patent/JP2010045457A/en
Application granted granted Critical
Publication of JP5127628B2 publication Critical patent/JP5127628B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置および画像処理方法に関し、特には、撮像素子を用いて撮影された画像に対して階調補正を行う撮像装置に用いて好適な画像処理装置および画像処理方法に関する。   The present invention relates to an image processing apparatus and an image processing method, and more particularly, to an image processing apparatus and an image processing method suitable for use in an imaging apparatus that performs gradation correction on an image captured using an imaging element.

従来から、撮像素子から出力された撮像信号は、現像と呼ばれる処理を介して画像データに変換されて、記録媒体への記録や表示デバイスに対する表示に用いられる。この現像処理においては、撮像素子から出力された信号に対して、予め設定されている階調特性に応じた信号処理を施し、画像データを得る。   Conventionally, an image signal output from an image sensor is converted into image data through a process called development, and is used for recording on a recording medium and display on a display device. In this development processing, signal processing corresponding to preset gradation characteristics is performed on the signal output from the image sensor to obtain image data.

例えば、図11に例示されるように、画像データの入出力特性を示すテーブル(トーンカーブと呼ばれる)を複数用意する。図11において、横軸および縦軸は、それぞれ入力画像データおよび出力画像データの輝度値を対数軸で示す。図11の例では、トーンカーブ300〜302の3種類が用意され、入力された画像データの階調特性を、選択されたトーンカーブに従い変換する。このような階調特性の変換処理を、γ処理と呼ぶ。なお、この例では、階調特性の変換を行うと共に、データ長の変換も行う。   For example, as illustrated in FIG. 11, a plurality of tables (referred to as tone curves) indicating input / output characteristics of image data are prepared. In FIG. 11, the horizontal axis and the vertical axis indicate the luminance values of the input image data and the output image data on the logarithmic axis, respectively. In the example of FIG. 11, three types of tone curves 300 to 302 are prepared, and the gradation characteristics of the input image data are converted according to the selected tone curve. Such gradation characteristic conversion processing is referred to as γ processing. In this example, the gradation characteristics are converted and the data length is also converted.

ユーザは、トーンカーブ300〜302から、例えば画像データの出力先に応じて適正な画像特性となるようなトーンカーブを選択し、画像データに対するγ処理を行う。トーンカーブは、例えば、中間輝度領域には、対数で表された入力信号に比例した特性が与えられ、高輝度領域と低輝度領域は、入力された原画像データの階調性をできるだけ失わないように圧縮する特性が与えられる。   For example, the user selects a tone curve that has appropriate image characteristics from the tone curves 300 to 302 according to the output destination of the image data, and performs γ processing on the image data. In the tone curve, for example, a characteristic proportional to the logarithm of the input signal is given to the intermediate luminance region, and the gradation property of the input original image data is not lost as much as possible in the high luminance region and the low luminance region. The compression property is given as follows.

近年では、さらに、特許文献1のように、撮影した画像の画面内を分割した各領域でヒストグラムを検出し、このヒストグラムを参照して画面全体に対して処理する最適の階調特性(トーンカーブ)を自動的に決定する方式が提案されている。   In recent years, as disclosed in Patent Document 1, a histogram is detected in each region obtained by dividing the screen of a captured image, and an optimum tone characteristic (tone curve) that is processed for the entire screen with reference to the histogram is described. ) Is automatically determined.

加えて、特許文献1では、分割した各領域の画像データから鮮鋭度(コントラスト状態)を検出し、鮮鋭度が高い領域を主被写体と認定するようにしている。鮮鋭度の大きさに応じて、主被写体の領域のヒストグラムを重要視するように重み付けを行なってから、階調特性を決定している。   In addition, in Patent Document 1, the sharpness (contrast state) is detected from the image data of each divided region, and the region with high sharpness is recognized as the main subject. In accordance with the magnitude of sharpness, weighting is performed so that the histogram of the main subject region is regarded as important, and then the gradation characteristics are determined.

特開2003−046778号公報JP 2003-046778 A

しかしながら、上述の特許文献1に記載される方法では、処理結果が被写体自体の持つ画像の周波数特性に大きく依存する可能性があるという問題点があった。   However, the method described in Patent Document 1 has a problem that the processing result may greatly depend on the frequency characteristics of the image of the subject itself.

例えば、撮像光学系の焦点位置を、撮像光学系による撮影範囲内にある複数の被写体のうち一つ(主被写体と呼ぶ)に合わせて撮影する場合について考える。この場合、主被写体部分の画像が持つ高周波成分が少なく、且つ、主被写体ではない位置の被写体の画像が高周波成分を多く持つ場合がある。   For example, consider a case where the focal position of the imaging optical system is photographed in accordance with one of the plurality of subjects (referred to as a main subject) within the photographing range of the imaging optical system. In this case, there are cases where the image of the main subject portion has few high-frequency components and the image of the subject at a position other than the main subject has many high-frequency components.

このとき、主被写体の画像よりも高周波成分を多く持つ当該被写体の画像は、撮影時に焦点が合っていなくても、撮影された画像データから検出される鮮鋭度の値が主被写体の鮮鋭度の値よりも大きくなる可能性がある。このような場合、適正なヒストグラム検出ができず、不適切な階調特性でγ処理を行ってしまうおそれがあるという問題点があった。   At this time, the image of the subject having a higher frequency component than the image of the main subject has a sharpness value detected from the captured image data of the sharpness of the main subject even when the subject is not focused. May be larger than the value. In such a case, there is a problem that proper histogram detection cannot be performed and γ processing may be performed with inappropriate gradation characteristics.

一方、撮影した画面の中の一部の領域のみについて輝度値を変換し、適切な画像データを得ることが考えられる。この場合、画面全体に一律に与えた階調特性を用いて対象となる領域の輝度値を補正すると、主被写体以外の、輝度値が主被写体と近い、主被写体とは相関の小さい領域にも同様な階調特性を与えることになり、不自然な画像を出力してしまう場合がある。   On the other hand, it is conceivable that the luminance value is converted for only a part of the area in the photographed screen to obtain appropriate image data. In this case, if the luminance value of the target area is corrected using the gradation characteristics uniformly given to the entire screen, the luminance value is close to the main subject and has a small correlation with the main subject other than the main subject. Similar gradation characteristics are given, and an unnatural image may be output.

一例として、図12に示す被写体のように、複数の人物310〜312が被写体として撮影範囲にある場合について考える。図12の例では、主被写体が人物310だけであって、人物310〜312のうち撮影距離が最も近いものとする。また、主被写体以外の人物311および312は、撮影距離が主被写体と異なると共に、焦点が合っていないものとする。   As an example, let us consider a case where a plurality of persons 310 to 312 are in the shooting range as subjects, as in the subject shown in FIG. In the example of FIG. 12, it is assumed that the main subject is only the person 310 and the shooting distance is the shortest among the persons 310 to 312. Further, it is assumed that the persons 311 and 312 other than the main subject have different shooting distances from the main subject and are out of focus.

この図12のような場合、特許文献1の階調特性の補正方法によると、主被写体である人物310の画像に対しては、適切な階調特性が与えられ、好ましい画質に仕上げることができる。一方、主被写体よりも撮影距離が遠い人物311および/または312の画像の輝度値が、主被写体である人物310の画像の輝度値と近い場合、人物311および/または312に対して、人物310と同様の階調特性が与えられることになる。この場合、人物311および/または312の画像に対する輝度値の補正が、背景の画像に対して不自然に行われてしまい、見苦しい撮影結果となるおそれがあるという問題点があった。   In such a case as shown in FIG. 12, according to the gradation characteristic correction method of Patent Document 1, an appropriate gradation characteristic is given to the image of the person 310 as the main subject, and a desirable image quality can be achieved. . On the other hand, when the luminance value of the image of the person 311 and / or 312 that is farther away than the main subject is close to the luminance value of the image of the person 310 that is the main subject, the person 310 is compared with the person 311 and / or 312. The same gradation characteristics are given. In this case, the correction of the luminance value for the image of the person 311 and / or 312 is unnaturally performed on the background image, which may cause an unsightly shooting result.

したがって、本発明の目的は、好ましい撮影結果となるように階調特性の補正を行なうことができる画像処理装置および画像処理方法を提供することにある。   Accordingly, an object of the present invention is to provide an image processing apparatus and an image processing method capable of correcting gradation characteristics so as to obtain a preferable photographing result.

本発明は、上述した課題を解決するために、撮像素子から出力された画像信号に基づいて顔検出を行顔検出手段と、前記顔検出手段で検出された前記画像信号の顔領域に対応する範囲に対する補正量を取得する補正量取得手段と、撮影画面内の複数の焦点検出領域のそれぞれでデフォーカス量を取得するデフォーカス量取得手段と、前記デフォーカス量取得手段で取得された前記デフォーカス量に基づき、前記補正量取得手段で取得される前記補正量に対する重み付けを行う第1の係数を取得する第1の係数取得手段と、前記顔領域に対応する範囲に対して、該範囲に対応する前記焦点検出領域のデフォーカス量に基づく前記第1の係数で重み付けされた前記補正量を用いて画像特性の補正を行う画像特性補正手段とを有することを特徴とする画像処理装置である。 The present invention, in order to solve the problems described above, the row Cormorant face detecting means face detection based on the image signal output from the imaging device, corresponding to the face area of said detected image signal by said face detecting means a defocus amount obtaining means for obtaining a correction amount obtaining means for obtaining a correction amount against a range, a defocus amount in each of the plurality of focus detection areas in the photographing screen, is obtained by the defocus amount acquiring means based on said defocus amount, and the first coefficient acquisition means acquire the first coefficient for weighting with respect to the correction amount obtained by the correction amount acquisition unit, for a range corresponding to the face area, and characterized in that it has an image characteristic correction means for correcting the image characteristics by using the correction amount weighted by the first coefficient based on the defocus amount of the focus detection area corresponding to the range That is an image processing apparatus.

また、本発明は、撮像素子から出力された画像信号に基づいて顔検出を行顔検出ステップと、前記顔検出ステップで検出された前記画像信号の顔領域に対応する範囲に対する補正量を取得する補正量取得ステップと、撮影画面内の複数の焦点検出領域のそれぞれでデフォーカス量を取得するデフォーカス量取得ステップと、前記デフォーカス量取得ステップで取得された前記デフォーカス量に基づき、前記補正量取得ステップで取得される前記補正量に対する重み付けを行う第1の係数を取得する第1の係数取得ステップと、前記顔領域に対応する範囲に対して、該範囲に対応する前記焦点検出領域のデフォーカス量に基づく前記第1の係数で重み付けされた前記補正量を用いて画像特性の補正を行う画像特性補正ステップとを有することを特徴とする画像処理方法である。 Further, the present invention, the correction amount against the range corresponding to the face region of the rows Cormorant face detecting step face detection based on the image signal output from the imaging device, the image signal detected by the face detection step a correction amount acquisition step of acquiring, based on the defocus amount obtained by the defocus amount acquisition step of acquiring a defocus amount, in the defocus amount acquisition step each of the plurality of focus detection areas in the photographing screen the focus of the first coefficient acquisition step get the first coefficient for weighting with respect to the correction amount obtained by the correction amount acquisition step, for a range corresponding to the face region, corresponding to the range to have an image characteristic correction step of correcting the image characteristics by using the correction amount weighted by the first coefficient based on the defocus amount detection area The image processing method according to claim.

本発明は、上述した構成を有するため、好ましい撮影結果となるように階調特性の補正を行なうことができる。   Since the present invention has the above-described configuration, the gradation characteristics can be corrected so as to obtain a preferable photographing result.

<実施形態>
以下、本発明の実施形態を、図面を参照しながら説明する。先ず、本発明の実施形態に適用可能な撮像素子について説明する。本発明の実施形態に適用可能な撮像素子は、例えばCMOSイメージセンサからなり、画素がマトリクス状に配置される。そして、各画素に対して、入射光の色分離を行うカラーフィルタが配置される。
<Embodiment>
Embodiments of the present invention will be described below with reference to the drawings. First, an image sensor applicable to the embodiment of the present invention will be described. An imaging device applicable to the embodiment of the present invention is composed of, for example, a CMOS image sensor, and pixels are arranged in a matrix. A color filter that performs color separation of incident light is arranged for each pixel.

本実施形態では、カラーフィルタの配列としてベイヤ配列を採用している。すなわち、図1に例示されるように、2行×2列の4画素を単位として、対角の2画素に緑色(G)に対する分光感度を有する画素GおよびGを配する。また、他の2画素にそれぞれ赤色(R)および青色(B)に対する分光感度を有する画素R、Bを配する。 In this embodiment, a Bayer array is adopted as the color filter array. That is, as illustrated in FIG. 1, pixels G 1 and G 2 having spectral sensitivity with respect to green (G) are arranged on two diagonal pixels with 4 pixels of 2 rows × 2 columns as a unit. In addition, pixels R and B having spectral sensitivity to red (R) and blue (B) are arranged on the other two pixels, respectively.

図2を用いて、撮像素子を含む撮像光学系について概略的に説明する。図2(a)は、ベイヤ配列による2行×2列の画素の一例の平面図を示す。また、図2(b)は、撮像光学系の、図2(a)におけるA−A面による一例の断面図を示す。   An imaging optical system including an imaging element will be schematically described with reference to FIG. FIG. 2A shows a plan view of an example of pixels of 2 rows × 2 columns by a Bayer array. FIG. 2B is a cross-sectional view of an example of the imaging optical system, taken along plane AA in FIG.

フォトダイオードPDは、CMOSイメージセンサの光電変換素子であって、それぞれ画素を構成する。コンタクトレイヤCLは、CMOSイメージセンサ内において各種信号を伝達する信号線を形成する配線層である。各画素に対して、赤色のカラーフィルタCF、緑色のカラーフィルタCFおよび青色のカラーフィルタCFが、図2(a)の如くベイヤ配列で配置される。各画素の最前面に対して、オンチップマイクロレンズMLが配置される。 The photodiode PD is a photoelectric conversion element of a CMOS image sensor and constitutes a pixel. The contact layer CL is a wiring layer that forms signal lines for transmitting various signals in the CMOS image sensor. For each pixel, a red color filter CF R , a green color filter CF G and a blue color filter CF B are arranged in a Bayer array as shown in FIG. On-chip microlenses ML are arranged on the forefront of each pixel.

被写体からの光が光学撮影レンズTL(Taking Lens)を介してオンチップマイクロレンズMLに入射されて集光される。集光された光は、例えばカラーフィルタCFにより赤色の波長成分を抽出されてフォトダイオードPDに入射される。フォトダイオードPDは、入射された光を光電変換により電荷に変換する。 Light from the subject is incident on the on-chip microlens ML via an optical photographing lens TL (Taking Lens) and is condensed. Condensed light is incident on the photodiode PD, for example, the extracted red wavelength components by the color filter CF R. The photodiode PD converts incident light into electric charge by photoelectric conversion.

ここで、撮像用画素のオンチップマイクロレンズMLとフォトダイオードPDは、光学撮影レンズTLを通過した光束を可能な限り有効に取り込むように構成される。換言すると、光学撮影レンズTLの射出瞳EP(Exit Pupil)とフォトダイオードPDは、オンチップマイクロレンズMLにより共役関係にあり、且つ、フォトダイオードPDの有効面積は、大面積に設計される。   Here, the on-chip microlens ML and the photodiode PD of the imaging pixel are configured to capture the light beam that has passed through the optical photographing lens TL as effectively as possible. In other words, the exit pupil EP (Exit Pupil) of the optical photographing lens TL and the photodiode PD are conjugated with each other by the on-chip microlens ML, and the effective area of the photodiode PD is designed to be large.

なお、カラーフィルタCF、CFおよびCFに対応する画素(以下、それぞれR画素、G画素およびB画素と呼ぶ)は、同一の構造となっている。したがって、撮像用のR、GおよびBの各画素に対応した射出瞳EPは大径となり、被写体からの光をフォトダイオードPDに効率よく取り込むことができ、撮像素子から出力される撮像信号のS/Nを向上させている。 The pixels corresponding to the color filters CF R , CF G, and CF B (hereinafter referred to as R pixel, G pixel, and B pixel, respectively) have the same structure. Accordingly, the exit pupil EP corresponding to each of the R, G, and B pixels for imaging has a large diameter, and light from the subject can be efficiently taken into the photodiode PD, and S of the imaging signal output from the imaging element can be obtained. / N is improved.

このベイヤ配列の間に、瞳分割位相差方式による焦点検出を行うための焦点検出用画素を配置する。より具体的には、ベイヤ配列を構成する2行×2列の画素のうち、G画素は撮像用画素として残し、R画素とB画素とを焦点検出用画素に置き換える。   Focus detection pixels for performing focus detection by the pupil division phase difference method are arranged between the Bayer arrays. More specifically, among the 2 rows × 2 columns of pixels constituting the Bayer array, the G pixel is left as an imaging pixel, and the R pixel and the B pixel are replaced with focus detection pixels.

記録や表示のための画像信号を得る場合、G画素で輝度情報の主成分を取得する。人間の画像認識特性は、輝度情報に敏感であるため、このG画素が欠けると画質劣化が認知されやすい。一方、R画素またはB画素は、主に色情報(色差情報)を取得する。ここで、人間の画像認識特性は、輝度情報に比べて色情報には鈍感である。そのため、色情報を取得するR画素やB画素は、多少の欠損が生じても画質劣化が認知され難い。   When obtaining an image signal for recording or display, the main component of luminance information is acquired by G pixels. Since human image recognition characteristics are sensitive to luminance information, if this G pixel is missing, image quality degradation is likely to be perceived. On the other hand, the R pixel or the B pixel mainly acquires color information (color difference information). Here, human image recognition characteristics are less sensitive to color information than luminance information. For this reason, it is difficult for the R pixel and B pixel for obtaining the color information to recognize the image quality deterioration even if some loss occurs.

図3を用いて、焦点検出用画素に係る、撮像素子を含む撮像光学系について概略的に説明する。図3(a)は、焦点検出用画素を含む2行×2列の画素の一例の平面図を示す。また、図3(b)は、撮像光学系の、図3(a)におけるA−A面による一例の断面図を示す。図3(b)において、オンチップマイクロレンズMLおよびフォトダイオードPDは、上述の図2(b)に示した構造と同一である。   With reference to FIG. 3, an imaging optical system including an imaging element according to a focus detection pixel will be schematically described. FIG. 3A shows a plan view of an example of pixels of 2 rows × 2 columns including focus detection pixels. FIG. 3B is a cross-sectional view of an example of the imaging optical system taken along plane AA in FIG. In FIG. 3B, the on-chip microlens ML and the photodiode PD have the same structure as that shown in FIG.

図3(a)において、画素SHAおよび画素SHBが焦点検出を行うための画素である。以下、画素SHAおよび画素SHBをまとめて焦点検出用画素と呼ぶ。また、図3(a)中、画素SHAおよび画素SHBにおける塗り潰し部分は、配線層CLの開口部である。すなわち、焦点検出用画素に照射された光は、この配線層CLの開口部を通って、フォトダイオードPDに入射される。なお、焦点検出用画素による信号は、画像生成には用いないため、画素SHAおよび画素SHBに対し、透明膜によるフィルタCFが配置される。 In FIG. 3A, a pixel S HA and a pixel S HB are pixels for performing focus detection. Hereinafter, the pixel S HA and the pixel S HB are collectively referred to as a focus detection pixel. In FIG. 3A, the filled portions in the pixels S HA and S HB are openings of the wiring layer CL. That is, the light irradiated to the focus detection pixels is incident on the photodiode PD through the opening of the wiring layer CL. The signal due to the focus detection pixels, is not used for image generation, to the pixel S HA and the pixel S HB, filter CF W by the transparent film is arranged.

図3の例では、画素SHAに対応する開口部OPHA、ならびに、画素SHBに対応する開口部OPHBは、オンチップマイクロレンズMLの中心線に対して一方向に偏倚して設けられる。これにより、撮像素子による瞳分割が行われる。 In the example of FIG. 3, the opening OP HA corresponding to the pixel S HA, and, the opening OP HB corresponding to the pixel S HB, is provided offset in one direction from the center line of the on-chip microlens ML . Thereby, pupil division by an image sensor is performed.

具体的には、画素SHAに対応する開口部OPHAは、図3上で右側に偏倚しているため、光学撮影レンズTLの左側の射出瞳EPHAを通過した光束を受光する。同様に、画素SHBに対応する開口部OPHBは、図3上で左側に偏倚しているため、光学撮影レンズTLの右側の射出瞳EPHBを通過した光束を受光する。 Specifically, since the opening OP HA corresponding to the pixel S HA is biased to the right side in FIG. 3, the light beam that has passed through the left exit pupil EP HA of the optical photographing lens TL is received. Similarly, since the opening OP HB corresponding to the pixel S HB is biased to the left in FIG. 3, it receives the light beam that has passed through the right exit pupil EP HB of the optical photographing lens TL.

画素SHAを水平方向に規則的に配列し、これらの画素群で取得した被写体像を像Aとする。また、画素SHBも同様にして水平方向に規則的に配列し、これらの画素群で取得した被写体像を像Bとする。像Aと像Bとの相対位置を検出することで、被写体像のピントずれ量(デフォーカス量)が検出できる。 Pixels SHA are regularly arranged in the horizontal direction, and a subject image acquired by these pixel groups is defined as an image A. Similarly, the pixels SHB are regularly arranged in the horizontal direction, and a subject image acquired by these pixel groups is defined as an image B. By detecting the relative position between the image A and the image B, the amount of defocus (defocus amount) of the subject image can be detected.

この、光学撮影レンズTLの水平方向に瞳分割を行なうための焦点検出用画素である画素SHAおよびSHBは、図4に例示されるように、撮像素子による画面全体に対して規則的に配置される。各焦点検出用画素は、図4に枠線で例示されるように、それぞれ焦点検出を行うための焦点検出領域が設定される。 The pixels S HA and S HB , which are focus detection pixels for performing pupil division in the horizontal direction of the optical photographing lens TL, are regularly arranged on the entire screen of the image sensor as illustrated in FIG. Be placed. Each focus detection pixel is set with a focus detection region for performing focus detection, as illustrated by a frame line in FIG.

なお、上述した画素SHAおよびSHBは、開口部OPHAおよびOPHBが垂直方向に設けられている。そのため、画素SHAおよびSHBを水平方向に配列した場合、撮影画面の水平方向に輝度分布を有した被写体、例えば縦線に対する焦点検出が可能である。垂直方向に輝度分布を有した、横線のような被写体に対する焦点検出を行うためには、画素SHAおよびSHBを90度回転させた、開口部が水平方向に設けられた画素を用いる。これら開口部が垂直方向に設けられた焦点検出用画素と、開口部が水平方向に設けられた焦点検出用画素とを交互に備えるよう構成することで、垂直方向の輝度分布と水平方向の輝度分布とに対応できる。 Note that, in the pixels S HA and S HB described above, the openings OP HA and OP HB are provided in the vertical direction. Therefore, when the pixels S HA and S HB are arranged in the horizontal direction, it is possible to detect a focus on a subject having a luminance distribution in the horizontal direction of the photographing screen, for example, a vertical line. In order to perform focus detection on a subject such as a horizontal line having a luminance distribution in the vertical direction, a pixel in which the openings SHA and SHB are rotated by 90 degrees and the opening is provided in the horizontal direction is used. By constructing the focus detection pixels in which the openings are provided in the vertical direction and the focus detection pixels in which the openings are provided in the horizontal direction, the vertical luminance distribution and the horizontal luminance are provided. It can correspond to the distribution.

図5は、本発明の実施形態に適用可能な撮像装置の一例の機能を示す機能ブロック図である。なお、図5では、撮像装置の機能のうち、本実施形態に関連の浅い部分については、省略されている。   FIG. 5 is a functional block diagram showing functions of an example of an imaging apparatus applicable to the embodiment of the present invention. Note that, in FIG. 5, among the functions of the imaging apparatus, a shallow portion related to the present embodiment is omitted.

光学撮影レンズ101は、複数枚のレンズを有すると共に、絞り機構、フォーカス機構およびズーム機構、ならびに、これら各機構を駆動する駆動部などを含む。光学撮影レンズ101で集光された被写体像は、撮像素子102に結像される。撮像素子102は、図1〜図4を用いて説明したように、カラーフィルタがベイヤ配列とされ、焦点検出用画素が画面全体に規則的に配列されている。撮像素子102は、結像された光を光電変換し、アナログ信号の画像信号として出力する。このアナログ信号は、A/D変換部103でデジタル信号に変換される。   The optical photographing lens 101 includes a plurality of lenses, and includes an aperture mechanism, a focus mechanism, a zoom mechanism, and a drive unit that drives these mechanisms. The subject image condensed by the optical photographing lens 101 is formed on the image sensor 102. As described with reference to FIGS. 1 to 4, the image sensor 102 has color filters in a Bayer array, and focus detection pixels are regularly arrayed on the entire screen. The image sensor 102 photoelectrically converts the imaged light and outputs it as an analog image signal. This analog signal is converted into a digital signal by the A / D converter 103.

一方、撮像素子102の出力が合焦量検出部110に供給される。合焦量取得手段としての合焦量検出部110は、撮像素子102の出力のうち焦点検出用画素の信号を用いて上述したデフォーカス量を検出する。ここで、検出されたデフォーカス量を、撮像光学系における合焦度合いを示す評価値としての合焦量として定義する。合焦量検出部110は、撮像素子102の各焦点検出用画素について合焦量すなわちデフォーカス量を求めて記憶する。   On the other hand, the output of the image sensor 102 is supplied to the focus amount detection unit 110. A focus amount detection unit 110 serving as a focus amount acquisition unit detects the above-described defocus amount using a signal of a focus detection pixel in the output of the image sensor 102. Here, the detected defocus amount is defined as a focus amount as an evaluation value indicating a focus degree in the imaging optical system. The focus amount detection unit 110 calculates and stores a focus amount, that is, a defocus amount, for each focus detection pixel of the image sensor 102.

撮像情報取得部150は、光学撮影レンズ101から、焦点距離情報151、絞り情報152および焦点位置情報153を取得する。焦点距離情報151は、撮影時の光学撮影レンズ101の焦点距離を示す。絞り情報152は、光学撮影レンズ101に設けられた絞り(図示しない)の設定値を示す。焦点位置情報153は、合焦した被写体の撮像素子102からの距離を示す。   The imaging information acquisition unit 150 acquires focal length information 151, aperture information 152, and focal position information 153 from the optical photographing lens 101. The focal length information 151 indicates the focal length of the optical photographing lens 101 at the time of photographing. Aperture information 152 indicates a set value of an aperture (not shown) provided in the optical photographing lens 101. The focal position information 153 indicates the distance from the image sensor 102 of the focused subject.

A/D変換部103の出力は、焦点検出用画素補間部104に供給される。焦点検出用画素は、表示用または記録用画像としての画像データを出力しない。そのため、撮像素子102による画面内で焦点検出用画素が配置されている箇所については、焦点検出用画素補間部104において、焦点検出用画素の周辺の実画像画素を用いて、欠陥画素補間に対する処理と同様にして補間処理を行なう。   The output of the A / D conversion unit 103 is supplied to the focus detection pixel interpolation unit 104. The focus detection pixel does not output image data as a display or recording image. For this reason, the focus detection pixel interpolation unit 104 uses the actual image pixels around the focus detection pixel to process the defective pixel interpolation at the position where the focus detection pixels are arranged in the screen of the image sensor 102. Interpolation processing is performed in the same manner as described above.

焦点検出用画素補間部104から出力された画像データは、現像処理部105において、γ処理160、シャープネス処理161および色処理162など、デジタルカメラなどで一般的に行われる画像処理が施される。このとき、γ処理160は、背景技術で図11を用いて説明したように、予め決められた複数のトーンカーブから選択されたトーンカーブを用いてγ処理を行う。   The image data output from the focus detection pixel interpolation unit 104 is subjected to image processing generally performed by a digital camera or the like, such as γ processing 160, sharpness processing 161, and color processing 162, in the development processing unit 105. At this time, as described with reference to FIG. 11 in the background art, the γ processing 160 performs γ processing using a tone curve selected from a plurality of predetermined tone curves.

現像処理部105から出力された画像データは、階調特性補正部115に供給されると共に、顔検出部106に供給される。顔検出手段としての顔検出部106は、供給された画像データに対して顔検出処理171を行い、当該画像データから検出された顔について、当該画像データによる画面内の位置および範囲と、顔画像の輝度の平均値とを求める。顔の位置および範囲を示す顔位置情報172および顔範囲情報173と、顔画像の輝度の平均値を示す顔輝度情報174は、それぞれ補正量算出部107に供給される。また、顔位置情報172および顔範囲情報173は、それぞれ階調特性補正部115にも供給される。   The image data output from the development processing unit 105 is supplied to the tone characteristic correction unit 115 and also to the face detection unit 106. The face detection unit 106 serving as a face detection unit performs face detection processing 171 on the supplied image data, and for the face detected from the image data, the position and range in the screen based on the image data, and the face image And the average value of the luminances. Face position information 172 and face range information 173 indicating the position and range of the face, and face luminance information 174 indicating the average value of the luminance of the face image are respectively supplied to the correction amount calculation unit 107. The face position information 172 and the face range information 173 are also supplied to the gradation characteristic correction unit 115, respectively.

顔検出部106から出力される顔位置情報172、顔範囲情報173および顔輝度情報174について、図6を用いてより具体的に説明する。顔位置情報172は、顔検出された顔における中心位置602の座標情報を用いる。顔範囲情報173は、顔検出された顔の中心位置の輝度値に対して所定範囲の輝度値を有する画素を包含する範囲601(以下、顔の範囲601と呼ぶ)を用いる。例えば、輝度の最大値を255としたとき、顔の中心位置の輝度値に対して±20の輝度値を有する範囲を顔の範囲601とする。顔輝度情報174は、顔範囲情報173に示される範囲内の画素の輝度平均値を用いる。   The face position information 172, face range information 173, and face luminance information 174 output from the face detection unit 106 will be described more specifically with reference to FIG. As the face position information 172, coordinate information of the center position 602 in the face whose face is detected is used. The face range information 173 uses a range 601 (hereinafter referred to as a face range 601) including pixels having a luminance value in a predetermined range with respect to the luminance value of the center position of the face detected. For example, when the maximum luminance value is 255, a range having a luminance value of ± 20 with respect to the luminance value at the center position of the face is set as the face range 601. The face luminance information 174 uses the average luminance value of the pixels within the range indicated by the face range information 173.

なお、本実施形態における顔検出には、公知の顔検出技術を利用できる。公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的にはこれらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては特開2002−251380号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。   A known face detection technique can be used for face detection in the present embodiment. As a known face detection technique, a method based on learning using a neural network or the like, template matching is used to search a part having a characteristic shape of eyes, nose, mouth, etc. from an image, and if the similarity is high, it is regarded as a face There are methods. In addition, many other methods have been proposed, such as a method that detects image feature amounts such as skin color and eye shape and uses statistical analysis. In general, a plurality of these methods are combined to improve the accuracy of face detection. Specific examples include a face detection method using wavelet transform and image feature amount described in JP-A-2002-251380.

顔検出部106から出力された顔位置情報172、顔範囲情報173および顔輝度情報174は、補正量算出部107に供給される。補正量取得手段としての補正量算出部107は、供給されたこれらの情報に基づき、撮像素子102の出力に基づく画像データによる画面内の顔画像とその周辺の位置にのみ範囲を限定して、当該範囲内で階調特性を補正するための補正量を決定して出力する。   The face position information 172, face range information 173, and face luminance information 174 output from the face detection unit 106 are supplied to the correction amount calculation unit 107. Based on the supplied information, the correction amount calculation unit 107 as a correction amount acquisition unit limits the range only to the face image in the screen based on the image data based on the output of the image sensor 102 and its peripheral position, A correction amount for correcting the gradation characteristics within the range is determined and output.

図7(a)および図7(b)は、補正量算出部107において補正量を決定するテーブルの例を示す。この例では、顔輝度情報174に対するゲインを補正量として決定している。これらのテーブルに従い、階調特性に対して輝度値が対応する補正量(ゲイン)を乗ずることで、輝度値の補正を行う。なお、ここでは、輝度値が8ビットで表現され、最大値が255であるものとする。   7A and 7B show examples of tables for determining the correction amount in the correction amount calculation unit 107. FIG. In this example, the gain for the face luminance information 174 is determined as the correction amount. According to these tables, the luminance value is corrected by multiplying the gradation characteristic by the correction amount (gain) corresponding to the luminance value. Here, it is assumed that the luminance value is expressed by 8 bits and the maximum value is 255.

例えば図7(a)のテーブルは、顔輝度情報174が輝度平均値で値170以下のときに、顔の明るさに正のゲインを乗ずる特性を持つことを表している。さらに、顔輝度情報174が輝度平均値で値80のときに最大のゲインを乗じ、平均輝度値が値80より小さいか、値80より大きいときは、過剰な補正を行なわないように、正のゲイン値を徐々に小さくしていくことを表している。   For example, the table of FIG. 7A shows that when the face luminance information 174 is an average luminance value of 170 or less, the face brightness is multiplied by a positive gain. Further, when the face luminance information 174 is a luminance average value of value 80, the maximum gain is multiplied. When the average luminance value is smaller than the value 80 or larger than the value 80, a positive value is set so as not to perform excessive correction. This means that the gain value is gradually reduced.

図7(b)は、検出された顔に対する位置に応じて補正量としてのゲインを切り替える例を示す。一例として、上述の図6に示されるように、検出された顔の範囲601に対して第1の正のゲインを補正量として決定したとする。顔の範囲601から例えば所定画素毎に周辺に離れていくのに従い、第1の正のゲインを徐々に小さくする。   FIG. 7B shows an example of switching the gain as the correction amount in accordance with the detected position with respect to the face. As an example, assume that the first positive gain is determined as the correction amount for the detected face range 601 as shown in FIG. 6 described above. For example, the first positive gain is gradually decreased as the distance from the face range 601 increases to the periphery, for example, every predetermined pixel.

図8を用いてより具体的に説明する。図8は、上述した図6と対応し、例えば図8における範囲501は、顔範囲情報173に示される範囲であって、図6における顔の範囲601に対応する。先ず、範囲501に対して、図7(b)にテーブル201で示される第1の正のゲインを補正量として決定する。範囲501の外側の数画素(例えば2画素)の範囲502に対して、図7(b)にテーブル202で示される、第1の正のゲインよりも小さい第2の正のゲインを補正量として決定する。さらに範囲502の外側の数画素(例えば2画素)の範囲503に対して、図7(b)にテーブル203で示される、第2の正のゲインよりもさらに小さい第3の正のゲインを補正量として決定する。   This will be described more specifically with reference to FIG. FIG. 8 corresponds to FIG. 6 described above. For example, a range 501 in FIG. 8 is a range indicated by the face range information 173 and corresponds to the face range 601 in FIG. First, for the range 501, the first positive gain indicated by the table 201 in FIG. 7B is determined as the correction amount. For a range 502 of several pixels outside the range 501 (for example, two pixels), a second positive gain smaller than the first positive gain shown in the table 202 in FIG. decide. Further, a third positive gain smaller than the second positive gain shown in the table 203 in FIG. 7B is corrected for a range 503 of several pixels outside the range 502 (for example, two pixels). Determine as quantity.

このように、補正対象の範囲から離れるにつれ、補正量としてのゲインを徐々に小さくしていくことで、階調特性を補正する顔画像とその周辺との境界で階調特性が不自然に変化するのが抑制される。   In this way, the gradation characteristics change unnaturally at the boundary between the face image whose gradation characteristics are to be corrected and the surrounding area by gradually reducing the gain as the correction amount as the distance from the correction target range increases. To be suppressed.

重み付け手段としての補正量重み付け演算部114は、補正量算出部107から出力された補正量に対して、以下に説明する合焦度評価値と撮影距離評価値とを重み付け係数として演算して、階調特性補正部115で用いる補正量を算出する。   A correction amount weighting calculation unit 114 serving as a weighting unit calculates a focus degree evaluation value and a shooting distance evaluation value described below as weighting coefficients for the correction amount output from the correction amount calculation unit 107, and A correction amount used in the gradation characteristic correction unit 115 is calculated.

先ず、合焦度評価値について説明する。合焦量検出部110は、検出され記憶された各焦点検出領域の合焦量に基づき第1の係数取得手段としての合焦度評価値テーブル111を参照し、当該焦点検出領域毎の合焦度評価値を求める。本実施形態では、合焦量すなわち焦点検出用画素から出力されたデフォーカス量が小さいほど、当該焦点検出用画素に設定された焦点検出領域が、合焦度が高く、ピントが合って撮影されている領域であるとする。   First, the focus degree evaluation value will be described. The focus amount detection unit 110 refers to the focus degree evaluation value table 111 as the first coefficient acquisition unit based on the detected focus amount of each focus detection region, and focuses for each focus detection region. The degree evaluation value is obtained. In this embodiment, the smaller the in-focus amount, that is, the defocus amount output from the focus detection pixel, the higher the degree of focus and the focus detection area set for the focus detection pixel is photographed. It is assumed that the area is

本実施形態では、合焦度が高い被写体ほど重要視する重み付けを行うテーブルを与える。図9は、このような合焦度評価値テーブル111の一例を示す。図9の例では、デフォーカス量が0から所定値(例えば10)の範囲が合焦度が高いと定義し、この合焦度が高いデフォーカス量の範囲では、合焦度評価値を1.0とする。一方、当該所定値を越えるデフォーカス量に対して、デフォーカス量が大きくなるにつれて小さくなる特性を合焦度評価値に与える。焦点検出領域毎にこの合焦度評価値テーブル111を参照し、当該焦点検出領域毎の合焦度評価値を求める。   In the present embodiment, a table is provided that performs weighting that places importance on subjects with a higher degree of focus. FIG. 9 shows an example of such a focus degree evaluation value table 111. In the example of FIG. 9, it is defined that the range of the defocus amount from 0 to a predetermined value (for example, 10) is high in focus, and in the range of the defocus amount where the focus is high, the focus degree evaluation value is 1 .0. On the other hand, for the defocus amount exceeding the predetermined value, a characteristic that decreases as the defocus amount increases is given to the focus degree evaluation value. With reference to this focus degree evaluation value table 111 for each focus detection area, a focus degree evaluation value for each focus detection area is obtained.

なお、この合焦度評価値を1.0とするデフォーカス量の最大値(上述の例では10)は、絞り情報152と焦点距離情報151とを用いて、撮影画像の被写深度に応じて変更することができる。 Note that the maximum defocus amount (10 in the above example) with the in-focus evaluation value of 1.0 is set to the depth of field of the captured image using the aperture information 152 and the focal length information 151. It can be changed accordingly.

次に、撮影距離評価値について説明する。合焦量検出部110の検出結果に基づき合焦度評価値テーブル111を参照して得た合焦量評価値と、撮像情報取得部150で抽出した焦点位置情報153とに基づき、焦点検出領域毎に、被写体までの距離を示す撮影距離情報を取得する。撮影距離評価値は、この撮影距離情報に基づき撮影距離評価値テーブル112を参照して求める。撮影距離評価値は、焦点検出領域毎に求められる。撮像情報取得部150と合焦量検出部110とで距離取得手段が形成される。   Next, the shooting distance evaluation value will be described. Based on the focus amount evaluation value obtained by referring to the focus degree evaluation value table 111 based on the detection result of the focus amount detection unit 110 and the focus position information 153 extracted by the imaging information acquisition unit 150, the focus detection region Each time, shooting distance information indicating the distance to the subject is acquired. The shooting distance evaluation value is obtained by referring to the shooting distance evaluation value table 112 based on the shooting distance information. The shooting distance evaluation value is obtained for each focus detection area. The imaging information acquisition unit 150 and the focus amount detection unit 110 form a distance acquisition unit.

本実施形態では、撮影距離の近い被写体ほど重要視する重み付けを行うテーブルを与える。図10は、このような第2の係数取得手段としての撮影距離評価値テーブル112の一例を示す。図10の例では、撮影に用いたレンズの最短撮影距離(例えば0m)から所定距離(例えば12m)の範囲で撮影された被写体の重要度が高いと定義し、この範囲での撮影距離評価値を1.0とする。一方、当該所定距離を超える撮影距離に対して、撮影距離が遠くなるにつれ急激に小さくなる特性を撮影距離評価値に与える。図10は一例であり、この特性はレンズの焦点距離に応じて様々である。例えば、レンズの焦点距離が大きいほど、重みが重み1.0から減り始める撮影距離が長くなる。また、焦点のぼけ方も焦点距離の長いレンズほど急激なので、重み付けの傾きも急になる。   In the present embodiment, a table is provided that performs weighting that places importance on subjects with a shorter shooting distance. FIG. 10 shows an example of the shooting distance evaluation value table 112 as such second coefficient acquisition means. In the example of FIG. 10, it is defined that the importance of a subject photographed in a range from a shortest photographing distance (for example, 0 m) of a lens used for photographing to a predetermined distance (for example, 12 m) is high, and a photographing distance evaluation value in this range. Is 1.0. On the other hand, for the shooting distance exceeding the predetermined distance, the shooting distance evaluation value is given a characteristic that decreases rapidly as the shooting distance increases. FIG. 10 shows an example, and this characteristic varies depending on the focal length of the lens. For example, the larger the focal length of the lens, the longer the shooting distance at which the weight starts to decrease from 1.0. In addition, since the focal length of a lens having a longer focal length is steeper, the weighting gradient becomes steeper.

なお、撮影距離に関し、レンズの焦点距離を示す焦点距離情報151をさらに考慮してもよい。この場合、撮影距離評価値テーブル112に、焦点距離情報151に応じた特性を与えることが考えられる。   In addition, regarding the shooting distance, the focal length information 151 indicating the focal length of the lens may be further considered. In this case, it is conceivable that characteristics corresponding to the focal length information 151 are given to the shooting distance evaluation value table 112.

補正量重み付け演算部114は、合焦度評価値および撮影距離評価値をそれぞれ重み付け係数として、補正量算出部107から供給された、階調特性を補正する補正量に対する演算を行う。これにより、デフォーカス量および撮影距離に対する補正量の重み付けを行う。   The correction amount weighting calculation unit 114 performs an operation on the correction amount for correcting the gradation characteristics supplied from the correction amount calculation unit 107 using the focus degree evaluation value and the shooting distance evaluation value as weighting coefficients, respectively. Thus, the correction amount is weighted with respect to the defocus amount and the shooting distance.

補正量重み付け演算部114は、例えば次式(1)に従い、補正後のゲインGを求める。なお、式(1)において、値aは、合焦度評価値と撮影距離評価値とを乗じた値であって、0≦a≦1の値を取る。また、値gは、補正量算出部107においてテーブルを参照して求めた補正量(ゲイン)であり、g≧1の値を取る。この式(1)で分かるように、値aは、補正量算出部107で求めたゲインを1から値gの間で制御する。
G=1+a(g−1) ・・・(1)
The correction amount weighting calculation unit 114 calculates the corrected gain G in accordance with the following equation (1), for example. In equation (1), the value a is a value obtained by multiplying the focus degree evaluation value and the shooting distance evaluation value, and takes a value of 0 ≦ a ≦ 1. The value g is a correction amount (gain) obtained by referring to the table in the correction amount calculation unit 107, and takes a value of g ≧ 1. As can be seen from this equation (1), the value a controls the gain obtained by the correction amount calculation unit 107 between 1 and the value g.
G = 1 + a (g-1) (1)

補正量重み付け演算部114で重み付けされた階調特性の補正量であるゲインGは、階調特性補正部115に供給される。階調特性補正部115は、このゲインGに基づき、現像処理部105から供給された画像データに対する画像特性補正処理を行う。より具体的には、階調特性補正部115は、このゲインGを階調特性に対して乗じ、このゲインGが乗じられた階調特性に基づき、現像処理部105から供給された画像データの輝度値を変換する。このとき、顔位置情報172および顔範囲情報173に基づき、当該画像データのうち顔範囲情報173に示される範囲とその周辺の所定範囲に対応する焦点検出領域毎に、輝度値の変換処理を行う。   The gain G that is the correction amount of the gradation characteristic weighted by the correction amount weighting calculation unit 114 is supplied to the gradation characteristic correction unit 115. Based on the gain G, the gradation characteristic correction unit 115 performs image characteristic correction processing on the image data supplied from the development processing unit 105. More specifically, the gradation characteristic correcting unit 115 multiplies the gain G by the gain characteristic, and based on the gradation characteristic multiplied by the gain G, the image data supplied from the development processing unit 105 is obtained. Convert luminance values. At this time, based on the face position information 172 and the face range information 173, the luminance value conversion process is performed for each focus detection area corresponding to the range indicated by the face range information 173 and the surrounding predetermined range in the image data. .

階調特性補正部115で階調特性が変換された画像データは、出力部116から出力され、図示されない表示部への表示や、記録媒体に対する記録などが行われる。   The image data whose gradation characteristics have been converted by the gradation characteristic correction unit 115 is output from the output unit 116, and is displayed on a display unit (not shown) or recorded on a recording medium.

以上説明したように、本発明の実施形態によれば、撮影された画像データに対して顔検出を行い、検出された顔の範囲に対して階調特性の補正を行うための補正量を設定する。そして、この補正量に対して、焦点の合焦度合いおよび被写体に対する撮影距離によって重み付けを行っている。そのため、撮影レンズの焦点が合わされた場所の顔の輝度に対して最も明るい階調特性を補正する処理が行なわれ、複数の人物が1の画像データに撮影されている場合でも、自然な好ましい人物画像を出力することが可能となる。   As described above, according to the embodiment of the present invention, face detection is performed on captured image data, and a correction amount is set for correcting gradation characteristics for the detected face range. To do. The correction amount is weighted according to the degree of focus and the shooting distance to the subject. For this reason, even when a plurality of persons are photographed in one image data, a process that corrects the brightest gradation characteristic with respect to the brightness of the face in the place where the photographing lens is focused is performed. An image can be output.

ベイヤ配列を説明するための図である。It is a figure for demonstrating a Bayer arrangement. 撮像素子を含む撮像光学系について説明するための図である。It is a figure for demonstrating the imaging optical system containing an image pick-up element. 焦点検出用画素に係る撮像素子を含む撮像光学系について説明するための図である。It is a figure for demonstrating the imaging optical system containing the image pick-up element which concerns on the pixel for focus detection. 焦点検出用画素の一例の配置を示す図である。It is a figure which shows arrangement | positioning of an example of the pixel for focus detection. 本発明の実施形態に適用可能な撮像装置の一例の機能を示す機能ブロック図である。It is a functional block diagram which shows the function of an example of the imaging device applicable to embodiment of this invention. 顔検出部から出力される情報について説明するための図である。It is a figure for demonstrating the information output from a face detection part. 補正量出力部において補正量を決定するテーブルの例を示す図である。It is a figure which shows the example of the table which determines the correction amount in a correction amount output part. 検出された顔に対する位置に応じて補正量としてのゲインを切り替えることを説明するための図である。It is a figure for demonstrating switching the gain as a correction amount according to the position with respect to the detected face. 合焦度が高い被写体ほど重要視する重み付けを行う合焦度評価値テーブルの一例を示す図である。It is a figure which shows an example of the focus degree evaluation value table which performs weighting which attaches importance to a subject with a high focus degree. 撮影距離の近い被写体ほど重要視する重み付けを行う撮影距離評価値テーブルの一例を示す図である。It is a figure which shows an example of the shooting distance evaluation value table which weights so that it attaches importance to a subject with a short shooting distance. トーンカーブを説明するための図である。It is a figure for demonstrating a tone curve. 複数の人物を撮影した場合に不具合が発生する可能性があることを説明するための図である。It is a figure for demonstrating that a malfunction may generate | occur | produce when a several person is image | photographed.

符号の説明Explanation of symbols

102 撮像素子
105 現像処理部
106 顔検出部
107 補正量算出部
110 合焦量検出部
111 合焦度評価値テーブル
112 撮影距離評価値テーブル
114 補正量重み付け演算部
115 階調特性補正部
150 撮像情報取得部
DESCRIPTION OF SYMBOLS 102 Image pick-up element 105 Development processing part 106 Face detection part 107 Correction amount calculation part 110 Focus amount detection part 111 Focus degree evaluation value table 112 Shooting distance evaluation value table 114 Correction amount weighting calculation part 115 Gradation characteristic correction part 150 Imaging information Acquisition department

Claims (8)

撮像素子から出力された画像信号に基づいて顔検出を行顔検出手段と、
前記顔検出手段で検出された前記画像信号の顔領域に対応する範囲に対する補正量を取得する補正量取得手段と、
撮影画面内の複数の焦点検出領域のそれぞれでデフォーカス量を取得するデフォーカス量取得手段と、
前記デフォーカス量取得手段で取得された前記デフォーカス量に基づき、前記補正量取得手段で取得される前記補正量に対する重み付けを行う第1の係数を取得する第1の係数取得手段と、
前記顔領域に対応する範囲に対して、該範囲に対応する前記焦点検出領域のデフォーカス量に基づく前記第1の係数で重み付けされた前記補正量を用いて画像特性の補正を行う画像特性補正手段と
を有することを特徴とする画像処理装置。
A row Cormorant face detecting means face detection based on the image signal output from the imaging element,
A correction amount obtaining means for obtaining a correction amount against a range corresponding to the face area of said detected image signal by said face detecting means,
Defocus amount acquisition means for acquiring the defocus amount in each of a plurality of focus detection areas in the shooting screen ;
Based on the defocus amount obtained by the defocus amount acquiring means, a first coefficient acquisition means acquire the first coefficient for weighting with respect to the correction amount obtained by the correction amount acquisition unit,
Image characteristic correction for correcting an image characteristic for a range corresponding to the face area using the correction amount weighted by the first coefficient based on the defocus amount of the focus detection area corresponding to the range And an image processing apparatus.
前記撮像素子で撮影された被写体までの距離を示す撮影距離情報を、前記焦点検出領域毎に取得する距離取得手段と、
前記距離取得手段で取得された前記撮影距離情報に基づき、前記補正量取得手段で取得される前記補正量に対する重み付けを行う第2の係数を取得する第2の係数取得手段と
をさらに有し、
前記画像特性補正手段は、前記顔領域に対応する範囲に対して、該範囲に対応する前記焦点検出領域のデフォーカス量に基づく前記第1の係数及び撮影距離情報に基づく第2の係数で重み付けされた前記補正量を用いて前記補正を行う
ことを特徴とする請求項1に記載の画像処理装置。
Distance acquisition means for acquiring, for each focus detection area, shooting distance information indicating a distance to a subject imaged by the imaging element;
It said distance based on the object distance information obtained by the obtaining means further comprises a second coefficient obtaining means get the second coefficient for weighting with respect to the correction amount obtained by the correction amount acquisition unit,
The image characteristic correcting unit weights a range corresponding to the face area with the first coefficient based on the defocus amount of the focus detection area corresponding to the range and the second coefficient based on shooting distance information. The image processing apparatus according to claim 1, wherein the correction is performed using the corrected amount .
前記補正量取得手段は、前記顔領域に対応する範囲の周辺の範囲に対する補正量として、前記顔領域に対応する範囲から離れるにつれてより小さいを取得することを特徴とする請求項1または請求項2に記載の画像処理装置。 The correction amount acquisition unit, a correction amount for the range around the range corresponding to the face area, claim 1, characterized in that to obtain a smaller value Ri by hand as the distance from the range corresponding to the face area or The image processing apparatus according to claim 2. 前記画像特性補正手段は、前記画像特性として階調特性を用いて前記補正を行う
ことを特徴とする請求項1乃至請求項3の何れか1項に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the image characteristic correction unit performs the correction using a gradation characteristic as the image characteristic.
前記撮像素子は、瞳分割位相差方式による焦点検出を行うための焦点検出用画素が複数配置され、
前記焦点検出領域は、前記焦点検出用画素の位置に対応している
ことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
The image sensor has a plurality of focus detection pixels for focus detection by a pupil division phase difference method,
The focus detection area, the image processing apparatus according to any one of claims 1 to 4, characterized in <br/> that corresponds to the position of the focus detection pixel.
前記補正量取得手段は、前記顔領域に対応する範囲の輝度に基づいて、該顔領域に対応する範囲に対する補正量を取得することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。6. The correction amount acquisition unit according to claim 1, wherein the correction amount acquisition unit acquires a correction amount for a range corresponding to the face area based on luminance of the range corresponding to the face area. Image processing apparatus. 前記補正量取得手段は、前記顔領域に対応する範囲の輝度が所定値に近いほど、該顔領域に対応する範囲に対する補正量としてより大きい値を取得することを特徴とする請求項6に記載の画像処理装置。The correction amount acquisition unit acquires a larger value as a correction amount for the range corresponding to the face area as the luminance of the range corresponding to the face area is closer to a predetermined value. Image processing apparatus. 撮像素子から出力された画像信号に基づいて顔検出を行顔検出ステップと、
前記顔検出ステップで検出された前記画像信号の顔領域に対応する範囲に対する補正量を取得する補正量取得ステップと、
撮影画面内の複数の焦点検出領域のそれぞれでデフォーカス量を取得するデフォーカス量取得ステップと、
前記デフォーカス量取得ステップで取得された前記デフォーカス量に基づき、前記補正量取得ステップで取得される前記補正量に対する重み付けを行う第1の係数を取得する第1の係数取得ステップと、
前記顔領域に対応する範囲に対して、該範囲に対応する前記焦点検出領域のデフォーカス量に基づく前記第1の係数で重み付けされた前記補正量を用いて画像特性の補正を行う画像特性補正ステップと
を有することを特徴とする画像処理方法。
A row Cormorant face detecting step face detection based on the image signal output from the imaging element,
A correction amount acquisition step of acquiring a correction amount against a range corresponding to the face region of the image signal detected by the face detecting step,
A defocus amount acquisition step of acquiring a defocus amount in each of a plurality of focus detection areas in the shooting screen ;
Based on the defocus amount obtained by the defocus amount acquisition step, a first coefficient acquisition step get the first coefficient for weighting with respect to the correction amount obtained by the correction amount acquisition step,
Image characteristic correction for correcting an image characteristic for a range corresponding to the face area using the correction amount weighted by the first coefficient based on the defocus amount of the focus detection area corresponding to the range And an image processing method.
JP2008206392A 2008-08-08 2008-08-08 Image processing apparatus and image processing method Active JP5127628B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008206392A JP5127628B2 (en) 2008-08-08 2008-08-08 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008206392A JP5127628B2 (en) 2008-08-08 2008-08-08 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2010045457A JP2010045457A (en) 2010-02-25
JP5127628B2 true JP5127628B2 (en) 2013-01-23

Family

ID=42016504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008206392A Active JP5127628B2 (en) 2008-08-08 2008-08-08 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP5127628B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5175910B2 (en) 2010-09-16 2013-04-03 株式会社東芝 Image processing apparatus, image processing method, and program
JP5743142B2 (en) 2011-03-29 2015-07-01 ソニー株式会社 Image processing apparatus and method, and program
JP5500194B2 (en) * 2012-03-22 2014-05-21 日本電気株式会社 Captured image processing apparatus and captured image processing method
WO2015119749A1 (en) * 2014-02-07 2015-08-13 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
JP6415179B2 (en) 2014-08-20 2018-10-31 キヤノン株式会社 Image processing apparatus, image processing method, imaging apparatus, and control method thereof
JP6851885B2 (en) * 2017-04-10 2021-03-31 キヤノン株式会社 Information processing equipment, information processing methods, and programs

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (en) * 1998-08-20 2004-11-24 キヤノン株式会社 Solid-state imaging device
JP2003069821A (en) * 2001-08-23 2003-03-07 Olympus Optical Co Ltd Imaging system
JP2004207985A (en) * 2002-12-25 2004-07-22 Fuji Photo Film Co Ltd Digital camera
JP2007324856A (en) * 2006-05-31 2007-12-13 Sony Corp Imaging apparatus and imaging control method

Also Published As

Publication number Publication date
JP2010045457A (en) 2010-02-25

Similar Documents

Publication Publication Date Title
US10545312B2 (en) Focus detection apparatus, control method thereof, and storage medium storing program
US9100556B2 (en) Image processing apparatus and image processing method
JP5183715B2 (en) Image processing apparatus and image processing method
US9591246B2 (en) Image pickup apparatus with blur correcting function
JP5066851B2 (en) Imaging device
JP6309922B2 (en) Imaging system and imaging method
JP5898481B2 (en) Imaging apparatus and focus detection method
US20180184013A1 (en) Image processing apparatus, image processing method, program, and storage medium
JP5127628B2 (en) Image processing apparatus and image processing method
US20140332661A1 (en) Focus adjustment apparatus, focus adjustment method, storage medium storing focus adjustment program, and imaging apparatus
US9813687B1 (en) Image-capturing device, image-processing device, image-processing method, and image-processing program
JP2014138290A (en) Imaging device and imaging method
JP2004222231A (en) Image processing apparatus and image processing program
JP5289105B2 (en) Image processing apparatus, control method therefor, and imaging apparatus
JP5348258B2 (en) Imaging device
US20220159191A1 (en) Image pickup apparatus
JP2004222233A (en) Image processing apparatus and image processing program
JP5352003B2 (en) Image processing apparatus and image processing method
JP7445508B2 (en) Imaging device
WO2024016288A1 (en) Photographic apparatus and control method
JP6685550B2 (en) Autofocus device and autofocus program
JP2017219786A (en) Control device, imaging device, control method, program, and storage medium
JP2016096389A (en) Imaging apparatus, imaging apparatus control method, and program
JP2016133595A (en) Controller, imaging device, control method, program, and storage medium
JP2020038319A (en) Imaging apparatus and control method of the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121001

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121030

R151 Written notification of patent or utility model registration

Ref document number: 5127628

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151109

Year of fee payment: 3