JP5398860B2 - Image processing apparatus, image processing apparatus control method, program, and storage medium - Google Patents

Image processing apparatus, image processing apparatus control method, program, and storage medium Download PDF

Info

Publication number
JP5398860B2
JP5398860B2 JP2012048169A JP2012048169A JP5398860B2 JP 5398860 B2 JP5398860 B2 JP 5398860B2 JP 2012048169 A JP2012048169 A JP 2012048169A JP 2012048169 A JP2012048169 A JP 2012048169A JP 5398860 B2 JP5398860 B2 JP 5398860B2
Authority
JP
Japan
Prior art keywords
determination
processing apparatus
image processing
image signal
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012048169A
Other languages
Japanese (ja)
Other versions
JP2012142980A (en
Inventor
光太郎 北島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012048169A priority Critical patent/JP5398860B2/en
Publication of JP2012142980A publication Critical patent/JP2012142980A/en
Application granted granted Critical
Publication of JP5398860B2 publication Critical patent/JP5398860B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は画像処理装置、画像処理装置の制御方法、プログラム及び記憶媒体に関し、特に、鮮やかな被写体を含むシーンに対して画像処理を行うために用いて好適な技術に関する。 The present invention relates to an image processing apparatus, a control method for the image processing apparatus, a program, and a storage medium , and more particularly, to a technique suitable for performing image processing on a scene including a vivid subject.

従来、画像のシーンや被写体の種類を判別し、判別したシーンの被写体の種類に応じた画像処理を行う画像処理装置が知られている。例えば、特許文献1には、入力された画像が、鮮やかな被写体を含むシーン(以下、鮮やかなシーン)であるか否かを判別し、鮮やかなシーンの画像については高解像度で出力する画像出力装置が開示されている。   2. Description of the Related Art Conventionally, there has been known an image processing apparatus that discriminates image scenes and subject types and performs image processing in accordance with the discriminated subject types. For example, in Patent Document 1, it is determined whether or not an input image is a scene including a vivid subject (hereinafter, a vivid scene), and an image output for outputting a vivid scene image at high resolution is disclosed. An apparatus is disclosed.

特開2000−259372号公報JP 2000-259372 A

前述の特許文献1に開示された技術によれば、彩度の高い画素が所定数よりも多いか否かによって鮮やかなシーンであるか否かを判別している。ここで、鮮やかなシーンとしては、背景が鮮やかなシーンと、主となる被写体(主被写体)が鮮やかなシーンとがありうる。このうち、背景が鮮やかなシーンでは、例えば人物など背景以外の主被写体の有無によって、彩度の高い画素の分布が異なり、例えば、人物が入るとその分、背景における彩度の高い画素の量が低下してしまう。そのため、特許文献1に記載の画像出力装置では、背景が鮮やかなシーンで主被写体が入った画像の場合は鮮やかなシーンと判別することが難しく、適切に判別して高解像度で出力することができないという問題点がある。   According to the technique disclosed in Patent Document 1 described above, whether or not the scene is vivid is determined based on whether or not the number of highly saturated pixels is greater than a predetermined number. Here, as a vivid scene, there can be a scene where the background is vivid and a scene where the main subject (main subject) is vivid. Among these, in a scene with a bright background, the distribution of highly saturated pixels varies depending on the presence of a main subject other than the background, such as a person.For example, when a person enters, the amount of highly saturated pixels in the background Will fall. For this reason, in the image output apparatus described in Patent Document 1, it is difficult to distinguish a scene with a bright background in which the main subject is included, so that it is difficult to distinguish the scene as a vivid scene. There is a problem that it is not possible.

本発明は前述の問題点に鑑み、入力された画像に主被写体が含まれているか否かに関わらず、鮮やかなシーンを含む画像に対して適切な画像処理を施すことができるようにすることを目的としている。   In view of the above-described problems, the present invention enables appropriate image processing to be performed on an image including a vivid scene regardless of whether or not the input image includes a main subject. It is an object.

本発明の画像処理装置は、入力された画像信号から評価値を算出する算出手段と、前記入力された画像信号の被写体の領域を検出する検出手段と、前記評価値に基づいて、前記入力された画像信号が判別条件を満たすものであるか否かを判別する判別手段と、前記判別手段による判別結果を出力する出力手段と、を備え、前記判別手段は、前記検出手段によって検出される被写体の領域以外の領域の評価値に基づいて前記判別を行い、前記検出手段により検出される被写体の領域の画像全体に占める割合が大きいほど、前記判別条件を緩和することを特徴とする。 The image processing apparatus of the present invention includes: a calculating means for calculating an image signal or al Review value is entered, a detecting means for detecting a region of a subject of the input image signal, based on the evaluation value, the input comprising a determination unit which image signal is discriminated whether or not determine specific condition is satisfied, and output means for outputting a discrimination result by said discriminating means, and said discriminating means is detected by said detecting means There line the determination based on the evaluation value of the region other than the region of the subject that, the larger the percentage of the total image area of the subject detected by the detecting means and relieving the discrimination condition .

本発明によれば、入力された画像に主被写体が含まれるか否かに関わらず、鮮やかなシーンを判別することができる。これにより、どのような鮮やかなシーンを含む画像に対しても適切な画像処理を施すことができる。   According to the present invention, it is possible to determine a vivid scene regardless of whether or not the main subject is included in the input image. Thus, appropriate image processing can be performed on an image including any vivid scene.

第1の実施形態に係る撮像装置の構成例を示すブロック図である。It is a block diagram showing an example of composition of an imaging device concerning a 1st embodiment. 8×8ブロックに分割された撮影画像の一例を示す図である。It is a figure which shows an example of the picked-up image divided | segmented into 8x8 block. 鮮やかなシーンの判別処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the discrimination | determination processing procedure of a vivid scene. 顔領域を含む撮影画像の一例を示す図である。It is a figure which shows an example of the picked-up image containing a face area | region. 鮮やかなシーンの判別基準の一例を示す図である。It is a figure which shows an example of the discrimination | determination reference | standard of a vivid scene. 鮮やか度と高彩度ブロック割合との関係の一例を示す図である。It is a figure which shows an example of the relationship between a vividness and a high saturation block ratio. 画像中の顔の割合に応じた鮮やかなシーンの判別基準例を示す図である。It is a figure which shows the discrimination | criterion reference example of a vivid scene according to the ratio of the face in an image. 画像中の顔の割合が異なる撮影画像の一例を示す図である。It is a figure which shows an example of the picked-up image from which the ratio of the face in an image differs. 第2の実施形態に係る撮像装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the imaging device which concerns on 2nd Embodiment. 鮮やかなシーンの判別処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the discrimination | determination processing procedure of a vivid scene. 評価値を置き換える様子を示す図である。It is a figure which shows a mode that evaluation value is replaced.

(第1の実施形態)
以下、図1〜図8を参照しながら本発明の第1の実施形態に係る撮像装置について説明する。
図1は、本実施形態において、撮影した画像のシーンを検出する機能を備え、シーンに応じた画像補正処理を行う撮像装置100の構成例を示すブロック図である。
図1において、レンズ101は被写体の光束を結像するためのものであり、撮像素子103は、レンズ101及びアイリス102を介して入射した光を光電変換するためのものである。AGCアンプ104は、撮像素子103から出力された信号を適正レベルに増幅するためのものである。
(First embodiment)
The imaging apparatus according to the first embodiment of the present invention will be described below with reference to FIGS.
FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus 100 that has a function of detecting a scene of a captured image and performs image correction processing according to the scene in the present embodiment.
In FIG. 1, a lens 101 is for imaging a luminous flux of a subject, and an image sensor 103 is for photoelectrically converting light incident through the lens 101 and the iris 102. The AGC amplifier 104 is for amplifying the signal output from the image sensor 103 to an appropriate level.

輝度・色信号生成部105は、撮像素子103において生成された信号を輝度信号(Y)及び色信号(R0,G0,B0)に変換するためのものである。ホワイトバランス増幅部106は、輝度・色信号生成部105から出力される色信号(R0,G0,B0)をホワイトバランスゲインに従って増幅し、増幅色信号(R,G,B)を生成するためのものである。色差信号生成部107は、色差信号(R−Y,B−Y)を生成するためのものである。色差信号補正部108は、色差信号に対してゲインをかけるなどの補正を行うためのものであり、エンコーダ109は、入力された画像信号を標準テレビ信号等に変換するためのものである。   The luminance / color signal generation unit 105 is for converting a signal generated in the image sensor 103 into a luminance signal (Y) and color signals (R0, G0, B0). The white balance amplification unit 106 amplifies the color signals (R0, G0, B0) output from the luminance / color signal generation unit 105 according to the white balance gain, and generates an amplified color signal (R, G, B). Is. The color difference signal generation unit 107 is for generating color difference signals (RY, BY). The color difference signal correcting unit 108 is for performing correction such as applying gain to the color difference signal, and the encoder 109 is for converting the input image signal into a standard television signal or the like.

信号分割部110は、輝度信号(Y)、及び色差信号(R−Y,B−Y)を所定の小ブロックに分割するためのものである。彩度算出部111は、色差信号(R−Y,B−Y)から彩度(Chroma)を算出するためのものであり、カメラ制御部112は、撮像システム全体を制御するためのものである。シーン判別部113は、入力された撮影画像のシーンを判別するためのものであり、顔検出部114は、撮影画像から人物の顔を検出するためのものである。   The signal dividing unit 110 is for dividing the luminance signal (Y) and the color difference signals (RY, BY) into predetermined small blocks. The saturation calculation unit 111 is for calculating the saturation (Chroma) from the color difference signals (RY, BY), and the camera control unit 112 is for controlling the entire imaging system. . The scene discriminating unit 113 is for discriminating the scene of the input captured image, and the face detecting unit 114 is for detecting a human face from the captured image.

次に、図1の撮像装置100による処理動作について説明する。レンズ101に入射した光は撮像素子103により光電変換され、AGCアンプ104により適正レベルに増幅され、輝度・色信号生成部105に出力される。輝度・色信号生成部105は、撮像素子103において結像した画像信号から輝度信号(Y)及び色信号(R0,G0,B0)を生成し、このうちの色信号(R0,G0,B0)をホワイトバランス増幅部106に出力する。   Next, the processing operation by the imaging apparatus 100 in FIG. 1 will be described. Light incident on the lens 101 is photoelectrically converted by the image sensor 103, amplified to an appropriate level by the AGC amplifier 104, and output to the luminance / color signal generator 105. The luminance / color signal generation unit 105 generates a luminance signal (Y) and color signals (R0, G0, B0) from the image signal formed on the image sensor 103, and among these, the color signals (R0, G0, B0). Is output to the white balance amplifier 106.

ホワイトバランス増幅部106は、カメラ制御部112によって算出されたホワイトバランスゲインに基づいて色信号(R0,G0,B0)を増幅し、増幅した色信号(R,G,B)を色差信号生成部107に出力する。色差信号生成部107は、増幅した色信号(R,G,B)から色差信号(R−Y,B−Y)を生成し、色差信号補正部108及び信号分割部110に出力する。色差信号補正部108は画像処理手段として機能し、色差信号(R−Y,B−Y)に対して、カメラ制御部112によって算出された色差ゲインG(Gは1以上)をかけて補正する。すなわち、補正後の色差信号{(R−Y)',(B−Y)'}はそれぞれ、
(R−Y)'=G×(R−Y)、
(B−Y)'=G×(B−Y)、
となる。そして、補正後の色差信号{(R−Y)',(B−Y)'}をエンコーダ109に出力する。なお、色差ゲインGの強度に関しては後述する。エンコーダ109は、輝度信号(Y)及び補正後の色差信号(R−Y)',(B−Y)'からNTSC等の標準テレビジョン信号を生成し、外部に出力する。
The white balance amplification unit 106 amplifies the color signals (R0, G0, B0) based on the white balance gain calculated by the camera control unit 112, and the amplified color signals (R, G, B) are color difference signal generation units. It outputs to 107. The color difference signal generation unit 107 generates color difference signals (RY, BY) from the amplified color signals (R, G, B), and outputs them to the color difference signal correction unit 108 and the signal division unit 110. The color difference signal correction unit 108 functions as an image processing unit, and corrects the color difference signals (RY, BY) by applying the color difference gain G (G is 1 or more) calculated by the camera control unit 112. . That is, the corrected color difference signals {(R−Y) ′ and (B−Y) ′}
(R−Y) ′ = G × (R−Y),
(B−Y) ′ = G × (B−Y),
It becomes. Then, the corrected color difference signals {(R−Y) ′, (B−Y) ′} are output to the encoder 109. The intensity of the color difference gain G will be described later. The encoder 109 generates a standard television signal such as NTSC from the luminance signal (Y) and the corrected color difference signals (RY) ′ and (BY) ′, and outputs them to the outside.

以上が、撮像時の基本的な処理であるが、さらにカメラ制御部112は、画像信号の特性に応じて色差信号補正部108において用いるパラメータを適応的に制御し、色差信号補正部108において画像信号を補正する。以下、画像信号の特性の解析処理について説明する。   The above is the basic processing at the time of imaging. Further, the camera control unit 112 adaptively controls the parameters used in the color difference signal correction unit 108 according to the characteristics of the image signal, and the color difference signal correction unit 108 performs image processing. Correct the signal. Hereinafter, the analysis processing of the characteristics of the image signal will be described.

信号分割部110は、図2に示すようなブロック(8×8ブロック)に画像信号を分割し、ブロック毎の輝度信号(Y)、色差信号(R−Y,B−Y)の平均値を算出して、彩度算出部111にその結果を出力する。彩度算出部111は、色差信号(R−Y,B−Y)から各ブロックの彩度(Chroma)を算出する。彩度(Chroma)は以下の数1に示す式に基づき算出する。   The signal dividing unit 110 divides the image signal into blocks (8 × 8 blocks) as shown in FIG. 2 and calculates the average value of the luminance signal (Y) and color difference signals (RY, BY) for each block. Calculate and output the result to the saturation calculation unit 111. The saturation calculation unit 111 calculates the saturation (Chroma) of each block from the color difference signals (RY, BY). The saturation (Chroma) is calculated based on the following equation (1).

Figure 0005398860
Figure 0005398860

そして、彩度算出部111は、算出した各ブロックの彩度(Chroma)の情報をシーン判別部113へ出力する。一方、顔検出部114は、輝度・色信号生成部105から出力された輝度信号(Y)に基づき、撮影画像から主被写体である人物の顔を検出し、顔の検出結果をシーン判別部113へ出力する。ここで、人物の顔を検出した場合は、顔の位置情報もシーン判別部113へ出力する。なお、人物の顔の認識手段に関しては、輝度信号のパターンマッチングを行う方法など、従来から様々な手法が提案されており、それらのどのような方法を用いてもかまわない。   Then, the saturation calculation unit 111 outputs the calculated saturation (Chroma) information of each block to the scene determination unit 113. On the other hand, the face detection unit 114 detects the face of the person who is the main subject from the captured image based on the luminance signal (Y) output from the luminance / color signal generation unit 105, and the face detection result is the scene determination unit 113. Output to. If a human face is detected, the face position information is also output to the scene determination unit 113. Various methods for recognizing a person's face, such as a method for performing pattern matching of luminance signals, have been proposed in the past, and any of these methods may be used.

シーン判別部113は、彩度算出部111から出力されたブロック毎の彩度(Chroma)と、顔検出部114から出力された顔検出結果とに基づき、撮影したシーンがより彩度に重みを付すべき画像(鮮やかなシーン)であるか否かを判別する。以下、図3を参照しながらシーン判別部113の処理の流れについて説明する。   The scene determination unit 113 weights the captured scene more in saturation based on the saturation (Chroma) for each block output from the saturation calculation unit 111 and the face detection result output from the face detection unit 114. It is determined whether or not the image to be added (bright scene). Hereinafter, the processing flow of the scene determination unit 113 will be described with reference to FIG.

図3は、シーン判別部113による鮮やかなシーンの判別処理手順の一例を示すフローチャートである。
まず、図3のステップS301において、顔検出部114において顔が検出されたか否かをチェックする。このチェックの結果、顔が検出された場合はステップS302へ進み、顔が検出されていない場合はステップS307へ進む。
FIG. 3 is a flowchart illustrating an example of a vivid scene discrimination processing procedure by the scene discrimination unit 113.
First, in step S301 in FIG. 3, it is checked whether or not a face is detected by the face detection unit 114. As a result of this check, if a face is detected, the process proceeds to step S302, and if a face is not detected, the process proceeds to step S307.

そして、ステップS302においては、顔領域を除外した領域から平均彩度を算出する。この処理について図4を参照しながら説明する。図4(a)は、顔領域を含む撮影画像の一例を示す図である。図4(a)に示すように、顔を含んだ撮影画像の場合は、顔を含む顔領域を除外して平均彩度を算出する。ステップS302においては、図4(b)に示すような顔領域401を除外したブロックの平均彩度を算出する。   In step S302, the average saturation is calculated from the area excluding the face area. This process will be described with reference to FIG. FIG. 4A is a diagram illustrating an example of a captured image including a face area. As shown in FIG. 4A, in the case of a captured image including a face, the average saturation is calculated by excluding the face area including the face. In step S302, the average saturation of the block excluding the face area 401 as shown in FIG. 4B is calculated.

次に、ステップS303において、顔領域(例えば、図4(b)に示す顔領域401)を除外したブロックから所定の閾値以上の彩度であるブロックの数を算出する。そして、顔領域を除外した全ブロック数(図4の例では、52個のブロック)に対する所定の閾値以上の彩度であるブロック数の割合(高彩度ブロック割合)を算出する。そして、ステップS304において、過去の鮮やか判別結果を参照し、過去に鮮やかシーンと判別しているか否かをチェックする。シーン判別部113は、所定時間前(例えば2秒前など)の鮮やかなシーンであるか否かの判別結果を記憶しており、ステップS304では記憶している過去の判別結果に基づいて判別を行う。このチェックの結果、過去に鮮やかシーンと判別している場合はステップS305へ進み、過去に鮮やかシーンと判別していない場合はステップS306に進む。   Next, in step S303, the number of blocks having a saturation equal to or higher than a predetermined threshold is calculated from the blocks excluding the face area (for example, the face area 401 shown in FIG. 4B). Then, the ratio of the number of blocks having a saturation equal to or higher than a predetermined threshold to the total number of blocks excluding the face area (52 blocks in the example of FIG. 4) (high saturation block ratio) is calculated. In step S304, the past vivid discrimination result is referred to and it is checked whether or not the vivid scene has been discriminated in the past. The scene determination unit 113 stores a determination result as to whether or not the scene is a vivid scene before a predetermined time (for example, two seconds before). In step S304, the scene determination unit 113 performs determination based on the stored past determination result. Do. If the result of this check is that the scene has been determined to be a bright scene in the past, the process proceeds to step S305. If the scene has not been determined to be a bright scene in the past, the process proceeds to step S306.

ステップS305、S306においては、鮮やかなシーンであるか否かを判別するパラメータの1つである、ステップS303で算出した高彩度ブロック割合の閾値Atを決定する。   In steps S305 and S306, the threshold value At of the high saturation block ratio calculated in step S303, which is one of the parameters for determining whether or not the scene is vivid, is determined.

図5は、平均彩度及び高彩度ブロック割合に対する鮮やかなシーンの判別基準の一例を示す図である。
図5(a)に示すように、ステップS302で算出した平均彩度が平均彩度閾値Ctよりも高く、かつ、ステップS303で算出した高彩度ブロック割合が、閾値Atよりも大きい場合は、後述するステップS310において鮮やかなシーンであると判別する。ステップS305、S306ではこの閾値Atを決定する。
FIG. 5 is a diagram illustrating an example of a bright scene discrimination criterion with respect to the average saturation and the high saturation block ratio.
As shown in FIG. 5A, the case where the average saturation calculated in step S302 is higher than the average saturation threshold Ct and the high saturation block ratio calculated in step S303 is larger than the threshold At will be described later. In step S310, it is determined that the scene is vivid. In steps S305 and S306, this threshold value At is determined.

ステップS305においては、高彩度ブロック割合の閾値Atを基準値At(Base)よりも下げ、判別基準を緩和する。この様子を図5(b)に示す。このようにすることにより、過去に鮮やかと判別されている場合は、顔で鮮やかな被写体が隠れた場合でも鮮やかなシーンと判別しやすくする。これに対して、ステップS306においては、高彩度ブロック割合の閾値Atを基準値At(Base)よりも上げ、判別基準を厳格にする。すなわち、過去に鮮やかなシーンであると判別されている場合には、鮮やかなシーンであると判別されていない場合に比べて判別基準を緩和する。
この様子を図5(c)に示す。このようにすることにより、顔以外の領域に少量の鮮やかな被写体が入っただけで鮮やかなシーンと判別してしまうことを防ぐことができる。
In step S305, the threshold value At of the high saturation block ratio is lowered below the reference value At (Base), and the discrimination criterion is relaxed. This state is shown in FIG. In this way, when it is determined that the subject is vivid in the past, it is easy to discriminate it as a vivid scene even if a bright subject is hidden behind the face. On the other hand, in step S306, the threshold value At of the high saturation block ratio is raised above the reference value At (Base), and the discrimination criterion is made strict. That is, when it is determined that the scene is bright in the past, the determination criterion is relaxed compared to the case where it is not determined that the scene is bright.
This state is shown in FIG. By doing so, it is possible to prevent the scene from being determined to be a vivid scene when only a small amount of a vivid subject enters an area other than the face.

一方、ステップS301のチェックの結果、顔が検出されていない場合は、ステップS307において、全ブロック(8×8ブロック)の平均彩度を算出する。次に、ステップS308において、全ブロックから所定の閾値以上の彩度であるブロックの数を算出する。そして、全ブロック数(図4の例では、64個のブロック)に対する所定の閾値以上の彩度であるブロック数の割合(高彩度ブロック割合)を算出する。次に、ステップS309において、ステップS305、S306と同様に、鮮やかなシーンであるか否かを判別するパラメータの一つである高彩度ブロック割合の閾値Atを決定する。本ステップでは、顔が検出されていないため、図5(a)に示す基準値At(Base)を高彩度ブロック割合の閾値Atに設定する。   On the other hand, if no face is detected as a result of the check in step S301, the average saturation of all blocks (8 × 8 blocks) is calculated in step S307. Next, in step S308, the number of blocks having a saturation equal to or greater than a predetermined threshold is calculated from all blocks. Then, the ratio of the number of blocks having a saturation equal to or higher than a predetermined threshold to the total number of blocks (64 blocks in the example of FIG. 4) (high saturation block ratio) is calculated. Next, in step S309, as in steps S305 and S306, a threshold value At of the high saturation block ratio, which is one of the parameters for determining whether or not the scene is vivid, is determined. In this step, since no face is detected, the reference value At (Base) shown in FIG. 5A is set as the threshold value At of the high saturation block ratio.

そして、ステップS310においては、前述の通り、図5に示した鮮やかなシーンの判別基準に従って鮮やかなシーンか否かを判別する。すなわち、ステップS302(もしくはS307)で算出した平均彩度が平均彩度閾値Ctより高く、かつステップS303(もしくはS308)で算出した高彩度ブロック割合が、閾値Atよりも大きいときに鮮やかなシーンであると判別する。   In step S310, as described above, it is determined whether or not the scene is vivid according to the criteria for determining the bright scene shown in FIG. That is, the scene is vivid when the average saturation calculated in step S302 (or S307) is higher than the average saturation threshold Ct and the high saturation block ratio calculated in step S303 (or S308) is larger than the threshold At. Is determined.

以上の処理手順によりシーン判別部113で判別した鮮やかなシーンであるか否かの情報は、カメラ制御部112へ出力される。カメラ制御部112は、シーン判別部113において判別された鮮やかなシーンであるか否かの情報に基づいて、色差信号補正部108において用いるパラメータを制御する。   Information on whether or not the scene is a vivid scene determined by the scene determination unit 113 by the above processing procedure is output to the camera control unit 112. The camera control unit 112 controls parameters used in the color difference signal correction unit 108 based on information about whether or not the scene is a vivid scene determined by the scene determination unit 113.

本実施形態では、前述したようにカメラ制御部112が色差信号補正部108において用いる色差ゲインGを制御する。色差ゲインGとしてはG1、G2というパラメータがあり、G1>G2≧1という関係である。ここで、鮮やかなシーンと判別した場合は色差ゲインGをG1に設定し、鮮やかなシーンではないと判別した場合は色差ゲインGをG2に設定する。すなわち、鮮やかなシーンと判別した場合は、色差信号に対するゲインをより高くすることにより、より彩度を強調した画像に補正する。   In the present embodiment, as described above, the camera control unit 112 controls the color difference gain G used in the color difference signal correction unit 108. The color difference gain G includes parameters G1 and G2, and has a relationship of G1> G2 ≧ 1. If it is determined that the scene is bright, the color difference gain G is set to G1, and if it is determined that the scene is not bright, the color difference gain G is set to G2. That is, when it is determined that the scene is vivid, the image is corrected to an image with higher saturation by increasing the gain for the color difference signal.

以上、説明したように、本実施形態によれば、鮮やかなシーンか否かを判別し、その判別結果に応じて画像処理を制御する。具体的には、人物の顔を検出し、鮮やかであるか否かのシーン判別に対して、検出した顔の領域が与える影響を制限するような制御を行うようにした。これにより、入力された撮影画像に人物が入っているか否かに関わらず、鮮やかなシーンを適切に判別することができ、どのような鮮やかなシーンを含む画像に対してもより彩度を強調した画像処理を施すことができる。   As described above, according to the present embodiment, it is determined whether or not the scene is vivid, and image processing is controlled according to the determination result. Specifically, a human face is detected, and control is performed so as to limit the influence of the detected face area on scene determination as to whether the face is vivid or not. This makes it possible to properly discriminate vivid scenes regardless of whether or not a person is included in the input captured image, and enhance saturation even for images containing any vivid scene. Image processing can be performed.

なお、本実施形態では、人物の顔を検出する場合を例に説明したが、人物の顔に限定するものではない。例えば、動物や、植物などどのようなものを検出してもよい。また、本実施形態では、鮮やかなシーンであるか否かを判別するために、彩度の平均値などの情報を、顔領域を除外して算出する例について説明した。一方、鮮やかなシーンの判別に対して、顔領域の影響が少なくなるのであればどのような処理を行ってもよい。例えば、顔領域に相当するブロック(例えば、図4(b)に示す顔領域401)に対して重み付けをし、彩度の平均値を算出する際に顔領域の影響が少なくなるような制御を行ってもよい。   In the present embodiment, a case where a human face is detected has been described as an example, but the present invention is not limited to a human face. For example, any object such as an animal or a plant may be detected. Further, in the present embodiment, an example has been described in which information such as the average value of saturation is calculated by excluding the face area in order to determine whether or not the scene is vivid. On the other hand, any process may be performed as long as the influence of the face area is small for discrimination of a vivid scene. For example, a block corresponding to the face area (for example, the face area 401 shown in FIG. 4B) is weighted, and control is performed so that the influence of the face area is reduced when calculating the average value of saturation. You may go.

また、本実施形態では、高彩度ブロック割合の閾値を顔の検出結果に応じて変更したが、鮮やかなシーンを判別するためのパラメータであればどのようなパラメータを顔の検出によって制御してもよい。また、鮮やかなシーンを判別するためのパラメータを高彩度ブロック割合及び平均彩度の2つに限定するものではなく、人間の知覚に倣って鮮やかなシーンだと判別されるために設定された条件であれば、どのような条件やパラメータ、判別基準を用いてもよい。   In the present embodiment, the threshold value of the high saturation block ratio is changed according to the face detection result. However, any parameter for discriminating a vivid scene may be controlled by detecting the face. . In addition, the parameters for discriminating a vivid scene are not limited to the high chroma block ratio and the average chroma, but the conditions set for discriminating that the scene is vivid according to human perception. Any conditions, parameters, and discrimination criteria may be used.

また、本実施形態では、色差信号補正部108において用いる色差ゲインGを、鮮やかなシーンと鮮やかなシーンでない場合との2値で用意しているが、これに限らない。主被写体として人物が検出された場合、人物が検出されていない場合と同じように色差ゲインを設定し、彩度を強調すると、人物の肌色が不自然な色に見えてしまう場合がある。そこで、人物が検出された場合には、検出されていない場合に比べて彩度への重みを小さくし、鮮やかさを強調する補正の程度を抑えるようにしてもよい。すなわち、人物が検出されたときの色差ゲインGをG3とすると、G1>G3>G2の関係が成り立つように、G3を設定するとよい。   In the present embodiment, the color difference gain G used in the color difference signal correction unit 108 is prepared as binary values for a vivid scene and a non-vivid scene, but the present invention is not limited to this. When a person is detected as the main subject, if the color difference gain is set in the same way as when no person is detected and the saturation is emphasized, the skin color of the person may appear to be an unnatural color. Therefore, when a person is detected, the weight on saturation may be made smaller than when no person is detected, and the degree of correction that emphasizes vividness may be suppressed. That is, if the color difference gain G when a person is detected is G3, G3 may be set so that a relationship of G1> G3> G2 is established.

また、本実施形態では、鮮やかなシーンであると判別された画像データに対して彩度を上げ、鮮やかさを強調する処理について述べたが、これに限らず、鮮やかなシーンに対して逆に彩度を下げ、鮮やかさを抑えるような処理にも適用することができる。この場合、例えばG1<G2≦1のようにゲインを設定してやるとよい。上記のように人物が検出された場合の色差ゲインGをG3とするならば、当然G1<G3<G2である。   In the present embodiment, the processing for increasing the saturation and enhancing the vividness of the image data determined to be a vivid scene has been described. However, the present invention is not limited to this, and conversely for the vivid scene. It can also be applied to processing that reduces saturation and suppresses vividness. In this case, for example, the gain may be set such that G1 <G2 ≦ 1. If the color difference gain G when a person is detected as described above is G3, then naturally G1 <G3 <G2.

また、本実施形態では、鮮やかなシーンであるか否かの判別結果を基に設定された色差ゲインGを、画像データ全体に一律にかけているが、これに限らない。画像データ中の彩度の高いブロック(あるいは画素)に限定して、それ以外のブロックに比べて高い色差ゲインGをかけるなどしてもよい。   In the present embodiment, the color difference gain G set based on the determination result of whether or not the scene is vivid is uniformly applied to the entire image data. However, the present invention is not limited to this. It may be limited to blocks (or pixels) with high saturation in the image data, and a high color difference gain G may be applied compared to other blocks.

さらに、本実施形態では、数1に示した式により色差信号(R−Y,B−Y)から彩度(chroma)を算出したが、彩度の算出方法をこれに限定するものではない。例えば、L*a*b*空間などの他の空間に一度変換してからL*a*b*空間で彩度を算出してもよい。また、本実施形態では、信号分割部110により8×8ブロックに画像信号を分割する例について説明したが、どのような分割数であってもよい。   Furthermore, in the present embodiment, the saturation (chroma) is calculated from the color difference signals (R−Y, B−Y) by the equation shown in Equation 1, but the method for calculating the saturation is not limited thereto. For example, the saturation may be calculated in the L * a * b * space after being once converted into another space such as the L * a * b * space. In this embodiment, the example in which the image signal is divided into 8 × 8 blocks by the signal dividing unit 110 has been described, but any number of divisions may be used.

また、本実施形態では、鮮やかなシーンであるか否かについて2値で判別したが、鮮やか度合い等のように多値で算出してもよい。この場合、平均彩度が高いほど、また、高彩度ブロック割合が多いほど鮮やか度合いが高くなるようにする。   In the present embodiment, whether or not a scene is vivid is determined by binary, but may be calculated by multiple values such as the degree of vividness. In this case, the higher the average saturation and the higher the saturation block ratio, the higher the vividness.

図6は、鮮やか度と高彩度ブロック割合との関係の一例を示す図である。
図6において、601は顔が検出されていないときの基準特性である。一方、顔が検出されると、基準特性601を変化させる。例えば、602は、顔が検出され、過去に鮮やかと判別されていた場合の特性である。この場合は、図3のステップS305において、基準特性601よりも鮮やか度が高くなる特性602となる。これに対して、603は、顔が検出され、過去に鮮やかと判別されていない場合の特性である。この場合は、図3のステップS306において、基準特性601よりも鮮やか度が低くなる特性603となる。
FIG. 6 is a diagram illustrating an example of the relationship between the vividness and the high saturation block ratio.
In FIG. 6, reference numeral 601 denotes a reference characteristic when no face is detected. On the other hand, when a face is detected, the reference characteristic 601 is changed. For example, reference numeral 602 denotes a characteristic when a face is detected and determined to be vivid in the past. In this case, in step S305 in FIG. 3, the characteristic 602 becomes more vivid than the reference characteristic 601. On the other hand, reference numeral 603 denotes characteristics when a face is detected and has not been determined to be vivid in the past. In this case, in step S306 in FIG. 3, the characteristic 603 has a vividness lower than that of the reference characteristic 601.

以上のように制御することにより、鮮やかなシーンの判別結果を2値ではなく、多値(鮮やか度)で表現した場合でも、顔の有無により鮮やかの判別のしやすさを制御できるようになり、鮮やかなシーンをより適切に判別することができる。   By controlling as described above, even when the discrimination result of a vivid scene is expressed not in binary but in multiple values (vividness), it becomes possible to control the ease of discrimination of vividness depending on the presence or absence of a face. Thus, a vivid scene can be discriminated more appropriately.

さらに、画像中に顔が占める面積割合に応じて、鮮やかなシーンを判別するためのパラメータを制御してもよい。例えば、本実施形態では、顔検出した場合に、高彩度ブロック割合の閾値Atを過去の判別結果に応じて一律に決定するものとして説明したが、画像中に占める顔の割合に応じて閾値Atを動的に決定するようにしてもよい。これについて図7を参照しながら説明する。   Furthermore, parameters for discriminating vivid scenes may be controlled according to the area ratio of the face in the image. For example, in the present embodiment, when the face is detected, the threshold value At of the high saturation block ratio is uniformly determined according to the past determination result. However, the threshold value At is set according to the ratio of the face in the image. It may be determined dynamically. This will be described with reference to FIG.

図7(a)は、過去に鮮やかと判別されている場合の鮮やかなシーンを判別するための高彩度ブロック割合の閾値Atの一例を示す図である。
図7(a)において、At(min)は、基準値At(Base)の最大変動量(閾値の下限値)を示す。図7に示す例では、画像中における顔の占める割合に基づき、下限値At(min)と基準値At(Base)との間の値を最終的な鮮やかシーン判別の閾値Atとして決定する。
FIG. 7A is a diagram illustrating an example of the threshold value At of the high saturation block ratio for determining a vivid scene when it has been determined to be vivid in the past.
In FIG. 7A, At (min) indicates the maximum fluctuation amount (lower threshold value) of the reference value At (Base). In the example illustrated in FIG. 7, a value between the lower limit value At (min) and the reference value At (Base) is determined as a final bright scene determination threshold value At based on the ratio of the face in the image.

図7(b)は、画像中における顔の占める割合と鮮やかなシーンと判別する閾値Atとの関係の一例を示す図である。
図7(b)に示すように、例えば、画像中における顔の占める割合がFrの場合、最終的な高彩度ブロック割合の閾値AtはAt(Fr)に決定される。例えば、図8(a)に示すように画像中における顔の占める割合が小さい場合は、顔が検出されていても、鮮やかなシーンを判別する際に顔の影響度は低い。一方、図8(b)に示すように、画像中における顔の占める割合が大きい場合は、顔の検出結果によって鮮やかなシーンを判別する際に顔の影響度は高い。そこで、画像に対して顔が占める面積割合が高くなるほど、鮮やかなシーンを判別するための閾値Atを基準値At(Base)から大きく変更するようにしてもよい。
FIG. 7B is a diagram illustrating an example of the relationship between the ratio of the face in the image and the threshold value At for determining a vivid scene.
As shown in FIG. 7B, for example, when the ratio of the face in the image is Fr, the threshold value At of the final high saturation block ratio is determined to be At (Fr). For example, as shown in FIG. 8A, when the ratio of the face in the image is small, even when the face is detected, the influence degree of the face is low when determining a vivid scene. On the other hand, as shown in FIG. 8B, when the proportion of the face in the image is large, the influence degree of the face is high when determining a vivid scene based on the face detection result. Therefore, the threshold value At for determining a vivid scene may be largely changed from the reference value At (Base) as the area ratio of the face to the image increases.

また、本実施形態では、シーン判別部113によるシーン判別結果を、その判別に用いた画像データに対して反映させ出力しているが、発明としては特にこれに限定されるものではない。すなわち、あるフレーム(画像データ)に対する判別結果に応じた画像処理を、その次のフレーム以降に反映させることなども当然可能である。また、複数フレーム鮮やかなシーン判別結果が続いたときに初めてシーンを特定したり、複数フレーム中、鮮やかなシーンと判別された割合が高い場合にシーンを特定したりと、複数フレームの判別結果からシーンを特定することも考えられる。このとき、判別結果に応じた画像処理は、それら複数フレームや、以降のフレームに反映させることが考えられる。また、このとき、過去の判別結果として用いる判別結果は、判別対象のフレームの直前のフレームの判別結果でも良いし、直前までの複数フレームから得られる判別結果であってもよい。   In this embodiment, the scene discrimination result by the scene discrimination unit 113 is reflected and output on the image data used for the discrimination, but the invention is not particularly limited to this. That is, it is naturally possible to reflect the image processing corresponding to the determination result for a certain frame (image data) after the next frame. In addition, the scene is identified for the first time when a multi-frame vivid scene discrimination result continues, or the scene is identified when the ratio of vivid scenes is high in multiple frames. It is also possible to specify a scene. At this time, it is conceivable that the image processing according to the determination result is reflected in the plurality of frames and the subsequent frames. At this time, the discrimination result used as the past discrimination result may be a discrimination result of the frame immediately before the discrimination target frame or may be a discrimination result obtained from a plurality of frames up to immediately before.

具体的に想定される状況としては、静止画撮影が可能な撮像装置や画像データに画像処理を施すPCなどの情報処理装置において、撮影された画像データ(フレーム)に対して処理を行う状況がある。また、ライブビュー表示または動画撮影が可能な撮像装置や動画に画像処理を施すPCなどの情報処理装置において、複数フレームにまたがった上記のような処理が想定される。   The situation that is specifically assumed is a situation in which processing is performed on captured image data (frames) in an imaging apparatus capable of capturing a still image or an information processing apparatus such as a PC that performs image processing on image data. is there. In addition, in an information processing apparatus such as an imaging apparatus capable of live view display or moving image shooting or a PC that performs image processing on a moving image, the above-described processing over a plurality of frames is assumed.

また、本実施形態では、シーン判別部113によって出力された判別結果を用いて画像データに対して彩度の補正をかけているが、判別結果の利用法としてはこれに限らない。例えば、判別結果を不図示の表示手段に表示させ、ユーザに知らしめたり、画像データを保存する際に、判別結果に対応した情報をヘッダなどに付帯して、保存後に画像データの撮影されたシーンが特定できるようにしたりもできる。また、補正1つをとってみても、彩度以外を補正することで鮮やかさを強調するようにしてもよい。このような処理には例えば、輝度を上げる補正や輪郭の強調処理などが考えられる。   In this embodiment, the saturation correction is applied to the image data using the determination result output by the scene determination unit 113. However, the method of using the determination result is not limited to this. For example, when the determination result is displayed on a display means (not shown) to inform the user or save the image data, information corresponding to the determination result is attached to a header or the like, and the image data is captured after the storage. You can also specify the scene. Even if one correction is taken, the vividness may be enhanced by correcting other than the saturation. Such processing includes, for example, correction for increasing luminance and contour enhancement processing.

(第2の実施形態)
以下、図9〜図11を参照しながら、本発明の第2の実施形態に係る撮像装置について説明する。本実施形態では、顔が検出されたことにより隠れてしまった彩度などの評価値を、過去に検出した評価値で置き換えるようにしている。
(Second Embodiment)
Hereinafter, an imaging apparatus according to the second embodiment of the present invention will be described with reference to FIGS. 9 to 11. In the present embodiment, evaluation values such as saturation that are hidden by detecting a face are replaced with evaluation values detected in the past.

図9は、本実施形態に係る撮像装置900の構成例を示すブロック図である。なお、図9において、図1と同じ符号のものは同じブロックであるため説明を省略する。本実施例では、図1の構成に対して、評価値メモリ901、及び動き量検出部902をさらに備えている。   FIG. 9 is a block diagram illustrating a configuration example of the imaging apparatus 900 according to the present embodiment. In FIG. 9, the same reference numerals as those in FIG. In this embodiment, an evaluation value memory 901 and a motion amount detection unit 902 are further provided in the configuration of FIG.

次に、図9に示した撮像装置900の処理の流れについて説明する。画像を撮影し、エンコーダ109から画像信号を出力するまでの流れは第1の実施形態と同様である。また、シーン判別部113において鮮やかなシーンであるか否かを判別し、その結果に応じてカメラ制御部112が色差信号補正部108において用いるパラメータを制御する点も第1の実施形態と同様であるため、詳細な説明は省略する。以下、第1の実施形態と異なる点について説明する。   Next, a processing flow of the imaging apparatus 900 illustrated in FIG. 9 will be described. The flow from capturing an image to outputting an image signal from the encoder 109 is the same as in the first embodiment. Further, the scene determination unit 113 determines whether or not the scene is a vivid scene, and the camera control unit 112 controls parameters used in the color difference signal correction unit 108 according to the result, as in the first embodiment. Therefore, detailed description is omitted. Hereinafter, differences from the first embodiment will be described.

信号分割部110は第1の実施形態と同様に、ブロック毎の輝度信号(Y)、色差信号(R−Y,B−Y)の平均値を算出し、評価値として彩度算出部111に出力する。彩度算出部111は、第1の実施形態と同様に色差信号(R−Y,B−Y)からブロック毎の彩度(Chroma)を算出し、算出した彩度(Chroma)の情報を評価値メモリ901、及びシーン判別部113に出力する。   Similarly to the first embodiment, the signal dividing unit 110 calculates an average value of the luminance signal (Y) and the color difference signals (RY, BY) for each block, and sends the average value to the saturation calculating unit 111 as an evaluation value. Output. Similar to the first embodiment, the saturation calculation unit 111 calculates the saturation (Chroma) for each block from the color difference signals (RY, BY), and evaluates information on the calculated saturation (Chroma). The value is output to the value memory 901 and the scene determination unit 113.

評価値メモリ901は記憶手段として機能し、過去のものを含めて彩度算出部111から出力された全ブロックの彩度(Chroma)の情報を記憶する。ここで、評価値メモリ901に彩度の情報を記憶する処理は、所定時間の間隔で行われるものとする。ただし、顔検出部114において顔が検出されている場合は彩度の情報を記憶しないようにする。動き量検出部902は、レンズ101のズームや防振情報から動き量を算出、算出した動き量の情報をシーン判別部113に出力する。   The evaluation value memory 901 functions as a storage unit, and stores information on chroma (Chroma) of all blocks output from the chroma calculation unit 111 including past ones. Here, the process of storing the saturation information in the evaluation value memory 901 is performed at predetermined time intervals. However, saturation information is not stored when a face is detected by the face detection unit 114. The motion amount detection unit 902 calculates a motion amount from the zoom and anti-shake information of the lens 101 and outputs information on the calculated motion amount to the scene determination unit 113.

シーン判別部113は、彩度算出部111において算出された彩度の情報、評価値メモリ901に記憶された彩度の情報、顔検出部114による顔検出結果、及び動き量検出部902から出力された動き量の情報に基づき鮮やかなシーンであるか否かを判別する。   The scene determination unit 113 outputs the saturation information calculated by the saturation calculation unit 111, the saturation information stored in the evaluation value memory 901, the face detection result by the face detection unit 114, and the motion amount detection unit 902. It is determined whether or not the scene is vivid based on the information on the amount of movement.

以下、図10を参照しながらシーン判別部113による処理の流れについて説明する。
図10は、シーン判別部113による鮮やかなシーンの判別処理手順の一例を示すフローチャートである。なお、図10において、図3と同符号の処理は、第1の実施形態で説明したものと同様のため、説明を省略する。
Hereinafter, the flow of processing by the scene determination unit 113 will be described with reference to FIG.
FIG. 10 is a flowchart illustrating an example of a vivid scene discrimination processing procedure by the scene discrimination unit 113. In FIG. 10, the processes with the same reference numerals as those in FIG. 3 are the same as those described in the first embodiment, and thus the description thereof is omitted.

ステップS1001においては、動き量検出部902から出力される動き量の情報に基づいて、画像全体として動いているか否かを判別する。すなわち、動き量検出部902から出力される動き量が所定値以上であるか否かを判別する。この判別の結果、動き量が所定値以上であり、画像全体で動いている場合は、ステップS302へ進む。なお、ステップS302以降の処理は第1の実施形態と同様である。   In step S <b> 1001, it is determined whether the image as a whole is moving based on the movement amount information output from the movement amount detection unit 902. That is, it is determined whether or not the motion amount output from the motion amount detection unit 902 is greater than or equal to a predetermined value. If the result of this determination is that the amount of movement is greater than or equal to a predetermined value and the entire image is moving, the process proceeds to step S302. Note that the processing after step S302 is the same as in the first embodiment.

一方、ステップS1001の判別の結果、動き量が所定値よりも小さく、画像全体で動いていない場合はステップS1002に進む。そして、ステップS1002において、検出された顔領域の彩度を、評価値メモリ901に記憶されている彩度に置き換える。この処理ついて、図11を参照しながら説明する。   On the other hand, if the result of determination in step S1001 is that the amount of motion is smaller than the predetermined value and the entire image is not moving, the process proceeds to step S1002. In step S1002, the saturation of the detected face area is replaced with the saturation stored in the evaluation value memory 901. This process will be described with reference to FIG.

図11(a)は、顔を含まない撮影画像を示している。前述したように顔を含まない場合の過去の彩度の情報は評価値メモリ901に記憶されている。図11(b)は、図11(a)に示す撮影画像の、評価値メモリ901に記憶されている彩度の分布を示す図である。図11(b)においては、各ブロックにおいて暗い色で表示したブロックほど彩度が高いことを示している。図11(c)は、図11(a)のシーン(撮影画像)に対して人物の顔が入ったシーンの一例を示す図である。図11(d)は、図11(c)に示すシーンの顔領域1101を示している。   FIG. 11A shows a captured image that does not include a face. As described above, past saturation information when no face is included is stored in the evaluation value memory 901. FIG. 11B is a diagram illustrating the saturation distribution stored in the evaluation value memory 901 of the photographed image illustrated in FIG. FIG. 11B shows that the blocks displayed in darker colors in each block have higher saturation. FIG. 11C is a diagram illustrating an example of a scene in which a human face is included in the scene (captured image) in FIG. FIG. 11D shows the face area 1101 of the scene shown in FIG.

ステップS1002においては、例えば、この顔領域1101に含まれるブロックの彩度を、図11(b)に示す評価値メモリ901に記憶された顔領域に対応する彩度1102に置き換える。ステップS1002において顔領域の評価値を置き換えることにより顔の影響をなくすことができる。したがって、以下の処理では顔がない場合と同様に扱うことができるため、ステップS307に進む。ステップS307以降の処理は第1の実施形態で説明した処理と同様のため説明は省略する。   In step S1002, for example, the saturation of the block included in the face area 1101 is replaced with the saturation 1102 corresponding to the face area stored in the evaluation value memory 901 shown in FIG. By replacing the evaluation value of the face area in step S1002, the influence of the face can be eliminated. Accordingly, the following processing can be handled in the same way as when there is no face, and thus the process proceeds to step S307. Since the processing after step S307 is the same as the processing described in the first embodiment, the description thereof is omitted.

以上のように本実施形態によれば、顔を検出した場合に、顔領域の評価値を過去の顔が検出されていない場合の評価値に置き換えるようにした。このように評価値を置き換えることにより、人物の顔で背景の被写体が隠れてしまった場合でも鮮やかなシーンであるかどうかを適切に判別することができる。これにより、どのような鮮やかなシーンを含む画像に対してもより彩度を強調した画像処理を施すことができる。   As described above, according to the present embodiment, when a face is detected, the evaluation value of the face area is replaced with the evaluation value when a past face is not detected. By replacing the evaluation value in this way, it is possible to appropriately determine whether or not the scene is vivid even when the background subject is hidden behind the person's face. As a result, image processing with higher saturation can be applied to an image including any vivid scene.

なお、本実施形態では、顔領域の評価値を過去の顔がないときの評価値に置き換える例について説明したが、動き量に応じた比率で2つの評価値を混合するようにしてもよい。また、本実施形態では、評価値として彩度を例に説明したが、顔が入った場合に置き換える評価値は、鮮やかなシーンを判別するために用いる評価値であればどのようなパラメータであってもよい。さらに、本実施形態では、動き量検出部902は、レンズ101など光学系の情報に基づいて動き量を算出したが、動き量を算出できるのであればどのように算出してもよい。例えば、光学系の情報以外に、画像信号を用いて動き量を算出してもよい。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   In this embodiment, the example in which the evaluation value of the face area is replaced with the evaluation value when there is no past face has been described, but the two evaluation values may be mixed at a ratio according to the amount of motion. In this embodiment, the saturation value is described as an example of the evaluation value. However, the evaluation value to be replaced when a face enters is any parameter as long as it is an evaluation value used for distinguishing a vivid scene. May be. Further, in the present embodiment, the motion amount detection unit 902 calculates the motion amount based on information of the optical system such as the lens 101, but may be calculated in any manner as long as the motion amount can be calculated. For example, the amount of motion may be calculated using an image signal in addition to the information of the optical system. As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.

(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

108 色差信号補正部、111 彩度算出部、112 カメラ制御部、113 シーン判別部、114 顔検出部 108 color difference signal correction unit, 111 saturation calculation unit, 112 camera control unit, 113 scene discrimination unit, 114 face detection unit

Claims (18)

入力された画像信号から評価値を算出する算出手段と、
前記入力された画像信号の被写体の領域を検出する検出手段と、
前記評価値に基づいて、前記入力された画像信号が判別条件を満たすものであるか否かを判別する判別手段と、
前記判別手段による判別結果を出力する出力手段と、を備え、
前記判別手段は、前記検出手段によって検出される被写体の領域以外の領域の評価値に基づいて前記判別を行い、前記検出手段により検出される被写体の領域の画像全体に占める割合が大きいほど、前記判別条件を緩和することを特徴とする画像処理装置。
A calculating means for calculating an input image signal or al Review value,
Detecting means for detecting a region of a subject of the input image signal;
A determining means on the basis of the evaluation value, the input image signal is discriminated whether or not determine another condition is satisfied,
Output means for outputting a discrimination result by the discrimination means,
Said discriminating means, have rows the determination based on the evaluation value of the region other than the region of the subject detected by said detecting means, the greater the percentage of the total image area of the subject detected by the detecting means, An image processing apparatus that relaxes the determination condition .
入力された画像信号から評価値を算出する算出手段と、
前記入力された画像信号の被写体の領域を検出する検出手段と、
前記評価値に基づいて、前記入力された画像信号が判別条件を満たすものであるか否かを判別する判別手段と、
前記判別手段による判別結果を出力する出力手段と、を備え、
前記算出手段は、前記検出手段によって検出される被写体の領域の評価値に、当該被写体の領域以外の領域の評価値に比べて小さい重みをつけ、
前記判別手段は、前記重みを付けられた評価値に基づいて前記判別を行い、前記検出手段により検出される被写体の領域の画像全体に占める割合が大きいほど、前記判別条件を緩和することを特徴とする画像処理装置。
A calculating means for calculating an input image signal or al Review value,
Detecting means for detecting a region of a subject of the input image signal;
A determining means on the basis of the evaluation value, the input image signal is discriminated whether or not determine another condition is satisfied,
Output means for outputting a discrimination result by the discrimination means,
The calculation means assigns a smaller weight to the evaluation value of the area of the subject detected by the detection means than the evaluation value of the area other than the area of the subject,
Said discriminating means, have rows the determination based on the evaluation values labeled the weight, the greater the percentage of the total image area of the subject detected by the detecting means, to mitigate the discrimination condition A featured image processing apparatus.
入力された画像信号から評価値を算出する算出手段と、
前記入力された画像信号の被写体の領域を検出する検出手段と、
前記評価値に基づいて、前記入力された画像信号が判別条件を満たすものであるか否かを判別する判別手段と、を備え、
前記判別手段は、前記検出手段によって検出される被写体の領域の影響が少なくなるように重みづけされた評価値に基づいて前記判別を行い、前記検出手段により検出される被写体の領域の画像全体に占める割合が大きいほど、前記判別条件を緩和することを特徴とする画像処理装置。
A calculating means for calculating an input image signal or al Review value,
Detecting means for detecting a region of a subject of the input image signal;
Based on the evaluation value, and a determination means for the input image signal is discriminated whether or not determine another condition is satisfied,
Said determining means, said had row the determination based on the evaluation value that is weighted so is less affected areas of the subject detected by the detecting means, the entire image area of the subject detected by the detecting means The image processing apparatus is characterized in that the determination condition is relaxed as the proportion of the image becomes larger .
前記判別手段による判別結果に基づいて入力された画像信号を補正する補正手段を備えることを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, further comprising a correction unit that corrects an input image signal based on a determination result obtained by the determination unit. 前記補正手段は、前記判別手段によって前記入力された画像信号が前記判別条件を満たすものであると判別される場合、入力された画像信号の彩度を補正することを特徴とする請求項4に記載の画像処理装置。   The correction unit corrects the saturation of the input image signal when the determination unit determines that the input image signal satisfies the determination condition. The image processing apparatus described. 前記補正手段は、前記判別手段によって前記入力された画像信号が前記判別条件を満たすものであると判別される場合、入力された画像信号の輝度を上げる補正または輪郭を強調する補正を行うことを特徴とする請求項4に記載の画像処理装置。   The correction means performs correction for increasing the luminance of the input image signal or correction for enhancing the contour when the determination means determines that the input image signal satisfies the determination condition. The image processing apparatus according to claim 4. 前記判別手段による判別結果を表示手段に表示する表示制御手段を備えることを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。   5. The image processing apparatus according to claim 1, further comprising a display control unit configured to display a determination result obtained by the determination unit on a display unit. 前記判別手段は、前記検出手段による被写体の検出結果に応じて、判別する基準を変更することを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the determination unit changes a determination reference according to a detection result of the subject by the detection unit. 前記判別手段は、過去の判別結果に応じて、前記判別条件を変更することを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the determination unit changes the determination condition according to a past determination result. 前記判別手段は、過去の判別で前記判別条件を満たすものであると判別している場合は、前記判別条件を満たすものであると判別していない場合に比べて、前記判別条件を緩和することを特徴とする請求項9に記載の画像処理装置。   When the determination means determines that the determination condition is satisfied in the past determination, the determination means relaxes the determination condition compared to the case where the determination means does not determine that the determination condition is satisfied. The image processing apparatus according to claim 9. 前記評価値は少なくとも彩度の情報を含み、前記判別条件は彩度に関する条件であることを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the evaluation value includes at least saturation information, and the determination condition is a condition related to saturation. 前記算出手段によって算出された過去の評価値を記憶する記憶手段をさらに備え、
前記判別手段は、前記検出手段によって検出される被写体の領域の評価値を、前記記憶手段に記憶されている評価値に置き換えて前記判別を行うことを特徴とする請求項1乃至11の何れか1項に記載の画像処理装置。
Storage means for storing past evaluation values calculated by the calculation means;
12. The determination unit according to claim 1, wherein the determination unit performs the determination by replacing an evaluation value of a subject area detected by the detection unit with an evaluation value stored in the storage unit. The image processing apparatus according to item 1.
前記入力された画像の動き量を検出する動き量検出手段をさらに備え、
前記判別手段は、前記動き量検出手段により検出された動き量が所定値よりも小さい場合に前記記憶手段に記憶されている評価値に置き換えて前記判別を行うことを特徴とする請求項12に記載の画像処理装置。
A motion amount detecting means for detecting a motion amount of the input image;
13. The determination unit according to claim 12, wherein when the amount of motion detected by the motion amount detection unit is smaller than a predetermined value, the determination unit replaces the evaluation value stored in the storage unit with the evaluation value. The image processing apparatus described.
前記被写体は人物であることを特徴とする請求項1乃至13の何れか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the subject is a person. 算出手段が、入力された画像信号から評価値を算出する算出ステップと、
検出手段が、前記入力された画像信号の被写体の領域を検出する検出ステップと、
判別手段が、前記評価値に基づいて、前記入力された画像信号が判別条件を満たすものであるか否かを判別する判別ステップと、
前記判別ステップによる判別結果を出力する出力ステップと、を備え、
前記判別ステップは、前記検出手段によって検出される被写体の領域以外の領域の評価値に基づいて前記判別を行い、前記検出ステップにより検出される被写体の領域の画像全体に占める割合が大きいほど、前記判別条件を緩和することを特徴とする画像処理装置の制御方法。
Calculating means, a calculating step of calculating an image signal or al Review value input,
A detecting step for detecting a region of a subject of the input image signal;
Determining means, a determining step on the basis of the evaluation value, the input image signal is discriminated whether or not determine another condition is satisfied,
An output step for outputting a determination result obtained by the determination step;
The determination step may have rows the determination based on the evaluation value of the region other than the region of the subject detected by said detecting means, the greater the percentage of the total image area of the subject detected by the detecting step, A control method for an image processing apparatus, wherein the discrimination condition is relaxed .
算出手段が、入力された画像信号から評価値を算出する算出ステップと、
検出手段が、前記入力された画像信号の被写体の領域を検出する検出ステップと、
判別手段が、前記評価値に基づいて、前記入力された画像信号が判別条件を満たすものであるか否かを判別する判別ステップと、
前記判別ステップによる判別結果を出力する出力ステップと、を備え、
前記判別ステップは、前記検出手段によって検出される被写体の領域の評価値に、当該被写体の領域以外の領域の評価値に比べて小さい重みをつけ、
前記判別ステップでは、前記重みを付けられた評価値に基づいて前記判別を行い、前記検出ステップにより検出される被写体の領域の画像全体に占める割合が大きいほど、前記判別条件を緩和することを特徴とする画像処理装置の制御方法。
Calculating means, a calculating step of calculating an image signal or al Review value input,
A detecting step for detecting a region of a subject of the input image signal;
Determining means, a determining step on the basis of the evaluation value, the input image signal is discriminated whether or not determine another condition is satisfied,
An output step for outputting a determination result obtained by the determination step;
The determination step assigns a smaller weight to the evaluation value of the area of the subject detected by the detection means than the evaluation value of the area other than the area of the subject,
Wherein in the determination step, the weight had row the determination based on the evaluation values labeled, as percentage of total image area of the subject detected by the detecting step is larger, to mitigate the discrimination condition A control method for an image processing apparatus.
請求項15又は16に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。 A program for causing a computer to execute each step of the control method of the image processing apparatus according to claim 15 or 16 . 請求項15又は16に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。 A computer-readable storage medium storing a program for causing a computer to execute each step of the control method for an image processing apparatus according to claim 15 or 16 .
JP2012048169A 2012-03-05 2012-03-05 Image processing apparatus, image processing apparatus control method, program, and storage medium Active JP5398860B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012048169A JP5398860B2 (en) 2012-03-05 2012-03-05 Image processing apparatus, image processing apparatus control method, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012048169A JP5398860B2 (en) 2012-03-05 2012-03-05 Image processing apparatus, image processing apparatus control method, program, and storage medium

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009295511A Division JP4948591B2 (en) 2009-12-25 2009-12-25 Image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2012142980A JP2012142980A (en) 2012-07-26
JP5398860B2 true JP5398860B2 (en) 2014-01-29

Family

ID=46678725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012048169A Active JP5398860B2 (en) 2012-03-05 2012-03-05 Image processing apparatus, image processing apparatus control method, program, and storage medium

Country Status (1)

Country Link
JP (1) JP5398860B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689014B (en) * 2019-10-14 2022-02-11 腾讯科技(深圳)有限公司 Method and device for detecting region of interest, electronic equipment and readable storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3034542B2 (en) * 1990-01-17 2000-04-17 株式会社日立製作所 White balance control device
JP4189328B2 (en) * 2004-01-16 2008-12-03 セイコーエプソン株式会社 Image processing apparatus, image display apparatus, image processing method, and image processing program
JP4680639B2 (en) * 2005-03-16 2011-05-11 富士フイルム株式会社 Image processing apparatus and processing method thereof
JP5166860B2 (en) * 2007-12-28 2013-03-21 キヤノン株式会社 Image processing apparatus and method, and imaging apparatus

Also Published As

Publication number Publication date
JP2012142980A (en) 2012-07-26

Similar Documents

Publication Publication Date Title
JP4958969B2 (en) Image processing method, image processing apparatus, and imaging apparatus
JP4948591B2 (en) Image processing apparatus, image processing method, and program
JP6218389B2 (en) Image processing apparatus and image processing method
JP2009159496A (en) White balance control device, imaging apparatus using the same, and white balance control method
CN105960658B (en) Image processing apparatus, image capturing apparatus, image processing method, and non-transitory storage medium that can be processed by computer
JP5814799B2 (en) Image processing apparatus and image processing method
JP2015032966A (en) Image processing apparatus, imaging apparatus, control method, and program
JP6702752B2 (en) Image processing device, imaging device, control method, and program
US8743236B2 (en) Image processing method, image processing apparatus, and imaging apparatus
JP6677222B2 (en) Detection device, image processing device, detection method, and image processing method
JP6080531B2 (en) Image processing apparatus, image processing method, program, and storage medium
JP6060498B2 (en) Correction device
JP2015192338A (en) Image processing device and image processing program
JP5706705B2 (en) Image processing apparatus, control method therefor, and imaging apparatus
JP2021153229A (en) Information processing apparatus, imaging apparatus, method, program, and storage medium
JP5398860B2 (en) Image processing apparatus, image processing apparatus control method, program, and storage medium
JP5693647B2 (en) Image processing method, image processing apparatus, and imaging apparatus
JP2007312099A (en) Image-taking device
JP5264695B2 (en) Image processing method, image processing apparatus, and imaging apparatus
JP5539428B2 (en) Image processing method, image processing apparatus, and imaging apparatus
JP2018196069A (en) Imaging apparatus
JP5367140B2 (en) White balance control device, imaging device using the same, and white balance control method
JP2011223129A (en) Electronic camera
JP2016170626A (en) Image processor, image processing method, and image processing program
JP2010021915A (en) Digital camera

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131022

R151 Written notification of patent or utility model registration

Ref document number: 5398860

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151