JP6679333B2 - Image processing apparatus, image processing method, and program - Google Patents

Image processing apparatus, image processing method, and program Download PDF

Info

Publication number
JP6679333B2
JP6679333B2 JP2016020906A JP2016020906A JP6679333B2 JP 6679333 B2 JP6679333 B2 JP 6679333B2 JP 2016020906 A JP2016020906 A JP 2016020906A JP 2016020906 A JP2016020906 A JP 2016020906A JP 6679333 B2 JP6679333 B2 JP 6679333B2
Authority
JP
Japan
Prior art keywords
image
evaluation
area
unit
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016020906A
Other languages
Japanese (ja)
Other versions
JP2017139702A5 (en
JP2017139702A (en
Inventor
康嘉 宮▲崎▼
康嘉 宮▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016020906A priority Critical patent/JP6679333B2/en
Publication of JP2017139702A publication Critical patent/JP2017139702A/en
Publication of JP2017139702A5 publication Critical patent/JP2017139702A5/ja
Application granted granted Critical
Publication of JP6679333B2 publication Critical patent/JP6679333B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像を評価する画像処理装置、画像処理方法、およびプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program for evaluating an image.

従来、静止画や動画を記録媒体に記録するとともに、記録媒体に記録された静止画や動画を再生することができるデジタルカメラが知られている。このようなデジタルカメラにおいて、記録媒体に沢山の静止画や動画が記録されている場合、全てを閲覧するには時間がかかってしまう。一方、特許文献1には、例えば動画の中から重要なシーンだけを抽出(選抜)して、ダイジェスト再生する技術が開示されている。特許文献1では、サッカーなどの試合の動画の中で、音声パワーが所定のパワーを越えるようなシーンを重要なシーンとして検出し、そのシーンに含まれる画像をダイジェストとして再生する。ただし、特許文献1のように、音声レベルだけに基づいてシーンを抽出すると、似たようなシーンばかりが抽出されてしまうことになり易い。特許文献1の技術の場合、例えば、ゴールシーンなどのように観客が盛り上がったシーンの画像ばかりが選抜されることになり、例えばゴールシーンに至るまでの経緯が分かるような画像が選抜されることは少ない。このため、例えばゴールシーンのような似たシーンの画像ばかり連続するようなダイジェスト再生がなされてしまうことになり易い。   2. Description of the Related Art Conventionally, there is known a digital camera capable of recording a still image or a moving image on a recording medium and reproducing the still image or the moving image recorded on the recording medium. In such a digital camera, when a large number of still images and moving images are recorded on the recording medium, it takes time to browse all of them. On the other hand, Patent Document 1 discloses a technique of extracting (selecting) only important scenes from a moving image and reproducing the digest. In Patent Document 1, a scene in which a sound power exceeds a predetermined power is detected as an important scene in a moving image of a game such as soccer, and an image included in the scene is reproduced as a digest. However, when the scenes are extracted based on only the audio level as in Patent Document 1, only similar scenes are likely to be extracted. In the case of the technique of Patent Document 1, for example, only images of scenes in which the audience is excited, such as a goal scene, are selected, and for example, an image in which the process leading to the goal scene is understood is selected. Is few. Therefore, it is easy to perform digest reproduction in which only images of similar scenes such as a goal scene are continuous.

特開2007−267351号公報JP, 2007-267351, A

ところで、サッカーの試合などでは、例えばゴールシーンに至るまでの選手を、いわゆる「流し撮り」といった特殊な撮影方法で撮影する場合も多い。流し撮りとは、移動している主被写体の移動方向と移動速度にカメラを追従させるようにして撮影する方法である。ゴールシーンに至るまでの選手を流し撮りした画像の中から、ダイジェスト再生用の画像を選抜できれば、どのような経緯でゴールシーンに至ったかを判り易く見せることができると考えられる。一方、流し撮りでは、主被写体の移動に追従させてカメラを振るようにして撮影が行われるため、良好な画質の画像を得ることが難しいという面もある。流し撮り画像において良好な画質の画像は、主被写体等の一部の画像領域のぶれは少ない一方で、それ以外の背景等の画像領域は大きく流れた(大きくぶれた)画像であると考えられる。前述した特許文献1の技術を用い、流し撮りした画像の中からダイジェスト再生用の画像を選抜することも可能ではあるが、この場合の画像は、音声レベルのみに基づいて選抜される画像であるため、それが良好な画質の流し撮り画像であるとは限らない。   By the way, in a soccer game or the like, for example, a player who reaches a goal scene is often photographed by a special photographing method such as so-called “follow shot”. The follow shot is a method in which the camera is made to follow the moving direction and moving speed of the moving main subject. If it is possible to select an image for digest playback from among the images taken of the players up to the goal scene, it may be possible to make it easier to see how the goal scene was reached. On the other hand, in the follow shot, since the shooting is performed by moving the camera while following the movement of the main subject, it is difficult to obtain an image of good quality. An image of good quality in a follow shot image is considered to be an image in which some image areas such as the main subject have little blurring, while other image areas such as the background have largely flown (large blur). . It is also possible to select an image for digest reproduction from the panned images by using the technique of Patent Document 1 described above, but the image in this case is an image selected based on only the audio level. Therefore, it is not always a follow shot image with good image quality.

本発明はこのような問題点に鑑みてなされたものであり流し撮り撮影による良好な画質の画像を適切に評価可能とする画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。 The present invention has been made in view of such problems, an image processing apparatus that enables appropriately evaluate the image of good image quality by panning shot, and aims to provide an image processing method, and program To do.

本発明の画像処理装置は、撮影により得られた画像の一部の画像領域を第1の評価領域とし、前記第1の評価領域のぶれ度合いと、前記第1の評価領域と異なる領域である第2の評価領域のぶれ度合いとを特定する特定手段と、前記第1の評価領域および第2の評価領域のぶれ度合いに基づいて、前記画像の流し撮り画像としての評価を行う評価手段と、を有し、前記評価手段は、第1のシーンを撮影した画像を評価する場合、前記第1のシーンよりも明るい第2のシーンを撮影した画像を評価する場合よりも、前記画像の流し撮り画像としての評価が高くなりやすくなるよう評価を行うことを特徴とする。 In the image processing apparatus of the present invention, a partial image area of an image obtained by photographing is set as a first evaluation area, and a blur degree of the first evaluation area and an area different from the first evaluation area. Specifying means for specifying the blurring degree of the second evaluation area, and evaluation means for evaluating the image as a follow shot image based on the blurring degrees of the first evaluation area and the second evaluation area, have a, the evaluation unit when evaluating the images obtained by photographing the first scene, than when evaluating the images obtained by photographing the second scene brighter than the first scene, panning of the image The feature is that evaluation is performed so that the evaluation as an image tends to be high .

本発明によれば流し撮りによる良好な画質の画像を適切に評価することが可能となる。 According to the present invention, it is possible to appropriately evaluate an image of good quality obtained by panning.

実施形態のデジタルカメラの概略構成を示す図である。It is a figure which shows schematic structure of the digital camera of embodiment. 本実施形態のデジタルカメラの処理フローチャートである。It is a processing flowchart of the digital camera of this embodiment. 顔の画像評価値の算出例の説明に用いる図である。It is a figure used for description of the example of calculation of the image evaluation value of a face. ジャイロセンサによる回転方向と各速度変動量の説明に用いる図である。It is a figure used for explanation of the rotation direction and each speed fluctuation amount by a gyro sensor. コントラスト値の算出例の説明に用いる図である。It is a figure used for description of the example of calculation of a contrast value. ぶれ度合い評価値の算出例の説明に用いる図である。It is a figure used for description of the example of calculation of a blurring degree evaluation value. 流し撮り画像に対するぶれ度合い評価の説明に用いる図である。FIG. 6 is a diagram used for explaining blurring degree evaluation for a follow shot image. 領域毎の評価値算出例の説明に用いる図である。It is a figure used for description of the example of evaluation value calculation for every field. 第1の評価領域に対する評価値算出例の説明に用いる図である。It is a figure used for explaining the example of evaluation value calculation to the 1st evaluation field. 第2の評価領域に対する評価値算出例の説明に用いる図である。It is a figure used for description of the example of evaluation value calculation to the 2nd evaluation field. 被写体の種別、明るさによる閾値変更例の説明に用いる図である。FIG. 6 is a diagram used for explaining an example of changing a threshold value depending on the type of subject and brightness. 被写体種別による第1の評価領域の形状変更例の説明に用いる図である。It is a figure used for description of the example of shape change of the 1st evaluation field according to subject classification. 動きベクトル評価値算出例の説明に用いる図である。It is a figure used for description of a motion vector evaluation value calculation example. クラスタリングと正規化の説明に用いる図である。It is a figure used for explanation of clustering and normalization.

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図1は、本実施形態に係る画像処理装置の一適用例であるデジタルカメラの概略構成を示す図である。
図1において、操作部101は、デジタルカメラの電源スイッチ、操作者(以下、「ユーザ」と表記する。)がデジタルカメラに対して各種の指示を入力する際に操作するスイッチやボタンなどにより構成されている。操作部101としては、例えばシャッタースイッチ、録画ボタン、再生ボタン、メニューボタンの他に、タッチセンサも含まれる。タッチセンサは、例えば表示部107により画像等が表示される表示デバイスの画面上に配され、ユーザがタッチすることによる操作指示入力を取得可能なものである。また、シャッタースイッチは、いわゆる半押し状態に対応した半押し信号SW1と、いわゆる全押し状態に対応した全押し信号SW2とを出力可能なスイッチとなされている。録画ボタンは、動画撮影を開始する際に用いられるボタンである。なお、録画ボタンの他、シャッタースイッチが全押しされている間、動画の撮影が行われてもよい。メニューボタンが操作された場合には、デジタルカメラにおいて各種メニューの設定が可能になる。メニューの中には、静止画撮影モードと動画撮影モードの切り替え設定メニュー、フラッシュ発光モードと非発光モードの切り替え設定メニュー、例えば日中モードや室内モード、夜景モードなどの撮影モード設定メニュー等がある。また、本実施形態のデジタルカメラは、後述するダイジェスト再生を行うダイジェスト再生モードへの設定メニュー等も有している。ダイジェスト再生モードでは、後述するスライドショー再生を行うスライドショー再生モードへの設定メニューも用意されている。制御部102は、デジタルカメラの各部の動作を制御するものであり、例えば操作部101からの指示に応じて各部を制御する。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a diagram showing a schematic configuration of a digital camera which is an application example of the image processing apparatus according to the present embodiment.
In FIG. 1, an operation unit 101 includes a power switch of a digital camera, switches and buttons operated by an operator (hereinafter referred to as “user”) when inputting various instructions to the digital camera. Has been done. The operation unit 101 includes, for example, a shutter sensor, a recording button, a reproduction button, a menu button, and a touch sensor. The touch sensor is arranged on the screen of a display device on which an image or the like is displayed by the display unit 107, for example, and can acquire an operation instruction input by a user touching. Further, the shutter switch is a switch capable of outputting a half-press signal SW1 corresponding to a so-called half-press state and a full-press signal SW2 corresponding to a so-called full-press state. The record button is a button used when starting moving image shooting. In addition to the recording button, a moving image may be taken while the shutter switch is fully pressed. When the menu button is operated, various menus can be set in the digital camera. The menu includes a setting menu for switching between still image shooting mode and moving image shooting mode, a setting menu for switching between flash emission mode and non-flash mode, for example, a shooting mode setting menu for daytime mode, indoor mode, night view mode, etc. . The digital camera according to the present embodiment also has a digest reproduction mode setting menu for performing digest reproduction, which will be described later. In the digest reproduction mode, a slide show reproduction mode setting menu for performing slide show reproduction described later is also prepared. The control unit 102 controls the operation of each unit of the digital camera, and controls each unit according to an instruction from the operation unit 101, for example.

レンズ108aは、センサ部103の撮像面上に被写体等の光学像を結像させるためのレンズ光学系であり、フォーカスレンズやズームレンズをも含んでいる。メカ機構109aは、メカニカルシャッター、絞り等を有して構成されている。センサ部103は、制御部102による制御の下、レンズ108a、メカ機構109aを介して撮像面上に形成された光像の光量に応じた電荷をアナログ画像信号として出力する。センサ部103には例えばR(赤)G(緑)B(青)の各色のカラーフィルタが設けられている。したがって、センサ部103からは、RGBの各色に対応したアナログ画像信号が出力される。本実施形態のデジタルカメラは静止画、動画の何れの撮影も可能であり、静止画撮影モードの場合、センサ部103からは静止画のアナログ画像信号が、動画撮影モードの場合、センサ部103からは動画の各フレームのアナログ画像信号が出力される。A/D変換部104は、制御部102による制御の下、センサ部103から出力されたアナログ画像信号に対し、サンプリング、ゲイン調整、A/D変換等を行い、デジタル画像信号として出力する。以下の説明では、静止画と動画を特に区別せずに説明する場合にはデジタル画像信号とのみ表記する。A/D変換部104から出力されたデジタル画像信号は、画像処理部105に送られる。   The lens 108a is a lens optical system for forming an optical image of a subject or the like on the imaging surface of the sensor unit 103, and also includes a focus lens and a zoom lens. The mechanical mechanism 109a is configured to have a mechanical shutter, a diaphragm, and the like. Under the control of the control unit 102, the sensor unit 103 outputs, as an analog image signal, a charge corresponding to the light amount of the light image formed on the imaging surface via the lens 108a and the mechanical mechanism 109a. The sensor unit 103 is provided with color filters of R (red), G (green), and B (blue), for example. Therefore, the sensor unit 103 outputs an analog image signal corresponding to each color of RGB. The digital camera of this embodiment is capable of shooting both still images and moving images. In the still image shooting mode, the analog image signal of the still image is output from the sensor unit 103, and in the moving image shooting mode, from the sensor unit 103. Outputs an analog image signal of each frame of a moving image. Under the control of the control unit 102, the A / D conversion unit 104 performs sampling, gain adjustment, A / D conversion, etc. on the analog image signal output from the sensor unit 103, and outputs it as a digital image signal. In the following description, when a still image and a moving image are described without making a distinction, they are referred to as a digital image signal only. The digital image signal output from the A / D conversion unit 104 is sent to the image processing unit 105.

画像処理部105は、制御部102による制御の下、A/D変換部104から出力されたデジタル画像信号に対して各種の画像処理を行い、その画像処理済みのデジタル画像信号を出力する。例えば、画像処理部105は、A/D変換部104から供給されたRGBのデジタル画像信号を、YUVのデジタル画像信号に変換して出力する。そして、画像処理部105は、画像処理を行ったデジタル画像信号を、被写体検出部115とエンコーダ部112、撮影情報作成部117に送る。また、画像処理部105から出力されたデジタル画像信号は、制御部102を介して、AF処理部108、AE処理部109、EF処理部110にも送られる。   Under the control of the control unit 102, the image processing unit 105 performs various kinds of image processing on the digital image signal output from the A / D conversion unit 104 and outputs the image-processed digital image signal. For example, the image processing unit 105 converts the RGB digital image signal supplied from the A / D conversion unit 104 into a YUV digital image signal and outputs the YUV digital image signal. Then, the image processing unit 105 sends the digital image signal subjected to the image processing to the subject detection unit 115, the encoder unit 112, and the shooting information creation unit 117. The digital image signal output from the image processing unit 105 is also sent to the AF processing unit 108, the AE processing unit 109, and the EF processing unit 110 via the control unit 102.

AF処理部108は、制御部102を介して供給されたデジタル画像信号を基に、レンズ108aを駆動させて被写体等にピントを合わせるオートフォーカス制御を行う。AE処理部109は、静止画撮影モードでは、制御部102からのデジタル画像信号の輝度と、適正輝度との差分を算出し、その差分に基づいてメカ機構109aのシャッタースピードや絞り値を調整して露出を適正露出に合わせる自動露出補正制御を行う。EF処理部110は、静止画撮影モードでフラッシュ発光を行う命令を制御部102から受けている場合、制御部102から供給されたデジタル画像信号の明るさを求める。そして、静止画撮影モードでは、EF処理部110は、その明るさに基づいて、被写体上の照度が適正となり得る光量でフラッシュ部111を発光させる。   Based on the digital image signal supplied via the control unit 102, the AF processing unit 108 drives the lens 108a to perform autofocus control for focusing on a subject or the like. In the still image shooting mode, the AE processing unit 109 calculates the difference between the brightness of the digital image signal from the control unit 102 and the appropriate brightness, and adjusts the shutter speed and aperture value of the mechanical mechanism 109a based on the difference. Auto exposure compensation control to adjust the exposure to the proper exposure. When the EF processing unit 110 receives a command to perform flash light emission in the still image shooting mode from the control unit 102, the EF processing unit 110 obtains the brightness of the digital image signal supplied from the control unit 102. Then, in the still image shooting mode, the EF processing unit 110 causes the flash unit 111 to emit light based on the brightness so that the illuminance on the subject is appropriate.

ジャイロセンサ106は、静止画撮影や動画撮影の際に、カメラが振られたりぶれたりすることでカメラに加わる回転方向と角速度変動量と、をジャイロ情報として検出する。具体的には、ジャイロセンサ106は、Pitch(ピッチ),Yaw(ヨー),Roll(ロール)の各回転方向と、それら各回転方向における角速度変動量とを、ジャイロ情報として検出する。ピッチ,ヨー,ロールの各回転方向の詳細は後述する。ジャイロセンサ106により検出されたジャイロ情報は、制御部102に送られる。本実施形態の場合、制御部102は、画像撮影が行われた場合には、その画像撮影がなされた時点を含み且つその時点から時間的に前の所定期間分のジャイロ情報を取得する。詳細については後述するが、本実施形態のデジタルカメラは、画像撮影の際に流し撮りによる撮影がなされたか否かを、ジャイロ情報を用いることで判定可能となされている。なお、流し撮りとは、前述したように、移動している主被写体の移動方向と移動速度にカメラを追従させるようにして撮影するような撮影方法である。   The gyro sensor 106 detects, as gyro information, a rotation direction and an angular velocity fluctuation amount applied to the camera when the camera is shaken or shaken during still image shooting or moving image shooting. Specifically, the gyro sensor 106 detects each rotation direction of Pitch (pitch), Yaw (yaw), and Roll (roll) and the angular velocity fluctuation amount in each rotation direction as gyro information. Details of the pitch, yaw, and roll rotation directions will be described later. The gyro information detected by the gyro sensor 106 is sent to the control unit 102. In the case of the present embodiment, when the image capturing is performed, the control unit 102 acquires the gyro information for a predetermined period including the time when the image capturing is performed and temporally preceding the time. Although details will be described later, the digital camera according to the present embodiment can determine whether or not the follow-up shooting is performed at the time of shooting the image by using the gyro information. As described above, the follow shot is a shooting method in which the camera follows the moving direction and moving speed of the moving main subject.

被写体検出部115は、制御部102による制御の下、画像処理部105より供給されたデジタル画像信号から、各被写体に対応した各画像領域(以下、「被写体領域」と表記する。)を検出し、それら各被写体領域の情報を出力する。本実施形態の場合、被写体検出部115は、一例として、画像内に存在する被写体毎の各画像領域と、例えば人物、人物の顔、車や建物など各被写体の種別を表す情報を検出する。また、被写体検出部115は、動画の画像撮影がなされている場合には、現時点のフレームの画像および現時点から時間的に前の所定期間分の各フレームの画像信号から、被写体領域毎に動きベクトルを求める。被写体検出部115は、撮影画像内における各被写体領域のサイズ、位置、種別等の情報、動画における被写体領域毎の動きベクトル情報等を、撮影情報作成部117に出力する。本実施形態において、これら各被写体領域のサイズ、位置、種別等の情報、動きベクトル情報等は、撮影された画像が有する特性の一部を表すパラメータであり、後述する画像評価部119において各種評価に用いられる評価パラメータの一つとなされる。また、被写体検出部115は、いわゆる顔検出処理を行い、検出した顔のサイズ、顔の位置などを示す顔情報をも生成する。被写体検出部115は、生成した顔情報を、表情検出部116に出力する。その他、被写体検出部115は、各被写体領域のうち何れかを主被写体領域として検出することも可能となされている。なお、被写体のサイズ、位置、種別の検出、被写体領域毎の動きベクトル検出、主被写体領域の検出等の技術は種々知られており、ここではそれら技術の説明については省略する。   Under the control of the control unit 102, the subject detection unit 115 detects each image region (hereinafter, referred to as “subject region”) corresponding to each subject from the digital image signal supplied from the image processing unit 105. , And outputs information on each of these subject areas. In the case of the present embodiment, as an example, the subject detection unit 115 detects each image area of each subject existing in the image and information indicating the type of each subject such as a person, a person's face, a car, or a building. In addition, when a moving image is captured, the subject detection unit 115 uses the motion vector for each subject region from the image of the current frame and the image signal of each frame for a predetermined period temporally preceding the current time. Ask for. The subject detection unit 115 outputs information such as the size, position, and type of each subject region in the captured image, motion vector information for each subject region in the moving image, and the like to the captured information creation unit 117. In the present embodiment, the information such as the size, position, and type of each subject area, the motion vector information, and the like are parameters that represent a part of the characteristics of the captured image, and various evaluations are performed by the image evaluation unit 119 described later. It is one of the evaluation parameters used for. The subject detection unit 115 also performs so-called face detection processing, and also generates face information indicating the detected face size, face position, and the like. The subject detection unit 115 outputs the generated face information to the facial expression detection unit 116. In addition, the subject detection unit 115 can detect any one of the subject regions as a main subject region. Various techniques such as detection of the size, position, and type of the subject, detection of a motion vector for each subject region, detection of the main subject region, and the like are known, and description thereof will be omitted here.

表情検出部116は、被写体検出部115から供給された顔情報を基に、被写体である人物の顔の表情を検出する。顔の表情検出方法の詳細な説明は省略するが、表情検出部116は、一例として、顔の画像のエッジ情報から口や目等の領域を検出し、例えば口角の上がり具合や目尻の下がり具合などを基に笑顔のレベルを判定し、それを数値化した笑顔度を算出する。また、表情検出部116は、顔の向き、視線方向をも求める。詳細な説明は省略するが、表情検出部116は、一例として、顔の中の目や鼻、口、耳等の位置を基に顔の向きを検出し、また、目の領域内で瞳(虹彩、黒目)が向いている方向を基に視線方向を検出する。そして、表情検出部116は、笑顔度、顔の向き、視線方向等の情報を、撮影情報作成部117に出力する。本実施形態において、これら笑顔度、顔の向き、視線方向等の情報は、撮影された画像が有する特性の一部を表すパラメータであり、後述する画像評価部119において各種評価に用いられる評価パラメータの一つとなされる。   The facial expression detection unit 116 detects the facial expression of the person who is the subject based on the face information supplied from the subject detection unit 115. Although a detailed description of the facial expression detection method will be omitted, the facial expression detection unit 116 detects areas such as the mouth and eyes from the edge information of the face image, and, for example, detects how the corners of the mouth rise and how the corners of the eyes fall. Based on the above, the smile level is determined and the smile level is calculated numerically. The facial expression detection unit 116 also obtains the face orientation and the line-of-sight direction. Although detailed description is omitted, the facial expression detection unit 116 detects the orientation of the face based on the positions of the eyes, nose, mouth, ears, etc. in the face, and detects the pupil ( The gaze direction is detected based on the direction in which the iris and iris are facing. Then, the facial expression detection unit 116 outputs information such as the degree of smile, the direction of the face, and the direction of the line of sight to the photographing information creation unit 117. In the present embodiment, the information such as the smile degree, the face direction, and the line-of-sight direction is a parameter that represents a part of the characteristics of the captured image, and is an evaluation parameter used in various evaluations by the image evaluation unit 119 described later. It is made one of.

撮影情報作成部117には、制御部102から、合焦情報、露出情報、被写界深度情報、ユーザ設定情報、ジャイロ情報等が供給される。本実施形態では、これら合焦情報、露出情報、被写界深度情報、ユーザ設定情報、ジャイロ情報等についても、撮影された画像が有する特性の一部を表すパラメータとし、後述する画像評価部119において各種評価に用いられる評価パラメータの一つとなされる。合焦情報は、オートフォーカス制御の際のカメラから被写体までの距離に対応した合焦距離情報と、撮影画像内でピントが合った被写体像の位置を表す合焦位置情報とを含む情報である。露出情報は、撮影時の自動露出補正制御に使用された絞り値やシャッタースピード、センサ部103における電荷蓄積時間等の露出に関する情報である。被写界深度情報は、レンズ108aおよびメカ機構109aの絞りによるf値に応じて決まる被写界深度を表す情報である。ユーザ設定情報は、撮影時においてユーザが操作部101を介して設定した情報であり、前述したメニューの設定情報や、撮影モードの設定情報などが含まれる。ジャイロ情報は、ジャイロセンサ106により検出された情報であり、前述したように、画像撮影がなされた時点を含み且つその時点から時間的に前の所定期間分の情報となされている。撮影情報作成部117は、デジタル画像信号に対応させるようにして、前述した各評価パラメータをまとめた撮影情報を作成する。そして、撮影情報作成部117は、撮影情報をエンコーダ部112に送る。   Focusing information, exposure information, depth of field information, user setting information, gyro information, and the like are supplied from the control unit 102 to the shooting information creation unit 117. In the present embodiment, the focus information, the exposure information, the depth of field information, the user setting information, the gyro information, and the like are also parameters that represent a part of the characteristics of the captured image, and the image evaluation unit 119 to be described later. Is one of the evaluation parameters used for various evaluations. The focus information is information including focus distance information corresponding to the distance from the camera to the subject at the time of autofocus control, and focus position information indicating the position of the focused subject image in the captured image. . The exposure information is information related to exposure such as the aperture value, shutter speed, and charge accumulation time in the sensor unit 103 used for automatic exposure correction control during shooting. The depth of field information is information that represents the depth of field that is determined according to the f value of the diaphragm of the lens 108a and the mechanical mechanism 109a. The user setting information is information set by the user via the operation unit 101 at the time of shooting, and includes the above-described menu setting information, shooting mode setting information, and the like. The gyro information is information detected by the gyro sensor 106, and as described above, includes the time when the image was captured and the information for a predetermined period temporally before the time. The shooting information creation unit 117 creates shooting information in which the above-described evaluation parameters are summarized so as to correspond to the digital image signal. Then, the shooting information creation unit 117 sends the shooting information to the encoder unit 112.

エンコーダ部112は、画像処理部105から供給されたデジタル画像信号のフォーマットを、JPEGなどのフォーマットに変換する。以下、エンコーダ部112によりフォーマット変換された後のデジタル画像信号を「画像データ」と表記する。なお、デジタル画像信号が動画のフレーム画像信号である場合には、エンコーダ部112は、各フレーム画像信号をMotion−JPEG等のフォーマットに変換する。また、このときのエンコーダ部112は、前述した撮影情報作成部117にて作成された撮影情報を画像データのヘッダ領域に書き込む。エンコーダ部112によりフォーマット変換され、更にヘッダ領域に撮影情報が書き込まれた画像データは、画像記録部113に出力される。   The encoder unit 112 converts the format of the digital image signal supplied from the image processing unit 105 into a format such as JPEG. Hereinafter, the digital image signal whose format has been converted by the encoder unit 112 will be referred to as “image data”. When the digital image signal is a frame image signal of a moving image, the encoder unit 112 converts each frame image signal into a format such as Motion-JPEG. Further, the encoder unit 112 at this time writes the shooting information created by the shooting information creating unit 117 described above in the header area of the image data. The image data in which the format is converted by the encoder unit 112 and the shooting information is further written in the header area is output to the image recording unit 113.

画像記録部113は、制御部102による制御の下、エンコーダ部112から供給された画像データを、不図示の記録媒体に記録する。不図示の記録媒体は、デジタルカメラ内の内部メモリや、デジタルカメラに挿入されている外部メモリ(メモリーカード)等である。なお、以下の説明では、メモリーカード等に記録されている静止画や動画を区別しない場合には、それらをまとめて「記録画像」と表記する。   The image recording unit 113 records the image data supplied from the encoder unit 112 on a recording medium (not shown) under the control of the control unit 102. The recording medium (not shown) is an internal memory in the digital camera, an external memory (memory card) inserted in the digital camera, or the like. In the following description, when still images and moving images recorded on a memory card or the like are not distinguished, they are collectively referred to as “recorded image”.

再生期間設定部118は、後述するダイジェスト再生が行われる場合に、記録画像の中から、ダイジェスト再生される画像を選抜する際の選抜対象となされる各記録画像を指定するための期間を設定する。以下の説明では、この期間を「再生期間」と表記する。本実施形態の場合、各記録画像の撮影日時や期間(例えば1日や1週間など)が、ユーザにより操作部101を介して指定されると、その指定された日時や期間の情報が制御部102を介して再生期間設定部118に送られる。再生期間設定部118は、その指定された日時や期間を再生期間として設定する。なお、再生期間の長さについては、ユーザにより指定される場合だけでなく、予め決められていてもよい。そして、再生期間設定部118は、制御部102による制御の下、再生期間に対応した各記録画像のデータを、画像記録部113を介してメモリーカード等から読み出して、画像評価部119へ送る。再生期間の記録画像は、後述するダイジェスト再生用の画像を選び出す際の際の選抜対象となされる画像であるため、以下の説明では「選抜対象画像」と表記する。   The reproduction period setting unit 118 sets a period for designating each recording image to be selected when selecting an image to be digest-reproduced from recorded images when a digest reproduction described later is performed. . In the following description, this period is referred to as “reproduction period”. In the case of the present embodiment, when the photographing date and time or period (for example, one day or one week) of each recorded image is designated by the user via the operation unit 101, information on the designated date and time and period is given to the control unit. It is sent to the reproduction period setting unit 118 via 102. The reproduction period setting unit 118 sets the designated date and time or period as the reproduction period. It should be noted that the length of the reproduction period is not limited to being specified by the user and may be predetermined. Then, under the control of the control unit 102, the reproduction period setting unit 118 reads the data of each recorded image corresponding to the reproduction period from the memory card or the like via the image recording unit 113 and sends it to the image evaluation unit 119. The recorded image in the reproduction period is an image to be selected when selecting an image for digest reproduction, which will be described later, and will be referred to as “selection target image” in the following description.

画像評価部119は、本実施形態における算出手段と設定手段の一例である。画像評価部119は、再生期間の各選抜対象画像のヘッダ領域に書き込まれている撮影情報(評価パラメータ)を基に、それら各選抜対象画像に対する後述する各種評価値を算出する。評価パラメータに基づいて算出される各種評価値の詳細については後述する。また、本実施形態において、画像評価部119は、選抜対象画像が流し撮り撮影された画像である場合には、その流し撮り画像の画質を評価するための評価値をも算出する。流し撮り画像の画質を評価するための評価値の算出等の詳細については後述する。そして、画像評価部119は、各選抜対象画像のデータとそれら各選抜対象画像について算出した各評価値の情報を、画像分類部120に送る。   The image evaluation unit 119 is an example of a calculation unit and a setting unit according to this embodiment. The image evaluation unit 119 calculates various evaluation values described below for each selection target image based on the shooting information (evaluation parameter) written in the header area of each selection target image in the reproduction period. Details of various evaluation values calculated based on the evaluation parameters will be described later. Further, in the present embodiment, the image evaluation unit 119 also calculates an evaluation value for evaluating the image quality of the follow shot image when the selection target image is an image shot by the follow shot. Details such as calculation of an evaluation value for evaluating the image quality of the follow shot image will be described later. Then, the image evaluation unit 119 sends the data of each selection target image and information of each evaluation value calculated for each selection target image to the image classification unit 120.

画像分類部120は、後述するダイジェスト再生が行われる場合、前述した再生期間の各選抜対象画像について、撮影日時を用いたクラスタリング処理を行う。そして、画像分類部120は、クラスタリングされた各選抜対象画像のデータと各選抜対象画像の各評価値の情報を画像選抜部121に送る。クラスタリング処理の詳細については後述する。   When the digest reproduction described below is performed, the image classification unit 120 performs a clustering process using the shooting date and time for each selection target image in the reproduction period described above. Then, the image classification unit 120 sends the data of each clustered selection target image and the information of each evaluation value of each selection target image to the image selection unit 121. Details of the clustering process will be described later.

画像選抜部121は、本実施形態における選抜手段の一例である。画像選抜部121は、後述するダイジェスト再生が行われる場合、制御部102による制御の下、前述した再生期間に応じた選抜枚数を設定する。そして、画像選抜部121は、画像分類部120によりクラスタリングされた各選抜対象画像の中から、前述した各評価値に基づき、一定の画質基準を満たす前述の選抜枚数分の流し撮りの画像を記録画像として選抜する。本実施形態において、各評価値に基づく画像選抜処理には、流し撮り撮影された複数の選抜対象画像の中から、流し撮り画像として良好な画質の画像を選抜する処理も含まれる。これら、再生期間に応じた選抜枚数の設定、評価値に基づく画像選抜の詳細については後述する。画像選抜部121により選抜された各記録画像のデータは、ダイジェスト再生用の選抜画像データとして、表示部107に送られる。   The image selection unit 121 is an example of selection means in the present embodiment. When the digest reproduction described below is performed, the image selection unit 121 sets the number of selections according to the reproduction period described above under the control of the control unit 102. Then, the image selection unit 121 records, from the selection target images clustered by the image classification unit 120, the above-described selection shot number of images that satisfy a certain image quality standard based on each evaluation value described above. Select as an image. In the present embodiment, the image selection process based on each evaluation value also includes a process of selecting an image of good image quality as a follow shot image from a plurality of selection target images taken by the follow shot. Details of the setting of the number of selected sheets according to the reproduction period and the image selection based on the evaluation value will be described later. The data of each recorded image selected by the image selection unit 121 is sent to the display unit 107 as selected image data for digest reproduction.

表示部107は、ダイジェスト再生が行われる場合、ダイジェスト再生用のタイトル画像等の生成、ダイジェスト再生用の各選抜画像データに応じた表示画像の生成、選抜画像データに対する色フィルタ処理などの加工処理後の表示画像の生成等を行う。選抜画像に対する色フィルタ処理の詳細については後述する。そして、表示部107は、タイトル画像、ダイジェスト再生用の各選抜画像データに応じた表示画像や色フィルタ処理などの加工処理後の表示画像を、液晶等の表示デバイスに送って画面上に表示させる。また、本実施形態において、ダイジェスト再生の際には、例えば4秒間隔などの一定時間間隔、若しくはユーザにより設定された任意の時間間隔で、選抜画像が順番に切り替えられて再生表示されるようなスライドショー再生も可能となされている。このようなスライドショー再生の制御は、制御部102により行われる。なお、ダイジェスト再生の際には、スライドショー再生だけでなく、例えば操作部101を介したユーザによる表示切り替え指示の入力がなされる毎に、選抜画像が切り替えられて画面上に表示されてもよい。また、外部接続部114を介して外部モニタ等が接続された場合、表示部107は、前述したタイトル画像や表示信号を外部接続部114を介して外部モニタ等に出力して、外部モニタの画面上に表示させることも可能となされている。   When the digest reproduction is performed, the display unit 107 generates a title image or the like for digest reproduction, generates a display image according to each selected image data for digest reproduction, and performs processing such as color filter processing on the selected image data. The display image is generated. The details of the color filter processing on the selected image will be described later. Then, the display unit 107 sends the title image, the display image corresponding to each selected image data for digest reproduction, and the display image after the processing such as the color filter processing to the display device such as a liquid crystal to be displayed on the screen. . In addition, in the present embodiment, during digest reproduction, the selected images are sequentially switched and reproduced at a fixed time interval such as an interval of 4 seconds or at an arbitrary time interval set by the user. Slide show playback is also possible. The control of the slide show reproduction is performed by the control unit 102. In the digest reproduction, not only the slide show reproduction but also the selection image may be switched and displayed on the screen every time a display switching instruction is input by the user via the operation unit 101, for example. When an external monitor or the like is connected via the external connection unit 114, the display unit 107 outputs the above-described title image or display signal to the external monitor or the like via the external connection unit 114 to display the screen of the external monitor. It is also possible to display it above.

以下、図1に示した本実施形態のデジタルカメラにおいて、画像の撮影が行われて記録され、その後、記録画像の中から選抜された画像によるダイジェスト再生(スライドショー再生)が行われるまでの動作について説明する。
先ず、本実施形態のデジタルカメラにおいて、静止画や動画の撮影が行われ、その撮影画像のデータが記録されるまでの動作を説明する。
例えば、本実施形態のデジタルカメラのユーザが、操作部101の電源スイッチをオンにすると、制御部102は、これを検知し、デジタルカメラを構成する各部に、不図示の電源からの電力を供給する。また、制御部102は、AE処理部109を介して、前述のメカ機構109aのメカニカルシャッターを開かせ、絞りを開放絞り値にさせる。これにより、センサ部103の撮像面には、レンズ108a、メカ機構109bを介して光が入射することになる。そして、制御部102による制御の下、センサ部103からは、入射光に応じて蓄積された電荷が読み出され、その読み出された電荷によるアナログ画像信号がA/D変換部104に送られる。このときのA/D変換部104は、前述したように、アナログ画像信号に対し、サンプリング、ゲイン調整、A/D変換等を行い、デジタル画像信号として出力する。画像処理部105は、A/D変換部104からのデジタル画像信号に対して前述したように各種画像処理を行い、その画像処理済みのデジタル画像信号を出力する。また、制御部102は、画像処理部105からのデジタル画像信号をAE処理部109に送り、これによりAE処理部109では自動露出補正が行われる。そして、その自動露出補正がなされた後に、前述同様にセンサ部103〜画像処理部105を介した画像信号がAE処理部109にフィードバックされることで、適正露出への収束制御が実現される。
Hereinafter, in the digital camera of the present embodiment shown in FIG. 1, the operation until the image is captured and recorded, and thereafter, the digest reproduction (slide show reproduction) by the image selected from the recorded images is performed. explain.
First, in the digital camera of the present embodiment, an operation of taking a still image or a moving image and recording the data of the taken image will be described.
For example, when the user of the digital camera according to the present embodiment turns on the power switch of the operation unit 101, the control unit 102 detects this and supplies power from a power source (not shown) to each unit configuring the digital camera. To do. Further, the control unit 102 causes the AE processing unit 109 to open the mechanical shutter of the mechanical mechanism 109a described above to set the aperture to the open aperture value. As a result, light enters the imaging surface of the sensor unit 103 via the lens 108a and the mechanical mechanism 109b. Then, under the control of the control unit 102, the charge accumulated according to the incident light is read from the sensor unit 103, and the analog image signal based on the read charge is sent to the A / D conversion unit 104. . At this time, the A / D conversion unit 104 performs sampling, gain adjustment, A / D conversion, and the like on the analog image signal as described above, and outputs it as a digital image signal. The image processing unit 105 performs various image processing on the digital image signal from the A / D conversion unit 104 as described above, and outputs the image-processed digital image signal. Further, the control unit 102 sends the digital image signal from the image processing unit 105 to the AE processing unit 109, whereby the AE processing unit 109 performs automatic exposure correction. Then, after the automatic exposure correction is performed, the image signal via the sensor unit 103 to the image processing unit 105 is fed back to the AE processing unit 109 in the same manner as described above, so that convergence control to proper exposure is realized.

ここで、静止画撮影モードの場合、操作部101のシャッタースイッチから半押し信号が出力されると、制御部102は、その時点でセンサ部103〜画像処理部105を介した画像信号を、AF処理部108とAE処理部109に送る。これにより、AF処理部108ではオートフォーカス制御が行われて被写体にピントが合わされ、また、AE処理部109では自動露出補正制御が行われて適正な露出による画像撮影が可能になる。なお、本実施形態のデジタルカメラにおいて、撮影の際にフラッシュ発光を行う設定になされている場合、制御部102は、画像処理部105からのデジタル画像信号をEF処理部110にも送る。この場合のEF処理部110は、デジタル画像信号から輝度値を検出し、その輝度値に基づいて、画像撮影の際に被写体等の照度が適正となる光量にフラッシュ部111の発光光量を設定する。その後、シャッタースイッチから全押し信号が出力されると、制御部102は、その時点でセンサ部103にて撮像されてA/D変換部104と画像処理部105を介したデジタル画像信号を、エンコーダ部112と被写体検出部115に取り込ませる。また、動画撮影モードの場合には、制御部102による制御の下、録画ボタンが押される前のライブビュー表示の際にオートフォーカス制御が行われて被写体にピントが合わされ、また露出補正制御が行われて適正な露出による動画撮影が可能になされる。その後、録画ボタンから録画の開始指示が入力されると、制御部102は、それ以後、センサ部103で撮像されてA/D変換部104から画像処理部105を介した動画の各フレームの画像信号を、エンコーダ部112と被写体検出部115に取り込ませる。被写体検出部115以降の詳細な処理の説明は後述する。   Here, in the still image shooting mode, when a half-press signal is output from the shutter switch of the operation unit 101, the control unit 102 outputs the image signal from the sensor unit 103 to the image processing unit 105 at that time by the AF operation. It is sent to the processing unit 108 and the AE processing unit 109. As a result, the AF processing unit 108 performs autofocus control to focus the subject, and the AE processing unit 109 performs automatic exposure correction control to enable image capturing with proper exposure. In the digital camera of the present embodiment, when the flash is set to be emitted at the time of shooting, the control unit 102 also sends the digital image signal from the image processing unit 105 to the EF processing unit 110. In this case, the EF processing unit 110 detects a brightness value from the digital image signal, and based on the brightness value, sets the light emission amount of the flash unit 111 to a light amount that makes the illuminance of a subject or the like suitable for image capturing. . After that, when the full-press signal is output from the shutter switch, the control unit 102 encodes the digital image signal captured by the sensor unit 103 through the A / D conversion unit 104 and the image processing unit 105 at that time. It is taken into the unit 112 and the subject detection unit 115. In the moving image shooting mode, under the control of the control unit 102, auto focus control is performed during live view display before the record button is pressed to focus on the subject, and exposure correction control is performed. This allows you to shoot movies with proper exposure. After that, when a recording start instruction is input from the recording button, the control unit 102 subsequently captures an image of each frame of the moving image captured by the sensor unit 103 and transmitted from the A / D conversion unit 104 to the image processing unit 105. The signal is captured by the encoder unit 112 and the subject detection unit 115. The detailed processing after the subject detection unit 115 will be described later.

エンコーダ部112は、前述したように、フォーマット変換を行った後の画像データとヘッダ領域の撮影情報とを、画像記録部113に送る。画像記録部113は、制御部102による制御の下、フォーマット変換済みの画像データおよびヘッダ領域の撮影情報をメモリーカード等の記録媒体に記録する。これにより、画像記録部113のメモリーカード等には、静止画や動画の画像データとヘッダ領域の撮影情報とが記録される。   As described above, the encoder unit 112 sends the image data after the format conversion and the shooting information of the header area to the image recording unit 113. Under the control of the control unit 102, the image recording unit 113 records the format-converted image data and the shooting information of the header area on a recording medium such as a memory card. As a result, the image data of the still image or the moving image and the shooting information of the header area are recorded in the memory card or the like of the image recording unit 113.

次に、本実施形態のデジタルカメラにおいて、画像記録部113のメモリーカード等の記録画像の中から選抜した画像によるダイジェスト再生を行うダイジェスト再生モード、さらに、スライドショー再生を行うスライドショー再生モードの際の動作を説明する。
図2は、図1に示した本実施形態のデジタルカメラが、画像記録部113のメモリーカード等の記録画像の中から画像を選抜してダイジェスト再生(スライドショー再生)を行うまでの処理の流れを示すフローチャートである。図2のフローチャートの処理は、図1の制御部102、再生期間設定部118、画像評価部119、画像分類部120、画像選抜部121、表示部107等にて行われる処理である。なお、図2のフローチャートの処理は、例えばCPU等において本実施形態に係る画像処理プログラムを実行することにより実現されてもよい。以下の説明では、図2の各処理のステップS201〜ステップS220を、S201〜S220と略記する。
Next, in the digital camera of the present embodiment, the operation in the digest reproduction mode in which the digest reproduction by the image selected from the images recorded in the memory card of the image recording unit 113 and the slide show reproduction mode in which the slide show reproduction is performed are performed. Will be explained.
FIG. 2 shows a flow of processing until the digital camera of the present embodiment shown in FIG. 1 selects an image from recorded images on the memory card of the image recording unit 113 and performs digest reproduction (slide show reproduction). It is a flowchart shown. The process of the flowchart of FIG. 2 is a process performed by the control unit 102, the reproduction period setting unit 118, the image evaluation unit 119, the image classification unit 120, the image selection unit 121, the display unit 107, and the like of FIG. The process of the flowchart of FIG. 2 may be realized by executing the image processing program according to the present embodiment in a CPU or the like, for example. In the following description, steps S201 to S220 of each process in FIG. 2 are abbreviated as S201 to S220.

図2のS201において、ユーザにより操作部101の電源スイッチがオンされた後、メニューボタンが操作されてダイジェスト再生メニューが選択された上で、ダイジェスト再生の実行指示が入力されると、制御部102は、S202に処理を進める。S202では、制御部102は、表示部107を介して表示デバイスの画面上に、ユーザに対して再生期間の指示を行うためのユーザインターフェース画像(図示は省略する。)を表示させる。そして、制御部102は、操作部101を介してユーザから再生期間の設定入力がなされると、再生期間設定部118に対して、その再生期間の設定入力情報を送る。   In S201 of FIG. 2, when the user turns on the power switch of the operation unit 101, the menu button is operated to select the digest reproduction menu, and the digest reproduction execution instruction is input, the control unit 102 Advances the processing to S202. In S202, the control unit 102 causes the display unit 107 to display a user interface image (not shown) on the screen of the display device for instructing the reproduction period to the user. When the user inputs a reproduction period setting via the operation unit 101, the control unit 102 sends the reproduction period setting input information to the reproduction period setting unit 118.

S202において、再生期間設定部118は、制御部102からユーザによる再生期間の設定入力情報を受けると、その情報に応じた再生期間を設定する。そして、再生期間設定部118は、メモリーカード等の記録画像の中で、再生期間に該当する各記録画像のデータとそれらのヘッダ領域内の撮影情報を取得して、画像評価部119に送る。再生期間に該当する各記録画像は前述した選抜対象画像である。S202の後、制御部102は、画像評価部119にて行われるS203に処理を移行させる。   In S202, when the reproduction period setting unit 118 receives the reproduction period setting input information by the user from the control unit 102, the reproduction period setting unit 118 sets the reproduction period according to the information. Then, the reproduction period setting unit 118 acquires the data of each recorded image corresponding to the reproduction period and the shooting information in the header area of the recorded images on the memory card or the like, and sends them to the image evaluation unit 119. Each recorded image corresponding to the reproduction period is the selection target image described above. After S202, the control unit 102 shifts the processing to S203 performed by the image evaluation unit 119.

S203では、画像評価部119は、再生期間の各選抜対象画像における撮影情報の評価パラメータを用いて、それぞれ各選抜対象画像に対する画像評価値を算出する。具体的には、画像評価部119は、各選抜対象画像について、例えば図3(a)〜図3(c)を用いて説明するような3種類の画像評価値の何れか一つ、若しくは二つ以上の画像評価値(三つの画像評価値の場合も含む)を求める。   In S203, the image evaluation unit 119 calculates an image evaluation value for each selection target image by using the evaluation parameter of the shooting information of each selection target image in the reproduction period. Specifically, the image evaluation unit 119, for each selection target image, one of the three types of image evaluation values as described with reference to, for example, FIG. 3A to FIG. One or more image evaluation values (including the case of three image evaluation values) are obtained.

図3(a)は、前述した選抜対象画像の縦幅と、前述した被写体検出部115が検出した顔のサイズとの割合を算出し、その割合に基づいて画像評価値W1を求める例の説明図である。図3(a)の画像311は、その画像の縦幅を100%とした場合に、顔領域321の縦幅サイズが20%に相当する割合として算出された例を示している。一方、図3(a)の画像312は、その画像の縦幅を100%とした場合に、顔領域322の縦幅サイズが60%に相当する割合として算出された例を示している。また、図3(a)のサイズ評価特性301は、画像と顔領域の縦幅サイズの割合と、画像評価値W1との対応関係を表している。図3(a)のサイズ評価特性301は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図3(a)のサイズ評価特性301は、縦幅サイズの割合が0%〜20%までは画像評価値W1として「3」が対応付けられ、縦幅サイズの割合が60%以上では画像評価値W1として「10」が対応付けられた例を示している。さらに、図3(a)のサイズ評価特性301は、縦幅サイズの割合が20%〜60%では画像評価値W1として「3」から「10」まで線形に変化する値が対応付けられている。画像評価部119は、画像311の縦幅に対する顔領域321のサイズの割合を算出し、その割合に応じた画像評価値W1を、図3(a)のサイズ評価特性301から求めて、画像311の画像評価値とする。同様に、画像評価部119は、画像312の縦幅に対する顔領域322のサイズの割合を算出し、その割合に応じた画像評価値W1を、図3(a)のサイズ評価特性301から求めて、画像312の画像評価値とする。図3(a)の場合、画像311の画像評価値W1は、その画像から算出した縦幅サイズの割合である20%に応じた値「3」となる。一方、画像312の画像評価値W1は、その画像から算出した縦幅サイズの割合である60%に応じた値「10」となる。すなわち、この図3(a)の例の場合、画像評価部119は、画像311の顔領域321よりも縦幅サイズが大きい顔領域322が写っている画像312の方を、高画像評価値の画像とする。   FIG. 3A illustrates an example in which the ratio between the vertical width of the selection target image described above and the face size detected by the subject detection unit 115 described above is calculated, and the image evaluation value W1 is calculated based on the calculated ratio. It is a figure. The image 311 in FIG. 3A illustrates an example in which the vertical size of the face area 321 is calculated as a ratio corresponding to 20% when the vertical width of the image is 100%. On the other hand, the image 312 of FIG. 3A shows an example in which the vertical size of the face area 322 is calculated as a ratio corresponding to 60% when the vertical width of the image is 100%. Further, the size evaluation characteristic 301 of FIG. 3A represents the correspondence between the ratio of the vertical size of the image and the face area and the image evaluation value W1. The size evaluation characteristic 301 of FIG. 3A may be predetermined as an initial setting, or may be arbitrarily changed by the user or the like. In the size evaluation characteristic 301 of FIG. 3A, “3” is associated as the image evaluation value W1 when the ratio of the vertical size is 0% to 20%, and the image evaluation is performed when the ratio of the vertical size is 60% or more. An example in which “10” is associated as the value W1 is shown. Further, the size evaluation characteristic 301 of FIG. 3A is associated with a value that linearly changes from “3” to “10” as the image evaluation value W1 when the ratio of the vertical width size is 20% to 60%. . The image evaluation unit 119 calculates the ratio of the size of the face area 321 to the vertical width of the image 311, obtains the image evaluation value W1 corresponding to the ratio from the size evaluation characteristic 301 of FIG. Image evaluation value. Similarly, the image evaluation unit 119 calculates the ratio of the size of the face area 322 to the vertical width of the image 312, and obtains the image evaluation value W1 corresponding to the ratio from the size evaluation characteristic 301 of FIG. , And the image evaluation value of the image 312. In the case of FIG. 3A, the image evaluation value W1 of the image 311 becomes a value “3” corresponding to 20% which is the ratio of the vertical size calculated from the image. On the other hand, the image evaluation value W1 of the image 312 is a value “10” corresponding to 60%, which is the ratio of the vertical size calculated from the image. That is, in the case of the example of FIG. 3A, the image evaluation unit 119 sets the image 312 in which the face area 322 whose vertical size is larger than the face area 321 of the image 311 is higher in the high image evaluation value. Let it be an image.

図3(b)は、前述した選抜対象画像の中心位置から、前述した被写体検出部115が検出した顔位置(例えば顔領域の中心位置)までの距離を算出し、その距離に基づいて画像評価値W2を求める例の説明図である。図3(b)の画像313は、その画像の対角線距離の1/2を100%とした場合に、画像中心位置から、顔領域323の顔位置までの距離が5%に相当する割合として算出された例を示している。一方、図3(b)の画像314は、その画像の対角線距離の1/2を100%とした場合に、画像中心位置から、顔領域324の顔位置までの距離が60%に相当する割合として算出された例を示している。また、図3(b)の距離評価特性302は、前述した画像中心位置から顔位置までの距離の割合と、画像評価値W2との対応関係を表している。図3(b)の距離評価特性302は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図3(b)の距離評価特性302は、前述の距離の割合が0%〜5%までは画像評価値W2として「10」が対応付けられ、距離の割合が60%以上では画像評価値W2として「3」が対応付けられた例を示している。さらに、図3(b)の距離評価特性302は、距離の割合が5%〜60%では画像評価値W2として「10」から「3」まで線形に変化する値が対応付けられている。画像評価部119は、画像313について前述した中心位置から顔領域323の位置までの距離の割合を算出し、その割合に応じた画像評価値W2を図3(b)の距離評価特性302から求めて、画像313の画像評価値とする。また、画像評価部119は、画像314について前述した中心位置から顔領域324の位置までの距離の割合を算出し、その割合に応じた画像評価値W2を図3(b)の距離評価特性302から求めて画像314の画像評価値とする。図3(b)の例の場合、画像313の画像評価値W2は、その画像から算出した距離の割合である5%に応じた値「10」となる。一方、画像314の画像評価値W2は、その画像から算出した距離の割合である60%に応じた値「3」となる。すなわち、この図3(b)の例の場合、画像評価部119は、画像314よりも距離の割合が小さい(画像中心から顔領域までの距離が近い)画像313の方を、高画像評価値の画像とする。   In FIG. 3B, the distance from the center position of the selection target image described above to the face position (for example, the center position of the face area) detected by the subject detection unit 115 is calculated, and the image evaluation is performed based on the calculated distance. It is explanatory drawing of the example which calculates | requires value W2. The image 313 in FIG. 3B is calculated as a ratio in which the distance from the image center position to the face position of the face area 323 corresponds to 5% when 1/2 of the diagonal distance of the image is set to 100%. An example is shown. On the other hand, in the image 314 of FIG. 3B, when the half of the diagonal distance of the image is 100%, the distance from the image center position to the face position of the face area 324 corresponds to 60%. The example calculated as is shown. Further, the distance evaluation characteristic 302 in FIG. 3B represents the correspondence relationship between the image evaluation value W2 and the ratio of the distance from the image center position to the face position described above. The distance evaluation characteristic 302 of FIG. 3B may be predetermined as an initial setting, or may be arbitrarily changed by the user or the like. In the distance evaluation characteristic 302 of FIG. 3B, “10” is associated as the image evaluation value W2 when the distance ratio is 0% to 5%, and the image evaluation value W2 when the distance ratio is 60% or more. Shows an example in which “3” is associated. Further, the distance evaluation characteristic 302 of FIG. 3B is associated with a value that linearly changes from “10” to “3” as the image evaluation value W2 when the distance ratio is 5% to 60%. The image evaluation unit 119 calculates the ratio of the distance from the center position to the position of the face area 323 described above for the image 313, and obtains the image evaluation value W2 corresponding to the ratio from the distance evaluation characteristic 302 of FIG. 3B. Then, the image evaluation value of the image 313 is set. Further, the image evaluation unit 119 calculates the ratio of the distance from the center position to the position of the face area 324 described above for the image 314, and the image evaluation value W2 corresponding to the ratio is calculated as the distance evaluation characteristic 302 in FIG. The image evaluation value of the image 314 is obtained from In the case of the example in FIG. 3B, the image evaluation value W2 of the image 313 is the value “10” corresponding to 5% which is the ratio of the distance calculated from the image. On the other hand, the image evaluation value W2 of the image 314 becomes a value “3” corresponding to 60% which is the ratio of the distance calculated from the image. That is, in the case of the example of FIG. 3B, the image evaluation unit 119 determines that the image 313 having a smaller distance ratio (the distance from the image center to the face area is closer) than the image 314 has the higher image evaluation value. Image.

図3(c)は、前述した表情検出部116が検出した笑顔度に基づいて、前述した選抜対象画像の画像評価値W3を求める例の説明図である。図3(c)の画像315は、顔領域325の笑顔度が0(笑顔でない場合)として算出された例を示している。一方、図3(c)の画像316は、顔領域326の笑顔度が1000(笑顔である場合)として算出された例を示している。また、図3(c)の笑顔度評価特性303は、顔領域の笑顔度と、画像評価値W3との対応関係を表している。図3(c)の笑顔度評価特性303は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図3(c)の笑顔度評価特性303は、笑顔度0には画像評価値W3として「0」が対応付けられ、笑顔度1000以上では画像評価値W3として「10」が対応付けられた例を示している。さらに、図3(c)の笑顔度評価特性303は、笑顔度0〜1000では画像評価値W3として「0」から「10」まで線形に変化する値が対応付けられている。画像評価部119は、画像315の顔領域325の笑顔度に応じた画像評価値W3を、図3(c)の笑顔度評価特性303から求めて、画像315の画像評価値とする。同様に、画像評価部119は、画像316の顔領域326の笑顔度に応じた画像評価値W3を、図3(c)の笑顔度評価特性303から求めて、画像316の画像評価値とする。図3(c)の例の場合、画像315の画像評価値W3は、その画像の顔領域325の笑顔度0に応じた値「0」となる。一方、画像316の画像評価値W3は、その画像の顔領域326の笑顔度1000に応じた値「10」となる。すなわち、この図3(c)の例の場合、画像評価部119は、画像315よりも笑顔度の値が高い顔領域326が写っている画像316の方を、高画像評価値の画像とする。   FIG. 3C is an explanatory diagram of an example in which the image evaluation value W3 of the selection target image described above is obtained based on the smile degree detected by the facial expression detection unit 116 described above. The image 315 of FIG. 3C illustrates an example in which the smile degree of the face area 325 is calculated as 0 (when the smile is not a smile). On the other hand, the image 316 of FIG. 3C shows an example in which the smile degree of the face area 326 is calculated as 1000 (in the case of a smile). The smile degree evaluation characteristic 303 in FIG. 3C represents the correspondence between the smile degree of the face area and the image evaluation value W3. The smile degree evaluation characteristic 303 of FIG. 3C may be predetermined as an initial setting, or may be arbitrarily changed by the user or the like. In the smile degree evaluation characteristic 303 of FIG. 3C, the smile degree 0 is associated with “0” as the image evaluation value W3, and the smile degree 1000 or more is associated with “10” as the image evaluation value W3. Is shown. Further, the smile degree evaluation characteristic 303 in FIG. 3C is associated with a value that linearly changes from “0” to “10” as the image evaluation value W3 in the smile degrees 0 to 1000. The image evaluation unit 119 obtains the image evaluation value W3 corresponding to the smile degree of the face area 325 of the image 315 from the smile degree evaluation characteristic 303 of FIG. 3C and sets it as the image evaluation value of the image 315. Similarly, the image evaluation unit 119 obtains the image evaluation value W3 corresponding to the smile degree of the face area 326 of the image 316 from the smile degree evaluation characteristic 303 of FIG. 3C and sets it as the image evaluation value of the image 316. . In the case of the example in FIG. 3C, the image evaluation value W3 of the image 315 is a value “0” according to the smile degree 0 of the face area 325 of the image. On the other hand, the image evaluation value W3 of the image 316 becomes a value “10” corresponding to the smile degree 1000 of the face area 326 of the image. That is, in the case of the example of FIG. 3C, the image evaluation unit 119 sets the image 316 including the face region 326 having a higher smile degree value than the image 315 as an image having a high image evaluation value. .

画像評価部119は、図3(a)〜図3(c)の例で挙げた3種類の画像評価値だけでなく、例えば、顔の向き、視線方向、オートフォーカス制御の合焦情報などの評価パラメータに基づいて、それぞれ画像評価値を求めてもよい。そして、画像評価部119は、それら各画像評価値の何れか一つ、若しくは、二つ以上の画像評価値(全ての画像評価値の場合も含む)を求める。一例として、画像評価部119は、顔の向きに基づく画像評価値では顔の向きが正面に向くほど高い値に設定し、視線方向に基づく画像評価値では視線方向が正面に向くほど高い値に設定する。また、画像評価部119は、例えば、合焦情報に基づく画像評価値では、選抜対象画像内の各被写体領域に対するピントズレ量が少なくなるほど高い値を設定する。また、画像評価部119は、例えば、合焦情報のうちカメラから被写体までの距離に対応した合焦距離情報が近いほど値が高くなる画像評価値を設定してもよい。その他にも、画像評価部119は、例えば、合焦情報のうち選抜対象画像内でピントが合った被写体像の位置を表す合焦位置情報から、前述の図3(b)で説明したような距離に応じた画像評価値を求めてもよい。   The image evaluation unit 119 includes not only the three types of image evaluation values given in the examples of FIGS. 3A to 3C, but also, for example, face orientation, line-of-sight direction, focus information of autofocus control, and the like. The image evaluation value may be calculated based on the evaluation parameter. Then, the image evaluation unit 119 obtains any one of these image evaluation values or two or more image evaluation values (including the case of all image evaluation values). As an example, the image evaluation unit 119 sets the image evaluation value based on the face direction to a higher value as the face direction is facing the front, and sets the image evaluation value based on the gaze direction to a higher value as the gaze direction is facing the front. Set. Further, for example, the image evaluation unit 119 sets the image evaluation value based on the focus information to a higher value as the focus shift amount for each subject region in the selection target image decreases. Further, the image evaluation unit 119 may set an image evaluation value that becomes higher as the focus distance information corresponding to the distance from the camera to the object in the focus information is closer. In addition, the image evaluation unit 119 uses, for example, the focus position information indicating the position of the subject image in focus in the selection target image among the focus information, as described with reference to FIG. The image evaluation value may be calculated according to the distance.

図2のフローチャートに説明を戻す。S204の後、画像評価部119は、S205に処理を進める。S205において、画像評価部119は、撮影情報のジャイロ情報を用いて、その撮影情報に対応した選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。図4は、カメラ400におけるPitch(ピッチ方向412),Yaw(ヨー方向411),Roll(ロール方向413)の各回転方向を示す図である。ジャイロ情報は、図4に示したようなピッチ方向412,ヨー方向411,ロール方向413の各回転方向と、各回転方向における角速度変動量とを示す情報である。また、本実施形態において、ジャイロ情報は、前述したように、画像撮影が行われた際の、撮影時点を含み且つその時点から時間的に前の所定期間分の情報となされている。   Description will be returned to the flowchart of FIG. After S204, the image evaluation unit 119 advances the processing to S205. In step S205, the image evaluation unit 119 uses the gyro information of the shooting information to determine whether the selection target image corresponding to the shooting information is an image shot in the panning state. FIG. 4 is a diagram showing the rotation directions of Pitch (pitch direction 412), Yaw (yaw direction 411), and Roll (roll direction 413) in the camera 400. The gyro information is information indicating each rotation direction of the pitch direction 412, the yaw direction 411, and the roll direction 413 as shown in FIG. 4, and the angular velocity fluctuation amount in each rotation direction. Further, in the present embodiment, as described above, the gyro information is information for a predetermined period including the time when the image was taken and the time preceding the time when the image was taken.

画像評価部119は、このようなジャイロ情報を用いて、選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。具体的には、画像評価部119は、ジャイロ情報のヨー方向411における角速度変動量が所定の第1変動量以上であり、一方、ピッチ方向412およびロール方向413の角速度変動量が所定の第2変動量未満であったか否かを判定する。なお、第1変動量は、第2変動量よりも十分に大きな値として予め設定されている。そして、画像評価部119は、ヨー方向411の角速度変動量が第1変動量以上であり、且つ、ピッチ方向412およびロール方向413の角速度変動量が第2変動量未満であった場合、選抜対象画像が流し撮り状態で撮影された画像であると判定する。なお、流し撮りは、カメラ400が短い時間(瞬間的に)だけ振られて行われる場合だけでなく、ある程度長い所定時間等速で振られるようにして行われる場合も想定される。このため、画像評価部119は、ピッチ方向412およびロール方向413の角速度変動量が第2変動量未満で、且つヨー方向411の角速度変動量が略々一定(等速に振られた)の状態が所定時間続いたと判断される場合にも流し撮りなされた画像と判定する。   The image evaluation unit 119 uses such gyro information to determine whether or not the selection target image is an image captured in the panning state. Specifically, the image evaluation unit 119 determines that the angular velocity fluctuation amount of the gyro information in the yaw direction 411 is equal to or larger than the predetermined first fluctuation amount, while the angular velocity fluctuation amounts of the pitch direction 412 and the roll direction 413 are the second predetermined fluctuation amounts. It is determined whether or not it is less than the fluctuation amount. The first variation amount is preset as a value that is sufficiently larger than the second variation amount. Then, the image evaluation unit 119 selects the angular velocity variation amount in the yaw direction 411 that is equal to or larger than the first variation amount and the angular velocity variation amounts in the pitch direction 412 and the roll direction 413 is less than the second variation amount. It is determined that the image is an image taken in the panning state. Note that the follow shot is not limited to the case where the camera 400 is shaken for a short time (instantaneously), but is also assumed to be shaken at a constant speed for a predetermined long time. Therefore, the image evaluation unit 119 is in a state where the angular velocity fluctuation amount in the pitch direction 412 and the roll direction 413 is less than the second fluctuation amount, and the angular velocity fluctuation amount in the yaw direction 411 is substantially constant (swing at a constant speed). Even when it is determined that the image has continued for a predetermined time, it is determined that the image is a panning shot.

なお、本実施形態では、ジャイロ情報を用いて流し撮りの判定を行う例を挙げたが、例えば3軸(XYZ軸)加速度センサにて検出された加速度情報を用いて、流し撮り状態で撮影されたか否かを判定してもよい。この場合、デジタルカメラは、図示しない3軸加速度センサを備えており、撮影がなされた際、制御部102は、加速度センサにより検出される加速度情報を取得する。このとき取得される加速度情報は、前述のジャイロ情報の場合と同様に、画像撮影が行われた時点を含み且つその時点から時間的に前の所定期間分の情報となされる。この取得された加速度情報は、評価パラメータの一つとして撮影情報に含められて、記録画像のヘッダ領域に書き込まれる。そして、画像評価部119は、撮影情報の中の加速度情報を用いて、選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。例えば、例えば図4中のXYZ軸に対する加速度情報が3軸加速度センサにより検出されたとする。この場合、画像評価部119は、加速度情報のうちX軸方向の加速度が所定の第1加速度以上であり、一方、Y軸方向およびZ軸方向の加速度が所定の第2加速度未満であった場合に、選抜対象画像が流し撮り状態で撮影された画像であると判定する。   In the present embodiment, the example of performing the follow shot determination using the gyro information has been described. However, for example, the follow shot image is captured using the acceleration information detected by the triaxial (XYZ axis) acceleration sensor. Whether or not it may be determined. In this case, the digital camera includes a three-axis acceleration sensor (not shown), and the control unit 102 acquires the acceleration information detected by the acceleration sensor when the image is taken. As in the case of the gyro information described above, the acceleration information acquired at this time is information for a predetermined period including the time point when the image was captured and temporally preceding the time point. The acquired acceleration information is included in the shooting information as one of the evaluation parameters and written in the header area of the recorded image. Then, the image evaluation unit 119 determines whether or not the selection target image is an image captured in the panning state by using the acceleration information in the imaging information. For example, assume that the acceleration information for the XYZ axes in FIG. 4 is detected by the triaxial acceleration sensor. In this case, the image evaluation unit 119 determines that the acceleration in the X-axis direction of the acceleration information is equal to or greater than the predetermined first acceleration, while the acceleration in the Y-axis direction and the Z-axis direction is less than the predetermined second acceleration. First, it is determined that the selection target image is an image shot in the panning state.

その他にも、選抜対象画像が流し撮り状態で撮影された画像であるか否かは、例えば動きベクトル情報を用いて行われてもよい。この例の場合、画像評価部119は、撮影情報の中の動きベクトル情報を用い、選抜対象画像の被写体領域毎の動きベクトルを比較して、その選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。例えば、画像評価部119は、主被写体領域の動きベクトルの値が所定の第1動きベクトル値未満であり、他の被写体領域の動きベクトルの値が所定の第2動きベクトル値以上である場合、その選抜対象画像は流し撮りされた画像であると判定する。   In addition, whether or not the selection target image is an image captured in the panning state may be determined using, for example, motion vector information. In the case of this example, the image evaluation unit 119 compares the motion vector of each subject region of the selection target image using the motion vector information in the shooting information, and the selection target image is an image captured in the panning state. Or not. For example, when the value of the motion vector of the main subject area is less than the predetermined first motion vector value and the value of the motion vector of the other subject area is equal to or more than the predetermined second motion vector value, The selection target image is determined to be a panned image.

図2のフローチャートに説明を戻す。S205の後、画像評価部119は、S206に処理を進める。S206では、画像評価部119は、S205における流し撮り状態判定により、選抜対象画像が流し撮り状態で撮影された画像であると判定(Yes)した場合には、S208に処理を進める。一方、画像評価部119は、S206において、流し撮り状態で撮影された画像ではないと判定(No)した場合には、S207に処理を進める。   Description will be returned to the flowchart of FIG. After S205, the image evaluation unit 119 advances the processing to S206. In S206, when the image evaluation unit 119 determines that the selection target image is an image shot in the follow shot state (Yes) by the follow shot state determination in S205, the process proceeds to S208. On the other hand, when the image evaluation unit 119 determines in S206 that the image was not captured in the follow shot state (No), the process proceeds to S207.

S207に進んだ場合、画像評価部119は、選抜対象画像の画像全体についてのぶれ度合い評価を行った後、S209に処理を進める。
このとき、画像評価部119は、先ず、選抜対象画像のエッジ強度を画像のコントラスト値として求めるために、図5(a)に示すように画像500を複数のブロック510に分割し、各ブロック510の画像領域からエッジ信号を抽出する。また、画像評価部119は、ブロック510毎にエッジのピークホールドを行って得られたエッジ信号を合計する。なお、図5(b)のブロック510bと図5(c)のブロック510cは、画像500内の異なるブロックであるとする。すなわち、画像評価部119は、図5(b)のブロック510bに示すように、そのブロック510b内のエッジのピークホールドを行って得られたエッジ信号511bの合計値512aを算出する。同様に、画像評価部119は、図5(c)のブロック510cについても、そのブロック510c内のエッジのピークホールドを行って得られたエッジ信号511cの合計値512cを算出する。さらに、画像評価部119は、図5(b)や図5(c)のようにして画像500の全ブロックから求めたエッジ信号の合計値の平均値を、エッジ強度として算出し、そのエッジ強度の値をコントラスト値とする。
When the process proceeds to S207, the image evaluation unit 119 performs the blurring degree evaluation for the entire image of the selection target image, and then the process proceeds to S209.
At this time, the image evaluation unit 119 first divides the image 500 into a plurality of blocks 510 as shown in FIG. 5A in order to obtain the edge strength of the selection target image as a contrast value of the image, and each block 510 is divided. The edge signal is extracted from the image area of. Further, the image evaluation unit 119 totals the edge signals obtained by performing the peak hold of the edges for each block 510. Note that the block 510b in FIG. 5B and the block 510c in FIG. 5C are different blocks in the image 500. That is, the image evaluation unit 119 calculates the total value 512a of the edge signal 511b obtained by performing the peak hold of the edge in the block 510b, as shown in the block 510b of FIG. 5B. Similarly, the image evaluation unit 119 also calculates the total value 512c of the edge signals 511c obtained by peak-holding the edges in the block 510c in FIG. 5C. Further, the image evaluation unit 119 calculates, as the edge strength, the average value of the total values of the edge signals obtained from all the blocks of the image 500 as shown in FIGS. 5B and 5C, and the edge strength is calculated. The value of is the contrast value.

そして、画像評価部119は、再生期間の各選抜対象画像について求めたコントラスト値の高低(エッジ強度の大小)に基づいて、各選抜対象画像のぶれ度合い評価を行う。ここで、画像のコントラスト値は、画像のぶれ度合いが大きくなるほど低くなり、一方、画像のぶれ度合いが小さくなるほど高くなると考えられる。このため、画像評価部119は、図6に示すように、選抜対象画像のぶれ度合いが小さくコントラスト値が高くなるほど高評価となり、一方、ぶれ度合いが大きくコントラスト値が低くなるほど低評価となるぶれ度合い評価値W4を設定する。図6のぶれ度合い評価特性600は、画像のコントラスト値と、ぶれ度合い評価値W4との対応関係を表している。図6のぶれ度合い評価特性600は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図6のぶれ度合い評価特性600は、コントラスト値が例えば0〜20まではぶれ度合い評価値W4として「3」が対応付けられ、コントラスト値が60以上ではぶれ度合い評価値W4として「10」が対応付けられた例を示している。さらに、図6のぶれ度合い評価特性600は、コントラスト値が20〜60ではぶれ度合い評価値W4として「3」から「10」まで線形に変化する値が対応付けられている。なお、図6に例示した画像601〜604は、それぞれ前述したS206において流し撮り状態で撮影された画像ではないと判定された選抜対象画像であるとする。また、これら画像601〜604において、コントラスト値は、画像601、602、603、604の順に高くなっていくとする。この図6の例の場合、画像評価部119は、画像601〜604に対し、ぶれ度合い評価特性600上で各画像601〜604のコントラスト値にそれぞれ対応した点611〜614のぶれ度合い評価値W4を設定する。図6の例の場合、画像601、602、603、604の順に、高評価値になっていくようなぶれ度合い評価値W4が設定されることになる。   Then, the image evaluation unit 119 evaluates the blurring degree of each selection target image based on the level of the contrast value (the magnitude of the edge strength) obtained for each selection target image in the reproduction period. Here, it is considered that the image contrast value becomes lower as the image blurring degree becomes larger, and becomes higher as the image blurring degree becomes smaller. Therefore, as shown in FIG. 6, the image evaluation unit 119 gives a higher evaluation as the degree of blurring of the selection target image becomes smaller and the contrast value becomes higher. On the other hand, as the degree of blurring becomes larger and the contrast value becomes lower, the image evaluation section 119 gives a lower evaluation degree. The evaluation value W4 is set. The blurring degree evaluation characteristic 600 of FIG. 6 represents the correspondence between the contrast value of the image and the blurring degree evaluation value W4. The blurring degree evaluation characteristic 600 of FIG. 6 may be predetermined as an initial setting, or may be arbitrarily changed by the user or the like. In the blurring degree evaluation characteristic 600 of FIG. 6, "3" is associated as the blurring degree evaluation value W4 when the contrast value is 0 to 20, and "10" is associated as the blurring degree evaluation value W4 when the contrast value is 60 or more. The attached example is shown. Further, the blurring degree evaluation characteristic 600 of FIG. 6 is associated with a value that linearly changes from “3” to “10” as the blurring degree evaluation value W4 when the contrast value is 20 to 60. It is assumed that the images 601 to 604 illustrated in FIG. 6 are selection target images that are determined not to be images captured in the follow shot state in S206 described above. Further, in these images 601-604, it is assumed that the contrast value becomes higher in the order of the images 601, 602, 603, 604. In the case of the example of FIG. 6, the image evaluation unit 119 compares the images 601 to 604 with the blurring degree evaluation values W4 of the points 611 to 614 corresponding to the contrast values of the images 601 to 604 on the blurring degree evaluation characteristic 600, respectively. To set. In the case of the example in FIG. 6, the blurring degree evaluation value W4 that becomes a high evaluation value is set in the order of the images 601, 602, 603, and 604.

この図6で説明したように、流し撮りでない状態にて撮影された画像に対して設定されるぶれ度合い評価値W4は、その画像の被写体および背景等にピントが合っていて、被写体ぶれが少ないことを評価するためのぶれ度合い評価値となされる。図6の例の場合、画像601〜604のぶれ度合い評価値W4は、画像601、602、603、604の順に、よりピントが合っており、被写体ぶれが少なくなっていることを示す値になっている。したがって、図6に例示した画像601〜604の中から画質が良好な画像を選抜するような場合には、例えばぶれ度合い評価値W4が最も高評価値になっている画像604を選抜することが望ましいと考えられる。   As described with reference to FIG. 6, the blurring degree evaluation value W4 set for an image shot in a non-follow shot state is in focus because the subject and the background of the image are in focus, and the subject blurring is small. This is used as a blurring degree evaluation value for evaluating that. In the case of the example in FIG. 6, the blurring degree evaluation value W4 of the images 601 to 604 becomes a value indicating that the images 601, 602, 603, and 604 are more in focus and the subject blurring is smaller in the order. ing. Therefore, when selecting an image with good image quality from the images 601 to 604 illustrated in FIG. 6, for example, the image 604 having the highest evaluation value of the blurring degree evaluation value W4 may be selected. Considered desirable.

一方、図7には、前述したS206において流し撮り状態で撮影された画像であると判定された選抜対象画像の一例として、各画像701〜704を挙げている。ただし、図7に例示した画像701〜704のうち、画像702は、主被写体領域のぶれが非常に少ない一方で背景領域は大きく流れた背景ぶれ画像であるとする。画像701は、移動している主被写体の移動速度に対し、カメラを振って追従させた際の追従速度が例えば速すぎたために、背景領域と主被写体領域の両方とも大きく流れた全体ぶれ画像であるとする。画像703は、移動している主被写体の移動速度に対し、カメラを振って追従させた際の追従速度が例えば遅すぎたために、背景領域のぶれは少ない一方で、主被写体領域のぶれ量は大きくなってしまった被写体ぶれ画像であるとする。画像704は、例えばシャッタースピードが非常に高速であったために、流し撮り撮影であるにもかかわらず主被写体領域と背景領域のぶれが共に非常に少なくなっている高コントラスト画像であるとする。このような各画像701〜704の場合、前述したコントラスト値は、画像701では低く、画像704では高くなり、画像702と703のコントラスト値はある程度近い値になると考えられる。また、図7のぶれ度合い評価特性700は、選抜対象画像のコントラスト値と、ぶれ度合い評価値W4との対応関係を表している。図7のぶれ度合い評価特性700は、図6のぶれ度合い評価特性600と同様の特性である。   On the other hand, each image 701 to 704 is illustrated in FIG. 7 as an example of the selection target image determined to be the image captured in the panning state in S206 described above. However, of the images 701 to 704 illustrated in FIG. 7, it is assumed that the image 702 is a background blur image in which the main subject region has very little blur while the background region largely flows. The image 701 is an overall blurred image in which both the background area and the main subject area largely flow because the following speed when the camera is swung to follow the moving speed of the moving main subject is too fast, for example. Suppose there is. In the image 703, since the tracking speed when the camera is swung to follow the moving speed of the main subject is too slow, for example, the blur of the background region is small, but the blur amount of the main subject region is small. It is assumed that the image is a subject blurred image that has become large. It is assumed that the image 704 is a high-contrast image in which both the main subject region and the background region have very little blur even though they are panning shots because the shutter speed is very high, for example. In the case of each of the images 701 to 704, it is considered that the above-mentioned contrast value is low in the image 701 and high in the image 704, and the contrast values of the images 702 and 703 are close to each other to some extent. Further, the blurring degree evaluation characteristic 700 in FIG. 7 represents the correspondence between the contrast value of the selection target image and the blurring degree evaluation value W4. The blurring degree evaluation characteristic 700 of FIG. 7 is similar to the blurring degree evaluation characteristic 600 of FIG.

そして、前述同様のコントラスト値によるぶれ度合い評価を行った場合、画像701〜704に対しては、ぶれ度合い評価特性700上で画像701〜704の各コントラスト値に対応した点711〜714のぶれ度合い評価値W4が設定される。図7の例の場合、画像701、702、703、704の順に、より高評価値になっていくようなぶれ度合い評価値W4が設定されることになる。したがって、これら画像701〜704の中から、例えば前述同様にぶれ度合い評価値W4のみに基づいて画像を選抜した場合には、ぶれ度合い評価値W4が最も高評価値になっている画像704が選抜されることになると考えられる。   Then, when the blurring degree evaluation based on the same contrast value as described above is performed, for the images 701 to 704, the blurring degrees of the points 711 to 714 corresponding to the respective contrast values of the images 701 to 704 on the blurring degree evaluation characteristic 700. The evaluation value W4 is set. In the case of the example in FIG. 7, the blurring degree evaluation value W4 that becomes a higher evaluation value is set in the order of the images 701, 702, 703, and 704. Therefore, when an image is selected from these images 701 to 704 based on only the blurring degree evaluation value W4 as described above, for example, the image 704 having the highest blurring degree evaluation value W4 is selected. It is supposed to be done.

ここで、流し撮りにより撮影された画像の場合、良好な画質の画像は、主被写体領域のような一部の画像領域のぶれは非常に少ない一方で、それ以外の背景等の画像領域は大きく流れた背景ぶれ画像であると考えられる。すなわち、流し撮り撮影された画像の場合、画像全体が高コントラストな画像ではなく、主被写体領域は適切なコントラストで、背景領域は画像の流れによる低コントラストの画像が、良好な画質の画像であると考えられる。言い換えると、主被写体領域ではぶれ度合いが小さく、背景領域では画像の流れによりぶれ度合いが大きい画像が、良好な画質の流し撮り画像であると考えられる。一方、画像701〜704の中から前述したぶれ度合い評価値W4のみに基づいて画像を選抜した場合、選抜されるのは画像704になり、流し撮りにおいて良好な画質の画像であると考えられる画像702は選抜されないことになってしまう。   Here, in the case of an image taken by panning, an image with good image quality has very little blur in some image areas such as the main subject area, while other image areas such as the background are large. It is considered to be a background blurred image. That is, in the case of an image taken by the follow shot, the entire image is not a high-contrast image, the main subject region has an appropriate contrast, and the background region has a low-contrast image due to the flow of the image, which is an image with good image quality. it is conceivable that. In other words, an image with a small degree of blurring in the main subject area and a large degree of blurring in the background area due to the flow of images is considered to be a follow shot image with good image quality. On the other hand, when an image is selected from the images 701 to 704 only based on the above-described blurring degree evaluation value W4, the image 704 is selected, which is considered to be an image having good image quality in the follow shot. 702 will not be selected.

このため、本実施形態のデジタルカメラは、選抜対象画像が流し撮り状態で撮影された画像である場合には、その画像の一部の画像領域を第1の評価領域とし、それ以外を第2の評価領域として領域分けを行う。そして、デジタルカメラは、それら各評価領域でそれぞれ別のぶれ度合い判定基準によるぶれ度合い評価を行う。詳細については後述するが、本実施形態のデジタルカメラは、流し撮りにより撮影された選抜対象画像について、第1の評価領域と第2の評価領域とでそれぞれ別のぶれ度合い判定基準による第1,第2のぶれ度合い評価値を求める。   Therefore, in the digital camera of the present embodiment, when the selection target image is an image taken in the follow shot state, a part of the image area of the image is set as the first evaluation area, and the other area is set as the second evaluation area. The area is divided as an evaluation area of. Then, the digital camera evaluates the blurring degree in each of the evaluation areas according to a different blurring degree determination standard. Although details will be described later, the digital camera of the present embodiment is configured such that the selection target image photographed by the follow shot is divided into the first evaluation region and the second evaluation region by the different blurring degree determination criteria. A second blurring degree evaluation value is obtained.

図2のフローチャートに説明を戻す。S206で選抜対象画像が流し撮り撮影された画像であると判定されてS208に進んだ場合、画像評価部119は、先ず、その撮影対象画像を、縦横方向で共に例えば7分割した7×7のブロックに分割する。   Description will be returned to the flowchart of FIG. When it is determined in S206 that the selection target image is a panning shot image, and the process proceeds to S208, the image evaluation unit 119 firstly divides the shooting target image into, for example, 7 in the vertical and horizontal directions into 7 × 7. Divide into blocks.

図8(a)〜図8(d)には、流し撮り状態で撮影された選抜対象画像であると判定された各画像801〜804の一例を示している。なお、図8(a)の画像801は、前述の画像701のように背景領域と主被写体領域の両方とも大きく流れた全体ぶれ画像であるとする。図8(b)の画像802は、前述の画像702のように主被写体領域のぶれが非常に少ない一方で背景領域は大きく流れた背景ぶれ画像であるとする。図8(c)の画像803は、前述の画像703のように背景領域のぶれは少ない一方で、主被写体領域のぶれ量は大きくなっている被写体ぶれ画像であるとする。図8(d)の画像804は、前述の画像704のように主被写体領域と背景領域のぶれが共に非常に少ない高コントラスト画像であるとする。これら図8(a)〜図8(d)の各画像801〜804のうち、流し撮りされた画像において良好な画質とされる画像は、主被写体領域のぶれが非常に少ない一方で背景領域は大きく流れた背景ぶれ画像(画像802)であると考えられる。   FIG. 8A to FIG. 8D show an example of each of the images 801 to 804 determined to be the selection target images captured in the follow shot state. It is assumed that the image 801 in FIG. 8A is an overall blurred image in which both the background region and the main subject region largely flow like the image 701 described above. It is assumed that the image 802 in FIG. 8B is a background blur image in which the main subject region has very little blurring as in the image 702 described above, while the background region largely flows. It is assumed that the image 803 in FIG. 8C is a subject blur image in which the blur in the background region is small and the blur amount in the main subject region is large like the image 703 described above. It is assumed that the image 804 in FIG. 8D is a high-contrast image in which both the main subject region and the background region have very little blur as in the image 704 described above. Of the images 801 to 804 shown in FIGS. 8A to 8D, the image having good image quality in the panned image has a very small blur in the main subject region while the background region has It is considered to be a background blur image (image 802) that has largely flown.

画像評価部119は、これら各画像801〜804を、それぞれ複数のブロック810に分割し、各ブロック810の画像領域からそれぞれ前述同様のエッジ信号を取得する。そして、画像評価部119は、各画像801〜804の各ブロック810を、例えば画像の中心領域820の複数ブロック(この例では縦×横が4×3のブロック)と、それら中心領域820を除く周辺領域830の複数ブロックとに分ける。本実施形態の場合、中心領域820を第1の評価領域とし、周辺領域830を第2の評価領域としており、画像評価部119は、中心領域820と周辺領域830とで、後述するようにそれぞれ別のぶれ度合い判定基準によるぶれ度合い評価を行う。   The image evaluation unit 119 divides each of these images 801 to 804 into a plurality of blocks 810, and acquires the same edge signal as described above from the image area of each block 810. Then, the image evaluation unit 119 excludes each block 810 of each of the images 801 to 804, for example, a plurality of blocks in the central region 820 of the image (in this example, blocks of 4 × 3 in length × width) and the central regions 820. The peripheral area 830 is divided into a plurality of blocks. In the case of the present embodiment, the central region 820 is the first evaluation region and the peripheral region 830 is the second evaluation region. The image evaluation unit 119 includes the central region 820 and the peripheral region 830, respectively, as described later. The blurring degree is evaluated based on another blurring degree determination standard.

なお、図8(a)〜図8(d)の例では中心領域820を第1の評価領域としたが、選抜対象画像の評価パラメータに基づいて、第1の評価領域が決定されてもよい。一例として、画像評価部119は、評価パラメータに含まれている被写体情報に基づいて、選抜対象画像の中の主被写体領域を特定し、その主被写体領域の画像領域を第1の評価領域とし、それ以外を第2の評価領域としてもよい。また、例えばオートフォーカス制御による合焦位置の主被写体領域が第1の評価領域となされ、それ以外が第2の評価領域となされてもよい。また、各被写体領域の距離情報や、画像を撮影した際の被写界深度情報を基に、第1の評価領域と第2の評価領域の領域分けが行われてもよい。その他にも、例えば画像内の顔の位置、顔のサイズ、画像中心から顔までの距離、顔の向き、視線の方向、笑顔等の顔の表情から前述のように算出した画像評価値に基づいて、第1の評価領域と第2の評価領域の領域分けが行われてもよい。この例の場合、顔の位置、顔のサイズ、画像中心から顔までの距離、顔の向き、視線の方向、笑顔度等に基づく画像評価値を、画像内の被写体領域毎に求めるようにする。そして、それら各被写体領域の中で、例えば画像評価値が最も高い被写体領域を第1の評価領域とし、それ以外を第2の評価領域とする。   Although the central region 820 is the first evaluation region in the examples of FIGS. 8A to 8D, the first evaluation region may be determined based on the evaluation parameter of the selection target image. . As an example, the image evaluation unit 119 specifies the main subject area in the selection target image based on the subject information included in the evaluation parameter, and sets the image area of the main subject area as the first evaluation area, Other than that may be used as the second evaluation area. Further, for example, the main subject area at the in-focus position under autofocus control may be the first evaluation area, and the other areas may be the second evaluation area. Further, the first evaluation region and the second evaluation region may be divided into regions based on the distance information of each subject region and the depth of field information when the image is captured. In addition, for example, based on the image evaluation value calculated as described above from the facial position such as the position of the face in the image, the size of the face, the distance from the center of the image to the face, the direction of the face, the direction of the line of sight, and the smile. Then, the first evaluation area and the second evaluation area may be divided. In the case of this example, the image evaluation value based on the position of the face, the size of the face, the distance from the center of the image to the face, the orientation of the face, the direction of the line of sight, the degree of smile, etc. is obtained for each subject area in the image. . Then, of the respective subject regions, for example, the subject region having the highest image evaluation value is the first evaluation region, and the other regions are the second evaluation regions.

また、画像評価部119は、前述した第1の評価領域と第2の評価領域に対して、それぞれ別のぶれ度合い判定基準によるぶれ度合い評価を行うために、それら第1の評価領域と第2の評価領域についてそれぞれコントラスト値を算出する。具体的には、画像評価部119は、第1の評価領域について前述したような各ブロックのエッジ信号の合計値から平均値を求め、その平均値(エッジ強度)を第1の評価領域のコントラスト値とする。同様に、画像評価部119は、第2の評価領域について各ブロックのエッジ信号の合計値から平均値を求め、その平均値(エッジ強度)を第2の評価領域のコントラスト値とする。そして、画像評価部119は、第1の評価領域については、その領域のコントラスト値が高くぶれ度合いが小さいほど、高評価値となるような第1の評価値(以下、第1のぶれ度合い評価値とする。)を設定する。一方、画像評価部119は、第2の評価領域については、その領域のコントラスト値が低くぶれ度合いが大きいほど、高評価値となるような第2の評価値(以下、第2のぶれ度合い評価値とする。)を設定する。   In addition, the image evaluation unit 119 performs the blur evaluation on the first evaluation area and the second evaluation area described above by different blur evaluation criteria, so that the first evaluation area and the second evaluation area are evaluated. The contrast value is calculated for each of the evaluation areas. Specifically, the image evaluation unit 119 obtains an average value from the total value of the edge signals of each block as described above with respect to the first evaluation area, and calculates the average value (edge strength) as the contrast of the first evaluation area. The value. Similarly, the image evaluation unit 119 obtains an average value from the total value of the edge signals of each block for the second evaluation area, and sets the average value (edge strength) as the contrast value of the second evaluation area. Then, the image evaluation unit 119 determines, for the first evaluation area, that the higher the contrast value of the area is and the smaller the blurring degree is, the higher the first evaluation value (hereinafter, referred to as the first blurring degree evaluation). Value). On the other hand, for the second evaluation area, the image evaluation unit 119 makes the second evaluation value (hereinafter, the second blurring degree evaluation) such that the lower the contrast value of the area is and the larger the blurring degree is, the higher the evaluation value becomes. Value).

図9は、第1の評価領域についてぶれ度合い評価を行う際の評価基準としての第1のぶれ度合い評価特性900と、第1の評価領域921〜924とを示す図である。図9の第1のぶれ度合い評価特性900は、第1の評価領域のコントラスト値と、第1の評価領域に対する第1のぶれ度合い評価値W5との対応関係を表している。第1のぶれ度合い評価特性900は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。第1のぶれ度合い評価特性900は、前述の図7に示したぶれ度合い評価特性700と同様の特性である。すなわち、第1のぶれ度合い評価特性900は、第1の評価領域のコントラスト値が高くぶれ度合いが小さいほど、高評価値となる第1のぶれ度合い評価値W5を設定するような特性となされている。   FIG. 9 is a diagram showing first blurring degree evaluation characteristics 900 and first evaluation areas 921 to 924 as evaluation criteria when performing blurring degree evaluation on the first evaluation area. The first blurring degree evaluation characteristic 900 of FIG. 9 represents the correspondence relationship between the contrast value of the first evaluation area and the first blurring degree evaluation value W5 for the first evaluation area. The first blurring degree evaluation characteristic 900 may be predetermined as an initial setting, or may be arbitrarily changed by the user or the like. The first blurring degree evaluation characteristic 900 is similar to the blurring degree evaluation characteristic 700 shown in FIG. That is, the first blurring degree evaluation characteristic 900 is set such that the higher the contrast value of the first evaluation area and the smaller the blurring degree, the higher the evaluation value of the first blurring degree evaluation value W5. There is.

また、図9に例示した第1の評価領域921は、前述の図8(a)に示した全体ぶれ画像である画像801から中心領域820のみを評価対象として抜き出した領域である。また、第1の評価領域922は、図8(c)に示した被写体ぶれ画像である画像803から中心領域のみを評価対象として抜き出した領域である。以下同様に、第1の評価領域923は図8(b)に示した背景ぶれ画像である画像802から、第1の評価領域924は図8(d)に示した高コントラスト画像である画像804から中心領域を抜き出した領域である。第1の評価領域921は、全体ぶれ画像から抜き出された領域であるため、コントラスト値が低く、ぶれ度合いは大きい。また、第1の評価領域924は、高コントラスト画像から抜き出された領域であるため、コントラスト値は高く、ぶれ度合は非常に小さい。また、第1の評価領域922は、被写体ぶれ画像から抜き出された領域であるため、コントラスト値はやや高く、ぶれ度合いはやや小さい。これに対し、第1の評価領域923は、背景ぶれ画像から抜き出された中心領域(被写体領域)であり、この領域のコントラスト値は高いため、ぶれ度合いは非常に小さい。   Further, the first evaluation area 921 illustrated in FIG. 9 is an area in which only the central area 820 is extracted as an evaluation target from the image 801 which is the overall blurred image illustrated in FIG. 8A described above. Further, the first evaluation area 922 is an area in which only the central area is extracted as an evaluation target from the image 803 which is the subject blurring image shown in FIG. 8C. Similarly, the first evaluation area 923 is the image 802 which is the background blur image shown in FIG. 8B, and the first evaluation area 924 is the image 804 which is the high contrast image shown in FIG. 8D. This is a region extracted from the central region. Since the first evaluation area 921 is an area extracted from the overall blurred image, the contrast value is low and the degree of shaking is large. The first evaluation area 924 is an area extracted from the high-contrast image, so that the contrast value is high and the degree of blurring is very small. Further, since the first evaluation area 922 is an area extracted from the subject blur image, the contrast value is slightly high and the degree of blur is slightly small. On the other hand, the first evaluation area 923 is a central area (subject area) extracted from the background blur image, and the contrast value of this area is high, so the degree of blur is very small.

画像評価部119は、これら第1の評価領域921〜924について、第1のぶれ度合い評価特性900を用いてコントラスト値に基づくぶれ度合い評価を行う。図9の例では、第1の評価領域921〜924の各コントラスト値に対応した点911〜914の第1のぶれ度合い評価値W5が設定されることになる。特に、流し撮り画像として良好な画質の背景ぶれ画像である図8(b)の画像802から中心領域を抜き出した図9の第1の評価領域923は、値が例えば10のように高い値の第1のぶれ度合い評価値W5が設定されることになる。   The image evaluation unit 119 performs the blurring degree evaluation based on the contrast value on the first evaluation areas 921 to 924 using the first blurring degree evaluation characteristic 900. In the example of FIG. 9, the first blurring degree evaluation value W5 of the points 911 to 914 corresponding to the respective contrast values of the first evaluation areas 921 to 924 is set. In particular, the first evaluation region 923 in FIG. 9 in which the central region is extracted from the image 802 in FIG. 8B, which is a background blur image having good image quality as a follow shot image, has a high value such as 10, for example. The first blurring degree evaluation value W5 is set.

図10は、第2の評価領域についてぶれ度合い評価を行う際の評価基準としての第2のぶれ度合い評価特性1000と、第2の評価領域1021〜1024とを示す図である。第2のぶれ度合い評価特性1000は、第2の評価領域のコントラスト値と、第2の評価領域に対する第2のぶれ度合い評価値W6との対応関係を表している。第2のぶれ度合い評価特性1000は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。第2のぶれ度合い評価特性1000は、コントラスト値が例えば0〜20までは第2のぶれ度合い評価値W6として「10」が対応付けられ、コントラスト値が60以上では第2のぶれ度合い評価値W6として「3」が対応付けられた例を示している。また、第2のぶれ度合い評価特性1000では、コントラスト値が20〜60では第2のぶれ度合い評価値W6として「10」から「3」まで線形に変化する値が対応付けられている。すなわち、第2のぶれ度合い評価特性1000は、コントラスト値が低くぶれ度合いが大きいほど、高評価値になる第2のぶれ度合い評価値を設定するような特性となされている。   FIG. 10 is a diagram showing a second blurring degree evaluation characteristic 1000 and second evaluation areas 1021 to 1024 as evaluation criteria when performing the blurring degree evaluation on the second evaluation area. The second blurring degree evaluation characteristic 1000 represents the correspondence between the contrast value of the second evaluation area and the second blurring degree evaluation value W6 for the second evaluation area. The second blurring degree evaluation characteristic 1000 may be predetermined as an initial setting, or may be arbitrarily changed by the user or the like. In the second blurring degree evaluation characteristic 1000, “10” is associated as the second blurring degree evaluation value W6 when the contrast value is 0 to 20, for example, and the second blurring degree evaluation value W6 is set when the contrast value is 60 or more. Shows an example in which “3” is associated. Further, in the second blurring degree evaluation characteristic 1000, a value that linearly changes from “10” to “3” is associated as the second blurring degree evaluation value W6 when the contrast value is 20 to 60. That is, the second blurring degree evaluation characteristic 1000 is set such that the second blurring degree evaluation value that becomes a higher evaluation value is set as the contrast value becomes lower and the blurring degree becomes larger.

また、図10に示した第2の評価領域1021は、前述の図8(a)に示した全体ぶれ画像である画像801から周辺領域830のみを評価対象として抜き出した領域である。また、第2の評価領域1022は、図8(b)に示した背景ぶれ画像である画像802から周辺領域830のみを評価対象として抜き出した領域である。以下同様に、第2の評価領域1023は図8(c)に示した被写体ぶれ画像である画像803から、第2の評価領域1024は図8(d)に示した高コントラスト画像である画像804から、周辺領域830を抜き出した領域である。第2の評価領域1021は、全体ぶれ画像から抜き出された領域であるため、コントラスト値は低く、ぶれ度合いは大きい。また、第2の評価領域1024は、高コントラスト画像から抜き出された領域であるため、コントラスト値は高く、ぶれ度合は非常に小さい。第2の評価領域1023は、被写体ぶれ画像から抜き出された周辺領域であるため、コントラスト値がやや高く、ぶれ度合いはやや小さい。これに対し、第2の評価領域1022は、背景ぶれ画像から抜き出された周辺領域であるため、コントラスト値が低く、ぶれ度合いは大きい。   The second evaluation area 1021 shown in FIG. 10 is an area in which only the peripheral area 830 is extracted as an evaluation target from the image 801 which is the overall blurred image shown in FIG. 8A. The second evaluation area 1022 is an area in which only the peripheral area 830 is extracted as an evaluation target from the image 802 which is the background blur image shown in FIG. 8B. Similarly, the second evaluation area 1023 is the image 803 which is the subject blurring image shown in FIG. 8C, and the second evaluation area 1024 is the image 804 which is the high contrast image shown in FIG. 8D. A peripheral region 830 is extracted from the above. The second evaluation area 1021 is an area extracted from the overall blurred image, and thus has a low contrast value and a large blur degree. The second evaluation area 1024 is an area extracted from the high-contrast image, so the contrast value is high and the degree of blurring is very small. Since the second evaluation area 1023 is a peripheral area extracted from the subject blur image, the contrast value is slightly high and the blur degree is slightly small. On the other hand, the second evaluation area 1022 is a peripheral area extracted from the background blur image, and thus has a low contrast value and a large blur degree.

画像評価部119は、これら第2の評価領域1021〜1024について、第2のぶれ度合い評価特性1000を用いたコントラスト値に基づくぶれ度合い評価を行う。図10の例では、第2の評価領域1021〜1024の各コントラスト値に対応した点1011〜1014の第2のぶれ度合い評価値W6が設定されることになる。特に、流し撮り画像として良好な画質の背景ぶれ画像である図8(b)の画像802から周辺領域を抜き出した図10の第2の評価領域1022は、値が例えば10に近い高い値の第2のぶれ度合い評価値W6が設定されることになる。   The image evaluation unit 119 performs blurring degree evaluation on the second evaluation areas 1021 to 1024 based on the contrast value using the second blurring degree evaluation characteristic 1000. In the example of FIG. 10, the second blurring degree evaluation value W6 of the points 1011 to 1014 corresponding to each contrast value of the second evaluation areas 1021 to 1024 is set. In particular, the second evaluation region 1022 in FIG. 10 in which the peripheral region is extracted from the image 802 in FIG. 8B, which is a background blur image having good image quality as a follow shot image, has a value of a high value close to 10, for example. The blurring degree evaluation value W6 of 2 is set.

そして、画像評価部119は、流し撮り状態で撮影された選抜対象画像に対して前述のようにして求めた第1のぶれ度合い評価値W5と第2のぶれ度合い評価値W6とを用いて、最終的なぶれ度合い評価値を算出する。具体的には、画像評価部119は、第1のぶれ度合い評価値W5と第2のぶれ度合い評価値W6とを乗算した評価値を、流し撮り状態で撮影された選抜対象画像における最終的なぶれ度合い評価値として求める。最終的なぶれ度合い評価値は、流し撮り状態で撮影された画像の画質を評価する評価値であるため、以下の説明では「流し撮り評価値」と表記する。ここで、前述した図9の例で第1のぶれ度合い評価値W5の値が高いのは第1の評価領域923と第1評価領域924であり、図10の例では第2のぶれ度合い評価値W6の値が高いのは第2の評価領域1021と第2の評価領域1022である。そして、第1のぶれ度合い評価値W5と第2のぶれ度合い評価値W6を乗算した流し撮り評価値が高くなるのは、図9の第1の評価領域923と図10の第2の評価領域1022の元の画像である、前述した図8(b)の画像802(背景ぶれ画像)となる。このため、例えば図8(a)〜図8(d)に示した複数の画像801〜804の中から、流し撮り評価値に基づいて画像を選抜することを想定した場合、画質の良い流し撮り画像としては、画像802(背景ぶれ画像)が選抜されることになると考えられる。   Then, the image evaluation unit 119 uses the first blurring degree evaluation value W5 and the second blurring degree evaluation value W6 obtained as described above for the selection target image captured in the follow shot state, A final blur evaluation value is calculated. Specifically, the image evaluation unit 119 uses the evaluation value obtained by multiplying the first blurring degree evaluation value W5 and the second blurring degree evaluation value W6 as a final value in the selection target image captured in the follow shot state. Obtained as a blur evaluation value. Since the final blurring degree evaluation value is an evaluation value for evaluating the image quality of an image taken in the follow shot state, it will be referred to as a “follow shot evaluation value” in the following description. Here, in the example of FIG. 9 described above, the values of the first blurring degree evaluation value W5 are high in the first evaluation area 923 and the first evaluation area 924, and in the example of FIG. 10, the second blurring degree evaluation. The value W6 is high in the second evaluation area 1021 and the second evaluation area 1022. Then, the follow shot taking evaluation value obtained by multiplying the first blurring degree evaluation value W5 and the second blurring degree evaluation value W6 is high in the first evaluation area 923 of FIG. 9 and the second evaluation area of FIG. The original image of 1022 is the above-described image 802 of FIG. 8B (background blur image). Therefore, for example, when it is assumed that an image is selected from the plurality of images 801 to 804 shown in FIGS. 8A to 8D based on the follow shot evaluation value, the follow shot with high image quality is obtained. It is considered that the image 802 (background blurring image) is selected as the image.

前述の例では、第1,第2の評価領域から第1,第2のぶれ度合い評価値W5,W6を求めてそれらを乗算して流し撮り評価値を算出したが、例えば第1,第2の評価領域のコントラスト値に対して所定の閾値を設定して流し撮り評価を行うようにしてもよい。例えば、第1の評価領域のコントラスト値に対して所定の第1の閾値TH1を設定し、第2の評価領域のコントラスト値に対して所定の第2の閾値TH2を設定しておく。そして、画像評価部119は、第1の評価領域のコントラスト値が第1の閾値TH1以上で、第2の評価領域のコントラスト値が第2の閾値TH2未満であれば良好な流し撮り画像であると判定し、一方、それ以外である場合には流し撮り対象外の画像とする。   In the above-mentioned example, the first and second blurring degree evaluation values W5 and W6 are obtained from the first and second evaluation areas, and they are multiplied to calculate the follow shot evaluation value. A predetermined threshold value may be set for the contrast value of the evaluation area to perform the follow shot evaluation. For example, a predetermined first threshold TH1 is set for the contrast value of the first evaluation area, and a predetermined second threshold TH2 is set for the contrast value of the second evaluation area. Then, the image evaluation unit 119 is a good follow shot image if the contrast value of the first evaluation area is equal to or higher than the first threshold TH1 and the contrast value of the second evaluation area is less than the second threshold TH2. On the other hand, if it is other than that, the image is not a panning subject.

ここで、コントラスト値に対する閾値の設定例として、第1の閾値TH1を例えば60とし、第2の閾値TH2を例えば30とした場合、画像評価部119は、以下のようにして、選抜対象画像を流し撮り評価を行う。前述した図9の各第1の評価領域921〜924のうち第1コントラスト値が第1の閾値TH1以上となるのは、第1の評価領域923,924である。第1の評価領域923は図8(b)の画像802の中心領域であり、第1の評価領域924は図8(d)の画像804の中心領域である。また、図10の第2の評価領域1021〜1024のうち第2コントラスト値が第2の閾値TH2未満となるのは、第2の評価領域1021,1022である。第1の評価領域1021は図8(a)の画像801の周辺領域であり、第2の評価領域1022は図8(b)の画像802の周辺領域である。したがって、画像評価部119は、第1の評価領域923および第2の評価領域1022の元画像である図8(b)の画像802を、良好な流し撮り画像と判定する。一方、画像評価部119は、図8(b)の画像802を除いた、図8(a),図8(c),図8(d)の各画像801,803,804を流し撮り対象外の画像とする。   Here, as an example of setting the threshold value for the contrast value, when the first threshold value TH1 is set to 60 and the second threshold value TH2 is set to 30, for example, the image evaluation unit 119 sets the selection target image as follows. Perform follow shot evaluation. Of the first evaluation areas 921 to 924 in FIG. 9 described above, it is the first evaluation areas 923 and 924 that the first contrast value is equal to or higher than the first threshold value TH1. The first evaluation area 923 is the central area of the image 802 in FIG. 8B, and the first evaluation area 924 is the central area of the image 804 in FIG. 8D. Further, it is the second evaluation areas 1021 and 1022 that the second contrast value is less than the second threshold TH2 among the second evaluation areas 1021 to 1024 in FIG. The first evaluation area 1021 is a peripheral area of the image 801 in FIG. 8A, and the second evaluation area 1022 is a peripheral area of the image 802 in FIG. 8B. Therefore, the image evaluation unit 119 determines that the image 802 in FIG. 8B, which is the original image of the first evaluation area 923 and the second evaluation area 1022, is a good follow shot image. On the other hand, the image evaluation unit 119 excludes the images 801, 803, and 804 of FIGS. 8A, 8C, and 8D excluding the image 802 of FIG. Image.

なお、画像評価部119は、第1の閾値TH1、第2の閾値TH2を、前述した評価パラメータに応じて変更することも可能である。具体的には、画像評価部119は、評価パラメータとして被写体領域の位置情報およびサイズ情報を用い、それら位置情報およびサイズ情報と第1の評価領域の範囲との比較に基づき、第1,第2の閾値TH1,TH2を変更する。例えば、図11(a)のように、画像1101内の被写体領域(例えば顔)が第1の評価領域1111(中心領域)の範囲内に略々収まる場合には、例えば第1の閾値TH1は100、第2の閾値TH2は30に設定されているとする。これに対し、図11(b)のように、画像1102内の被写体領域(例えば車)が第1の評価領域1112の範囲内からはみ出す場合、画像評価部119は、例えば第1の閾値TH1を80、第2の閾値TH2を50に変更する。より詳細に説明すると、図11(a)のように被写体領域が第1の評価領域1111の範囲内に収まっている場合、主被写体領域は周辺領域にはみ出すことはないため、周辺領域のコントラスト値は低くなると考えられる。またこの場合、第1の評価領域1111のコントラスト値は、周辺領域の低いコントラスト値に対して相対的に高くなっていると考えられる。これに対し、図11(b)のように被写体領域が第1の評価領域1112の範囲内からはみ出す場合、主被写体領域は周辺領域にまで広がることになり、周辺領域のコントラスト値は高くなると考えられる。またこの場合、第1の評価領域1112のコントラスト値は、周辺領域の高くなったコントラスト値に対して図11(a)の場合よりも相対的に低くなると考えられる。したがって、図11(b)に示すように、被写体領域が第1の評価領域1112の範囲内からはみ出す場合、画像評価部119は、第1の閾値TH1をより低い値である80に設定し、第2の閾値TH2をより高い値である50に設定する。   The image evaluation unit 119 can also change the first threshold value TH1 and the second threshold value TH2 according to the evaluation parameters described above. Specifically, the image evaluation unit 119 uses the position information and the size information of the subject area as the evaluation parameter, and based on the comparison between the position information and the size information and the range of the first evaluation area, the first and second areas. The thresholds TH1 and TH2 of are changed. For example, as shown in FIG. 11A, when the subject area (for example, face) in the image 1101 is substantially within the range of the first evaluation area 1111 (center area), for example, the first threshold TH1 is It is assumed that 100 and the second threshold TH2 are set to 30. On the other hand, as shown in FIG. 11B, when the subject area (for example, a car) in the image 1102 extends out of the range of the first evaluation area 1112, the image evaluation unit 119 sets, for example, the first threshold TH1. 80, and the second threshold TH2 is changed to 50. More specifically, as shown in FIG. 11A, when the subject area is within the range of the first evaluation area 1111, the main subject area does not extend to the peripheral area, and therefore the contrast value of the peripheral area is set. Is expected to be low. Further, in this case, it is considered that the contrast value of the first evaluation area 1111 is relatively higher than the low contrast value of the peripheral area. On the other hand, when the subject region extends out of the range of the first evaluation region 1112 as shown in FIG. 11B, the main subject region extends to the peripheral region, and the contrast value of the peripheral region is considered to be high. To be Further, in this case, the contrast value of the first evaluation area 1112 is considered to be relatively lower than that in the case of FIG. 11A with respect to the increased contrast value of the peripheral area. Therefore, as shown in FIG. 11B, when the subject area extends out of the range of the first evaluation area 1112, the image evaluation unit 119 sets the first threshold TH1 to 80, which is a lower value, The second threshold TH2 is set to a higher value, 50.

また、画像評価部119は、第1の閾値TH1、第2の閾値TH2を、例えば撮影シーンに応じて変更することも可能である。なお、撮影シーンは、例えば撮影情報のうちユーザ設定情報の撮影モード情報や、撮影時の明るさに対応した露出情報等から判定することが可能である。一例として、図11(b)のように、画像1102が明るい日中のシーンを撮影した画像である場合には、例えば前述のように第1の閾値TH1は80、第2の閾値TH2は50に設定されるとする。これに対し、図11(c)のように、画像1103が暗い夜景のシーンを撮影した画像である場合、画像評価部119は、例えば第1の閾値TH1を180、第2の閾値TH2を150の値に変更する。より詳細に説明すると、図11(c)のように暗い夜景のシーンを撮影した画像1103の場合、周辺領域(背景)の中に電灯やヘッドライトなどの光源の画像があると、周辺領域のコントラスト値が高くなる可能性がある。また、夜景のシーンを撮影した画像1103の場合、第1の評価領域1113内の主被写体領域(この例では車)についても、ヘッドライトなどによりコントラスト値が高くなる可能性がある。このため、選抜対象画像が図11(c)のように夜景のシーンを撮影した画像である場合、画像評価部119は、第1の閾値TH1と第2の閾値TH2を共に高い値(TH1を180、TH2を150)に設定する。   The image evaluation unit 119 can also change the first threshold value TH1 and the second threshold value TH2 according to, for example, a shooting scene. The shooting scene can be determined from, for example, shooting mode information of user setting information in the shooting information, exposure information corresponding to the brightness at the time of shooting, and the like. As an example, when the image 1102 is an image of a bright daytime scene as shown in FIG. 11B, the first threshold TH1 is 80 and the second threshold TH2 is 50, for example, as described above. Is set to. On the other hand, when the image 1103 is an image of a dark night scene as shown in FIG. 11C, the image evaluation unit 119, for example, sets the first threshold TH1 to 180 and the second threshold TH2 to 150. Change to the value of. More specifically, in the case of an image 1103 that is a scene of a dark night scene as shown in FIG. 11C, if an image of a light source such as an electric light or a headlight exists in the peripheral area (background), the peripheral area The contrast value may be high. Further, in the case of the image 1103 obtained by shooting the night scene, the contrast value of the main subject area (vehicle in this example) in the first evaluation area 1113 may be high due to the headlight or the like. Therefore, when the selection target image is an image obtained by shooting a night scene as shown in FIG. 11C, the image evaluation unit 119 sets both the first threshold value TH1 and the second threshold value TH2 to a high value (TH1 is set). 180 and TH2 to 150).

前述の説明では、第1,第2の評価領域のコントラスト値に対して所定の第1,第2の閾値を設定した例を挙げたが、本実施形態では、コントラスト値は前述したようにぶれ度合いを表すための値として用いられている。したがって、第1,第2の評価領域についてぶれ度合いの観点から考えた場合には、第1,第2の閾値は、第1,第2の評価領域の「ぶれ度合い」に対して設定される値と言える。ただし、前述したようにコントラスト値が高い場合にはぶれ度合いは小さく、コントラスト値が低い場合にはぶれ度合いは大きくなるため、ぶれ度合いに対する第1,第2の閾値は、コントラスト値に対する第1,第2の閾値とは逆の特性を有することになる。すなわち、この場合、画像評価部119は、第1の評価領域の第1のぶれ度合い評価値が第1の閾値未満で、第2の評価領域の第2のぶれ度合い評価値が第2の閾値以上であれば良好な流し撮り画像と判定し、それ以外の場合には流し撮り対象外の画像とする。   In the above description, the example in which the predetermined first and second threshold values are set for the contrast values of the first and second evaluation areas has been taken as an example, but in the present embodiment, the contrast values are blurred as described above. It is used as a value to express the degree. Therefore, when considering the first and second evaluation areas from the viewpoint of the degree of blurring, the first and second threshold values are set for the “blurring degree” of the first and second evaluation areas. It can be called a value. However, as described above, when the contrast value is high, the blurring degree is small, and when the contrast value is low, the blurring degree is large. Therefore, the first and second threshold values for the blurring degree are the first and second threshold values for the contrast value. It will have the opposite characteristic of the second threshold. That is, in this case, the image evaluation unit 119 determines that the first blurring degree evaluation value of the first evaluation area is less than the first threshold value and the second blurring degree evaluation value of the second evaluation area is the second threshold value. If it is more than the above, it is determined as a good follow shot image, and in other cases, it is determined as an image not subject to follow shot shooting.

また前述の説明では、第1,第2の評価領域における「ぶれ度合い」を表すための値としてコントラスト値を用いているが、例えば第1,第2の評価領域内の画像の周波数を用いてもよい。この場合、第1,第2の評価領域内の画像の周波数が高ければぶれ度合いは小さく、一方、周波数が低ければぶれ度合いは大きくなる。この例のような第1,第2の評価領域内の画像の周波数についても、前述同様の第1,第2の閾値を設定することが可能である。ただし、画像の周波数を用いた場合の第1,第2の閾値は、コントラスト値用の前述した第1,第2の閾値TH1,TH2とは異なり、画像の周波数に対して別途用意された値となされる。   Further, in the above description, the contrast value is used as the value for expressing the “blurring degree” in the first and second evaluation areas, but, for example, the frequency of the image in the first and second evaluation areas is used. Good. In this case, if the frequency of the images in the first and second evaluation areas is high, the degree of blurring is small, while if the frequency is low, the degree of blurring is large. It is possible to set the same first and second threshold values as described above for the frequencies of the images in the first and second evaluation areas as in this example. However, the first and second thresholds when the frequency of the image is used are different from the above-described first and second thresholds TH1 and TH2 for the contrast value, and the values separately prepared for the frequency of the image. Is made.

また、第1の評価領域は、前述した撮影情報の評価パラメータに基づいて、その形状が変更されてもよい。例えば、前述した第1の評価領域は、アペクト比が固定されているが、例えば図12(a)、図12(b)に示すように、評価パラメータのうち主被写体領域の種別や形状に応じて、アスペクト比が変更されてもよい。具体的には、図12(a)に示すように、画像1201内の主被写体領域が人物のような縦長の被写体領域である場合、画像評価部119は、第1の評価領域1211を縦長のアスペクト比に設定する。また例えば、図12(b)に示すように、画像1202内の主被写体領域が車のような横長の被写体領域である場合、画像評価部119は、第1の評価領域1212を横長のアスペクト比に設定する。なお、第1の評価領域の形状は、四角形状に限定されず、例えば主被写体領域の種別や形状に応じた形状になされてもよい。その他にも、第1の評価領域の形状は、カメラから主被写体までの距離変動に応じて変更されてもよい。このように、主被写体の種別や形状にあわせて第1の評価領域の形状を変更した場合、流し撮り判定の精度を高めることが可能になる。   In addition, the shape of the first evaluation region may be changed based on the evaluation parameter of the above-described imaging information. For example, although the aspect ratio is fixed in the first evaluation area described above, as shown in FIGS. 12A and 12B, for example, as shown in FIGS. Then, the aspect ratio may be changed. Specifically, as shown in FIG. 12A, when the main subject area in the image 1201 is a vertically long subject area such as a person, the image evaluation unit 119 sets the first evaluation area 1211 to be vertically long. Set to the aspect ratio. Further, for example, as shown in FIG. 12B, when the main subject area in the image 1202 is a horizontally long subject area such as a car, the image evaluation unit 119 sets the first evaluation area 1212 to the horizontally long aspect ratio. Set to. The shape of the first evaluation area is not limited to the rectangular shape, and may be a shape corresponding to the type or shape of the main subject area, for example. In addition, the shape of the first evaluation area may be changed according to the distance change from the camera to the main subject. In this way, when the shape of the first evaluation region is changed according to the type and shape of the main subject, it is possible to improve the accuracy of the follow shot determination.

図2のフローチャートに説明を戻す。S208において、画像評価部119は、前述したようにして流し撮り画像用のぶれ度合い評価値(流し撮り評価値)を算出した後、S209に処理を進める。本実施形態のデジタルカメラは、前述したように静止画だけでなく動画にも対応しているため、S209において、画像評価部119は、再生期間設定部118を介して前述した再生期間内の動画データと撮影情報を取得する。撮影情報として、画像評価部119は、前述した撮影情報の中の顔情報や動きベクトル情報等を取得する。S209の後、画像評価部119は、S210に処理を進める。   Description will be returned to the flowchart of FIG. In step S208, the image evaluation unit 119 calculates the blurring degree evaluation value (following shot evaluation value) for the follow shot image as described above, and then the process proceeds to step S209. Since the digital camera of the present embodiment is compatible with not only still images but also moving images as described above, in S209, the image evaluation unit 119 causes the image evaluation unit 119 to execute the moving image within the reproduction period described above via the reproduction period setting unit 118. Get data and shooting information. As the shooting information, the image evaluation unit 119 acquires face information, motion vector information, etc. in the above-described shooting information. After S209, the image evaluation unit 119 advances the processing to S210.

S210では、画像評価部119は、動画の中の顔領域について位置の変動累積として、顔領域の動きベクトル累積量を求め、その動きベクトル累積量に基づいて動き評価値を算出する。具体的には、画像評価部119は、図13(a)〜図13(d)に示すように、動画の各フレーム画像1301〜1304内の顔等の被写体領域1311〜1314の位置変動累積として、各被写体領域1311〜1314の動きベクトル累積量を求める。そして、図13(e)に示す動き評価特性1320を用いて動き評価値W7を求める。   In S210, the image evaluation unit 119 obtains the motion vector cumulative amount of the face area as the position variation cumulative of the face area in the moving image, and calculates the motion evaluation value based on the motion vector cumulative amount. Specifically, as shown in FIGS. 13A to 13D, the image evaluation unit 119 determines that the position variation accumulation of the subject regions 1311 to 1314 such as faces in the frame images 1301 to 1304 of the moving image is accumulated. , The motion vector cumulative amount of each of the subject regions 1311 to 1314 is obtained. Then, the motion evaluation value W7 is obtained using the motion evaluation characteristic 1320 shown in FIG.

ここで、図13(e)の動き評価特性1320は、動きベクトル累積量と、動き評価値W7との対応関係を表している。動き評価特性1320は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。動き評価特性1320は、動きベクトル累積量が例えば0〜MV1までは動き評価値W7として例えば「3」が対応付けられ、動きベクトル累積量が例えばMV2以上では動き評価値W7として例えば「10」が対応付けられた例を示している。また、動き評価特性1320では、動きベクトル累積量がMV1〜MV2では動き評価値W7として「3」から「10」まで線形に変化する値が対応付けられている。すなわち、動き評価特性1320は、動きベクトル累積量が大きければ、高評価値となるような動き評価値W7を設定するような特性となされている。画像評価部119は、この図13(e)に示す動き評価特性1320を用いて、図13(a)〜図13(d)に示したような動画の各フレーム画像1301〜1304から求めた動きベクトル累積量に対応した動き評価値W7を求める。S210の後、画像評価部119は、S211に処理を進める。   Here, the motion evaluation characteristic 1320 of FIG. 13E represents the correspondence between the motion vector cumulative amount and the motion evaluation value W7. The motion evaluation characteristic 1320 may be predetermined as an initial setting, or may be arbitrarily changed by the user or the like. The motion evaluation characteristic 1320 is associated with, for example, “3” as the motion evaluation value W7 when the motion vector cumulative amount is from 0 to MV1, and with “10” as the motion evaluation value W7 when the motion vector cumulative amount is, for example, MV2 or more. An associated example is shown. Further, in the motion evaluation characteristic 1320, a value that linearly changes from “3” to “10” is associated as the motion evaluation value W7 for the motion vector cumulative amount MV1 to MV2. That is, the motion evaluation characteristic 1320 is set such that the motion evaluation value W7 is set to a high evaluation value if the motion vector cumulative amount is large. The image evaluation unit 119 uses the motion evaluation characteristics 1320 shown in FIG. 13E to obtain the motions obtained from the frame images 1301 to 1304 of the moving images shown in FIGS. 13A to 13D. A motion evaluation value W7 corresponding to the vector cumulative amount is obtained. After S210, the image evaluation unit 119 advances the processing to S211.

S211では、画像評価部119は、前述したようにして、再生期間内の各選抜対象画像についてそれぞれ求められた画像評価値、最終的なぶれ度合い評価値(流し撮り評価値)、動き評価値等を足し合わせて、総合評価値を算出する。そして、画像評価部119は、再生期間内の各選抜対象画像を、総合評価値の高い順にソートする。S211の後、制御部102は、画像分類部120にて行われるS212に処理を移行させる。   In S211, the image evaluation unit 119, as described above, the image evaluation value obtained for each selection target image within the reproduction period, the final blur evaluation value (follow shot evaluation value), the motion evaluation value, etc. Are added together to calculate a total evaluation value. Then, the image evaluation unit 119 sorts each selection target image within the reproduction period in descending order of the total evaluation value. After S211, the control unit 102 shifts the processing to S212 performed by the image classification unit 120.

S212では、画像分類部120は、再生期間の撮影総時間を算出する。具体的には、画像分類部120は、再生期間の各選抜対象画像の中で撮影日時が最も古い画像と、撮影日時が最も新しい画像との間の、撮影日時の時間差を撮影総時間として算出する。例えば、最も古い撮影時刻が8時、最も新しい撮影時刻が20時であった場合、画像分類部120は、8時から20時までの12時間を撮影総時間として算出する。S212の後、画像分類部120は、S213に処理を進める。   In S212, the image classification unit 120 calculates the total shooting time of the reproduction period. Specifically, the image classification unit 120 calculates, as the total shooting time, the time difference between the shooting dates and times between the image having the oldest shooting date and time and the image having the latest shooting date and time among the selection target images in the reproduction period. To do. For example, when the oldest shooting time is 8:00 and the newest shooting time is 20:00, the image classification unit 120 calculates 12 hours from 8:00 to 20:00 as the total shooting time. After S212, the image classification unit 120 advances the process to S213.

S213では、画像分類部120は、S212で算出した撮影総時間が1日以下である場合には、1時間を一つのイベントの区切りとする。そして、画像分類部120は、撮影総時間内で時系列的に並んでいる各選抜対象画像の中で、それぞれ撮影時刻が近い1時間分の各画像を同一イベントに分類し、それら同一に分類されたイベント毎にクラスタを生成する。これにより、例えば8時から20時までの12時間の撮影総時間の場合には、最大で12個のクラスタが生成されることになる。そして、画像分類部120は、総クラスタ数が決定したならば、その総クラスタ数に応じて、各クラスタに選抜対象画像を振り分けるようにクラスタリング処理する。なお、撮影総時間が例えば一週間など長い期間であり、多数の選抜対象画像が存在するような場合には、例えば所定の数時間や一日などをイベントの区切りにしてもよい。   In S213, the image classification unit 120 sets one hour as an event delimiter when the total shooting time calculated in S212 is one day or less. Then, the image classification unit 120 classifies, for each selection target image arranged in time series within the total shooting time, each image for one hour having a close shooting time into the same event, and classifies them into the same event. A cluster is generated for each event. As a result, for example, in the case of the total shooting time of 12 hours from 8:00 to 20:00, a maximum of 12 clusters will be generated. Then, when the total number of clusters is determined, the image classification unit 120 performs a clustering process so as to distribute the selection target image to each cluster according to the total number of clusters. If the total shooting time is a long period such as one week and a large number of selection target images are present, for example, a predetermined number of hours or one day may be set as the event delimiter.

図14(a)と図14(b)は、例えば2月から3月の間に撮影された各記録画像に対して再生期間が設定され、その再生期間の各選抜対象画像に対して行われるクラスタリング処理の一例を示している。図14(a)は、2月から3月の間において撮影されて記録された日毎の記録画像数1400を示しており、一例として、2月24日(2/24)には60シーン分の記録画像が存在していることを表している。そして、図14(a)では、再生期間として、2月24日の1日が設定されているとする。図14(b)は、再生期間として設定された2月24日の1日において、時系列的に並んでいる各選抜対象画像の中で撮影時刻が近く同一イベントに分類された画像により生成されている各クラスタ1401内のシーン数の一例を示している。図14(b)では、再生期間の撮影総時間の中で、最も古い撮影時刻が6時(6:00)で、最も新しい撮影時刻が20時(20:00)となっている例を挙げている。図14(b)において、一例として、9時のクラスタ1401の「4」は9時から1時間のイベント内に4シーンの画像が存在することを表している。S213の後、画像分類部120は、S214に処理を進める。   14A and 14B, for example, a reproduction period is set for each recorded image captured between February and March, and is performed for each selection target image in the reproduction period. An example of clustering processing is shown. FIG. 14A shows the number of recorded images 1400 taken and recorded every day between February and March, and as an example, 60 scenes are recorded on February 24 (2/24). This indicates that there is a recorded image. Then, in FIG. 14A, it is assumed that the reproduction period is set to 1st on February 24th. FIG. 14 (b) is generated by the images classified in the same event whose shooting time is close among the selection target images arranged in time series on the 1st of February 24 set as the reproduction period. 1 shows an example of the number of scenes in each cluster 1401. In FIG. 14B, the oldest shooting time is 6:00 (6:00) and the newest shooting time is 20:00 (20:00) in the total shooting time of the reproduction period. ing. In FIG. 14B, as an example, “4” of the cluster 1401 at 9 o'clock indicates that images of 4 scenes exist within an event from 9 o'clock to 1 hour. After S213, the image classification unit 120 advances the process to S214.

S214では、画像分類部120は、操作部101を介してユーザが設定した目標再生時間の情報を、制御部102から取得する。そして、画像分類部120は、次のS215の処理として、目標再生時間から総選抜枚数を決定する。一例として、ダイジェスト再生が行われる際の静止画1枚当たりの再生時間が4秒に設定されたような場合、画像分類部120は、目標再生時間を4秒で割ることにより総選抜枚数を算出する。S215の後、画像分類部120は、S216に処理を進める。   In step S <b> 214, the image classification unit 120 acquires, from the control unit 102, information on the target reproduction time set by the user via the operation unit 101. Then, the image classification unit 120 determines the total number of selected sheets from the target reproduction time as the processing of the next S215. As an example, when the reproduction time per still image when the digest reproduction is performed is set to 4 seconds, the image classification unit 120 calculates the total selection number by dividing the target reproduction time by 4 seconds. To do. After S215, the image classification unit 120 advances the process to S216.

S216では、画像分類部120は、得られた総選抜枚数を用いて、各クラスタを正規化する。なお、正規化を行う際に、例えばクラスタ内のシーン数が少ないと、正規化によりシーン数がゼロ(0)となってしまう場合があるため、正規化により小数点以下の値が得られる場合には、その小数点以下の値を切り上げ処理する。図14(c)は、図14(b)に示した各クラスタ1401に対する正規化後の各クラスタ1402のシーン数の一例を示している。S216の後、制御部102は、画像選抜部121にて行われるS217に処理を移行させる。   In S216, the image classification unit 120 normalizes each cluster using the obtained total selection number. When performing normalization, for example, if the number of scenes in a cluster is small, the number of scenes may be zero (0) due to normalization. Therefore, when a value below the decimal point is obtained by normalization, Rounds up the value after the decimal point. FIG. 14C shows an example of the number of scenes in each cluster 1402 after normalization for each cluster 1401 shown in FIG. 14B. After S216, the control unit 102 shifts the processing to S217 performed by the image selection unit 121.

S217では、画像選抜部121は、前述した選抜対象画像の中から、各正規化後のクラスタにおいて選抜可能な数だけ、前述した総合評価値が上位の順に画像を選抜し、それら各選抜画像をダイジェスト再生用の画像とする。ここで、選抜対象画像が流し撮り撮影された画像である場合を例に挙げると、画質の良い流し撮り画像は前述したように流し撮り評価値が高評価値になるため、総合評価値も高い値になっていると考えられる。このため、画像選抜部121は、流し撮り撮影された複数の選抜対象画像の中から、総合評価値の高い順に画像を選抜することにより、画質の良い流し撮り画像を選抜することが可能になる。なお、ここでは、総合評価値を基に画像選抜を行ったが、例えば様々なシーンの画像が選抜されるようにするために、総合評価値ではなく、前述した画像評価値や動き評価値、流し撮り評価値等のそれぞれの評価値に基づいて画像を選抜するようにしてもよい。S217の後、画像選抜部121は、S218に処理を進める。   In step S <b> 217, the image selection unit 121 selects, from the selection target images described above, as many images as can be selected in each normalized cluster in the order of the above-described overall evaluation value, and selects each of the selected images. The image is for digest playback. Here, for example, in the case where the selection target image is an image shot by panning shooting, the panning image having good image quality has a high evaluation value of the panning shooting value as described above, and therefore the total evaluation value is also high. It is considered to be the value. Therefore, the image selection unit 121 can select a high-quality panning image by selecting images in descending order of overall evaluation value from a plurality of selection target images taken by panning. . Here, although the image selection is performed based on the comprehensive evaluation value, for example, in order to select images of various scenes, not the comprehensive evaluation value but the above-described image evaluation value and motion evaluation value, Images may be selected based on respective evaluation values such as follow shot evaluation values. After S217, the image selection unit 121 advances the processing to S218.

S218では、画像選抜部121は、S217で選抜した各画像を、時系列順に並べ替える。そして、画像選抜部121は、次のS219の処理として、それら時系列順に並べ替えた各画像を、ダイジェスト再生としてスライドショー再生する際の一つの動画として結合する。その後、画像選抜部121は、S220の処理として、S219で結合された動画を、スライドショー再生する。なお、スライドショー再生は、後に画像の印刷が行われる場合には、印刷前のプレビュー表示のために行ってもよい。S220によるスライドショー再生が終了すると、制御部102は、表示部107を介して表示デバイスの画面上に、保存指示入力用のメニュー画面を表示させる。そして、操作部101を介してユーザから保存指示が入力された場合、制御部102は、スライドショー再生用としての動画を記録媒体に保存させる。   In S218, the image selection unit 121 rearranges the images selected in S217 in chronological order. Then, the image selection unit 121 combines the images rearranged in chronological order as one moving image when performing slide show reproduction as digest reproduction, as the processing of the next step S219. After that, the image selection unit 121 performs slide show reproduction of the moving images combined in S219 as the process of S220. The slide show reproduction may be performed for preview display before printing when an image is printed later. When the slide show reproduction in S220 ends, the control unit 102 causes the display unit 107 to display a menu screen for inputting a save instruction on the screen of the display device. Then, when a storage instruction is input from the user via the operation unit 101, the control unit 102 stores the moving image for slide show reproduction in the recording medium.

なお、本実施形態のデジタルカメラは、前述したようなダイジェスト再生用に選抜された各画像に対し、タイトル処理や色フィルタ処理などの加工処理を行って表示することも可能である。タイトル処理は、一例として、ダイジェスト再生用に選抜された各画像の例えば色に応じた背景色のタイトル画像や、その背景色に対する補色関係を有するタイトル文字等を生成して、ダイジェスト再生される画像に付加する処理等を挙げることができる。なお、タイトル画像だけでなく、エンディング画像の背景色や文字色等を決めてもよい。前述した色フィルタ処理には、極彩色フィルタ処理や白黒フィルタ処理、シアンフィルタ処理など様々なフィルタ処理によるフィルタ効果を付与するような加工が含まれる。極彩色フィルタ処理は、画像の各色の彩度を強調するようなフィルタ処理である。例えば、前述したように選抜された各画像の色に基づいて、それら各画像に様々な色が含まれる画像が多いか否か等を判断できる。このため、各画像に様々な色が含まれていると判断した場合には、極彩色フィルタ処理をそれら画像に施すことで、各色を際立たせたダイジェスト再生表示が可能となる。白黒のフィルタ処理は、画像の色情報を除去して、輝度情報のみを抽出するようなフィルタ処理である。各画像に対して白黒フィルタ処理を施すことで、白黒画像によるダイジェスト再生表示が可能となる。シアンフィルタ処理は、画像の全体的な色を青系の色味に変換するようなフィルタ処理である。例えば、各画像の色に基づき、青系の画像が多いことが判った場合には、シアンフィルタ処理を行うことで、青系の色を強調したようなダイジェスト再生表示が可能となる。逆に、例えば赤系の画像が多いような場合には、シアンフィルタ処理を行わないようにしてもよい。なお、フィルタ処理に関する知識を有さない一般ユーザの場合、最適なフィルタ効果が得られる最適なフィルタ処理を選択することは難しい。これに対し、本実施形態の場合、各画像の色に基づいて自動的に最適なフィルタ処理が選択されるため、最適なフィルタ効果によるダイジェスト再生表示が可能となる。   Note that the digital camera of the present embodiment can also perform processing such as title processing and color filter processing on each image selected for digest reproduction as described above, and display it. The title processing is, for example, a title image having a background color corresponding to, for example, a color of each image selected for digest reproduction, or a title character having a complementary color relationship to the background color, and the like, and an image to be digest reproduced. And the like. Note that not only the title image but also the background color, character color, and the like of the ending image may be determined. The above-described color filter processing includes processing for imparting a filter effect by various filter processing such as a saturated color filter processing, a black and white filter processing, and a cyan filter processing. The extra-color filter process is a filter process that emphasizes the saturation of each color of the image. For example, based on the color of each image selected as described above, it can be determined whether there are many images including various colors in each image. For this reason, when it is determined that each image contains various colors, it is possible to perform a digest reproduction display in which each color is emphasized by performing a color filter process on those images. The black and white filter process is a filter process that removes the color information of the image and extracts only the brightness information. By performing the black-and-white filter process on each image, it is possible to display the digest reproduction with the black-and-white image. The cyan filter process is a filter process that converts the overall color of the image into a bluish tint. For example, if it is found that there are many blue-based images based on the color of each image, cyan filter processing is performed to enable digest reproduction display in which the blue-based colors are emphasized. On the contrary, for example, when there are many red images, the cyan filter process may not be performed. It should be noted that it is difficult for a general user who has no knowledge of filter processing to select the optimum filter processing that can obtain the optimum filter effect. On the other hand, in the case of the present embodiment, the optimum filter processing is automatically selected based on the color of each image, so that the digest reproduction display with the optimum filter effect is possible.

<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。   The above-described embodiments are merely examples of specific embodiments for carrying out the present invention, and the technical scope of the present invention should not be limitedly interpreted by these. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features.

101 操作部、102 制御部、103 センサ部、105 画像処理部、106 ジャイロセンサ、107 表示部、112 エンコーダ部、113 画像記録部、115 被写体検出部、116 表情検出部、117 撮影情報作成部、118 再生期間設定部、119 画像評価部、120 画像分類部、121 画像選抜部   101 operation unit, 102 control unit, 103 sensor unit, 105 image processing unit, 106 gyro sensor, 107 display unit, 112 encoder unit, 113 image recording unit, 115 subject detecting unit, 116 facial expression detecting unit, 117 photographing information creating unit, 118 reproduction period setting unit, 119 image evaluation unit, 120 image classification unit, 121 image selection unit

Claims (14)

撮影により得られた画像の一部の画像領域を第1の評価領域とし、前記第1の評価領域のぶれ度合いと、前記第1の評価領域と異なる領域である第2の評価領域のぶれ度合いとを特定する特定手段と、
前記第1の評価領域および第2の評価領域のぶれ度合いに基づいて、前記画像の流し撮り画像としての評価を行う評価手段と、
を有し、
前記評価手段は、第1のシーンを撮影した画像を評価する場合、前記第1のシーンよりも明るい第2のシーンを撮影した画像を評価する場合よりも、前記画像の流し撮り画像としての評価が高くなりやすくなるよう評価を行うことを特徴とする画像処理装置。
A partial image area of an image obtained by photographing is set as a first evaluation area, and a blurring degree of the first evaluation area and a blurring degree of a second evaluation area which is an area different from the first evaluation area. Specifying means for specifying and
Evaluation means for evaluating the image as a follow shot image based on the blurring degree of the first evaluation area and the second evaluation area;
Have a,
The evaluation means evaluates the image as a follow shot image when evaluating the image of the first scene, rather than evaluating the image of the second scene that is brighter than the first scene. An image processing apparatus, characterized in that the evaluation is performed so as to easily increase .
前記評価手段は、前記第1の評価領域のぶれ度合いに基づく第1の評価値と、前記2の評価領域のぶれ度合いに基づく第2の評価値とを求め、前記第1および前記第2の評価値に基づいて前記流し撮り画像としての画像の評価を行うことを特徴とする請求項1に記載の画像処理装置。 The evaluation means obtains a first evaluation value based on the blur degree of the first evaluation region, and a second evaluation value based on the blur degree of the second evaluation region, the first and the second The image processing apparatus according to claim 1, wherein the image as the follow shot image is evaluated based on the evaluation value of. 前記評価手段は、前記第1の評価値と前記第2の評価値を異なる評価基準で求めることを特徴とする請求項2に記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the evaluation unit obtains the first evaluation value and the second evaluation value based on different evaluation criteria. 前記評価手段は、前記第1の評価領域のぶれ度合いが小さいほど第1の評価値を大きくし前記2の評価領域のぶれ度合いが大きいほど第2の評価値を大きくすることを特徴とする請求項3に記載の画像処理装置。 Said evaluation means, and wherein the higher the blur degree of the first evaluation region is small by increasing the first evaluation value, increasing the second evaluation value as blur degree of the second evaluation region is large The image processing device according to claim 3. 前記画像が流し撮り撮影により得られたかを判定する判定手段をさらに有し、
前記評価手段は、前記判定手段により前記画像が流し撮り撮影により得られたと判定された場合に、前記流し撮り画像としての画像の評価を行うことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
Further comprising a determination means for determining whether the image was obtained by panning shooting
5. The evaluation unit evaluates an image as the follow shot image when the determination unit determines that the image is obtained by the follow shot image capturing. The image processing device according to item.
前記流し撮り撮影は、撮影により得られた画像が、移動している主被写体の移動方向と移動速度にカメラを追従させる撮影方法であることを特徴とする請求項5に記載の画像処理装置。   The image processing apparatus according to claim 5, wherein the follow shot shooting is a shooting method in which an image obtained by shooting causes a camera to follow a moving direction and a moving speed of a moving main subject. 前記判定手段は、前記画像が撮影された際の撮像装置の状態に基づき、前記画像が前記流し撮り撮影により得られたかを判定することを特徴とする請求項5または6に記載の画像処理装置。   7. The image processing apparatus according to claim 5, wherein the determination unit determines whether the image was obtained by the follow shot shooting based on a state of the image pickup apparatus when the image was shot. . 前記判定手段は、前記画像が撮影された際にジャイロセンサにて検出されたジャイロ情報に基づいて、前記流し撮り撮影にて撮影された画像かを判定することを特徴とする請求項7に記載の画像処理装置。   The said determination means determines whether it is the image image | photographed by the follow shot photography based on the gyro information detected by the gyro sensor when the said image was imaged. Image processing device. 前記判定手段は、前記画像の動きベクトルに基づいて、前記流し撮り撮影にて撮影された画像かを判定することを特徴とする請求項7に記載の画像処理装置。   The image processing apparatus according to claim 7, wherein the determining unit determines whether the image is an image captured by the follow shot imaging based on a motion vector of the image. 前記特定手段は、前記第1の評価領域のコントラストに基づいて前記第1の評価領域のぶれ度合いを特定し、前記第2の評価領域のコントラストに基づいて前記第2の評価領域のぶれ度合いを特定することを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。   The specifying unit specifies the blurring degree of the first evaluation area based on the contrast of the first evaluation area, and determines the blurring degree of the second evaluation area based on the contrast of the second evaluation area. The image processing apparatus according to claim 1, wherein the image processing apparatus is specified. 前記評価手段は複数の画像を評価し、
前記評価手段による評価に基づき、前記複数の画像から少なくとも1つの画像を選抜する選抜手段をさらに有することを特徴とする請求項1乃至1の何れか1項に記載の画像処理装置。
The evaluation means evaluates a plurality of images,
Wherein based on the evaluation by the evaluation unit, the image processing apparatus according to any one of claims 1 to 1 0, characterized by further comprising a selection means for selecting a least one image from the plurality of images.
前記画像を撮像する撮像手段をさらに有することを特徴とする請求項1乃至1の何れか1項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 1 1, characterized by further having an imaging means for imaging the image. 画像処理装置が実行する画像処理方法であって、
撮影により得られた画像の一部の画像領域を第1の評価領域とし、前記第1の評価領域のぶれ度合いと、前記第1の評価領域と異なる領域である第2の評価領域のぶれ度合いとを特定する特定ステップと、
前記第1の評価領域および第2の評価領域のぶれ度合いに基づいて、前記画像の流し撮り画像としての評価を行う評価ステップと、
を含み、
前記評価ステップでは、第1のシーンを撮影した画像を評価する場合、前記第1のシーンよりも明るい第2のシーンを撮影した画像を評価する場合よりも、前記画像の流し撮り画像としての評価が高くなりやすくなるよう評価を行うことを特徴とする画像処理方法。
An image processing method executed by an image processing apparatus, comprising:
A partial image area of an image obtained by photographing is set as a first evaluation area, and a blurring degree of the first evaluation area and a blurring degree of a second evaluation area which is an area different from the first evaluation area. And a specific step to identify
An evaluation step of evaluating the image as a follow shot image based on the degree of blurring of the first evaluation region and the second evaluation region;
Only including,
In the evaluation step, when the image of the first scene is evaluated, the evaluation of the image as a follow shot image is performed more than when the image of the second scene that is brighter than the first scene is evaluated. An image processing method, characterized in that the evaluation is performed so that the value becomes higher .
コンピュータを、請求項1乃至1の何れか1項に記載の画像処理装置の各手段として機能させるためのプログラム。 A program for a computer to function as each means of the image processing apparatus according to any one of claims 1 to 1 2.
JP2016020906A 2016-02-05 2016-02-05 Image processing apparatus, image processing method, and program Active JP6679333B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016020906A JP6679333B2 (en) 2016-02-05 2016-02-05 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016020906A JP6679333B2 (en) 2016-02-05 2016-02-05 Image processing apparatus, image processing method, and program

Publications (3)

Publication Number Publication Date
JP2017139702A JP2017139702A (en) 2017-08-10
JP2017139702A5 JP2017139702A5 (en) 2019-03-22
JP6679333B2 true JP6679333B2 (en) 2020-04-15

Family

ID=59566157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016020906A Active JP6679333B2 (en) 2016-02-05 2016-02-05 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP6679333B2 (en)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4438099B2 (en) * 2007-11-22 2010-03-24 カシオ計算機株式会社 Imaging apparatus and program thereof
JP4561845B2 (en) * 2008-02-29 2010-10-13 カシオ計算機株式会社 Imaging apparatus and image processing program
JP2012065128A (en) * 2010-09-16 2012-03-29 Nikon Corp Image evaluation apparatus and image evaluation program
JP5825172B2 (en) * 2012-03-28 2015-12-02 富士通株式会社 Image determination apparatus, image determination method, and computer program for image determination
JP6040655B2 (en) * 2012-09-13 2016-12-07 オムロン株式会社 Image processing apparatus, image processing method, control program, and recording medium
JP6091229B2 (en) * 2013-01-31 2017-03-08 キヤノン株式会社 Imaging apparatus, control method thereof, and program
JP5968379B2 (en) * 2013-10-29 2016-08-10 キヤノン株式会社 Image processing apparatus and control method thereof
JP2016009998A (en) * 2014-06-24 2016-01-18 キヤノン株式会社 Imaging apparatus, imaging method and program
JP6355454B2 (en) * 2014-06-27 2018-07-11 キヤノン株式会社 Imaging apparatus, control method therefor, program, and storage medium

Also Published As

Publication number Publication date
JP2017139702A (en) 2017-08-10

Similar Documents

Publication Publication Date Title
KR101342477B1 (en) Imaging apparatus and imaging method for taking moving image
JP5246159B2 (en) Imaging device, image display device, program
US9723201B2 (en) Image capturing apparatus and control method therefor
JP5806623B2 (en) Imaging apparatus, imaging method, and program
JP4760302B2 (en) Imaging device
JP6261205B2 (en) Image processing device
JP2006313229A (en) Focusing device, imaging apparatus, and its control method
US11367229B2 (en) Image processing apparatus, image processing method, and storage medium
US11184551B2 (en) Imaging apparatus and control method thereof
JP2007124278A (en) Imaging apparatus
US10438067B2 (en) Image processing apparatus, image processing method, and storage medium
JP6679333B2 (en) Image processing apparatus, image processing method, and program
JP7353821B2 (en) Image processing device, its control method, program
JP2018186439A (en) Information processing system, information processing apparatus, and information processing method
JP5403087B2 (en) Image processing device
JP6346529B2 (en) Imaging device, control method thereof, and program
JP6590681B2 (en) Image processing apparatus, image processing method, and program
JP6378589B2 (en) Imaging device, control method thereof, and program
JP2007124280A (en) Imaging apparatus
JP2014138378A (en) Image pickup device, control method thereof, and control program thereof
JP6555978B2 (en) Image processing apparatus, control method thereof, and program
JP6742862B2 (en) Imaging device, image processing device, control method of imaging device, and program
JP4798229B2 (en) Electronic camera
JP5295197B2 (en) Focus adjustment device, imaging device, and control method thereof
JP2012182620A (en) Imaging apparatus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200318

R151 Written notification of patent or utility model registration

Ref document number: 6679333

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151