JP6679333B2 - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP6679333B2 JP6679333B2 JP2016020906A JP2016020906A JP6679333B2 JP 6679333 B2 JP6679333 B2 JP 6679333B2 JP 2016020906 A JP2016020906 A JP 2016020906A JP 2016020906 A JP2016020906 A JP 2016020906A JP 6679333 B2 JP6679333 B2 JP 6679333B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation
- area
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
本発明は、画像を評価する画像処理装置、画像処理方法、およびプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program for evaluating an image.
従来、静止画や動画を記録媒体に記録するとともに、記録媒体に記録された静止画や動画を再生することができるデジタルカメラが知られている。このようなデジタルカメラにおいて、記録媒体に沢山の静止画や動画が記録されている場合、全てを閲覧するには時間がかかってしまう。一方、特許文献1には、例えば動画の中から重要なシーンだけを抽出(選抜)して、ダイジェスト再生する技術が開示されている。特許文献1では、サッカーなどの試合の動画の中で、音声パワーが所定のパワーを越えるようなシーンを重要なシーンとして検出し、そのシーンに含まれる画像をダイジェストとして再生する。ただし、特許文献1のように、音声レベルだけに基づいてシーンを抽出すると、似たようなシーンばかりが抽出されてしまうことになり易い。特許文献1の技術の場合、例えば、ゴールシーンなどのように観客が盛り上がったシーンの画像ばかりが選抜されることになり、例えばゴールシーンに至るまでの経緯が分かるような画像が選抜されることは少ない。このため、例えばゴールシーンのような似たシーンの画像ばかり連続するようなダイジェスト再生がなされてしまうことになり易い。 2. Description of the Related Art Conventionally, there is known a digital camera capable of recording a still image or a moving image on a recording medium and reproducing the still image or the moving image recorded on the recording medium. In such a digital camera, when a large number of still images and moving images are recorded on the recording medium, it takes time to browse all of them. On the other hand, Patent Document 1 discloses a technique of extracting (selecting) only important scenes from a moving image and reproducing the digest. In Patent Document 1, a scene in which a sound power exceeds a predetermined power is detected as an important scene in a moving image of a game such as soccer, and an image included in the scene is reproduced as a digest. However, when the scenes are extracted based on only the audio level as in Patent Document 1, only similar scenes are likely to be extracted. In the case of the technique of Patent Document 1, for example, only images of scenes in which the audience is excited, such as a goal scene, are selected, and for example, an image in which the process leading to the goal scene is understood is selected. Is few. Therefore, it is easy to perform digest reproduction in which only images of similar scenes such as a goal scene are continuous.
ところで、サッカーの試合などでは、例えばゴールシーンに至るまでの選手を、いわゆる「流し撮り」といった特殊な撮影方法で撮影する場合も多い。流し撮りとは、移動している主被写体の移動方向と移動速度にカメラを追従させるようにして撮影する方法である。ゴールシーンに至るまでの選手を流し撮りした画像の中から、ダイジェスト再生用の画像を選抜できれば、どのような経緯でゴールシーンに至ったかを判り易く見せることができると考えられる。一方、流し撮りでは、主被写体の移動に追従させてカメラを振るようにして撮影が行われるため、良好な画質の画像を得ることが難しいという面もある。流し撮り画像において良好な画質の画像は、主被写体等の一部の画像領域のぶれは少ない一方で、それ以外の背景等の画像領域は大きく流れた(大きくぶれた)画像であると考えられる。前述した特許文献1の技術を用い、流し撮りした画像の中からダイジェスト再生用の画像を選抜することも可能ではあるが、この場合の画像は、音声レベルのみに基づいて選抜される画像であるため、それが良好な画質の流し撮り画像であるとは限らない。 By the way, in a soccer game or the like, for example, a player who reaches a goal scene is often photographed by a special photographing method such as so-called “follow shot”. The follow shot is a method in which the camera is made to follow the moving direction and moving speed of the moving main subject. If it is possible to select an image for digest playback from among the images taken of the players up to the goal scene, it may be possible to make it easier to see how the goal scene was reached. On the other hand, in the follow shot, since the shooting is performed by moving the camera while following the movement of the main subject, it is difficult to obtain an image of good quality. An image of good quality in a follow shot image is considered to be an image in which some image areas such as the main subject have little blurring, while other image areas such as the background have largely flown (large blur). . It is also possible to select an image for digest reproduction from the panned images by using the technique of Patent Document 1 described above, but the image in this case is an image selected based on only the audio level. Therefore, it is not always a follow shot image with good image quality.
本発明はこのような問題点に鑑みてなされたものであり、流し撮り撮影による良好な画質の画像を適切に評価可能とする画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。 The present invention has been made in view of such problems, an image processing apparatus that enables appropriately evaluate the image of good image quality by panning shot, and aims to provide an image processing method, and program To do.
本発明の画像処理装置は、撮影により得られた画像の一部の画像領域を第1の評価領域とし、前記第1の評価領域のぶれ度合いと、前記第1の評価領域と異なる領域である第2の評価領域のぶれ度合いとを特定する特定手段と、前記第1の評価領域および第2の評価領域のぶれ度合いに基づいて、前記画像の流し撮り画像としての評価を行う評価手段と、を有し、前記評価手段は、第1のシーンを撮影した画像を評価する場合、前記第1のシーンよりも明るい第2のシーンを撮影した画像を評価する場合よりも、前記画像の流し撮り画像としての評価が高くなりやすくなるよう評価を行うことを特徴とする。 In the image processing apparatus of the present invention, a partial image area of an image obtained by photographing is set as a first evaluation area, and a blur degree of the first evaluation area and an area different from the first evaluation area. Specifying means for specifying the blurring degree of the second evaluation area, and evaluation means for evaluating the image as a follow shot image based on the blurring degrees of the first evaluation area and the second evaluation area, have a, the evaluation unit when evaluating the images obtained by photographing the first scene, than when evaluating the images obtained by photographing the second scene brighter than the first scene, panning of the image The feature is that evaluation is performed so that the evaluation as an image tends to be high .
本発明によれば、流し撮りによる良好な画質の画像を適切に評価することが可能となる。 According to the present invention, it is possible to appropriately evaluate an image of good quality obtained by panning.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図1は、本実施形態に係る画像処理装置の一適用例であるデジタルカメラの概略構成を示す図である。
図1において、操作部101は、デジタルカメラの電源スイッチ、操作者(以下、「ユーザ」と表記する。)がデジタルカメラに対して各種の指示を入力する際に操作するスイッチやボタンなどにより構成されている。操作部101としては、例えばシャッタースイッチ、録画ボタン、再生ボタン、メニューボタンの他に、タッチセンサも含まれる。タッチセンサは、例えば表示部107により画像等が表示される表示デバイスの画面上に配され、ユーザがタッチすることによる操作指示入力を取得可能なものである。また、シャッタースイッチは、いわゆる半押し状態に対応した半押し信号SW1と、いわゆる全押し状態に対応した全押し信号SW2とを出力可能なスイッチとなされている。録画ボタンは、動画撮影を開始する際に用いられるボタンである。なお、録画ボタンの他、シャッタースイッチが全押しされている間、動画の撮影が行われてもよい。メニューボタンが操作された場合には、デジタルカメラにおいて各種メニューの設定が可能になる。メニューの中には、静止画撮影モードと動画撮影モードの切り替え設定メニュー、フラッシュ発光モードと非発光モードの切り替え設定メニュー、例えば日中モードや室内モード、夜景モードなどの撮影モード設定メニュー等がある。また、本実施形態のデジタルカメラは、後述するダイジェスト再生を行うダイジェスト再生モードへの設定メニュー等も有している。ダイジェスト再生モードでは、後述するスライドショー再生を行うスライドショー再生モードへの設定メニューも用意されている。制御部102は、デジタルカメラの各部の動作を制御するものであり、例えば操作部101からの指示に応じて各部を制御する。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a diagram showing a schematic configuration of a digital camera which is an application example of the image processing apparatus according to the present embodiment.
In FIG. 1, an
レンズ108aは、センサ部103の撮像面上に被写体等の光学像を結像させるためのレンズ光学系であり、フォーカスレンズやズームレンズをも含んでいる。メカ機構109aは、メカニカルシャッター、絞り等を有して構成されている。センサ部103は、制御部102による制御の下、レンズ108a、メカ機構109aを介して撮像面上に形成された光像の光量に応じた電荷をアナログ画像信号として出力する。センサ部103には例えばR(赤)G(緑)B(青)の各色のカラーフィルタが設けられている。したがって、センサ部103からは、RGBの各色に対応したアナログ画像信号が出力される。本実施形態のデジタルカメラは静止画、動画の何れの撮影も可能であり、静止画撮影モードの場合、センサ部103からは静止画のアナログ画像信号が、動画撮影モードの場合、センサ部103からは動画の各フレームのアナログ画像信号が出力される。A/D変換部104は、制御部102による制御の下、センサ部103から出力されたアナログ画像信号に対し、サンプリング、ゲイン調整、A/D変換等を行い、デジタル画像信号として出力する。以下の説明では、静止画と動画を特に区別せずに説明する場合にはデジタル画像信号とのみ表記する。A/D変換部104から出力されたデジタル画像信号は、画像処理部105に送られる。
The
画像処理部105は、制御部102による制御の下、A/D変換部104から出力されたデジタル画像信号に対して各種の画像処理を行い、その画像処理済みのデジタル画像信号を出力する。例えば、画像処理部105は、A/D変換部104から供給されたRGBのデジタル画像信号を、YUVのデジタル画像信号に変換して出力する。そして、画像処理部105は、画像処理を行ったデジタル画像信号を、被写体検出部115とエンコーダ部112、撮影情報作成部117に送る。また、画像処理部105から出力されたデジタル画像信号は、制御部102を介して、AF処理部108、AE処理部109、EF処理部110にも送られる。
Under the control of the control unit 102, the
AF処理部108は、制御部102を介して供給されたデジタル画像信号を基に、レンズ108aを駆動させて被写体等にピントを合わせるオートフォーカス制御を行う。AE処理部109は、静止画撮影モードでは、制御部102からのデジタル画像信号の輝度と、適正輝度との差分を算出し、その差分に基づいてメカ機構109aのシャッタースピードや絞り値を調整して露出を適正露出に合わせる自動露出補正制御を行う。EF処理部110は、静止画撮影モードでフラッシュ発光を行う命令を制御部102から受けている場合、制御部102から供給されたデジタル画像信号の明るさを求める。そして、静止画撮影モードでは、EF処理部110は、その明るさに基づいて、被写体上の照度が適正となり得る光量でフラッシュ部111を発光させる。
Based on the digital image signal supplied via the control unit 102, the
ジャイロセンサ106は、静止画撮影や動画撮影の際に、カメラが振られたりぶれたりすることでカメラに加わる回転方向と角速度変動量と、をジャイロ情報として検出する。具体的には、ジャイロセンサ106は、Pitch(ピッチ),Yaw(ヨー),Roll(ロール)の各回転方向と、それら各回転方向における角速度変動量とを、ジャイロ情報として検出する。ピッチ,ヨー,ロールの各回転方向の詳細は後述する。ジャイロセンサ106により検出されたジャイロ情報は、制御部102に送られる。本実施形態の場合、制御部102は、画像撮影が行われた場合には、その画像撮影がなされた時点を含み且つその時点から時間的に前の所定期間分のジャイロ情報を取得する。詳細については後述するが、本実施形態のデジタルカメラは、画像撮影の際に流し撮りによる撮影がなされたか否かを、ジャイロ情報を用いることで判定可能となされている。なお、流し撮りとは、前述したように、移動している主被写体の移動方向と移動速度にカメラを追従させるようにして撮影するような撮影方法である。 The gyro sensor 106 detects, as gyro information, a rotation direction and an angular velocity fluctuation amount applied to the camera when the camera is shaken or shaken during still image shooting or moving image shooting. Specifically, the gyro sensor 106 detects each rotation direction of Pitch (pitch), Yaw (yaw), and Roll (roll) and the angular velocity fluctuation amount in each rotation direction as gyro information. Details of the pitch, yaw, and roll rotation directions will be described later. The gyro information detected by the gyro sensor 106 is sent to the control unit 102. In the case of the present embodiment, when the image capturing is performed, the control unit 102 acquires the gyro information for a predetermined period including the time when the image capturing is performed and temporally preceding the time. Although details will be described later, the digital camera according to the present embodiment can determine whether or not the follow-up shooting is performed at the time of shooting the image by using the gyro information. As described above, the follow shot is a shooting method in which the camera follows the moving direction and moving speed of the moving main subject.
被写体検出部115は、制御部102による制御の下、画像処理部105より供給されたデジタル画像信号から、各被写体に対応した各画像領域(以下、「被写体領域」と表記する。)を検出し、それら各被写体領域の情報を出力する。本実施形態の場合、被写体検出部115は、一例として、画像内に存在する被写体毎の各画像領域と、例えば人物、人物の顔、車や建物など各被写体の種別を表す情報を検出する。また、被写体検出部115は、動画の画像撮影がなされている場合には、現時点のフレームの画像および現時点から時間的に前の所定期間分の各フレームの画像信号から、被写体領域毎に動きベクトルを求める。被写体検出部115は、撮影画像内における各被写体領域のサイズ、位置、種別等の情報、動画における被写体領域毎の動きベクトル情報等を、撮影情報作成部117に出力する。本実施形態において、これら各被写体領域のサイズ、位置、種別等の情報、動きベクトル情報等は、撮影された画像が有する特性の一部を表すパラメータであり、後述する画像評価部119において各種評価に用いられる評価パラメータの一つとなされる。また、被写体検出部115は、いわゆる顔検出処理を行い、検出した顔のサイズ、顔の位置などを示す顔情報をも生成する。被写体検出部115は、生成した顔情報を、表情検出部116に出力する。その他、被写体検出部115は、各被写体領域のうち何れかを主被写体領域として検出することも可能となされている。なお、被写体のサイズ、位置、種別の検出、被写体領域毎の動きベクトル検出、主被写体領域の検出等の技術は種々知られており、ここではそれら技術の説明については省略する。
Under the control of the control unit 102, the
表情検出部116は、被写体検出部115から供給された顔情報を基に、被写体である人物の顔の表情を検出する。顔の表情検出方法の詳細な説明は省略するが、表情検出部116は、一例として、顔の画像のエッジ情報から口や目等の領域を検出し、例えば口角の上がり具合や目尻の下がり具合などを基に笑顔のレベルを判定し、それを数値化した笑顔度を算出する。また、表情検出部116は、顔の向き、視線方向をも求める。詳細な説明は省略するが、表情検出部116は、一例として、顔の中の目や鼻、口、耳等の位置を基に顔の向きを検出し、また、目の領域内で瞳(虹彩、黒目)が向いている方向を基に視線方向を検出する。そして、表情検出部116は、笑顔度、顔の向き、視線方向等の情報を、撮影情報作成部117に出力する。本実施形態において、これら笑顔度、顔の向き、視線方向等の情報は、撮影された画像が有する特性の一部を表すパラメータであり、後述する画像評価部119において各種評価に用いられる評価パラメータの一つとなされる。
The facial
撮影情報作成部117には、制御部102から、合焦情報、露出情報、被写界深度情報、ユーザ設定情報、ジャイロ情報等が供給される。本実施形態では、これら合焦情報、露出情報、被写界深度情報、ユーザ設定情報、ジャイロ情報等についても、撮影された画像が有する特性の一部を表すパラメータとし、後述する画像評価部119において各種評価に用いられる評価パラメータの一つとなされる。合焦情報は、オートフォーカス制御の際のカメラから被写体までの距離に対応した合焦距離情報と、撮影画像内でピントが合った被写体像の位置を表す合焦位置情報とを含む情報である。露出情報は、撮影時の自動露出補正制御に使用された絞り値やシャッタースピード、センサ部103における電荷蓄積時間等の露出に関する情報である。被写界深度情報は、レンズ108aおよびメカ機構109aの絞りによるf値に応じて決まる被写界深度を表す情報である。ユーザ設定情報は、撮影時においてユーザが操作部101を介して設定した情報であり、前述したメニューの設定情報や、撮影モードの設定情報などが含まれる。ジャイロ情報は、ジャイロセンサ106により検出された情報であり、前述したように、画像撮影がなされた時点を含み且つその時点から時間的に前の所定期間分の情報となされている。撮影情報作成部117は、デジタル画像信号に対応させるようにして、前述した各評価パラメータをまとめた撮影情報を作成する。そして、撮影情報作成部117は、撮影情報をエンコーダ部112に送る。
Focusing information, exposure information, depth of field information, user setting information, gyro information, and the like are supplied from the control unit 102 to the shooting
エンコーダ部112は、画像処理部105から供給されたデジタル画像信号のフォーマットを、JPEGなどのフォーマットに変換する。以下、エンコーダ部112によりフォーマット変換された後のデジタル画像信号を「画像データ」と表記する。なお、デジタル画像信号が動画のフレーム画像信号である場合には、エンコーダ部112は、各フレーム画像信号をMotion−JPEG等のフォーマットに変換する。また、このときのエンコーダ部112は、前述した撮影情報作成部117にて作成された撮影情報を画像データのヘッダ領域に書き込む。エンコーダ部112によりフォーマット変換され、更にヘッダ領域に撮影情報が書き込まれた画像データは、画像記録部113に出力される。
The
画像記録部113は、制御部102による制御の下、エンコーダ部112から供給された画像データを、不図示の記録媒体に記録する。不図示の記録媒体は、デジタルカメラ内の内部メモリや、デジタルカメラに挿入されている外部メモリ(メモリーカード)等である。なお、以下の説明では、メモリーカード等に記録されている静止画や動画を区別しない場合には、それらをまとめて「記録画像」と表記する。
The
再生期間設定部118は、後述するダイジェスト再生が行われる場合に、記録画像の中から、ダイジェスト再生される画像を選抜する際の選抜対象となされる各記録画像を指定するための期間を設定する。以下の説明では、この期間を「再生期間」と表記する。本実施形態の場合、各記録画像の撮影日時や期間(例えば1日や1週間など)が、ユーザにより操作部101を介して指定されると、その指定された日時や期間の情報が制御部102を介して再生期間設定部118に送られる。再生期間設定部118は、その指定された日時や期間を再生期間として設定する。なお、再生期間の長さについては、ユーザにより指定される場合だけでなく、予め決められていてもよい。そして、再生期間設定部118は、制御部102による制御の下、再生期間に対応した各記録画像のデータを、画像記録部113を介してメモリーカード等から読み出して、画像評価部119へ送る。再生期間の記録画像は、後述するダイジェスト再生用の画像を選び出す際の際の選抜対象となされる画像であるため、以下の説明では「選抜対象画像」と表記する。
The reproduction
画像評価部119は、本実施形態における算出手段と設定手段の一例である。画像評価部119は、再生期間の各選抜対象画像のヘッダ領域に書き込まれている撮影情報(評価パラメータ)を基に、それら各選抜対象画像に対する後述する各種評価値を算出する。評価パラメータに基づいて算出される各種評価値の詳細については後述する。また、本実施形態において、画像評価部119は、選抜対象画像が流し撮り撮影された画像である場合には、その流し撮り画像の画質を評価するための評価値をも算出する。流し撮り画像の画質を評価するための評価値の算出等の詳細については後述する。そして、画像評価部119は、各選抜対象画像のデータとそれら各選抜対象画像について算出した各評価値の情報を、画像分類部120に送る。
The
画像分類部120は、後述するダイジェスト再生が行われる場合、前述した再生期間の各選抜対象画像について、撮影日時を用いたクラスタリング処理を行う。そして、画像分類部120は、クラスタリングされた各選抜対象画像のデータと各選抜対象画像の各評価値の情報を画像選抜部121に送る。クラスタリング処理の詳細については後述する。
When the digest reproduction described below is performed, the
画像選抜部121は、本実施形態における選抜手段の一例である。画像選抜部121は、後述するダイジェスト再生が行われる場合、制御部102による制御の下、前述した再生期間に応じた選抜枚数を設定する。そして、画像選抜部121は、画像分類部120によりクラスタリングされた各選抜対象画像の中から、前述した各評価値に基づき、一定の画質基準を満たす前述の選抜枚数分の流し撮りの画像を記録画像として選抜する。本実施形態において、各評価値に基づく画像選抜処理には、流し撮り撮影された複数の選抜対象画像の中から、流し撮り画像として良好な画質の画像を選抜する処理も含まれる。これら、再生期間に応じた選抜枚数の設定、評価値に基づく画像選抜の詳細については後述する。画像選抜部121により選抜された各記録画像のデータは、ダイジェスト再生用の選抜画像データとして、表示部107に送られる。
The
表示部107は、ダイジェスト再生が行われる場合、ダイジェスト再生用のタイトル画像等の生成、ダイジェスト再生用の各選抜画像データに応じた表示画像の生成、選抜画像データに対する色フィルタ処理などの加工処理後の表示画像の生成等を行う。選抜画像に対する色フィルタ処理の詳細については後述する。そして、表示部107は、タイトル画像、ダイジェスト再生用の各選抜画像データに応じた表示画像や色フィルタ処理などの加工処理後の表示画像を、液晶等の表示デバイスに送って画面上に表示させる。また、本実施形態において、ダイジェスト再生の際には、例えば4秒間隔などの一定時間間隔、若しくはユーザにより設定された任意の時間間隔で、選抜画像が順番に切り替えられて再生表示されるようなスライドショー再生も可能となされている。このようなスライドショー再生の制御は、制御部102により行われる。なお、ダイジェスト再生の際には、スライドショー再生だけでなく、例えば操作部101を介したユーザによる表示切り替え指示の入力がなされる毎に、選抜画像が切り替えられて画面上に表示されてもよい。また、外部接続部114を介して外部モニタ等が接続された場合、表示部107は、前述したタイトル画像や表示信号を外部接続部114を介して外部モニタ等に出力して、外部モニタの画面上に表示させることも可能となされている。
When the digest reproduction is performed, the
以下、図1に示した本実施形態のデジタルカメラにおいて、画像の撮影が行われて記録され、その後、記録画像の中から選抜された画像によるダイジェスト再生(スライドショー再生)が行われるまでの動作について説明する。
先ず、本実施形態のデジタルカメラにおいて、静止画や動画の撮影が行われ、その撮影画像のデータが記録されるまでの動作を説明する。
例えば、本実施形態のデジタルカメラのユーザが、操作部101の電源スイッチをオンにすると、制御部102は、これを検知し、デジタルカメラを構成する各部に、不図示の電源からの電力を供給する。また、制御部102は、AE処理部109を介して、前述のメカ機構109aのメカニカルシャッターを開かせ、絞りを開放絞り値にさせる。これにより、センサ部103の撮像面には、レンズ108a、メカ機構109bを介して光が入射することになる。そして、制御部102による制御の下、センサ部103からは、入射光に応じて蓄積された電荷が読み出され、その読み出された電荷によるアナログ画像信号がA/D変換部104に送られる。このときのA/D変換部104は、前述したように、アナログ画像信号に対し、サンプリング、ゲイン調整、A/D変換等を行い、デジタル画像信号として出力する。画像処理部105は、A/D変換部104からのデジタル画像信号に対して前述したように各種画像処理を行い、その画像処理済みのデジタル画像信号を出力する。また、制御部102は、画像処理部105からのデジタル画像信号をAE処理部109に送り、これによりAE処理部109では自動露出補正が行われる。そして、その自動露出補正がなされた後に、前述同様にセンサ部103〜画像処理部105を介した画像信号がAE処理部109にフィードバックされることで、適正露出への収束制御が実現される。
Hereinafter, in the digital camera of the present embodiment shown in FIG. 1, the operation until the image is captured and recorded, and thereafter, the digest reproduction (slide show reproduction) by the image selected from the recorded images is performed. explain.
First, in the digital camera of the present embodiment, an operation of taking a still image or a moving image and recording the data of the taken image will be described.
For example, when the user of the digital camera according to the present embodiment turns on the power switch of the
ここで、静止画撮影モードの場合、操作部101のシャッタースイッチから半押し信号が出力されると、制御部102は、その時点でセンサ部103〜画像処理部105を介した画像信号を、AF処理部108とAE処理部109に送る。これにより、AF処理部108ではオートフォーカス制御が行われて被写体にピントが合わされ、また、AE処理部109では自動露出補正制御が行われて適正な露出による画像撮影が可能になる。なお、本実施形態のデジタルカメラにおいて、撮影の際にフラッシュ発光を行う設定になされている場合、制御部102は、画像処理部105からのデジタル画像信号をEF処理部110にも送る。この場合のEF処理部110は、デジタル画像信号から輝度値を検出し、その輝度値に基づいて、画像撮影の際に被写体等の照度が適正となる光量にフラッシュ部111の発光光量を設定する。その後、シャッタースイッチから全押し信号が出力されると、制御部102は、その時点でセンサ部103にて撮像されてA/D変換部104と画像処理部105を介したデジタル画像信号を、エンコーダ部112と被写体検出部115に取り込ませる。また、動画撮影モードの場合には、制御部102による制御の下、録画ボタンが押される前のライブビュー表示の際にオートフォーカス制御が行われて被写体にピントが合わされ、また露出補正制御が行われて適正な露出による動画撮影が可能になされる。その後、録画ボタンから録画の開始指示が入力されると、制御部102は、それ以後、センサ部103で撮像されてA/D変換部104から画像処理部105を介した動画の各フレームの画像信号を、エンコーダ部112と被写体検出部115に取り込ませる。被写体検出部115以降の詳細な処理の説明は後述する。
Here, in the still image shooting mode, when a half-press signal is output from the shutter switch of the
エンコーダ部112は、前述したように、フォーマット変換を行った後の画像データとヘッダ領域の撮影情報とを、画像記録部113に送る。画像記録部113は、制御部102による制御の下、フォーマット変換済みの画像データおよびヘッダ領域の撮影情報をメモリーカード等の記録媒体に記録する。これにより、画像記録部113のメモリーカード等には、静止画や動画の画像データとヘッダ領域の撮影情報とが記録される。
As described above, the
次に、本実施形態のデジタルカメラにおいて、画像記録部113のメモリーカード等の記録画像の中から選抜した画像によるダイジェスト再生を行うダイジェスト再生モード、さらに、スライドショー再生を行うスライドショー再生モードの際の動作を説明する。
図2は、図1に示した本実施形態のデジタルカメラが、画像記録部113のメモリーカード等の記録画像の中から画像を選抜してダイジェスト再生(スライドショー再生)を行うまでの処理の流れを示すフローチャートである。図2のフローチャートの処理は、図1の制御部102、再生期間設定部118、画像評価部119、画像分類部120、画像選抜部121、表示部107等にて行われる処理である。なお、図2のフローチャートの処理は、例えばCPU等において本実施形態に係る画像処理プログラムを実行することにより実現されてもよい。以下の説明では、図2の各処理のステップS201〜ステップS220を、S201〜S220と略記する。
Next, in the digital camera of the present embodiment, the operation in the digest reproduction mode in which the digest reproduction by the image selected from the images recorded in the memory card of the
FIG. 2 shows a flow of processing until the digital camera of the present embodiment shown in FIG. 1 selects an image from recorded images on the memory card of the
図2のS201において、ユーザにより操作部101の電源スイッチがオンされた後、メニューボタンが操作されてダイジェスト再生メニューが選択された上で、ダイジェスト再生の実行指示が入力されると、制御部102は、S202に処理を進める。S202では、制御部102は、表示部107を介して表示デバイスの画面上に、ユーザに対して再生期間の指示を行うためのユーザインターフェース画像(図示は省略する。)を表示させる。そして、制御部102は、操作部101を介してユーザから再生期間の設定入力がなされると、再生期間設定部118に対して、その再生期間の設定入力情報を送る。
In S201 of FIG. 2, when the user turns on the power switch of the
S202において、再生期間設定部118は、制御部102からユーザによる再生期間の設定入力情報を受けると、その情報に応じた再生期間を設定する。そして、再生期間設定部118は、メモリーカード等の記録画像の中で、再生期間に該当する各記録画像のデータとそれらのヘッダ領域内の撮影情報を取得して、画像評価部119に送る。再生期間に該当する各記録画像は前述した選抜対象画像である。S202の後、制御部102は、画像評価部119にて行われるS203に処理を移行させる。
In S202, when the reproduction
S203では、画像評価部119は、再生期間の各選抜対象画像における撮影情報の評価パラメータを用いて、それぞれ各選抜対象画像に対する画像評価値を算出する。具体的には、画像評価部119は、各選抜対象画像について、例えば図3(a)〜図3(c)を用いて説明するような3種類の画像評価値の何れか一つ、若しくは二つ以上の画像評価値(三つの画像評価値の場合も含む)を求める。
In S203, the
図3(a)は、前述した選抜対象画像の縦幅と、前述した被写体検出部115が検出した顔のサイズとの割合を算出し、その割合に基づいて画像評価値W1を求める例の説明図である。図3(a)の画像311は、その画像の縦幅を100%とした場合に、顔領域321の縦幅サイズが20%に相当する割合として算出された例を示している。一方、図3(a)の画像312は、その画像の縦幅を100%とした場合に、顔領域322の縦幅サイズが60%に相当する割合として算出された例を示している。また、図3(a)のサイズ評価特性301は、画像と顔領域の縦幅サイズの割合と、画像評価値W1との対応関係を表している。図3(a)のサイズ評価特性301は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図3(a)のサイズ評価特性301は、縦幅サイズの割合が0%〜20%までは画像評価値W1として「3」が対応付けられ、縦幅サイズの割合が60%以上では画像評価値W1として「10」が対応付けられた例を示している。さらに、図3(a)のサイズ評価特性301は、縦幅サイズの割合が20%〜60%では画像評価値W1として「3」から「10」まで線形に変化する値が対応付けられている。画像評価部119は、画像311の縦幅に対する顔領域321のサイズの割合を算出し、その割合に応じた画像評価値W1を、図3(a)のサイズ評価特性301から求めて、画像311の画像評価値とする。同様に、画像評価部119は、画像312の縦幅に対する顔領域322のサイズの割合を算出し、その割合に応じた画像評価値W1を、図3(a)のサイズ評価特性301から求めて、画像312の画像評価値とする。図3(a)の場合、画像311の画像評価値W1は、その画像から算出した縦幅サイズの割合である20%に応じた値「3」となる。一方、画像312の画像評価値W1は、その画像から算出した縦幅サイズの割合である60%に応じた値「10」となる。すなわち、この図3(a)の例の場合、画像評価部119は、画像311の顔領域321よりも縦幅サイズが大きい顔領域322が写っている画像312の方を、高画像評価値の画像とする。
FIG. 3A illustrates an example in which the ratio between the vertical width of the selection target image described above and the face size detected by the
図3(b)は、前述した選抜対象画像の中心位置から、前述した被写体検出部115が検出した顔位置(例えば顔領域の中心位置)までの距離を算出し、その距離に基づいて画像評価値W2を求める例の説明図である。図3(b)の画像313は、その画像の対角線距離の1/2を100%とした場合に、画像中心位置から、顔領域323の顔位置までの距離が5%に相当する割合として算出された例を示している。一方、図3(b)の画像314は、その画像の対角線距離の1/2を100%とした場合に、画像中心位置から、顔領域324の顔位置までの距離が60%に相当する割合として算出された例を示している。また、図3(b)の距離評価特性302は、前述した画像中心位置から顔位置までの距離の割合と、画像評価値W2との対応関係を表している。図3(b)の距離評価特性302は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図3(b)の距離評価特性302は、前述の距離の割合が0%〜5%までは画像評価値W2として「10」が対応付けられ、距離の割合が60%以上では画像評価値W2として「3」が対応付けられた例を示している。さらに、図3(b)の距離評価特性302は、距離の割合が5%〜60%では画像評価値W2として「10」から「3」まで線形に変化する値が対応付けられている。画像評価部119は、画像313について前述した中心位置から顔領域323の位置までの距離の割合を算出し、その割合に応じた画像評価値W2を図3(b)の距離評価特性302から求めて、画像313の画像評価値とする。また、画像評価部119は、画像314について前述した中心位置から顔領域324の位置までの距離の割合を算出し、その割合に応じた画像評価値W2を図3(b)の距離評価特性302から求めて画像314の画像評価値とする。図3(b)の例の場合、画像313の画像評価値W2は、その画像から算出した距離の割合である5%に応じた値「10」となる。一方、画像314の画像評価値W2は、その画像から算出した距離の割合である60%に応じた値「3」となる。すなわち、この図3(b)の例の場合、画像評価部119は、画像314よりも距離の割合が小さい(画像中心から顔領域までの距離が近い)画像313の方を、高画像評価値の画像とする。
In FIG. 3B, the distance from the center position of the selection target image described above to the face position (for example, the center position of the face area) detected by the
図3(c)は、前述した表情検出部116が検出した笑顔度に基づいて、前述した選抜対象画像の画像評価値W3を求める例の説明図である。図3(c)の画像315は、顔領域325の笑顔度が0(笑顔でない場合)として算出された例を示している。一方、図3(c)の画像316は、顔領域326の笑顔度が1000(笑顔である場合)として算出された例を示している。また、図3(c)の笑顔度評価特性303は、顔領域の笑顔度と、画像評価値W3との対応関係を表している。図3(c)の笑顔度評価特性303は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図3(c)の笑顔度評価特性303は、笑顔度0には画像評価値W3として「0」が対応付けられ、笑顔度1000以上では画像評価値W3として「10」が対応付けられた例を示している。さらに、図3(c)の笑顔度評価特性303は、笑顔度0〜1000では画像評価値W3として「0」から「10」まで線形に変化する値が対応付けられている。画像評価部119は、画像315の顔領域325の笑顔度に応じた画像評価値W3を、図3(c)の笑顔度評価特性303から求めて、画像315の画像評価値とする。同様に、画像評価部119は、画像316の顔領域326の笑顔度に応じた画像評価値W3を、図3(c)の笑顔度評価特性303から求めて、画像316の画像評価値とする。図3(c)の例の場合、画像315の画像評価値W3は、その画像の顔領域325の笑顔度0に応じた値「0」となる。一方、画像316の画像評価値W3は、その画像の顔領域326の笑顔度1000に応じた値「10」となる。すなわち、この図3(c)の例の場合、画像評価部119は、画像315よりも笑顔度の値が高い顔領域326が写っている画像316の方を、高画像評価値の画像とする。
FIG. 3C is an explanatory diagram of an example in which the image evaluation value W3 of the selection target image described above is obtained based on the smile degree detected by the facial
画像評価部119は、図3(a)〜図3(c)の例で挙げた3種類の画像評価値だけでなく、例えば、顔の向き、視線方向、オートフォーカス制御の合焦情報などの評価パラメータに基づいて、それぞれ画像評価値を求めてもよい。そして、画像評価部119は、それら各画像評価値の何れか一つ、若しくは、二つ以上の画像評価値(全ての画像評価値の場合も含む)を求める。一例として、画像評価部119は、顔の向きに基づく画像評価値では顔の向きが正面に向くほど高い値に設定し、視線方向に基づく画像評価値では視線方向が正面に向くほど高い値に設定する。また、画像評価部119は、例えば、合焦情報に基づく画像評価値では、選抜対象画像内の各被写体領域に対するピントズレ量が少なくなるほど高い値を設定する。また、画像評価部119は、例えば、合焦情報のうちカメラから被写体までの距離に対応した合焦距離情報が近いほど値が高くなる画像評価値を設定してもよい。その他にも、画像評価部119は、例えば、合焦情報のうち選抜対象画像内でピントが合った被写体像の位置を表す合焦位置情報から、前述の図3(b)で説明したような距離に応じた画像評価値を求めてもよい。
The
図2のフローチャートに説明を戻す。S204の後、画像評価部119は、S205に処理を進める。S205において、画像評価部119は、撮影情報のジャイロ情報を用いて、その撮影情報に対応した選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。図4は、カメラ400におけるPitch(ピッチ方向412),Yaw(ヨー方向411),Roll(ロール方向413)の各回転方向を示す図である。ジャイロ情報は、図4に示したようなピッチ方向412,ヨー方向411,ロール方向413の各回転方向と、各回転方向における角速度変動量とを示す情報である。また、本実施形態において、ジャイロ情報は、前述したように、画像撮影が行われた際の、撮影時点を含み且つその時点から時間的に前の所定期間分の情報となされている。
Description will be returned to the flowchart of FIG. After S204, the
画像評価部119は、このようなジャイロ情報を用いて、選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。具体的には、画像評価部119は、ジャイロ情報のヨー方向411における角速度変動量が所定の第1変動量以上であり、一方、ピッチ方向412およびロール方向413の角速度変動量が所定の第2変動量未満であったか否かを判定する。なお、第1変動量は、第2変動量よりも十分に大きな値として予め設定されている。そして、画像評価部119は、ヨー方向411の角速度変動量が第1変動量以上であり、且つ、ピッチ方向412およびロール方向413の角速度変動量が第2変動量未満であった場合、選抜対象画像が流し撮り状態で撮影された画像であると判定する。なお、流し撮りは、カメラ400が短い時間(瞬間的に)だけ振られて行われる場合だけでなく、ある程度長い所定時間等速で振られるようにして行われる場合も想定される。このため、画像評価部119は、ピッチ方向412およびロール方向413の角速度変動量が第2変動量未満で、且つヨー方向411の角速度変動量が略々一定(等速に振られた)の状態が所定時間続いたと判断される場合にも流し撮りなされた画像と判定する。
The
なお、本実施形態では、ジャイロ情報を用いて流し撮りの判定を行う例を挙げたが、例えば3軸(XYZ軸)加速度センサにて検出された加速度情報を用いて、流し撮り状態で撮影されたか否かを判定してもよい。この場合、デジタルカメラは、図示しない3軸加速度センサを備えており、撮影がなされた際、制御部102は、加速度センサにより検出される加速度情報を取得する。このとき取得される加速度情報は、前述のジャイロ情報の場合と同様に、画像撮影が行われた時点を含み且つその時点から時間的に前の所定期間分の情報となされる。この取得された加速度情報は、評価パラメータの一つとして撮影情報に含められて、記録画像のヘッダ領域に書き込まれる。そして、画像評価部119は、撮影情報の中の加速度情報を用いて、選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。例えば、例えば図4中のXYZ軸に対する加速度情報が3軸加速度センサにより検出されたとする。この場合、画像評価部119は、加速度情報のうちX軸方向の加速度が所定の第1加速度以上であり、一方、Y軸方向およびZ軸方向の加速度が所定の第2加速度未満であった場合に、選抜対象画像が流し撮り状態で撮影された画像であると判定する。
In the present embodiment, the example of performing the follow shot determination using the gyro information has been described. However, for example, the follow shot image is captured using the acceleration information detected by the triaxial (XYZ axis) acceleration sensor. Whether or not it may be determined. In this case, the digital camera includes a three-axis acceleration sensor (not shown), and the control unit 102 acquires the acceleration information detected by the acceleration sensor when the image is taken. As in the case of the gyro information described above, the acceleration information acquired at this time is information for a predetermined period including the time point when the image was captured and temporally preceding the time point. The acquired acceleration information is included in the shooting information as one of the evaluation parameters and written in the header area of the recorded image. Then, the
その他にも、選抜対象画像が流し撮り状態で撮影された画像であるか否かは、例えば動きベクトル情報を用いて行われてもよい。この例の場合、画像評価部119は、撮影情報の中の動きベクトル情報を用い、選抜対象画像の被写体領域毎の動きベクトルを比較して、その選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。例えば、画像評価部119は、主被写体領域の動きベクトルの値が所定の第1動きベクトル値未満であり、他の被写体領域の動きベクトルの値が所定の第2動きベクトル値以上である場合、その選抜対象画像は流し撮りされた画像であると判定する。
In addition, whether or not the selection target image is an image captured in the panning state may be determined using, for example, motion vector information. In the case of this example, the
図2のフローチャートに説明を戻す。S205の後、画像評価部119は、S206に処理を進める。S206では、画像評価部119は、S205における流し撮り状態判定により、選抜対象画像が流し撮り状態で撮影された画像であると判定(Yes)した場合には、S208に処理を進める。一方、画像評価部119は、S206において、流し撮り状態で撮影された画像ではないと判定(No)した場合には、S207に処理を進める。
Description will be returned to the flowchart of FIG. After S205, the
S207に進んだ場合、画像評価部119は、選抜対象画像の画像全体についてのぶれ度合い評価を行った後、S209に処理を進める。
このとき、画像評価部119は、先ず、選抜対象画像のエッジ強度を画像のコントラスト値として求めるために、図5(a)に示すように画像500を複数のブロック510に分割し、各ブロック510の画像領域からエッジ信号を抽出する。また、画像評価部119は、ブロック510毎にエッジのピークホールドを行って得られたエッジ信号を合計する。なお、図5(b)のブロック510bと図5(c)のブロック510cは、画像500内の異なるブロックであるとする。すなわち、画像評価部119は、図5(b)のブロック510bに示すように、そのブロック510b内のエッジのピークホールドを行って得られたエッジ信号511bの合計値512aを算出する。同様に、画像評価部119は、図5(c)のブロック510cについても、そのブロック510c内のエッジのピークホールドを行って得られたエッジ信号511cの合計値512cを算出する。さらに、画像評価部119は、図5(b)や図5(c)のようにして画像500の全ブロックから求めたエッジ信号の合計値の平均値を、エッジ強度として算出し、そのエッジ強度の値をコントラスト値とする。
When the process proceeds to S207, the
At this time, the
そして、画像評価部119は、再生期間の各選抜対象画像について求めたコントラスト値の高低(エッジ強度の大小)に基づいて、各選抜対象画像のぶれ度合い評価を行う。ここで、画像のコントラスト値は、画像のぶれ度合いが大きくなるほど低くなり、一方、画像のぶれ度合いが小さくなるほど高くなると考えられる。このため、画像評価部119は、図6に示すように、選抜対象画像のぶれ度合いが小さくコントラスト値が高くなるほど高評価となり、一方、ぶれ度合いが大きくコントラスト値が低くなるほど低評価となるぶれ度合い評価値W4を設定する。図6のぶれ度合い評価特性600は、画像のコントラスト値と、ぶれ度合い評価値W4との対応関係を表している。図6のぶれ度合い評価特性600は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図6のぶれ度合い評価特性600は、コントラスト値が例えば0〜20まではぶれ度合い評価値W4として「3」が対応付けられ、コントラスト値が60以上ではぶれ度合い評価値W4として「10」が対応付けられた例を示している。さらに、図6のぶれ度合い評価特性600は、コントラスト値が20〜60ではぶれ度合い評価値W4として「3」から「10」まで線形に変化する値が対応付けられている。なお、図6に例示した画像601〜604は、それぞれ前述したS206において流し撮り状態で撮影された画像ではないと判定された選抜対象画像であるとする。また、これら画像601〜604において、コントラスト値は、画像601、602、603、604の順に高くなっていくとする。この図6の例の場合、画像評価部119は、画像601〜604に対し、ぶれ度合い評価特性600上で各画像601〜604のコントラスト値にそれぞれ対応した点611〜614のぶれ度合い評価値W4を設定する。図6の例の場合、画像601、602、603、604の順に、高評価値になっていくようなぶれ度合い評価値W4が設定されることになる。
Then, the
この図6で説明したように、流し撮りでない状態にて撮影された画像に対して設定されるぶれ度合い評価値W4は、その画像の被写体および背景等にピントが合っていて、被写体ぶれが少ないことを評価するためのぶれ度合い評価値となされる。図6の例の場合、画像601〜604のぶれ度合い評価値W4は、画像601、602、603、604の順に、よりピントが合っており、被写体ぶれが少なくなっていることを示す値になっている。したがって、図6に例示した画像601〜604の中から画質が良好な画像を選抜するような場合には、例えばぶれ度合い評価値W4が最も高評価値になっている画像604を選抜することが望ましいと考えられる。
As described with reference to FIG. 6, the blurring degree evaluation value W4 set for an image shot in a non-follow shot state is in focus because the subject and the background of the image are in focus, and the subject blurring is small. This is used as a blurring degree evaluation value for evaluating that. In the case of the example in FIG. 6, the blurring degree evaluation value W4 of the
一方、図7には、前述したS206において流し撮り状態で撮影された画像であると判定された選抜対象画像の一例として、各画像701〜704を挙げている。ただし、図7に例示した画像701〜704のうち、画像702は、主被写体領域のぶれが非常に少ない一方で背景領域は大きく流れた背景ぶれ画像であるとする。画像701は、移動している主被写体の移動速度に対し、カメラを振って追従させた際の追従速度が例えば速すぎたために、背景領域と主被写体領域の両方とも大きく流れた全体ぶれ画像であるとする。画像703は、移動している主被写体の移動速度に対し、カメラを振って追従させた際の追従速度が例えば遅すぎたために、背景領域のぶれは少ない一方で、主被写体領域のぶれ量は大きくなってしまった被写体ぶれ画像であるとする。画像704は、例えばシャッタースピードが非常に高速であったために、流し撮り撮影であるにもかかわらず主被写体領域と背景領域のぶれが共に非常に少なくなっている高コントラスト画像であるとする。このような各画像701〜704の場合、前述したコントラスト値は、画像701では低く、画像704では高くなり、画像702と703のコントラスト値はある程度近い値になると考えられる。また、図7のぶれ度合い評価特性700は、選抜対象画像のコントラスト値と、ぶれ度合い評価値W4との対応関係を表している。図7のぶれ度合い評価特性700は、図6のぶれ度合い評価特性600と同様の特性である。
On the other hand, each
そして、前述同様のコントラスト値によるぶれ度合い評価を行った場合、画像701〜704に対しては、ぶれ度合い評価特性700上で画像701〜704の各コントラスト値に対応した点711〜714のぶれ度合い評価値W4が設定される。図7の例の場合、画像701、702、703、704の順に、より高評価値になっていくようなぶれ度合い評価値W4が設定されることになる。したがって、これら画像701〜704の中から、例えば前述同様にぶれ度合い評価値W4のみに基づいて画像を選抜した場合には、ぶれ度合い評価値W4が最も高評価値になっている画像704が選抜されることになると考えられる。
Then, when the blurring degree evaluation based on the same contrast value as described above is performed, for the
ここで、流し撮りにより撮影された画像の場合、良好な画質の画像は、主被写体領域のような一部の画像領域のぶれは非常に少ない一方で、それ以外の背景等の画像領域は大きく流れた背景ぶれ画像であると考えられる。すなわち、流し撮り撮影された画像の場合、画像全体が高コントラストな画像ではなく、主被写体領域は適切なコントラストで、背景領域は画像の流れによる低コントラストの画像が、良好な画質の画像であると考えられる。言い換えると、主被写体領域ではぶれ度合いが小さく、背景領域では画像の流れによりぶれ度合いが大きい画像が、良好な画質の流し撮り画像であると考えられる。一方、画像701〜704の中から前述したぶれ度合い評価値W4のみに基づいて画像を選抜した場合、選抜されるのは画像704になり、流し撮りにおいて良好な画質の画像であると考えられる画像702は選抜されないことになってしまう。
Here, in the case of an image taken by panning, an image with good image quality has very little blur in some image areas such as the main subject area, while other image areas such as the background are large. It is considered to be a background blurred image. That is, in the case of an image taken by the follow shot, the entire image is not a high-contrast image, the main subject region has an appropriate contrast, and the background region has a low-contrast image due to the flow of the image, which is an image with good image quality. it is conceivable that. In other words, an image with a small degree of blurring in the main subject area and a large degree of blurring in the background area due to the flow of images is considered to be a follow shot image with good image quality. On the other hand, when an image is selected from the
このため、本実施形態のデジタルカメラは、選抜対象画像が流し撮り状態で撮影された画像である場合には、その画像の一部の画像領域を第1の評価領域とし、それ以外を第2の評価領域として領域分けを行う。そして、デジタルカメラは、それら各評価領域でそれぞれ別のぶれ度合い判定基準によるぶれ度合い評価を行う。詳細については後述するが、本実施形態のデジタルカメラは、流し撮りにより撮影された選抜対象画像について、第1の評価領域と第2の評価領域とでそれぞれ別のぶれ度合い判定基準による第1,第2のぶれ度合い評価値を求める。 Therefore, in the digital camera of the present embodiment, when the selection target image is an image taken in the follow shot state, a part of the image area of the image is set as the first evaluation area, and the other area is set as the second evaluation area. The area is divided as an evaluation area of. Then, the digital camera evaluates the blurring degree in each of the evaluation areas according to a different blurring degree determination standard. Although details will be described later, the digital camera of the present embodiment is configured such that the selection target image photographed by the follow shot is divided into the first evaluation region and the second evaluation region by the different blurring degree determination criteria. A second blurring degree evaluation value is obtained.
図2のフローチャートに説明を戻す。S206で選抜対象画像が流し撮り撮影された画像であると判定されてS208に進んだ場合、画像評価部119は、先ず、その撮影対象画像を、縦横方向で共に例えば7分割した7×7のブロックに分割する。
Description will be returned to the flowchart of FIG. When it is determined in S206 that the selection target image is a panning shot image, and the process proceeds to S208, the
図8(a)〜図8(d)には、流し撮り状態で撮影された選抜対象画像であると判定された各画像801〜804の一例を示している。なお、図8(a)の画像801は、前述の画像701のように背景領域と主被写体領域の両方とも大きく流れた全体ぶれ画像であるとする。図8(b)の画像802は、前述の画像702のように主被写体領域のぶれが非常に少ない一方で背景領域は大きく流れた背景ぶれ画像であるとする。図8(c)の画像803は、前述の画像703のように背景領域のぶれは少ない一方で、主被写体領域のぶれ量は大きくなっている被写体ぶれ画像であるとする。図8(d)の画像804は、前述の画像704のように主被写体領域と背景領域のぶれが共に非常に少ない高コントラスト画像であるとする。これら図8(a)〜図8(d)の各画像801〜804のうち、流し撮りされた画像において良好な画質とされる画像は、主被写体領域のぶれが非常に少ない一方で背景領域は大きく流れた背景ぶれ画像(画像802)であると考えられる。
FIG. 8A to FIG. 8D show an example of each of the
画像評価部119は、これら各画像801〜804を、それぞれ複数のブロック810に分割し、各ブロック810の画像領域からそれぞれ前述同様のエッジ信号を取得する。そして、画像評価部119は、各画像801〜804の各ブロック810を、例えば画像の中心領域820の複数ブロック(この例では縦×横が4×3のブロック)と、それら中心領域820を除く周辺領域830の複数ブロックとに分ける。本実施形態の場合、中心領域820を第1の評価領域とし、周辺領域830を第2の評価領域としており、画像評価部119は、中心領域820と周辺領域830とで、後述するようにそれぞれ別のぶれ度合い判定基準によるぶれ度合い評価を行う。
The
なお、図8(a)〜図8(d)の例では中心領域820を第1の評価領域としたが、選抜対象画像の評価パラメータに基づいて、第1の評価領域が決定されてもよい。一例として、画像評価部119は、評価パラメータに含まれている被写体情報に基づいて、選抜対象画像の中の主被写体領域を特定し、その主被写体領域の画像領域を第1の評価領域とし、それ以外を第2の評価領域としてもよい。また、例えばオートフォーカス制御による合焦位置の主被写体領域が第1の評価領域となされ、それ以外が第2の評価領域となされてもよい。また、各被写体領域の距離情報や、画像を撮影した際の被写界深度情報を基に、第1の評価領域と第2の評価領域の領域分けが行われてもよい。その他にも、例えば画像内の顔の位置、顔のサイズ、画像中心から顔までの距離、顔の向き、視線の方向、笑顔等の顔の表情から前述のように算出した画像評価値に基づいて、第1の評価領域と第2の評価領域の領域分けが行われてもよい。この例の場合、顔の位置、顔のサイズ、画像中心から顔までの距離、顔の向き、視線の方向、笑顔度等に基づく画像評価値を、画像内の被写体領域毎に求めるようにする。そして、それら各被写体領域の中で、例えば画像評価値が最も高い被写体領域を第1の評価領域とし、それ以外を第2の評価領域とする。
Although the
また、画像評価部119は、前述した第1の評価領域と第2の評価領域に対して、それぞれ別のぶれ度合い判定基準によるぶれ度合い評価を行うために、それら第1の評価領域と第2の評価領域についてそれぞれコントラスト値を算出する。具体的には、画像評価部119は、第1の評価領域について前述したような各ブロックのエッジ信号の合計値から平均値を求め、その平均値(エッジ強度)を第1の評価領域のコントラスト値とする。同様に、画像評価部119は、第2の評価領域について各ブロックのエッジ信号の合計値から平均値を求め、その平均値(エッジ強度)を第2の評価領域のコントラスト値とする。そして、画像評価部119は、第1の評価領域については、その領域のコントラスト値が高くぶれ度合いが小さいほど、高評価値となるような第1の評価値(以下、第1のぶれ度合い評価値とする。)を設定する。一方、画像評価部119は、第2の評価領域については、その領域のコントラスト値が低くぶれ度合いが大きいほど、高評価値となるような第2の評価値(以下、第2のぶれ度合い評価値とする。)を設定する。
In addition, the
図9は、第1の評価領域についてぶれ度合い評価を行う際の評価基準としての第1のぶれ度合い評価特性900と、第1の評価領域921〜924とを示す図である。図9の第1のぶれ度合い評価特性900は、第1の評価領域のコントラスト値と、第1の評価領域に対する第1のぶれ度合い評価値W5との対応関係を表している。第1のぶれ度合い評価特性900は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。第1のぶれ度合い評価特性900は、前述の図7に示したぶれ度合い評価特性700と同様の特性である。すなわち、第1のぶれ度合い評価特性900は、第1の評価領域のコントラスト値が高くぶれ度合いが小さいほど、高評価値となる第1のぶれ度合い評価値W5を設定するような特性となされている。
FIG. 9 is a diagram showing first blurring
また、図9に例示した第1の評価領域921は、前述の図8(a)に示した全体ぶれ画像である画像801から中心領域820のみを評価対象として抜き出した領域である。また、第1の評価領域922は、図8(c)に示した被写体ぶれ画像である画像803から中心領域のみを評価対象として抜き出した領域である。以下同様に、第1の評価領域923は図8(b)に示した背景ぶれ画像である画像802から、第1の評価領域924は図8(d)に示した高コントラスト画像である画像804から中心領域を抜き出した領域である。第1の評価領域921は、全体ぶれ画像から抜き出された領域であるため、コントラスト値が低く、ぶれ度合いは大きい。また、第1の評価領域924は、高コントラスト画像から抜き出された領域であるため、コントラスト値は高く、ぶれ度合は非常に小さい。また、第1の評価領域922は、被写体ぶれ画像から抜き出された領域であるため、コントラスト値はやや高く、ぶれ度合いはやや小さい。これに対し、第1の評価領域923は、背景ぶれ画像から抜き出された中心領域(被写体領域)であり、この領域のコントラスト値は高いため、ぶれ度合いは非常に小さい。
Further, the
画像評価部119は、これら第1の評価領域921〜924について、第1のぶれ度合い評価特性900を用いてコントラスト値に基づくぶれ度合い評価を行う。図9の例では、第1の評価領域921〜924の各コントラスト値に対応した点911〜914の第1のぶれ度合い評価値W5が設定されることになる。特に、流し撮り画像として良好な画質の背景ぶれ画像である図8(b)の画像802から中心領域を抜き出した図9の第1の評価領域923は、値が例えば10のように高い値の第1のぶれ度合い評価値W5が設定されることになる。
The
図10は、第2の評価領域についてぶれ度合い評価を行う際の評価基準としての第2のぶれ度合い評価特性1000と、第2の評価領域1021〜1024とを示す図である。第2のぶれ度合い評価特性1000は、第2の評価領域のコントラスト値と、第2の評価領域に対する第2のぶれ度合い評価値W6との対応関係を表している。第2のぶれ度合い評価特性1000は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。第2のぶれ度合い評価特性1000は、コントラスト値が例えば0〜20までは第2のぶれ度合い評価値W6として「10」が対応付けられ、コントラスト値が60以上では第2のぶれ度合い評価値W6として「3」が対応付けられた例を示している。また、第2のぶれ度合い評価特性1000では、コントラスト値が20〜60では第2のぶれ度合い評価値W6として「10」から「3」まで線形に変化する値が対応付けられている。すなわち、第2のぶれ度合い評価特性1000は、コントラスト値が低くぶれ度合いが大きいほど、高評価値になる第2のぶれ度合い評価値を設定するような特性となされている。
FIG. 10 is a diagram showing a second blurring
また、図10に示した第2の評価領域1021は、前述の図8(a)に示した全体ぶれ画像である画像801から周辺領域830のみを評価対象として抜き出した領域である。また、第2の評価領域1022は、図8(b)に示した背景ぶれ画像である画像802から周辺領域830のみを評価対象として抜き出した領域である。以下同様に、第2の評価領域1023は図8(c)に示した被写体ぶれ画像である画像803から、第2の評価領域1024は図8(d)に示した高コントラスト画像である画像804から、周辺領域830を抜き出した領域である。第2の評価領域1021は、全体ぶれ画像から抜き出された領域であるため、コントラスト値は低く、ぶれ度合いは大きい。また、第2の評価領域1024は、高コントラスト画像から抜き出された領域であるため、コントラスト値は高く、ぶれ度合は非常に小さい。第2の評価領域1023は、被写体ぶれ画像から抜き出された周辺領域であるため、コントラスト値がやや高く、ぶれ度合いはやや小さい。これに対し、第2の評価領域1022は、背景ぶれ画像から抜き出された周辺領域であるため、コントラスト値が低く、ぶれ度合いは大きい。
The
画像評価部119は、これら第2の評価領域1021〜1024について、第2のぶれ度合い評価特性1000を用いたコントラスト値に基づくぶれ度合い評価を行う。図10の例では、第2の評価領域1021〜1024の各コントラスト値に対応した点1011〜1014の第2のぶれ度合い評価値W6が設定されることになる。特に、流し撮り画像として良好な画質の背景ぶれ画像である図8(b)の画像802から周辺領域を抜き出した図10の第2の評価領域1022は、値が例えば10に近い高い値の第2のぶれ度合い評価値W6が設定されることになる。
The
そして、画像評価部119は、流し撮り状態で撮影された選抜対象画像に対して前述のようにして求めた第1のぶれ度合い評価値W5と第2のぶれ度合い評価値W6とを用いて、最終的なぶれ度合い評価値を算出する。具体的には、画像評価部119は、第1のぶれ度合い評価値W5と第2のぶれ度合い評価値W6とを乗算した評価値を、流し撮り状態で撮影された選抜対象画像における最終的なぶれ度合い評価値として求める。最終的なぶれ度合い評価値は、流し撮り状態で撮影された画像の画質を評価する評価値であるため、以下の説明では「流し撮り評価値」と表記する。ここで、前述した図9の例で第1のぶれ度合い評価値W5の値が高いのは第1の評価領域923と第1評価領域924であり、図10の例では第2のぶれ度合い評価値W6の値が高いのは第2の評価領域1021と第2の評価領域1022である。そして、第1のぶれ度合い評価値W5と第2のぶれ度合い評価値W6を乗算した流し撮り評価値が高くなるのは、図9の第1の評価領域923と図10の第2の評価領域1022の元の画像である、前述した図8(b)の画像802(背景ぶれ画像)となる。このため、例えば図8(a)〜図8(d)に示した複数の画像801〜804の中から、流し撮り評価値に基づいて画像を選抜することを想定した場合、画質の良い流し撮り画像としては、画像802(背景ぶれ画像)が選抜されることになると考えられる。
Then, the
前述の例では、第1,第2の評価領域から第1,第2のぶれ度合い評価値W5,W6を求めてそれらを乗算して流し撮り評価値を算出したが、例えば第1,第2の評価領域のコントラスト値に対して所定の閾値を設定して流し撮り評価を行うようにしてもよい。例えば、第1の評価領域のコントラスト値に対して所定の第1の閾値TH1を設定し、第2の評価領域のコントラスト値に対して所定の第2の閾値TH2を設定しておく。そして、画像評価部119は、第1の評価領域のコントラスト値が第1の閾値TH1以上で、第2の評価領域のコントラスト値が第2の閾値TH2未満であれば良好な流し撮り画像であると判定し、一方、それ以外である場合には流し撮り対象外の画像とする。
In the above-mentioned example, the first and second blurring degree evaluation values W5 and W6 are obtained from the first and second evaluation areas, and they are multiplied to calculate the follow shot evaluation value. A predetermined threshold value may be set for the contrast value of the evaluation area to perform the follow shot evaluation. For example, a predetermined first threshold TH1 is set for the contrast value of the first evaluation area, and a predetermined second threshold TH2 is set for the contrast value of the second evaluation area. Then, the
ここで、コントラスト値に対する閾値の設定例として、第1の閾値TH1を例えば60とし、第2の閾値TH2を例えば30とした場合、画像評価部119は、以下のようにして、選抜対象画像を流し撮り評価を行う。前述した図9の各第1の評価領域921〜924のうち第1コントラスト値が第1の閾値TH1以上となるのは、第1の評価領域923,924である。第1の評価領域923は図8(b)の画像802の中心領域であり、第1の評価領域924は図8(d)の画像804の中心領域である。また、図10の第2の評価領域1021〜1024のうち第2コントラスト値が第2の閾値TH2未満となるのは、第2の評価領域1021,1022である。第1の評価領域1021は図8(a)の画像801の周辺領域であり、第2の評価領域1022は図8(b)の画像802の周辺領域である。したがって、画像評価部119は、第1の評価領域923および第2の評価領域1022の元画像である図8(b)の画像802を、良好な流し撮り画像と判定する。一方、画像評価部119は、図8(b)の画像802を除いた、図8(a),図8(c),図8(d)の各画像801,803,804を流し撮り対象外の画像とする。
Here, as an example of setting the threshold value for the contrast value, when the first threshold value TH1 is set to 60 and the second threshold value TH2 is set to 30, for example, the
なお、画像評価部119は、第1の閾値TH1、第2の閾値TH2を、前述した評価パラメータに応じて変更することも可能である。具体的には、画像評価部119は、評価パラメータとして被写体領域の位置情報およびサイズ情報を用い、それら位置情報およびサイズ情報と第1の評価領域の範囲との比較に基づき、第1,第2の閾値TH1,TH2を変更する。例えば、図11(a)のように、画像1101内の被写体領域(例えば顔)が第1の評価領域1111(中心領域)の範囲内に略々収まる場合には、例えば第1の閾値TH1は100、第2の閾値TH2は30に設定されているとする。これに対し、図11(b)のように、画像1102内の被写体領域(例えば車)が第1の評価領域1112の範囲内からはみ出す場合、画像評価部119は、例えば第1の閾値TH1を80、第2の閾値TH2を50に変更する。より詳細に説明すると、図11(a)のように被写体領域が第1の評価領域1111の範囲内に収まっている場合、主被写体領域は周辺領域にはみ出すことはないため、周辺領域のコントラスト値は低くなると考えられる。またこの場合、第1の評価領域1111のコントラスト値は、周辺領域の低いコントラスト値に対して相対的に高くなっていると考えられる。これに対し、図11(b)のように被写体領域が第1の評価領域1112の範囲内からはみ出す場合、主被写体領域は周辺領域にまで広がることになり、周辺領域のコントラスト値は高くなると考えられる。またこの場合、第1の評価領域1112のコントラスト値は、周辺領域の高くなったコントラスト値に対して図11(a)の場合よりも相対的に低くなると考えられる。したがって、図11(b)に示すように、被写体領域が第1の評価領域1112の範囲内からはみ出す場合、画像評価部119は、第1の閾値TH1をより低い値である80に設定し、第2の閾値TH2をより高い値である50に設定する。
The
また、画像評価部119は、第1の閾値TH1、第2の閾値TH2を、例えば撮影シーンに応じて変更することも可能である。なお、撮影シーンは、例えば撮影情報のうちユーザ設定情報の撮影モード情報や、撮影時の明るさに対応した露出情報等から判定することが可能である。一例として、図11(b)のように、画像1102が明るい日中のシーンを撮影した画像である場合には、例えば前述のように第1の閾値TH1は80、第2の閾値TH2は50に設定されるとする。これに対し、図11(c)のように、画像1103が暗い夜景のシーンを撮影した画像である場合、画像評価部119は、例えば第1の閾値TH1を180、第2の閾値TH2を150の値に変更する。より詳細に説明すると、図11(c)のように暗い夜景のシーンを撮影した画像1103の場合、周辺領域(背景)の中に電灯やヘッドライトなどの光源の画像があると、周辺領域のコントラスト値が高くなる可能性がある。また、夜景のシーンを撮影した画像1103の場合、第1の評価領域1113内の主被写体領域(この例では車)についても、ヘッドライトなどによりコントラスト値が高くなる可能性がある。このため、選抜対象画像が図11(c)のように夜景のシーンを撮影した画像である場合、画像評価部119は、第1の閾値TH1と第2の閾値TH2を共に高い値(TH1を180、TH2を150)に設定する。
The
前述の説明では、第1,第2の評価領域のコントラスト値に対して所定の第1,第2の閾値を設定した例を挙げたが、本実施形態では、コントラスト値は前述したようにぶれ度合いを表すための値として用いられている。したがって、第1,第2の評価領域についてぶれ度合いの観点から考えた場合には、第1,第2の閾値は、第1,第2の評価領域の「ぶれ度合い」に対して設定される値と言える。ただし、前述したようにコントラスト値が高い場合にはぶれ度合いは小さく、コントラスト値が低い場合にはぶれ度合いは大きくなるため、ぶれ度合いに対する第1,第2の閾値は、コントラスト値に対する第1,第2の閾値とは逆の特性を有することになる。すなわち、この場合、画像評価部119は、第1の評価領域の第1のぶれ度合い評価値が第1の閾値未満で、第2の評価領域の第2のぶれ度合い評価値が第2の閾値以上であれば良好な流し撮り画像と判定し、それ以外の場合には流し撮り対象外の画像とする。
In the above description, the example in which the predetermined first and second threshold values are set for the contrast values of the first and second evaluation areas has been taken as an example, but in the present embodiment, the contrast values are blurred as described above. It is used as a value to express the degree. Therefore, when considering the first and second evaluation areas from the viewpoint of the degree of blurring, the first and second threshold values are set for the “blurring degree” of the first and second evaluation areas. It can be called a value. However, as described above, when the contrast value is high, the blurring degree is small, and when the contrast value is low, the blurring degree is large. Therefore, the first and second threshold values for the blurring degree are the first and second threshold values for the contrast value. It will have the opposite characteristic of the second threshold. That is, in this case, the
また前述の説明では、第1,第2の評価領域における「ぶれ度合い」を表すための値としてコントラスト値を用いているが、例えば第1,第2の評価領域内の画像の周波数を用いてもよい。この場合、第1,第2の評価領域内の画像の周波数が高ければぶれ度合いは小さく、一方、周波数が低ければぶれ度合いは大きくなる。この例のような第1,第2の評価領域内の画像の周波数についても、前述同様の第1,第2の閾値を設定することが可能である。ただし、画像の周波数を用いた場合の第1,第2の閾値は、コントラスト値用の前述した第1,第2の閾値TH1,TH2とは異なり、画像の周波数に対して別途用意された値となされる。 Further, in the above description, the contrast value is used as the value for expressing the “blurring degree” in the first and second evaluation areas, but, for example, the frequency of the image in the first and second evaluation areas is used. Good. In this case, if the frequency of the images in the first and second evaluation areas is high, the degree of blurring is small, while if the frequency is low, the degree of blurring is large. It is possible to set the same first and second threshold values as described above for the frequencies of the images in the first and second evaluation areas as in this example. However, the first and second thresholds when the frequency of the image is used are different from the above-described first and second thresholds TH1 and TH2 for the contrast value, and the values separately prepared for the frequency of the image. Is made.
また、第1の評価領域は、前述した撮影情報の評価パラメータに基づいて、その形状が変更されてもよい。例えば、前述した第1の評価領域は、アペクト比が固定されているが、例えば図12(a)、図12(b)に示すように、評価パラメータのうち主被写体領域の種別や形状に応じて、アスペクト比が変更されてもよい。具体的には、図12(a)に示すように、画像1201内の主被写体領域が人物のような縦長の被写体領域である場合、画像評価部119は、第1の評価領域1211を縦長のアスペクト比に設定する。また例えば、図12(b)に示すように、画像1202内の主被写体領域が車のような横長の被写体領域である場合、画像評価部119は、第1の評価領域1212を横長のアスペクト比に設定する。なお、第1の評価領域の形状は、四角形状に限定されず、例えば主被写体領域の種別や形状に応じた形状になされてもよい。その他にも、第1の評価領域の形状は、カメラから主被写体までの距離変動に応じて変更されてもよい。このように、主被写体の種別や形状にあわせて第1の評価領域の形状を変更した場合、流し撮り判定の精度を高めることが可能になる。
In addition, the shape of the first evaluation region may be changed based on the evaluation parameter of the above-described imaging information. For example, although the aspect ratio is fixed in the first evaluation area described above, as shown in FIGS. 12A and 12B, for example, as shown in FIGS. Then, the aspect ratio may be changed. Specifically, as shown in FIG. 12A, when the main subject area in the
図2のフローチャートに説明を戻す。S208において、画像評価部119は、前述したようにして流し撮り画像用のぶれ度合い評価値(流し撮り評価値)を算出した後、S209に処理を進める。本実施形態のデジタルカメラは、前述したように静止画だけでなく動画にも対応しているため、S209において、画像評価部119は、再生期間設定部118を介して前述した再生期間内の動画データと撮影情報を取得する。撮影情報として、画像評価部119は、前述した撮影情報の中の顔情報や動きベクトル情報等を取得する。S209の後、画像評価部119は、S210に処理を進める。
Description will be returned to the flowchart of FIG. In step S208, the
S210では、画像評価部119は、動画の中の顔領域について位置の変動累積として、顔領域の動きベクトル累積量を求め、その動きベクトル累積量に基づいて動き評価値を算出する。具体的には、画像評価部119は、図13(a)〜図13(d)に示すように、動画の各フレーム画像1301〜1304内の顔等の被写体領域1311〜1314の位置変動累積として、各被写体領域1311〜1314の動きベクトル累積量を求める。そして、図13(e)に示す動き評価特性1320を用いて動き評価値W7を求める。
In S210, the
ここで、図13(e)の動き評価特性1320は、動きベクトル累積量と、動き評価値W7との対応関係を表している。動き評価特性1320は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。動き評価特性1320は、動きベクトル累積量が例えば0〜MV1までは動き評価値W7として例えば「3」が対応付けられ、動きベクトル累積量が例えばMV2以上では動き評価値W7として例えば「10」が対応付けられた例を示している。また、動き評価特性1320では、動きベクトル累積量がMV1〜MV2では動き評価値W7として「3」から「10」まで線形に変化する値が対応付けられている。すなわち、動き評価特性1320は、動きベクトル累積量が大きければ、高評価値となるような動き評価値W7を設定するような特性となされている。画像評価部119は、この図13(e)に示す動き評価特性1320を用いて、図13(a)〜図13(d)に示したような動画の各フレーム画像1301〜1304から求めた動きベクトル累積量に対応した動き評価値W7を求める。S210の後、画像評価部119は、S211に処理を進める。
Here, the
S211では、画像評価部119は、前述したようにして、再生期間内の各選抜対象画像についてそれぞれ求められた画像評価値、最終的なぶれ度合い評価値(流し撮り評価値)、動き評価値等を足し合わせて、総合評価値を算出する。そして、画像評価部119は、再生期間内の各選抜対象画像を、総合評価値の高い順にソートする。S211の後、制御部102は、画像分類部120にて行われるS212に処理を移行させる。
In S211, the
S212では、画像分類部120は、再生期間の撮影総時間を算出する。具体的には、画像分類部120は、再生期間の各選抜対象画像の中で撮影日時が最も古い画像と、撮影日時が最も新しい画像との間の、撮影日時の時間差を撮影総時間として算出する。例えば、最も古い撮影時刻が8時、最も新しい撮影時刻が20時であった場合、画像分類部120は、8時から20時までの12時間を撮影総時間として算出する。S212の後、画像分類部120は、S213に処理を進める。
In S212, the
S213では、画像分類部120は、S212で算出した撮影総時間が1日以下である場合には、1時間を一つのイベントの区切りとする。そして、画像分類部120は、撮影総時間内で時系列的に並んでいる各選抜対象画像の中で、それぞれ撮影時刻が近い1時間分の各画像を同一イベントに分類し、それら同一に分類されたイベント毎にクラスタを生成する。これにより、例えば8時から20時までの12時間の撮影総時間の場合には、最大で12個のクラスタが生成されることになる。そして、画像分類部120は、総クラスタ数が決定したならば、その総クラスタ数に応じて、各クラスタに選抜対象画像を振り分けるようにクラスタリング処理する。なお、撮影総時間が例えば一週間など長い期間であり、多数の選抜対象画像が存在するような場合には、例えば所定の数時間や一日などをイベントの区切りにしてもよい。
In S213, the
図14(a)と図14(b)は、例えば2月から3月の間に撮影された各記録画像に対して再生期間が設定され、その再生期間の各選抜対象画像に対して行われるクラスタリング処理の一例を示している。図14(a)は、2月から3月の間において撮影されて記録された日毎の記録画像数1400を示しており、一例として、2月24日(2/24)には60シーン分の記録画像が存在していることを表している。そして、図14(a)では、再生期間として、2月24日の1日が設定されているとする。図14(b)は、再生期間として設定された2月24日の1日において、時系列的に並んでいる各選抜対象画像の中で撮影時刻が近く同一イベントに分類された画像により生成されている各クラスタ1401内のシーン数の一例を示している。図14(b)では、再生期間の撮影総時間の中で、最も古い撮影時刻が6時(6:00)で、最も新しい撮影時刻が20時(20:00)となっている例を挙げている。図14(b)において、一例として、9時のクラスタ1401の「4」は9時から1時間のイベント内に4シーンの画像が存在することを表している。S213の後、画像分類部120は、S214に処理を進める。
14A and 14B, for example, a reproduction period is set for each recorded image captured between February and March, and is performed for each selection target image in the reproduction period. An example of clustering processing is shown. FIG. 14A shows the number of recorded
S214では、画像分類部120は、操作部101を介してユーザが設定した目標再生時間の情報を、制御部102から取得する。そして、画像分類部120は、次のS215の処理として、目標再生時間から総選抜枚数を決定する。一例として、ダイジェスト再生が行われる際の静止画1枚当たりの再生時間が4秒に設定されたような場合、画像分類部120は、目標再生時間を4秒で割ることにより総選抜枚数を算出する。S215の後、画像分類部120は、S216に処理を進める。
In step S <b> 214, the
S216では、画像分類部120は、得られた総選抜枚数を用いて、各クラスタを正規化する。なお、正規化を行う際に、例えばクラスタ内のシーン数が少ないと、正規化によりシーン数がゼロ(0)となってしまう場合があるため、正規化により小数点以下の値が得られる場合には、その小数点以下の値を切り上げ処理する。図14(c)は、図14(b)に示した各クラスタ1401に対する正規化後の各クラスタ1402のシーン数の一例を示している。S216の後、制御部102は、画像選抜部121にて行われるS217に処理を移行させる。
In S216, the
S217では、画像選抜部121は、前述した選抜対象画像の中から、各正規化後のクラスタにおいて選抜可能な数だけ、前述した総合評価値が上位の順に画像を選抜し、それら各選抜画像をダイジェスト再生用の画像とする。ここで、選抜対象画像が流し撮り撮影された画像である場合を例に挙げると、画質の良い流し撮り画像は前述したように流し撮り評価値が高評価値になるため、総合評価値も高い値になっていると考えられる。このため、画像選抜部121は、流し撮り撮影された複数の選抜対象画像の中から、総合評価値の高い順に画像を選抜することにより、画質の良い流し撮り画像を選抜することが可能になる。なお、ここでは、総合評価値を基に画像選抜を行ったが、例えば様々なシーンの画像が選抜されるようにするために、総合評価値ではなく、前述した画像評価値や動き評価値、流し撮り評価値等のそれぞれの評価値に基づいて画像を選抜するようにしてもよい。S217の後、画像選抜部121は、S218に処理を進める。
In step S <b> 217, the
S218では、画像選抜部121は、S217で選抜した各画像を、時系列順に並べ替える。そして、画像選抜部121は、次のS219の処理として、それら時系列順に並べ替えた各画像を、ダイジェスト再生としてスライドショー再生する際の一つの動画として結合する。その後、画像選抜部121は、S220の処理として、S219で結合された動画を、スライドショー再生する。なお、スライドショー再生は、後に画像の印刷が行われる場合には、印刷前のプレビュー表示のために行ってもよい。S220によるスライドショー再生が終了すると、制御部102は、表示部107を介して表示デバイスの画面上に、保存指示入力用のメニュー画面を表示させる。そして、操作部101を介してユーザから保存指示が入力された場合、制御部102は、スライドショー再生用としての動画を記録媒体に保存させる。
In S218, the
なお、本実施形態のデジタルカメラは、前述したようなダイジェスト再生用に選抜された各画像に対し、タイトル処理や色フィルタ処理などの加工処理を行って表示することも可能である。タイトル処理は、一例として、ダイジェスト再生用に選抜された各画像の例えば色に応じた背景色のタイトル画像や、その背景色に対する補色関係を有するタイトル文字等を生成して、ダイジェスト再生される画像に付加する処理等を挙げることができる。なお、タイトル画像だけでなく、エンディング画像の背景色や文字色等を決めてもよい。前述した色フィルタ処理には、極彩色フィルタ処理や白黒フィルタ処理、シアンフィルタ処理など様々なフィルタ処理によるフィルタ効果を付与するような加工が含まれる。極彩色フィルタ処理は、画像の各色の彩度を強調するようなフィルタ処理である。例えば、前述したように選抜された各画像の色に基づいて、それら各画像に様々な色が含まれる画像が多いか否か等を判断できる。このため、各画像に様々な色が含まれていると判断した場合には、極彩色フィルタ処理をそれら画像に施すことで、各色を際立たせたダイジェスト再生表示が可能となる。白黒のフィルタ処理は、画像の色情報を除去して、輝度情報のみを抽出するようなフィルタ処理である。各画像に対して白黒フィルタ処理を施すことで、白黒画像によるダイジェスト再生表示が可能となる。シアンフィルタ処理は、画像の全体的な色を青系の色味に変換するようなフィルタ処理である。例えば、各画像の色に基づき、青系の画像が多いことが判った場合には、シアンフィルタ処理を行うことで、青系の色を強調したようなダイジェスト再生表示が可能となる。逆に、例えば赤系の画像が多いような場合には、シアンフィルタ処理を行わないようにしてもよい。なお、フィルタ処理に関する知識を有さない一般ユーザの場合、最適なフィルタ効果が得られる最適なフィルタ処理を選択することは難しい。これに対し、本実施形態の場合、各画像の色に基づいて自動的に最適なフィルタ処理が選択されるため、最適なフィルタ効果によるダイジェスト再生表示が可能となる。 Note that the digital camera of the present embodiment can also perform processing such as title processing and color filter processing on each image selected for digest reproduction as described above, and display it. The title processing is, for example, a title image having a background color corresponding to, for example, a color of each image selected for digest reproduction, or a title character having a complementary color relationship to the background color, and the like, and an image to be digest reproduced. And the like. Note that not only the title image but also the background color, character color, and the like of the ending image may be determined. The above-described color filter processing includes processing for imparting a filter effect by various filter processing such as a saturated color filter processing, a black and white filter processing, and a cyan filter processing. The extra-color filter process is a filter process that emphasizes the saturation of each color of the image. For example, based on the color of each image selected as described above, it can be determined whether there are many images including various colors in each image. For this reason, when it is determined that each image contains various colors, it is possible to perform a digest reproduction display in which each color is emphasized by performing a color filter process on those images. The black and white filter process is a filter process that removes the color information of the image and extracts only the brightness information. By performing the black-and-white filter process on each image, it is possible to display the digest reproduction with the black-and-white image. The cyan filter process is a filter process that converts the overall color of the image into a bluish tint. For example, if it is found that there are many blue-based images based on the color of each image, cyan filter processing is performed to enable digest reproduction display in which the blue-based colors are emphasized. On the contrary, for example, when there are many red images, the cyan filter process may not be performed. It should be noted that it is difficult for a general user who has no knowledge of filter processing to select the optimum filter processing that can obtain the optimum filter effect. On the other hand, in the case of the present embodiment, the optimum filter processing is automatically selected based on the color of each image, so that the digest reproduction display with the optimum filter effect is possible.
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of specific embodiments for carrying out the present invention, and the technical scope of the present invention should not be limitedly interpreted by these. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features.
101 操作部、102 制御部、103 センサ部、105 画像処理部、106 ジャイロセンサ、107 表示部、112 エンコーダ部、113 画像記録部、115 被写体検出部、116 表情検出部、117 撮影情報作成部、118 再生期間設定部、119 画像評価部、120 画像分類部、121 画像選抜部 101 operation unit, 102 control unit, 103 sensor unit, 105 image processing unit, 106 gyro sensor, 107 display unit, 112 encoder unit, 113 image recording unit, 115 subject detecting unit, 116 facial expression detecting unit, 117 photographing information creating unit, 118 reproduction period setting unit, 119 image evaluation unit, 120 image classification unit, 121 image selection unit
Claims (14)
前記第1の評価領域および第2の評価領域のぶれ度合いに基づいて、前記画像の流し撮り画像としての評価を行う評価手段と、
を有し、
前記評価手段は、第1のシーンを撮影した画像を評価する場合、前記第1のシーンよりも明るい第2のシーンを撮影した画像を評価する場合よりも、前記画像の流し撮り画像としての評価が高くなりやすくなるよう評価を行うことを特徴とする画像処理装置。 A partial image area of an image obtained by photographing is set as a first evaluation area, and a blurring degree of the first evaluation area and a blurring degree of a second evaluation area which is an area different from the first evaluation area. Specifying means for specifying and
Evaluation means for evaluating the image as a follow shot image based on the blurring degree of the first evaluation area and the second evaluation area;
Have a,
The evaluation means evaluates the image as a follow shot image when evaluating the image of the first scene, rather than evaluating the image of the second scene that is brighter than the first scene. An image processing apparatus, characterized in that the evaluation is performed so as to easily increase .
前記評価手段は、前記判定手段により前記画像が流し撮り撮影により得られたと判定された場合に、前記流し撮り画像としての画像の評価を行うことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。 Further comprising a determination means for determining whether the image was obtained by panning shooting
5. The evaluation unit evaluates an image as the follow shot image when the determination unit determines that the image is obtained by the follow shot image capturing. The image processing device according to item.
前記評価手段による評価に基づき、前記複数の画像から少なくとも1つの画像を選抜する選抜手段をさらに有することを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。 The evaluation means evaluates a plurality of images,
Wherein based on the evaluation by the evaluation unit, the image processing apparatus according to any one of claims 1 to 1 0, characterized by further comprising a selection means for selecting a least one image from the plurality of images.
撮影により得られた画像の一部の画像領域を第1の評価領域とし、前記第1の評価領域のぶれ度合いと、前記第1の評価領域と異なる領域である第2の評価領域のぶれ度合いとを特定する特定ステップと、
前記第1の評価領域および第2の評価領域のぶれ度合いに基づいて、前記画像の流し撮り画像としての評価を行う評価ステップと、
を含み、
前記評価ステップでは、第1のシーンを撮影した画像を評価する場合、前記第1のシーンよりも明るい第2のシーンを撮影した画像を評価する場合よりも、前記画像の流し撮り画像としての評価が高くなりやすくなるよう評価を行うことを特徴とする画像処理方法。 An image processing method executed by an image processing apparatus, comprising:
A partial image area of an image obtained by photographing is set as a first evaluation area, and a blurring degree of the first evaluation area and a blurring degree of a second evaluation area which is an area different from the first evaluation area. And a specific step to identify
An evaluation step of evaluating the image as a follow shot image based on the degree of blurring of the first evaluation region and the second evaluation region;
Only including,
In the evaluation step, when the image of the first scene is evaluated, the evaluation of the image as a follow shot image is performed more than when the image of the second scene that is brighter than the first scene is evaluated. An image processing method, characterized in that the evaluation is performed so that the value becomes higher .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016020906A JP6679333B2 (en) | 2016-02-05 | 2016-02-05 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016020906A JP6679333B2 (en) | 2016-02-05 | 2016-02-05 | Image processing apparatus, image processing method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017139702A JP2017139702A (en) | 2017-08-10 |
JP2017139702A5 JP2017139702A5 (en) | 2019-03-22 |
JP6679333B2 true JP6679333B2 (en) | 2020-04-15 |
Family
ID=59566157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016020906A Active JP6679333B2 (en) | 2016-02-05 | 2016-02-05 | Image processing apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6679333B2 (en) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4438099B2 (en) * | 2007-11-22 | 2010-03-24 | カシオ計算機株式会社 | Imaging apparatus and program thereof |
JP4561845B2 (en) * | 2008-02-29 | 2010-10-13 | カシオ計算機株式会社 | Imaging apparatus and image processing program |
JP2012065128A (en) * | 2010-09-16 | 2012-03-29 | Nikon Corp | Image evaluation apparatus and image evaluation program |
JP5825172B2 (en) * | 2012-03-28 | 2015-12-02 | 富士通株式会社 | Image determination apparatus, image determination method, and computer program for image determination |
JP6040655B2 (en) * | 2012-09-13 | 2016-12-07 | オムロン株式会社 | Image processing apparatus, image processing method, control program, and recording medium |
JP6091229B2 (en) * | 2013-01-31 | 2017-03-08 | キヤノン株式会社 | Imaging apparatus, control method thereof, and program |
JP5968379B2 (en) * | 2013-10-29 | 2016-08-10 | キヤノン株式会社 | Image processing apparatus and control method thereof |
JP2016009998A (en) * | 2014-06-24 | 2016-01-18 | キヤノン株式会社 | Imaging apparatus, imaging method and program |
JP6355454B2 (en) * | 2014-06-27 | 2018-07-11 | キヤノン株式会社 | Imaging apparatus, control method therefor, program, and storage medium |
-
2016
- 2016-02-05 JP JP2016020906A patent/JP6679333B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017139702A (en) | 2017-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101342477B1 (en) | Imaging apparatus and imaging method for taking moving image | |
JP5246159B2 (en) | Imaging device, image display device, program | |
US9723201B2 (en) | Image capturing apparatus and control method therefor | |
JP5806623B2 (en) | Imaging apparatus, imaging method, and program | |
JP4760302B2 (en) | Imaging device | |
JP6261205B2 (en) | Image processing device | |
JP2006313229A (en) | Focusing device, imaging apparatus, and its control method | |
US11367229B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US11184551B2 (en) | Imaging apparatus and control method thereof | |
JP2007124278A (en) | Imaging apparatus | |
US10438067B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6679333B2 (en) | Image processing apparatus, image processing method, and program | |
JP7353821B2 (en) | Image processing device, its control method, program | |
JP2018186439A (en) | Information processing system, information processing apparatus, and information processing method | |
JP5403087B2 (en) | Image processing device | |
JP6346529B2 (en) | Imaging device, control method thereof, and program | |
JP6590681B2 (en) | Image processing apparatus, image processing method, and program | |
JP6378589B2 (en) | Imaging device, control method thereof, and program | |
JP2007124280A (en) | Imaging apparatus | |
JP2014138378A (en) | Image pickup device, control method thereof, and control program thereof | |
JP6555978B2 (en) | Image processing apparatus, control method thereof, and program | |
JP6742862B2 (en) | Imaging device, image processing device, control method of imaging device, and program | |
JP4798229B2 (en) | Electronic camera | |
JP5295197B2 (en) | Focus adjustment device, imaging device, and control method thereof | |
JP2012182620A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200318 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6679333 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |