JP6679333B2 - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP6679333B2 JP6679333B2 JP2016020906A JP2016020906A JP6679333B2 JP 6679333 B2 JP6679333 B2 JP 6679333B2 JP 2016020906 A JP2016020906 A JP 2016020906A JP 2016020906 A JP2016020906 A JP 2016020906A JP 6679333 B2 JP6679333 B2 JP 6679333B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation
- area
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明は、画像を評価する画像処理装置、画像処理方法、およびプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program for evaluating an image.
従来、静止画や動画を記録媒体に記録するとともに、記録媒体に記録された静止画や動画を再生することができるデジタルカメラが知られている。このようなデジタルカメラにおいて、記録媒体に沢山の静止画や動画が記録されている場合、全てを閲覧するには時間がかかってしまう。一方、特許文献１には、例えば動画の中から重要なシーンだけを抽出（選抜）して、ダイジェスト再生する技術が開示されている。特許文献１では、サッカーなどの試合の動画の中で、音声パワーが所定のパワーを越えるようなシーンを重要なシーンとして検出し、そのシーンに含まれる画像をダイジェストとして再生する。ただし、特許文献１のように、音声レベルだけに基づいてシーンを抽出すると、似たようなシーンばかりが抽出されてしまうことになり易い。特許文献１の技術の場合、例えば、ゴールシーンなどのように観客が盛り上がったシーンの画像ばかりが選抜されることになり、例えばゴールシーンに至るまでの経緯が分かるような画像が選抜されることは少ない。このため、例えばゴールシーンのような似たシーンの画像ばかり連続するようなダイジェスト再生がなされてしまうことになり易い。 2. Description of the Related Art Conventionally, there is known a digital camera capable of recording a still image or a moving image on a recording medium and reproducing the still image or the moving image recorded on the recording medium. In such a digital camera, when a large number of still images and moving images are recorded on the recording medium, it takes time to browse all of them. On the other hand, Patent Document 1 discloses a technique of extracting (selecting) only important scenes from a moving image and reproducing the digest. In Patent Document 1, a scene in which a sound power exceeds a predetermined power is detected as an important scene in a moving image of a game such as soccer, and an image included in the scene is reproduced as a digest. However, when the scenes are extracted based on only the audio level as in Patent Document 1, only similar scenes are likely to be extracted. In the case of the technique of Patent Document 1, for example, only images of scenes in which the audience is excited, such as a goal scene, are selected, and for example, an image in which the process leading to the goal scene is understood is selected. Is few. Therefore, it is easy to perform digest reproduction in which only images of similar scenes such as a goal scene are continuous.
ところで、サッカーの試合などでは、例えばゴールシーンに至るまでの選手を、いわゆる「流し撮り」といった特殊な撮影方法で撮影する場合も多い。流し撮りとは、移動している主被写体の移動方向と移動速度にカメラを追従させるようにして撮影する方法である。ゴールシーンに至るまでの選手を流し撮りした画像の中から、ダイジェスト再生用の画像を選抜できれば、どのような経緯でゴールシーンに至ったかを判り易く見せることができると考えられる。一方、流し撮りでは、主被写体の移動に追従させてカメラを振るようにして撮影が行われるため、良好な画質の画像を得ることが難しいという面もある。流し撮り画像において良好な画質の画像は、主被写体等の一部の画像領域のぶれは少ない一方で、それ以外の背景等の画像領域は大きく流れた（大きくぶれた）画像であると考えられる。前述した特許文献１の技術を用い、流し撮りした画像の中からダイジェスト再生用の画像を選抜することも可能ではあるが、この場合の画像は、音声レベルのみに基づいて選抜される画像であるため、それが良好な画質の流し撮り画像であるとは限らない。 By the way, in a soccer game or the like, for example, a player who reaches a goal scene is often photographed by a special photographing method such as so-called “follow shot”. The follow shot is a method in which the camera is made to follow the moving direction and moving speed of the moving main subject. If it is possible to select an image for digest playback from among the images taken of the players up to the goal scene, it may be possible to make it easier to see how the goal scene was reached. On the other hand, in the follow shot, since the shooting is performed by moving the camera while following the movement of the main subject, it is difficult to obtain an image of good quality. An image of good quality in a follow shot image is considered to be an image in which some image areas such as the main subject have little blurring, while other image areas such as the background have largely flown (large blur). . It is also possible to select an image for digest reproduction from the panned images by using the technique of Patent Document 1 described above, but the image in this case is an image selected based on only the audio level. Therefore, it is not always a follow shot image with good image quality.
本発明はこのような問題点に鑑みてなされたものであり、流し撮り撮影による良好な画質の画像を適切に評価可能とする画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。 The present invention has been made in view of such problems, an image processing apparatus that enables appropriately evaluate the image of good image quality by panning shot, and aims to provide an image processing method, and program To do.
本発明の画像処理装置は、撮影により得られた画像の一部の画像領域を第１の評価領域とし、前記第１の評価領域のぶれ度合いと、前記第１の評価領域と異なる領域である第２の評価領域のぶれ度合いとを特定する特定手段と、前記第１の評価領域および第２の評価領域のぶれ度合いに基づいて、前記画像の流し撮り画像としての評価を行う評価手段と、を有し、前記評価手段は、第１のシーンを撮影した画像を評価する場合、前記第１のシーンよりも明るい第２のシーンを撮影した画像を評価する場合よりも、前記画像の流し撮り画像としての評価が高くなりやすくなるよう評価を行うことを特徴とする。 In the image processing apparatus of the present invention, a partial image area of an image obtained by photographing is set as a first evaluation area, and a blur degree of the first evaluation area and an area different from the first evaluation area. Specifying means for specifying the blurring degree of the second evaluation area, and evaluation means for evaluating the image as a follow shot image based on the blurring degrees of the first evaluation area and the second evaluation area, have a, the evaluation unit when evaluating the images obtained by photographing the first scene, than when evaluating the images obtained by photographing the second scene brighter than the first scene, panning of the image The feature is that evaluation is performed so that the evaluation as an image tends to be high .
本発明によれば、流し撮りによる良好な画質の画像を適切に評価することが可能となる。 According to the present invention, it is possible to appropriately evaluate an image of good quality obtained by panning.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態に係る画像処理装置の一適用例であるデジタルカメラの概略構成を示す図である。
図１において、操作部１０１は、デジタルカメラの電源スイッチ、操作者（以下、「ユーザ」と表記する。）がデジタルカメラに対して各種の指示を入力する際に操作するスイッチやボタンなどにより構成されている。操作部１０１としては、例えばシャッタースイッチ、録画ボタン、再生ボタン、メニューボタンの他に、タッチセンサも含まれる。タッチセンサは、例えば表示部１０７により画像等が表示される表示デバイスの画面上に配され、ユーザがタッチすることによる操作指示入力を取得可能なものである。また、シャッタースイッチは、いわゆる半押し状態に対応した半押し信号ＳＷ１と、いわゆる全押し状態に対応した全押し信号ＳＷ２とを出力可能なスイッチとなされている。録画ボタンは、動画撮影を開始する際に用いられるボタンである。なお、録画ボタンの他、シャッタースイッチが全押しされている間、動画の撮影が行われてもよい。メニューボタンが操作された場合には、デジタルカメラにおいて各種メニューの設定が可能になる。メニューの中には、静止画撮影モードと動画撮影モードの切り替え設定メニュー、フラッシュ発光モードと非発光モードの切り替え設定メニュー、例えば日中モードや室内モード、夜景モードなどの撮影モード設定メニュー等がある。また、本実施形態のデジタルカメラは、後述するダイジェスト再生を行うダイジェスト再生モードへの設定メニュー等も有している。ダイジェスト再生モードでは、後述するスライドショー再生を行うスライドショー再生モードへの設定メニューも用意されている。制御部１０２は、デジタルカメラの各部の動作を制御するものであり、例えば操作部１０１からの指示に応じて各部を制御する。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a diagram showing a schematic configuration of a digital camera which is an application example of the image processing apparatus according to the present embodiment.
In FIG. 1, an
レンズ１０８ａは、センサ部１０３の撮像面上に被写体等の光学像を結像させるためのレンズ光学系であり、フォーカスレンズやズームレンズをも含んでいる。メカ機構１０９ａは、メカニカルシャッター、絞り等を有して構成されている。センサ部１０３は、制御部１０２による制御の下、レンズ１０８ａ、メカ機構１０９ａを介して撮像面上に形成された光像の光量に応じた電荷をアナログ画像信号として出力する。センサ部１０３には例えばＲ（赤）Ｇ（緑）Ｂ（青）の各色のカラーフィルタが設けられている。したがって、センサ部１０３からは、ＲＧＢの各色に対応したアナログ画像信号が出力される。本実施形態のデジタルカメラは静止画、動画の何れの撮影も可能であり、静止画撮影モードの場合、センサ部１０３からは静止画のアナログ画像信号が、動画撮影モードの場合、センサ部１０３からは動画の各フレームのアナログ画像信号が出力される。Ａ／Ｄ変換部１０４は、制御部１０２による制御の下、センサ部１０３から出力されたアナログ画像信号に対し、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。以下の説明では、静止画と動画を特に区別せずに説明する場合にはデジタル画像信号とのみ表記する。Ａ／Ｄ変換部１０４から出力されたデジタル画像信号は、画像処理部１０５に送られる。
The
画像処理部１０５は、制御部１０２による制御の下、Ａ／Ｄ変換部１０４から出力されたデジタル画像信号に対して各種の画像処理を行い、その画像処理済みのデジタル画像信号を出力する。例えば、画像処理部１０５は、Ａ／Ｄ変換部１０４から供給されたＲＧＢのデジタル画像信号を、ＹＵＶのデジタル画像信号に変換して出力する。そして、画像処理部１０５は、画像処理を行ったデジタル画像信号を、被写体検出部１１５とエンコーダ部１１２、撮影情報作成部１１７に送る。また、画像処理部１０５から出力されたデジタル画像信号は、制御部１０２を介して、ＡＦ処理部１０８、ＡＥ処理部１０９、ＥＦ処理部１１０にも送られる。
Under the control of the control unit 102, the
ＡＦ処理部１０８は、制御部１０２を介して供給されたデジタル画像信号を基に、レンズ１０８ａを駆動させて被写体等にピントを合わせるオートフォーカス制御を行う。ＡＥ処理部１０９は、静止画撮影モードでは、制御部１０２からのデジタル画像信号の輝度と、適正輝度との差分を算出し、その差分に基づいてメカ機構１０９ａのシャッタースピードや絞り値を調整して露出を適正露出に合わせる自動露出補正制御を行う。ＥＦ処理部１１０は、静止画撮影モードでフラッシュ発光を行う命令を制御部１０２から受けている場合、制御部１０２から供給されたデジタル画像信号の明るさを求める。そして、静止画撮影モードでは、ＥＦ処理部１１０は、その明るさに基づいて、被写体上の照度が適正となり得る光量でフラッシュ部１１１を発光させる。
Based on the digital image signal supplied via the control unit 102, the
ジャイロセンサ１０６は、静止画撮影や動画撮影の際に、カメラが振られたりぶれたりすることでカメラに加わる回転方向と角速度変動量と、をジャイロ情報として検出する。具体的には、ジャイロセンサ１０６は、Ｐｉｔｃｈ（ピッチ），Ｙａｗ（ヨー），Ｒｏｌｌ（ロール）の各回転方向と、それら各回転方向における角速度変動量とを、ジャイロ情報として検出する。ピッチ，ヨー，ロールの各回転方向の詳細は後述する。ジャイロセンサ１０６により検出されたジャイロ情報は、制御部１０２に送られる。本実施形態の場合、制御部１０２は、画像撮影が行われた場合には、その画像撮影がなされた時点を含み且つその時点から時間的に前の所定期間分のジャイロ情報を取得する。詳細については後述するが、本実施形態のデジタルカメラは、画像撮影の際に流し撮りによる撮影がなされたか否かを、ジャイロ情報を用いることで判定可能となされている。なお、流し撮りとは、前述したように、移動している主被写体の移動方向と移動速度にカメラを追従させるようにして撮影するような撮影方法である。 The gyro sensor 106 detects, as gyro information, a rotation direction and an angular velocity fluctuation amount applied to the camera when the camera is shaken or shaken during still image shooting or moving image shooting. Specifically, the gyro sensor 106 detects each rotation direction of Pitch (pitch), Yaw (yaw), and Roll (roll) and the angular velocity fluctuation amount in each rotation direction as gyro information. Details of the pitch, yaw, and roll rotation directions will be described later. The gyro information detected by the gyro sensor 106 is sent to the control unit 102. In the case of the present embodiment, when the image capturing is performed, the control unit 102 acquires the gyro information for a predetermined period including the time when the image capturing is performed and temporally preceding the time. Although details will be described later, the digital camera according to the present embodiment can determine whether or not the follow-up shooting is performed at the time of shooting the image by using the gyro information. As described above, the follow shot is a shooting method in which the camera follows the moving direction and moving speed of the moving main subject.
被写体検出部１１５は、制御部１０２による制御の下、画像処理部１０５より供給されたデジタル画像信号から、各被写体に対応した各画像領域（以下、「被写体領域」と表記する。）を検出し、それら各被写体領域の情報を出力する。本実施形態の場合、被写体検出部１１５は、一例として、画像内に存在する被写体毎の各画像領域と、例えば人物、人物の顔、車や建物など各被写体の種別を表す情報を検出する。また、被写体検出部１１５は、動画の画像撮影がなされている場合には、現時点のフレームの画像および現時点から時間的に前の所定期間分の各フレームの画像信号から、被写体領域毎に動きベクトルを求める。被写体検出部１１５は、撮影画像内における各被写体領域のサイズ、位置、種別等の情報、動画における被写体領域毎の動きベクトル情報等を、撮影情報作成部１１７に出力する。本実施形態において、これら各被写体領域のサイズ、位置、種別等の情報、動きベクトル情報等は、撮影された画像が有する特性の一部を表すパラメータであり、後述する画像評価部１１９において各種評価に用いられる評価パラメータの一つとなされる。また、被写体検出部１１５は、いわゆる顔検出処理を行い、検出した顔のサイズ、顔の位置などを示す顔情報をも生成する。被写体検出部１１５は、生成した顔情報を、表情検出部１１６に出力する。その他、被写体検出部１１５は、各被写体領域のうち何れかを主被写体領域として検出することも可能となされている。なお、被写体のサイズ、位置、種別の検出、被写体領域毎の動きベクトル検出、主被写体領域の検出等の技術は種々知られており、ここではそれら技術の説明については省略する。
Under the control of the control unit 102, the
表情検出部１１６は、被写体検出部１１５から供給された顔情報を基に、被写体である人物の顔の表情を検出する。顔の表情検出方法の詳細な説明は省略するが、表情検出部１１６は、一例として、顔の画像のエッジ情報から口や目等の領域を検出し、例えば口角の上がり具合や目尻の下がり具合などを基に笑顔のレベルを判定し、それを数値化した笑顔度を算出する。また、表情検出部１１６は、顔の向き、視線方向をも求める。詳細な説明は省略するが、表情検出部１１６は、一例として、顔の中の目や鼻、口、耳等の位置を基に顔の向きを検出し、また、目の領域内で瞳（虹彩、黒目）が向いている方向を基に視線方向を検出する。そして、表情検出部１１６は、笑顔度、顔の向き、視線方向等の情報を、撮影情報作成部１１７に出力する。本実施形態において、これら笑顔度、顔の向き、視線方向等の情報は、撮影された画像が有する特性の一部を表すパラメータであり、後述する画像評価部１１９において各種評価に用いられる評価パラメータの一つとなされる。
The facial
撮影情報作成部１１７には、制御部１０２から、合焦情報、露出情報、被写界深度情報、ユーザ設定情報、ジャイロ情報等が供給される。本実施形態では、これら合焦情報、露出情報、被写界深度情報、ユーザ設定情報、ジャイロ情報等についても、撮影された画像が有する特性の一部を表すパラメータとし、後述する画像評価部１１９において各種評価に用いられる評価パラメータの一つとなされる。合焦情報は、オートフォーカス制御の際のカメラから被写体までの距離に対応した合焦距離情報と、撮影画像内でピントが合った被写体像の位置を表す合焦位置情報とを含む情報である。露出情報は、撮影時の自動露出補正制御に使用された絞り値やシャッタースピード、センサ部１０３における電荷蓄積時間等の露出に関する情報である。被写界深度情報は、レンズ１０８ａおよびメカ機構１０９ａの絞りによるｆ値に応じて決まる被写界深度を表す情報である。ユーザ設定情報は、撮影時においてユーザが操作部１０１を介して設定した情報であり、前述したメニューの設定情報や、撮影モードの設定情報などが含まれる。ジャイロ情報は、ジャイロセンサ１０６により検出された情報であり、前述したように、画像撮影がなされた時点を含み且つその時点から時間的に前の所定期間分の情報となされている。撮影情報作成部１１７は、デジタル画像信号に対応させるようにして、前述した各評価パラメータをまとめた撮影情報を作成する。そして、撮影情報作成部１１７は、撮影情報をエンコーダ部１１２に送る。
Focusing information, exposure information, depth of field information, user setting information, gyro information, and the like are supplied from the control unit 102 to the shooting
エンコーダ部１１２は、画像処理部１０５から供給されたデジタル画像信号のフォーマットを、ＪＰＥＧなどのフォーマットに変換する。以下、エンコーダ部１１２によりフォーマット変換された後のデジタル画像信号を「画像データ」と表記する。なお、デジタル画像信号が動画のフレーム画像信号である場合には、エンコーダ部１１２は、各フレーム画像信号をＭｏｔｉｏｎ−ＪＰＥＧ等のフォーマットに変換する。また、このときのエンコーダ部１１２は、前述した撮影情報作成部１１７にて作成された撮影情報を画像データのヘッダ領域に書き込む。エンコーダ部１１２によりフォーマット変換され、更にヘッダ領域に撮影情報が書き込まれた画像データは、画像記録部１１３に出力される。
The
画像記録部１１３は、制御部１０２による制御の下、エンコーダ部１１２から供給された画像データを、不図示の記録媒体に記録する。不図示の記録媒体は、デジタルカメラ内の内部メモリや、デジタルカメラに挿入されている外部メモリ（メモリーカード）等である。なお、以下の説明では、メモリーカード等に記録されている静止画や動画を区別しない場合には、それらをまとめて「記録画像」と表記する。
The
再生期間設定部１１８は、後述するダイジェスト再生が行われる場合に、記録画像の中から、ダイジェスト再生される画像を選抜する際の選抜対象となされる各記録画像を指定するための期間を設定する。以下の説明では、この期間を「再生期間」と表記する。本実施形態の場合、各記録画像の撮影日時や期間（例えば１日や１週間など）が、ユーザにより操作部１０１を介して指定されると、その指定された日時や期間の情報が制御部１０２を介して再生期間設定部１１８に送られる。再生期間設定部１１８は、その指定された日時や期間を再生期間として設定する。なお、再生期間の長さについては、ユーザにより指定される場合だけでなく、予め決められていてもよい。そして、再生期間設定部１１８は、制御部１０２による制御の下、再生期間に対応した各記録画像のデータを、画像記録部１１３を介してメモリーカード等から読み出して、画像評価部１１９へ送る。再生期間の記録画像は、後述するダイジェスト再生用の画像を選び出す際の際の選抜対象となされる画像であるため、以下の説明では「選抜対象画像」と表記する。
The reproduction
画像評価部１１９は、本実施形態における算出手段と設定手段の一例である。画像評価部１１９は、再生期間の各選抜対象画像のヘッダ領域に書き込まれている撮影情報（評価パラメータ）を基に、それら各選抜対象画像に対する後述する各種評価値を算出する。評価パラメータに基づいて算出される各種評価値の詳細については後述する。また、本実施形態において、画像評価部１１９は、選抜対象画像が流し撮り撮影された画像である場合には、その流し撮り画像の画質を評価するための評価値をも算出する。流し撮り画像の画質を評価するための評価値の算出等の詳細については後述する。そして、画像評価部１１９は、各選抜対象画像のデータとそれら各選抜対象画像について算出した各評価値の情報を、画像分類部１２０に送る。
The
画像分類部１２０は、後述するダイジェスト再生が行われる場合、前述した再生期間の各選抜対象画像について、撮影日時を用いたクラスタリング処理を行う。そして、画像分類部１２０は、クラスタリングされた各選抜対象画像のデータと各選抜対象画像の各評価値の情報を画像選抜部１２１に送る。クラスタリング処理の詳細については後述する。
When the digest reproduction described below is performed, the
画像選抜部１２１は、本実施形態における選抜手段の一例である。画像選抜部１２１は、後述するダイジェスト再生が行われる場合、制御部１０２による制御の下、前述した再生期間に応じた選抜枚数を設定する。そして、画像選抜部１２１は、画像分類部１２０によりクラスタリングされた各選抜対象画像の中から、前述した各評価値に基づき、一定の画質基準を満たす前述の選抜枚数分の流し撮りの画像を記録画像として選抜する。本実施形態において、各評価値に基づく画像選抜処理には、流し撮り撮影された複数の選抜対象画像の中から、流し撮り画像として良好な画質の画像を選抜する処理も含まれる。これら、再生期間に応じた選抜枚数の設定、評価値に基づく画像選抜の詳細については後述する。画像選抜部１２１により選抜された各記録画像のデータは、ダイジェスト再生用の選抜画像データとして、表示部１０７に送られる。
The
表示部１０７は、ダイジェスト再生が行われる場合、ダイジェスト再生用のタイトル画像等の生成、ダイジェスト再生用の各選抜画像データに応じた表示画像の生成、選抜画像データに対する色フィルタ処理などの加工処理後の表示画像の生成等を行う。選抜画像に対する色フィルタ処理の詳細については後述する。そして、表示部１０７は、タイトル画像、ダイジェスト再生用の各選抜画像データに応じた表示画像や色フィルタ処理などの加工処理後の表示画像を、液晶等の表示デバイスに送って画面上に表示させる。また、本実施形態において、ダイジェスト再生の際には、例えば４秒間隔などの一定時間間隔、若しくはユーザにより設定された任意の時間間隔で、選抜画像が順番に切り替えられて再生表示されるようなスライドショー再生も可能となされている。このようなスライドショー再生の制御は、制御部１０２により行われる。なお、ダイジェスト再生の際には、スライドショー再生だけでなく、例えば操作部１０１を介したユーザによる表示切り替え指示の入力がなされる毎に、選抜画像が切り替えられて画面上に表示されてもよい。また、外部接続部１１４を介して外部モニタ等が接続された場合、表示部１０７は、前述したタイトル画像や表示信号を外部接続部１１４を介して外部モニタ等に出力して、外部モニタの画面上に表示させることも可能となされている。
When the digest reproduction is performed, the
以下、図１に示した本実施形態のデジタルカメラにおいて、画像の撮影が行われて記録され、その後、記録画像の中から選抜された画像によるダイジェスト再生（スライドショー再生）が行われるまでの動作について説明する。
先ず、本実施形態のデジタルカメラにおいて、静止画や動画の撮影が行われ、その撮影画像のデータが記録されるまでの動作を説明する。
例えば、本実施形態のデジタルカメラのユーザが、操作部１０１の電源スイッチをオンにすると、制御部１０２は、これを検知し、デジタルカメラを構成する各部に、不図示の電源からの電力を供給する。また、制御部１０２は、ＡＥ処理部１０９を介して、前述のメカ機構１０９ａのメカニカルシャッターを開かせ、絞りを開放絞り値にさせる。これにより、センサ部１０３の撮像面には、レンズ１０８ａ、メカ機構１０９ｂを介して光が入射することになる。そして、制御部１０２による制御の下、センサ部１０３からは、入射光に応じて蓄積された電荷が読み出され、その読み出された電荷によるアナログ画像信号がＡ／Ｄ変換部１０４に送られる。このときのＡ／Ｄ変換部１０４は、前述したように、アナログ画像信号に対し、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。画像処理部１０５は、Ａ／Ｄ変換部１０４からのデジタル画像信号に対して前述したように各種画像処理を行い、その画像処理済みのデジタル画像信号を出力する。また、制御部１０２は、画像処理部１０５からのデジタル画像信号をＡＥ処理部１０９に送り、これによりＡＥ処理部１０９では自動露出補正が行われる。そして、その自動露出補正がなされた後に、前述同様にセンサ部１０３〜画像処理部１０５を介した画像信号がＡＥ処理部１０９にフィードバックされることで、適正露出への収束制御が実現される。
Hereinafter, in the digital camera of the present embodiment shown in FIG. 1, the operation until the image is captured and recorded, and thereafter, the digest reproduction (slide show reproduction) by the image selected from the recorded images is performed. explain.
First, in the digital camera of the present embodiment, an operation of taking a still image or a moving image and recording the data of the taken image will be described.
For example, when the user of the digital camera according to the present embodiment turns on the power switch of the
ここで、静止画撮影モードの場合、操作部１０１のシャッタースイッチから半押し信号が出力されると、制御部１０２は、その時点でセンサ部１０３〜画像処理部１０５を介した画像信号を、ＡＦ処理部１０８とＡＥ処理部１０９に送る。これにより、ＡＦ処理部１０８ではオートフォーカス制御が行われて被写体にピントが合わされ、また、ＡＥ処理部１０９では自動露出補正制御が行われて適正な露出による画像撮影が可能になる。なお、本実施形態のデジタルカメラにおいて、撮影の際にフラッシュ発光を行う設定になされている場合、制御部１０２は、画像処理部１０５からのデジタル画像信号をＥＦ処理部１１０にも送る。この場合のＥＦ処理部１１０は、デジタル画像信号から輝度値を検出し、その輝度値に基づいて、画像撮影の際に被写体等の照度が適正となる光量にフラッシュ部１１１の発光光量を設定する。その後、シャッタースイッチから全押し信号が出力されると、制御部１０２は、その時点でセンサ部１０３にて撮像されてＡ／Ｄ変換部１０４と画像処理部１０５を介したデジタル画像信号を、エンコーダ部１１２と被写体検出部１１５に取り込ませる。また、動画撮影モードの場合には、制御部１０２による制御の下、録画ボタンが押される前のライブビュー表示の際にオートフォーカス制御が行われて被写体にピントが合わされ、また露出補正制御が行われて適正な露出による動画撮影が可能になされる。その後、録画ボタンから録画の開始指示が入力されると、制御部１０２は、それ以後、センサ部１０３で撮像されてＡ／Ｄ変換部１０４から画像処理部１０５を介した動画の各フレームの画像信号を、エンコーダ部１１２と被写体検出部１１５に取り込ませる。被写体検出部１１５以降の詳細な処理の説明は後述する。
Here, in the still image shooting mode, when a half-press signal is output from the shutter switch of the
エンコーダ部１１２は、前述したように、フォーマット変換を行った後の画像データとヘッダ領域の撮影情報とを、画像記録部１１３に送る。画像記録部１１３は、制御部１０２による制御の下、フォーマット変換済みの画像データおよびヘッダ領域の撮影情報をメモリーカード等の記録媒体に記録する。これにより、画像記録部１１３のメモリーカード等には、静止画や動画の画像データとヘッダ領域の撮影情報とが記録される。
As described above, the
次に、本実施形態のデジタルカメラにおいて、画像記録部１１３のメモリーカード等の記録画像の中から選抜した画像によるダイジェスト再生を行うダイジェスト再生モード、さらに、スライドショー再生を行うスライドショー再生モードの際の動作を説明する。
図２は、図１に示した本実施形態のデジタルカメラが、画像記録部１１３のメモリーカード等の記録画像の中から画像を選抜してダイジェスト再生（スライドショー再生）を行うまでの処理の流れを示すフローチャートである。図２のフローチャートの処理は、図１の制御部１０２、再生期間設定部１１８、画像評価部１１９、画像分類部１２０、画像選抜部１２１、表示部１０７等にて行われる処理である。なお、図２のフローチャートの処理は、例えばＣＰＵ等において本実施形態に係る画像処理プログラムを実行することにより実現されてもよい。以下の説明では、図２の各処理のステップＳ２０１〜ステップＳ２２０を、Ｓ２０１〜Ｓ２２０と略記する。
Next, in the digital camera of the present embodiment, the operation in the digest reproduction mode in which the digest reproduction by the image selected from the images recorded in the memory card of the
FIG. 2 shows a flow of processing until the digital camera of the present embodiment shown in FIG. 1 selects an image from recorded images on the memory card of the
図２のＳ２０１において、ユーザにより操作部１０１の電源スイッチがオンされた後、メニューボタンが操作されてダイジェスト再生メニューが選択された上で、ダイジェスト再生の実行指示が入力されると、制御部１０２は、Ｓ２０２に処理を進める。Ｓ２０２では、制御部１０２は、表示部１０７を介して表示デバイスの画面上に、ユーザに対して再生期間の指示を行うためのユーザインターフェース画像（図示は省略する。）を表示させる。そして、制御部１０２は、操作部１０１を介してユーザから再生期間の設定入力がなされると、再生期間設定部１１８に対して、その再生期間の設定入力情報を送る。
In S201 of FIG. 2, when the user turns on the power switch of the
Ｓ２０２において、再生期間設定部１１８は、制御部１０２からユーザによる再生期間の設定入力情報を受けると、その情報に応じた再生期間を設定する。そして、再生期間設定部１１８は、メモリーカード等の記録画像の中で、再生期間に該当する各記録画像のデータとそれらのヘッダ領域内の撮影情報を取得して、画像評価部１１９に送る。再生期間に該当する各記録画像は前述した選抜対象画像である。Ｓ２０２の後、制御部１０２は、画像評価部１１９にて行われるＳ２０３に処理を移行させる。
In S202, when the reproduction
Ｓ２０３では、画像評価部１１９は、再生期間の各選抜対象画像における撮影情報の評価パラメータを用いて、それぞれ各選抜対象画像に対する画像評価値を算出する。具体的には、画像評価部１１９は、各選抜対象画像について、例えば図３（ａ）〜図３（ｃ）を用いて説明するような３種類の画像評価値の何れか一つ、若しくは二つ以上の画像評価値（三つの画像評価値の場合も含む）を求める。
In S203, the
図３（ａ）は、前述した選抜対象画像の縦幅と、前述した被写体検出部１１５が検出した顔のサイズとの割合を算出し、その割合に基づいて画像評価値Ｗ１を求める例の説明図である。図３（ａ）の画像３１１は、その画像の縦幅を１００％とした場合に、顔領域３２１の縦幅サイズが２０％に相当する割合として算出された例を示している。一方、図３（ａ）の画像３１２は、その画像の縦幅を１００％とした場合に、顔領域３２２の縦幅サイズが６０％に相当する割合として算出された例を示している。また、図３（ａ）のサイズ評価特性３０１は、画像と顔領域の縦幅サイズの割合と、画像評価値Ｗ１との対応関係を表している。図３（ａ）のサイズ評価特性３０１は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図３（ａ）のサイズ評価特性３０１は、縦幅サイズの割合が０％〜２０％までは画像評価値Ｗ１として「３」が対応付けられ、縦幅サイズの割合が６０％以上では画像評価値Ｗ１として「１０」が対応付けられた例を示している。さらに、図３（ａ）のサイズ評価特性３０１は、縦幅サイズの割合が２０％〜６０％では画像評価値Ｗ１として「３」から「１０」まで線形に変化する値が対応付けられている。画像評価部１１９は、画像３１１の縦幅に対する顔領域３２１のサイズの割合を算出し、その割合に応じた画像評価値Ｗ１を、図３（ａ）のサイズ評価特性３０１から求めて、画像３１１の画像評価値とする。同様に、画像評価部１１９は、画像３１２の縦幅に対する顔領域３２２のサイズの割合を算出し、その割合に応じた画像評価値Ｗ１を、図３（ａ）のサイズ評価特性３０１から求めて、画像３１２の画像評価値とする。図３（ａ）の場合、画像３１１の画像評価値Ｗ１は、その画像から算出した縦幅サイズの割合である２０％に応じた値「３」となる。一方、画像３１２の画像評価値Ｗ１は、その画像から算出した縦幅サイズの割合である６０％に応じた値「１０」となる。すなわち、この図３（ａ）の例の場合、画像評価部１１９は、画像３１１の顔領域３２１よりも縦幅サイズが大きい顔領域３２２が写っている画像３１２の方を、高画像評価値の画像とする。
FIG. 3A illustrates an example in which the ratio between the vertical width of the selection target image described above and the face size detected by the
図３（ｂ）は、前述した選抜対象画像の中心位置から、前述した被写体検出部１１５が検出した顔位置（例えば顔領域の中心位置）までの距離を算出し、その距離に基づいて画像評価値Ｗ２を求める例の説明図である。図３（ｂ）の画像３１３は、その画像の対角線距離の１／２を１００％とした場合に、画像中心位置から、顔領域３２３の顔位置までの距離が５％に相当する割合として算出された例を示している。一方、図３（ｂ）の画像３１４は、その画像の対角線距離の１／２を１００％とした場合に、画像中心位置から、顔領域３２４の顔位置までの距離が６０％に相当する割合として算出された例を示している。また、図３（ｂ）の距離評価特性３０２は、前述した画像中心位置から顔位置までの距離の割合と、画像評価値Ｗ２との対応関係を表している。図３（ｂ）の距離評価特性３０２は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図３（ｂ）の距離評価特性３０２は、前述の距離の割合が０％〜５％までは画像評価値Ｗ２として「１０」が対応付けられ、距離の割合が６０％以上では画像評価値Ｗ２として「３」が対応付けられた例を示している。さらに、図３（ｂ）の距離評価特性３０２は、距離の割合が５％〜６０％では画像評価値Ｗ２として「１０」から「３」まで線形に変化する値が対応付けられている。画像評価部１１９は、画像３１３について前述した中心位置から顔領域３２３の位置までの距離の割合を算出し、その割合に応じた画像評価値Ｗ２を図３（ｂ）の距離評価特性３０２から求めて、画像３１３の画像評価値とする。また、画像評価部１１９は、画像３１４について前述した中心位置から顔領域３２４の位置までの距離の割合を算出し、その割合に応じた画像評価値Ｗ２を図３（ｂ）の距離評価特性３０２から求めて画像３１４の画像評価値とする。図３（ｂ）の例の場合、画像３１３の画像評価値Ｗ２は、その画像から算出した距離の割合である５％に応じた値「１０」となる。一方、画像３１４の画像評価値Ｗ２は、その画像から算出した距離の割合である６０％に応じた値「３」となる。すなわち、この図３（ｂ）の例の場合、画像評価部１１９は、画像３１４よりも距離の割合が小さい（画像中心から顔領域までの距離が近い）画像３１３の方を、高画像評価値の画像とする。
In FIG. 3B, the distance from the center position of the selection target image described above to the face position (for example, the center position of the face area) detected by the
図３（ｃ）は、前述した表情検出部１１６が検出した笑顔度に基づいて、前述した選抜対象画像の画像評価値Ｗ３を求める例の説明図である。図３（ｃ）の画像３１５は、顔領域３２５の笑顔度が０（笑顔でない場合）として算出された例を示している。一方、図３（ｃ）の画像３１６は、顔領域３２６の笑顔度が１０００（笑顔である場合）として算出された例を示している。また、図３（ｃ）の笑顔度評価特性３０３は、顔領域の笑顔度と、画像評価値Ｗ３との対応関係を表している。図３（ｃ）の笑顔度評価特性３０３は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図３（ｃ）の笑顔度評価特性３０３は、笑顔度０には画像評価値Ｗ３として「０」が対応付けられ、笑顔度１０００以上では画像評価値Ｗ３として「１０」が対応付けられた例を示している。さらに、図３（ｃ）の笑顔度評価特性３０３は、笑顔度０〜１０００では画像評価値Ｗ３として「０」から「１０」まで線形に変化する値が対応付けられている。画像評価部１１９は、画像３１５の顔領域３２５の笑顔度に応じた画像評価値Ｗ３を、図３（ｃ）の笑顔度評価特性３０３から求めて、画像３１５の画像評価値とする。同様に、画像評価部１１９は、画像３１６の顔領域３２６の笑顔度に応じた画像評価値Ｗ３を、図３（ｃ）の笑顔度評価特性３０３から求めて、画像３１６の画像評価値とする。図３（ｃ）の例の場合、画像３１５の画像評価値Ｗ３は、その画像の顔領域３２５の笑顔度０に応じた値「０」となる。一方、画像３１６の画像評価値Ｗ３は、その画像の顔領域３２６の笑顔度１０００に応じた値「１０」となる。すなわち、この図３（ｃ）の例の場合、画像評価部１１９は、画像３１５よりも笑顔度の値が高い顔領域３２６が写っている画像３１６の方を、高画像評価値の画像とする。
FIG. 3C is an explanatory diagram of an example in which the image evaluation value W3 of the selection target image described above is obtained based on the smile degree detected by the facial
画像評価部１１９は、図３（ａ）〜図３（ｃ）の例で挙げた３種類の画像評価値だけでなく、例えば、顔の向き、視線方向、オートフォーカス制御の合焦情報などの評価パラメータに基づいて、それぞれ画像評価値を求めてもよい。そして、画像評価部１１９は、それら各画像評価値の何れか一つ、若しくは、二つ以上の画像評価値（全ての画像評価値の場合も含む）を求める。一例として、画像評価部１１９は、顔の向きに基づく画像評価値では顔の向きが正面に向くほど高い値に設定し、視線方向に基づく画像評価値では視線方向が正面に向くほど高い値に設定する。また、画像評価部１１９は、例えば、合焦情報に基づく画像評価値では、選抜対象画像内の各被写体領域に対するピントズレ量が少なくなるほど高い値を設定する。また、画像評価部１１９は、例えば、合焦情報のうちカメラから被写体までの距離に対応した合焦距離情報が近いほど値が高くなる画像評価値を設定してもよい。その他にも、画像評価部１１９は、例えば、合焦情報のうち選抜対象画像内でピントが合った被写体像の位置を表す合焦位置情報から、前述の図３（ｂ）で説明したような距離に応じた画像評価値を求めてもよい。
The
図２のフローチャートに説明を戻す。Ｓ２０４の後、画像評価部１１９は、Ｓ２０５に処理を進める。Ｓ２０５において、画像評価部１１９は、撮影情報のジャイロ情報を用いて、その撮影情報に対応した選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。図４は、カメラ４００におけるＰｉｔｃｈ（ピッチ方向４１２），Ｙａｗ（ヨー方向４１１），Ｒｏｌｌ（ロール方向４１３）の各回転方向を示す図である。ジャイロ情報は、図４に示したようなピッチ方向４１２，ヨー方向４１１，ロール方向４１３の各回転方向と、各回転方向における角速度変動量とを示す情報である。また、本実施形態において、ジャイロ情報は、前述したように、画像撮影が行われた際の、撮影時点を含み且つその時点から時間的に前の所定期間分の情報となされている。
Description will be returned to the flowchart of FIG. After S204, the
画像評価部１１９は、このようなジャイロ情報を用いて、選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。具体的には、画像評価部１１９は、ジャイロ情報のヨー方向４１１における角速度変動量が所定の第１変動量以上であり、一方、ピッチ方向４１２およびロール方向４１３の角速度変動量が所定の第２変動量未満であったか否かを判定する。なお、第１変動量は、第２変動量よりも十分に大きな値として予め設定されている。そして、画像評価部１１９は、ヨー方向４１１の角速度変動量が第１変動量以上であり、且つ、ピッチ方向４１２およびロール方向４１３の角速度変動量が第２変動量未満であった場合、選抜対象画像が流し撮り状態で撮影された画像であると判定する。なお、流し撮りは、カメラ４００が短い時間（瞬間的に）だけ振られて行われる場合だけでなく、ある程度長い所定時間等速で振られるようにして行われる場合も想定される。このため、画像評価部１１９は、ピッチ方向４１２およびロール方向４１３の角速度変動量が第２変動量未満で、且つヨー方向４１１の角速度変動量が略々一定（等速に振られた）の状態が所定時間続いたと判断される場合にも流し撮りなされた画像と判定する。
The
なお、本実施形態では、ジャイロ情報を用いて流し撮りの判定を行う例を挙げたが、例えば３軸（ＸＹＺ軸）加速度センサにて検出された加速度情報を用いて、流し撮り状態で撮影されたか否かを判定してもよい。この場合、デジタルカメラは、図示しない３軸加速度センサを備えており、撮影がなされた際、制御部１０２は、加速度センサにより検出される加速度情報を取得する。このとき取得される加速度情報は、前述のジャイロ情報の場合と同様に、画像撮影が行われた時点を含み且つその時点から時間的に前の所定期間分の情報となされる。この取得された加速度情報は、評価パラメータの一つとして撮影情報に含められて、記録画像のヘッダ領域に書き込まれる。そして、画像評価部１１９は、撮影情報の中の加速度情報を用いて、選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。例えば、例えば図４中のＸＹＺ軸に対する加速度情報が３軸加速度センサにより検出されたとする。この場合、画像評価部１１９は、加速度情報のうちＸ軸方向の加速度が所定の第１加速度以上であり、一方、Ｙ軸方向およびＺ軸方向の加速度が所定の第２加速度未満であった場合に、選抜対象画像が流し撮り状態で撮影された画像であると判定する。
In the present embodiment, the example of performing the follow shot determination using the gyro information has been described. However, for example, the follow shot image is captured using the acceleration information detected by the triaxial (XYZ axis) acceleration sensor. Whether or not it may be determined. In this case, the digital camera includes a three-axis acceleration sensor (not shown), and the control unit 102 acquires the acceleration information detected by the acceleration sensor when the image is taken. As in the case of the gyro information described above, the acceleration information acquired at this time is information for a predetermined period including the time point when the image was captured and temporally preceding the time point. The acquired acceleration information is included in the shooting information as one of the evaluation parameters and written in the header area of the recorded image. Then, the
その他にも、選抜対象画像が流し撮り状態で撮影された画像であるか否かは、例えば動きベクトル情報を用いて行われてもよい。この例の場合、画像評価部１１９は、撮影情報の中の動きベクトル情報を用い、選抜対象画像の被写体領域毎の動きベクトルを比較して、その選抜対象画像が流し撮り状態で撮影された画像であるか否かを判定する。例えば、画像評価部１１９は、主被写体領域の動きベクトルの値が所定の第１動きベクトル値未満であり、他の被写体領域の動きベクトルの値が所定の第２動きベクトル値以上である場合、その選抜対象画像は流し撮りされた画像であると判定する。
In addition, whether or not the selection target image is an image captured in the panning state may be determined using, for example, motion vector information. In the case of this example, the
図２のフローチャートに説明を戻す。Ｓ２０５の後、画像評価部１１９は、Ｓ２０６に処理を進める。Ｓ２０６では、画像評価部１１９は、Ｓ２０５における流し撮り状態判定により、選抜対象画像が流し撮り状態で撮影された画像であると判定（Ｙｅｓ）した場合には、Ｓ２０８に処理を進める。一方、画像評価部１１９は、Ｓ２０６において、流し撮り状態で撮影された画像ではないと判定（Ｎｏ）した場合には、Ｓ２０７に処理を進める。
Description will be returned to the flowchart of FIG. After S205, the
Ｓ２０７に進んだ場合、画像評価部１１９は、選抜対象画像の画像全体についてのぶれ度合い評価を行った後、Ｓ２０９に処理を進める。
このとき、画像評価部１１９は、先ず、選抜対象画像のエッジ強度を画像のコントラスト値として求めるために、図５（ａ）に示すように画像５００を複数のブロック５１０に分割し、各ブロック５１０の画像領域からエッジ信号を抽出する。また、画像評価部１１９は、ブロック５１０毎にエッジのピークホールドを行って得られたエッジ信号を合計する。なお、図５（ｂ）のブロック５１０ｂと図５（ｃ）のブロック５１０ｃは、画像５００内の異なるブロックであるとする。すなわち、画像評価部１１９は、図５（ｂ）のブロック５１０ｂに示すように、そのブロック５１０ｂ内のエッジのピークホールドを行って得られたエッジ信号５１１ｂの合計値５１２ａを算出する。同様に、画像評価部１１９は、図５（ｃ）のブロック５１０ｃについても、そのブロック５１０ｃ内のエッジのピークホールドを行って得られたエッジ信号５１１ｃの合計値５１２ｃを算出する。さらに、画像評価部１１９は、図５（ｂ）や図５（ｃ）のようにして画像５００の全ブロックから求めたエッジ信号の合計値の平均値を、エッジ強度として算出し、そのエッジ強度の値をコントラスト値とする。
When the process proceeds to S207, the
At this time, the
そして、画像評価部１１９は、再生期間の各選抜対象画像について求めたコントラスト値の高低（エッジ強度の大小）に基づいて、各選抜対象画像のぶれ度合い評価を行う。ここで、画像のコントラスト値は、画像のぶれ度合いが大きくなるほど低くなり、一方、画像のぶれ度合いが小さくなるほど高くなると考えられる。このため、画像評価部１１９は、図６に示すように、選抜対象画像のぶれ度合いが小さくコントラスト値が高くなるほど高評価となり、一方、ぶれ度合いが大きくコントラスト値が低くなるほど低評価となるぶれ度合い評価値Ｗ４を設定する。図６のぶれ度合い評価特性６００は、画像のコントラスト値と、ぶれ度合い評価値Ｗ４との対応関係を表している。図６のぶれ度合い評価特性６００は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。図６のぶれ度合い評価特性６００は、コントラスト値が例えば０〜２０まではぶれ度合い評価値Ｗ４として「３」が対応付けられ、コントラスト値が６０以上ではぶれ度合い評価値Ｗ４として「１０」が対応付けられた例を示している。さらに、図６のぶれ度合い評価特性６００は、コントラスト値が２０〜６０ではぶれ度合い評価値Ｗ４として「３」から「１０」まで線形に変化する値が対応付けられている。なお、図６に例示した画像６０１〜６０４は、それぞれ前述したＳ２０６において流し撮り状態で撮影された画像ではないと判定された選抜対象画像であるとする。また、これら画像６０１〜６０４において、コントラスト値は、画像６０１、６０２、６０３、６０４の順に高くなっていくとする。この図６の例の場合、画像評価部１１９は、画像６０１〜６０４に対し、ぶれ度合い評価特性６００上で各画像６０１〜６０４のコントラスト値にそれぞれ対応した点６１１〜６１４のぶれ度合い評価値Ｗ４を設定する。図６の例の場合、画像６０１、６０２、６０３、６０４の順に、高評価値になっていくようなぶれ度合い評価値Ｗ４が設定されることになる。
Then, the
この図６で説明したように、流し撮りでない状態にて撮影された画像に対して設定されるぶれ度合い評価値Ｗ４は、その画像の被写体および背景等にピントが合っていて、被写体ぶれが少ないことを評価するためのぶれ度合い評価値となされる。図６の例の場合、画像６０１〜６０４のぶれ度合い評価値Ｗ４は、画像６０１、６０２、６０３、６０４の順に、よりピントが合っており、被写体ぶれが少なくなっていることを示す値になっている。したがって、図６に例示した画像６０１〜６０４の中から画質が良好な画像を選抜するような場合には、例えばぶれ度合い評価値Ｗ４が最も高評価値になっている画像６０４を選抜することが望ましいと考えられる。
As described with reference to FIG. 6, the blurring degree evaluation value W4 set for an image shot in a non-follow shot state is in focus because the subject and the background of the image are in focus, and the subject blurring is small. This is used as a blurring degree evaluation value for evaluating that. In the case of the example in FIG. 6, the blurring degree evaluation value W4 of the
一方、図７には、前述したＳ２０６において流し撮り状態で撮影された画像であると判定された選抜対象画像の一例として、各画像７０１〜７０４を挙げている。ただし、図７に例示した画像７０１〜７０４のうち、画像７０２は、主被写体領域のぶれが非常に少ない一方で背景領域は大きく流れた背景ぶれ画像であるとする。画像７０１は、移動している主被写体の移動速度に対し、カメラを振って追従させた際の追従速度が例えば速すぎたために、背景領域と主被写体領域の両方とも大きく流れた全体ぶれ画像であるとする。画像７０３は、移動している主被写体の移動速度に対し、カメラを振って追従させた際の追従速度が例えば遅すぎたために、背景領域のぶれは少ない一方で、主被写体領域のぶれ量は大きくなってしまった被写体ぶれ画像であるとする。画像７０４は、例えばシャッタースピードが非常に高速であったために、流し撮り撮影であるにもかかわらず主被写体領域と背景領域のぶれが共に非常に少なくなっている高コントラスト画像であるとする。このような各画像７０１〜７０４の場合、前述したコントラスト値は、画像７０１では低く、画像７０４では高くなり、画像７０２と７０３のコントラスト値はある程度近い値になると考えられる。また、図７のぶれ度合い評価特性７００は、選抜対象画像のコントラスト値と、ぶれ度合い評価値Ｗ４との対応関係を表している。図７のぶれ度合い評価特性７００は、図６のぶれ度合い評価特性６００と同様の特性である。
On the other hand, each
そして、前述同様のコントラスト値によるぶれ度合い評価を行った場合、画像７０１〜７０４に対しては、ぶれ度合い評価特性７００上で画像７０１〜７０４の各コントラスト値に対応した点７１１〜７１４のぶれ度合い評価値Ｗ４が設定される。図７の例の場合、画像７０１、７０２、７０３、７０４の順に、より高評価値になっていくようなぶれ度合い評価値Ｗ４が設定されることになる。したがって、これら画像７０１〜７０４の中から、例えば前述同様にぶれ度合い評価値Ｗ４のみに基づいて画像を選抜した場合には、ぶれ度合い評価値Ｗ４が最も高評価値になっている画像７０４が選抜されることになると考えられる。
Then, when the blurring degree evaluation based on the same contrast value as described above is performed, for the
ここで、流し撮りにより撮影された画像の場合、良好な画質の画像は、主被写体領域のような一部の画像領域のぶれは非常に少ない一方で、それ以外の背景等の画像領域は大きく流れた背景ぶれ画像であると考えられる。すなわち、流し撮り撮影された画像の場合、画像全体が高コントラストな画像ではなく、主被写体領域は適切なコントラストで、背景領域は画像の流れによる低コントラストの画像が、良好な画質の画像であると考えられる。言い換えると、主被写体領域ではぶれ度合いが小さく、背景領域では画像の流れによりぶれ度合いが大きい画像が、良好な画質の流し撮り画像であると考えられる。一方、画像７０１〜７０４の中から前述したぶれ度合い評価値Ｗ４のみに基づいて画像を選抜した場合、選抜されるのは画像７０４になり、流し撮りにおいて良好な画質の画像であると考えられる画像７０２は選抜されないことになってしまう。
Here, in the case of an image taken by panning, an image with good image quality has very little blur in some image areas such as the main subject area, while other image areas such as the background are large. It is considered to be a background blurred image. That is, in the case of an image taken by the follow shot, the entire image is not a high-contrast image, the main subject region has an appropriate contrast, and the background region has a low-contrast image due to the flow of the image, which is an image with good image quality. it is conceivable that. In other words, an image with a small degree of blurring in the main subject area and a large degree of blurring in the background area due to the flow of images is considered to be a follow shot image with good image quality. On the other hand, when an image is selected from the
このため、本実施形態のデジタルカメラは、選抜対象画像が流し撮り状態で撮影された画像である場合には、その画像の一部の画像領域を第１の評価領域とし、それ以外を第２の評価領域として領域分けを行う。そして、デジタルカメラは、それら各評価領域でそれぞれ別のぶれ度合い判定基準によるぶれ度合い評価を行う。詳細については後述するが、本実施形態のデジタルカメラは、流し撮りにより撮影された選抜対象画像について、第１の評価領域と第２の評価領域とでそれぞれ別のぶれ度合い判定基準による第１，第２のぶれ度合い評価値を求める。 Therefore, in the digital camera of the present embodiment, when the selection target image is an image taken in the follow shot state, a part of the image area of the image is set as the first evaluation area, and the other area is set as the second evaluation area. The area is divided as an evaluation area of. Then, the digital camera evaluates the blurring degree in each of the evaluation areas according to a different blurring degree determination standard. Although details will be described later, the digital camera of the present embodiment is configured such that the selection target image photographed by the follow shot is divided into the first evaluation region and the second evaluation region by the different blurring degree determination criteria. A second blurring degree evaluation value is obtained.
図２のフローチャートに説明を戻す。Ｓ２０６で選抜対象画像が流し撮り撮影された画像であると判定されてＳ２０８に進んだ場合、画像評価部１１９は、先ず、その撮影対象画像を、縦横方向で共に例えば７分割した７×７のブロックに分割する。
Description will be returned to the flowchart of FIG. When it is determined in S206 that the selection target image is a panning shot image, and the process proceeds to S208, the
図８（ａ）〜図８（ｄ）には、流し撮り状態で撮影された選抜対象画像であると判定された各画像８０１〜８０４の一例を示している。なお、図８（ａ）の画像８０１は、前述の画像７０１のように背景領域と主被写体領域の両方とも大きく流れた全体ぶれ画像であるとする。図８（ｂ）の画像８０２は、前述の画像７０２のように主被写体領域のぶれが非常に少ない一方で背景領域は大きく流れた背景ぶれ画像であるとする。図８（ｃ）の画像８０３は、前述の画像７０３のように背景領域のぶれは少ない一方で、主被写体領域のぶれ量は大きくなっている被写体ぶれ画像であるとする。図８（ｄ）の画像８０４は、前述の画像７０４のように主被写体領域と背景領域のぶれが共に非常に少ない高コントラスト画像であるとする。これら図８（ａ）〜図８（ｄ）の各画像８０１〜８０４のうち、流し撮りされた画像において良好な画質とされる画像は、主被写体領域のぶれが非常に少ない一方で背景領域は大きく流れた背景ぶれ画像（画像８０２）であると考えられる。
FIG. 8A to FIG. 8D show an example of each of the
画像評価部１１９は、これら各画像８０１〜８０４を、それぞれ複数のブロック８１０に分割し、各ブロック８１０の画像領域からそれぞれ前述同様のエッジ信号を取得する。そして、画像評価部１１９は、各画像８０１〜８０４の各ブロック８１０を、例えば画像の中心領域８２０の複数ブロック（この例では縦×横が４×３のブロック）と、それら中心領域８２０を除く周辺領域８３０の複数ブロックとに分ける。本実施形態の場合、中心領域８２０を第１の評価領域とし、周辺領域８３０を第２の評価領域としており、画像評価部１１９は、中心領域８２０と周辺領域８３０とで、後述するようにそれぞれ別のぶれ度合い判定基準によるぶれ度合い評価を行う。
The
なお、図８（ａ）〜図８（ｄ）の例では中心領域８２０を第１の評価領域としたが、選抜対象画像の評価パラメータに基づいて、第１の評価領域が決定されてもよい。一例として、画像評価部１１９は、評価パラメータに含まれている被写体情報に基づいて、選抜対象画像の中の主被写体領域を特定し、その主被写体領域の画像領域を第１の評価領域とし、それ以外を第２の評価領域としてもよい。また、例えばオートフォーカス制御による合焦位置の主被写体領域が第１の評価領域となされ、それ以外が第２の評価領域となされてもよい。また、各被写体領域の距離情報や、画像を撮影した際の被写界深度情報を基に、第１の評価領域と第２の評価領域の領域分けが行われてもよい。その他にも、例えば画像内の顔の位置、顔のサイズ、画像中心から顔までの距離、顔の向き、視線の方向、笑顔等の顔の表情から前述のように算出した画像評価値に基づいて、第１の評価領域と第２の評価領域の領域分けが行われてもよい。この例の場合、顔の位置、顔のサイズ、画像中心から顔までの距離、顔の向き、視線の方向、笑顔度等に基づく画像評価値を、画像内の被写体領域毎に求めるようにする。そして、それら各被写体領域の中で、例えば画像評価値が最も高い被写体領域を第１の評価領域とし、それ以外を第２の評価領域とする。
Although the
また、画像評価部１１９は、前述した第１の評価領域と第２の評価領域に対して、それぞれ別のぶれ度合い判定基準によるぶれ度合い評価を行うために、それら第１の評価領域と第２の評価領域についてそれぞれコントラスト値を算出する。具体的には、画像評価部１１９は、第１の評価領域について前述したような各ブロックのエッジ信号の合計値から平均値を求め、その平均値（エッジ強度）を第１の評価領域のコントラスト値とする。同様に、画像評価部１１９は、第２の評価領域について各ブロックのエッジ信号の合計値から平均値を求め、その平均値（エッジ強度）を第２の評価領域のコントラスト値とする。そして、画像評価部１１９は、第１の評価領域については、その領域のコントラスト値が高くぶれ度合いが小さいほど、高評価値となるような第１の評価値（以下、第１のぶれ度合い評価値とする。）を設定する。一方、画像評価部１１９は、第２の評価領域については、その領域のコントラスト値が低くぶれ度合いが大きいほど、高評価値となるような第２の評価値（以下、第２のぶれ度合い評価値とする。）を設定する。
In addition, the
図９は、第１の評価領域についてぶれ度合い評価を行う際の評価基準としての第１のぶれ度合い評価特性９００と、第１の評価領域９２１〜９２４とを示す図である。図９の第１のぶれ度合い評価特性９００は、第１の評価領域のコントラスト値と、第１の評価領域に対する第１のぶれ度合い評価値Ｗ５との対応関係を表している。第１のぶれ度合い評価特性９００は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。第１のぶれ度合い評価特性９００は、前述の図７に示したぶれ度合い評価特性７００と同様の特性である。すなわち、第１のぶれ度合い評価特性９００は、第１の評価領域のコントラスト値が高くぶれ度合いが小さいほど、高評価値となる第１のぶれ度合い評価値Ｗ５を設定するような特性となされている。
FIG. 9 is a diagram showing first blurring
また、図９に例示した第１の評価領域９２１は、前述の図８（ａ）に示した全体ぶれ画像である画像８０１から中心領域８２０のみを評価対象として抜き出した領域である。また、第１の評価領域９２２は、図８（ｃ）に示した被写体ぶれ画像である画像８０３から中心領域のみを評価対象として抜き出した領域である。以下同様に、第１の評価領域９２３は図８（ｂ）に示した背景ぶれ画像である画像８０２から、第１の評価領域９２４は図８（ｄ）に示した高コントラスト画像である画像８０４から中心領域を抜き出した領域である。第１の評価領域９２１は、全体ぶれ画像から抜き出された領域であるため、コントラスト値が低く、ぶれ度合いは大きい。また、第１の評価領域９２４は、高コントラスト画像から抜き出された領域であるため、コントラスト値は高く、ぶれ度合は非常に小さい。また、第１の評価領域９２２は、被写体ぶれ画像から抜き出された領域であるため、コントラスト値はやや高く、ぶれ度合いはやや小さい。これに対し、第１の評価領域９２３は、背景ぶれ画像から抜き出された中心領域（被写体領域）であり、この領域のコントラスト値は高いため、ぶれ度合いは非常に小さい。
Further, the
画像評価部１１９は、これら第１の評価領域９２１〜９２４について、第１のぶれ度合い評価特性９００を用いてコントラスト値に基づくぶれ度合い評価を行う。図９の例では、第１の評価領域９２１〜９２４の各コントラスト値に対応した点９１１〜９１４の第１のぶれ度合い評価値Ｗ５が設定されることになる。特に、流し撮り画像として良好な画質の背景ぶれ画像である図８（ｂ）の画像８０２から中心領域を抜き出した図９の第１の評価領域９２３は、値が例えば１０のように高い値の第１のぶれ度合い評価値Ｗ５が設定されることになる。
The
図１０は、第２の評価領域についてぶれ度合い評価を行う際の評価基準としての第２のぶれ度合い評価特性１０００と、第２の評価領域１０２１〜１０２４とを示す図である。第２のぶれ度合い評価特性１０００は、第２の評価領域のコントラスト値と、第２の評価領域に対する第２のぶれ度合い評価値Ｗ６との対応関係を表している。第２のぶれ度合い評価特性１０００は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。第２のぶれ度合い評価特性１０００は、コントラスト値が例えば０〜２０までは第２のぶれ度合い評価値Ｗ６として「１０」が対応付けられ、コントラスト値が６０以上では第２のぶれ度合い評価値Ｗ６として「３」が対応付けられた例を示している。また、第２のぶれ度合い評価特性１０００では、コントラスト値が２０〜６０では第２のぶれ度合い評価値Ｗ６として「１０」から「３」まで線形に変化する値が対応付けられている。すなわち、第２のぶれ度合い評価特性１０００は、コントラスト値が低くぶれ度合いが大きいほど、高評価値になる第２のぶれ度合い評価値を設定するような特性となされている。
FIG. 10 is a diagram showing a second blurring
また、図１０に示した第２の評価領域１０２１は、前述の図８（ａ）に示した全体ぶれ画像である画像８０１から周辺領域８３０のみを評価対象として抜き出した領域である。また、第２の評価領域１０２２は、図８（ｂ）に示した背景ぶれ画像である画像８０２から周辺領域８３０のみを評価対象として抜き出した領域である。以下同様に、第２の評価領域１０２３は図８（ｃ）に示した被写体ぶれ画像である画像８０３から、第２の評価領域１０２４は図８（ｄ）に示した高コントラスト画像である画像８０４から、周辺領域８３０を抜き出した領域である。第２の評価領域１０２１は、全体ぶれ画像から抜き出された領域であるため、コントラスト値は低く、ぶれ度合いは大きい。また、第２の評価領域１０２４は、高コントラスト画像から抜き出された領域であるため、コントラスト値は高く、ぶれ度合は非常に小さい。第２の評価領域１０２３は、被写体ぶれ画像から抜き出された周辺領域であるため、コントラスト値がやや高く、ぶれ度合いはやや小さい。これに対し、第２の評価領域１０２２は、背景ぶれ画像から抜き出された周辺領域であるため、コントラスト値が低く、ぶれ度合いは大きい。
The
画像評価部１１９は、これら第２の評価領域１０２１〜１０２４について、第２のぶれ度合い評価特性１０００を用いたコントラスト値に基づくぶれ度合い評価を行う。図１０の例では、第２の評価領域１０２１〜１０２４の各コントラスト値に対応した点１０１１〜１０１４の第２のぶれ度合い評価値Ｗ６が設定されることになる。特に、流し撮り画像として良好な画質の背景ぶれ画像である図８（ｂ）の画像８０２から周辺領域を抜き出した図１０の第２の評価領域１０２２は、値が例えば１０に近い高い値の第２のぶれ度合い評価値Ｗ６が設定されることになる。
The
そして、画像評価部１１９は、流し撮り状態で撮影された選抜対象画像に対して前述のようにして求めた第１のぶれ度合い評価値Ｗ５と第２のぶれ度合い評価値Ｗ６とを用いて、最終的なぶれ度合い評価値を算出する。具体的には、画像評価部１１９は、第１のぶれ度合い評価値Ｗ５と第２のぶれ度合い評価値Ｗ６とを乗算した評価値を、流し撮り状態で撮影された選抜対象画像における最終的なぶれ度合い評価値として求める。最終的なぶれ度合い評価値は、流し撮り状態で撮影された画像の画質を評価する評価値であるため、以下の説明では「流し撮り評価値」と表記する。ここで、前述した図９の例で第１のぶれ度合い評価値Ｗ５の値が高いのは第１の評価領域９２３と第１評価領域９２４であり、図１０の例では第２のぶれ度合い評価値Ｗ６の値が高いのは第２の評価領域１０２１と第２の評価領域１０２２である。そして、第１のぶれ度合い評価値Ｗ５と第２のぶれ度合い評価値Ｗ６を乗算した流し撮り評価値が高くなるのは、図９の第１の評価領域９２３と図１０の第２の評価領域１０２２の元の画像である、前述した図８（ｂ）の画像８０２（背景ぶれ画像）となる。このため、例えば図８（ａ）〜図８（ｄ）に示した複数の画像８０１〜８０４の中から、流し撮り評価値に基づいて画像を選抜することを想定した場合、画質の良い流し撮り画像としては、画像８０２（背景ぶれ画像）が選抜されることになると考えられる。
Then, the
前述の例では、第１，第２の評価領域から第１，第２のぶれ度合い評価値Ｗ５，Ｗ６を求めてそれらを乗算して流し撮り評価値を算出したが、例えば第１，第２の評価領域のコントラスト値に対して所定の閾値を設定して流し撮り評価を行うようにしてもよい。例えば、第１の評価領域のコントラスト値に対して所定の第１の閾値ＴＨ１を設定し、第２の評価領域のコントラスト値に対して所定の第２の閾値ＴＨ２を設定しておく。そして、画像評価部１１９は、第１の評価領域のコントラスト値が第１の閾値ＴＨ１以上で、第２の評価領域のコントラスト値が第２の閾値ＴＨ２未満であれば良好な流し撮り画像であると判定し、一方、それ以外である場合には流し撮り対象外の画像とする。
In the above-mentioned example, the first and second blurring degree evaluation values W5 and W6 are obtained from the first and second evaluation areas, and they are multiplied to calculate the follow shot evaluation value. A predetermined threshold value may be set for the contrast value of the evaluation area to perform the follow shot evaluation. For example, a predetermined first threshold TH1 is set for the contrast value of the first evaluation area, and a predetermined second threshold TH2 is set for the contrast value of the second evaluation area. Then, the
ここで、コントラスト値に対する閾値の設定例として、第１の閾値ＴＨ１を例えば６０とし、第２の閾値ＴＨ２を例えば３０とした場合、画像評価部１１９は、以下のようにして、選抜対象画像を流し撮り評価を行う。前述した図９の各第１の評価領域９２１〜９２４のうち第１コントラスト値が第１の閾値ＴＨ１以上となるのは、第１の評価領域９２３，９２４である。第１の評価領域９２３は図８（ｂ）の画像８０２の中心領域であり、第１の評価領域９２４は図８（ｄ）の画像８０４の中心領域である。また、図１０の第２の評価領域１０２１〜１０２４のうち第２コントラスト値が第２の閾値ＴＨ２未満となるのは、第２の評価領域１０２１，１０２２である。第１の評価領域１０２１は図８（ａ）の画像８０１の周辺領域であり、第２の評価領域１０２２は図８（ｂ）の画像８０２の周辺領域である。したがって、画像評価部１１９は、第１の評価領域９２３および第２の評価領域１０２２の元画像である図８（ｂ）の画像８０２を、良好な流し撮り画像と判定する。一方、画像評価部１１９は、図８（ｂ）の画像８０２を除いた、図８（ａ），図８（ｃ），図８（ｄ）の各画像８０１，８０３，８０４を流し撮り対象外の画像とする。
Here, as an example of setting the threshold value for the contrast value, when the first threshold value TH1 is set to 60 and the second threshold value TH2 is set to 30, for example, the
なお、画像評価部１１９は、第１の閾値ＴＨ１、第２の閾値ＴＨ２を、前述した評価パラメータに応じて変更することも可能である。具体的には、画像評価部１１９は、評価パラメータとして被写体領域の位置情報およびサイズ情報を用い、それら位置情報およびサイズ情報と第１の評価領域の範囲との比較に基づき、第１，第２の閾値ＴＨ１，ＴＨ２を変更する。例えば、図１１（ａ）のように、画像１１０１内の被写体領域（例えば顔）が第１の評価領域１１１１（中心領域）の範囲内に略々収まる場合には、例えば第１の閾値ＴＨ１は１００、第２の閾値ＴＨ２は３０に設定されているとする。これに対し、図１１（ｂ）のように、画像１１０２内の被写体領域（例えば車）が第１の評価領域１１１２の範囲内からはみ出す場合、画像評価部１１９は、例えば第１の閾値ＴＨ１を８０、第２の閾値ＴＨ２を５０に変更する。より詳細に説明すると、図１１（ａ）のように被写体領域が第１の評価領域１１１１の範囲内に収まっている場合、主被写体領域は周辺領域にはみ出すことはないため、周辺領域のコントラスト値は低くなると考えられる。またこの場合、第１の評価領域１１１１のコントラスト値は、周辺領域の低いコントラスト値に対して相対的に高くなっていると考えられる。これに対し、図１１（ｂ）のように被写体領域が第１の評価領域１１１２の範囲内からはみ出す場合、主被写体領域は周辺領域にまで広がることになり、周辺領域のコントラスト値は高くなると考えられる。またこの場合、第１の評価領域１１１２のコントラスト値は、周辺領域の高くなったコントラスト値に対して図１１（ａ）の場合よりも相対的に低くなると考えられる。したがって、図１１（ｂ）に示すように、被写体領域が第１の評価領域１１１２の範囲内からはみ出す場合、画像評価部１１９は、第１の閾値ＴＨ１をより低い値である８０に設定し、第２の閾値ＴＨ２をより高い値である５０に設定する。
The
また、画像評価部１１９は、第１の閾値ＴＨ１、第２の閾値ＴＨ２を、例えば撮影シーンに応じて変更することも可能である。なお、撮影シーンは、例えば撮影情報のうちユーザ設定情報の撮影モード情報や、撮影時の明るさに対応した露出情報等から判定することが可能である。一例として、図１１（ｂ）のように、画像１１０２が明るい日中のシーンを撮影した画像である場合には、例えば前述のように第１の閾値ＴＨ１は８０、第２の閾値ＴＨ２は５０に設定されるとする。これに対し、図１１（ｃ）のように、画像１１０３が暗い夜景のシーンを撮影した画像である場合、画像評価部１１９は、例えば第１の閾値ＴＨ１を１８０、第２の閾値ＴＨ２を１５０の値に変更する。より詳細に説明すると、図１１（ｃ）のように暗い夜景のシーンを撮影した画像１１０３の場合、周辺領域（背景）の中に電灯やヘッドライトなどの光源の画像があると、周辺領域のコントラスト値が高くなる可能性がある。また、夜景のシーンを撮影した画像１１０３の場合、第１の評価領域１１１３内の主被写体領域（この例では車）についても、ヘッドライトなどによりコントラスト値が高くなる可能性がある。このため、選抜対象画像が図１１（ｃ）のように夜景のシーンを撮影した画像である場合、画像評価部１１９は、第１の閾値ＴＨ１と第２の閾値ＴＨ２を共に高い値（ＴＨ１を１８０、ＴＨ２を１５０）に設定する。
The
前述の説明では、第１，第２の評価領域のコントラスト値に対して所定の第１，第２の閾値を設定した例を挙げたが、本実施形態では、コントラスト値は前述したようにぶれ度合いを表すための値として用いられている。したがって、第１，第２の評価領域についてぶれ度合いの観点から考えた場合には、第１，第２の閾値は、第１，第２の評価領域の「ぶれ度合い」に対して設定される値と言える。ただし、前述したようにコントラスト値が高い場合にはぶれ度合いは小さく、コントラスト値が低い場合にはぶれ度合いは大きくなるため、ぶれ度合いに対する第１，第２の閾値は、コントラスト値に対する第１，第２の閾値とは逆の特性を有することになる。すなわち、この場合、画像評価部１１９は、第１の評価領域の第１のぶれ度合い評価値が第１の閾値未満で、第２の評価領域の第２のぶれ度合い評価値が第２の閾値以上であれば良好な流し撮り画像と判定し、それ以外の場合には流し撮り対象外の画像とする。
In the above description, the example in which the predetermined first and second threshold values are set for the contrast values of the first and second evaluation areas has been taken as an example, but in the present embodiment, the contrast values are blurred as described above. It is used as a value to express the degree. Therefore, when considering the first and second evaluation areas from the viewpoint of the degree of blurring, the first and second threshold values are set for the “blurring degree” of the first and second evaluation areas. It can be called a value. However, as described above, when the contrast value is high, the blurring degree is small, and when the contrast value is low, the blurring degree is large. Therefore, the first and second threshold values for the blurring degree are the first and second threshold values for the contrast value. It will have the opposite characteristic of the second threshold. That is, in this case, the
また前述の説明では、第１，第２の評価領域における「ぶれ度合い」を表すための値としてコントラスト値を用いているが、例えば第１，第２の評価領域内の画像の周波数を用いてもよい。この場合、第１，第２の評価領域内の画像の周波数が高ければぶれ度合いは小さく、一方、周波数が低ければぶれ度合いは大きくなる。この例のような第１，第２の評価領域内の画像の周波数についても、前述同様の第１，第２の閾値を設定することが可能である。ただし、画像の周波数を用いた場合の第１，第２の閾値は、コントラスト値用の前述した第１，第２の閾値ＴＨ１，ＴＨ２とは異なり、画像の周波数に対して別途用意された値となされる。 Further, in the above description, the contrast value is used as the value for expressing the “blurring degree” in the first and second evaluation areas, but, for example, the frequency of the image in the first and second evaluation areas is used. Good. In this case, if the frequency of the images in the first and second evaluation areas is high, the degree of blurring is small, while if the frequency is low, the degree of blurring is large. It is possible to set the same first and second threshold values as described above for the frequencies of the images in the first and second evaluation areas as in this example. However, the first and second thresholds when the frequency of the image is used are different from the above-described first and second thresholds TH1 and TH2 for the contrast value, and the values separately prepared for the frequency of the image. Is made.
また、第１の評価領域は、前述した撮影情報の評価パラメータに基づいて、その形状が変更されてもよい。例えば、前述した第１の評価領域は、アペクト比が固定されているが、例えば図１２（ａ）、図１２（ｂ）に示すように、評価パラメータのうち主被写体領域の種別や形状に応じて、アスペクト比が変更されてもよい。具体的には、図１２（ａ）に示すように、画像１２０１内の主被写体領域が人物のような縦長の被写体領域である場合、画像評価部１１９は、第１の評価領域１２１１を縦長のアスペクト比に設定する。また例えば、図１２（ｂ）に示すように、画像１２０２内の主被写体領域が車のような横長の被写体領域である場合、画像評価部１１９は、第１の評価領域１２１２を横長のアスペクト比に設定する。なお、第１の評価領域の形状は、四角形状に限定されず、例えば主被写体領域の種別や形状に応じた形状になされてもよい。その他にも、第１の評価領域の形状は、カメラから主被写体までの距離変動に応じて変更されてもよい。このように、主被写体の種別や形状にあわせて第１の評価領域の形状を変更した場合、流し撮り判定の精度を高めることが可能になる。
In addition, the shape of the first evaluation region may be changed based on the evaluation parameter of the above-described imaging information. For example, although the aspect ratio is fixed in the first evaluation area described above, as shown in FIGS. 12A and 12B, for example, as shown in FIGS. Then, the aspect ratio may be changed. Specifically, as shown in FIG. 12A, when the main subject area in the
図２のフローチャートに説明を戻す。Ｓ２０８において、画像評価部１１９は、前述したようにして流し撮り画像用のぶれ度合い評価値（流し撮り評価値）を算出した後、Ｓ２０９に処理を進める。本実施形態のデジタルカメラは、前述したように静止画だけでなく動画にも対応しているため、Ｓ２０９において、画像評価部１１９は、再生期間設定部１１８を介して前述した再生期間内の動画データと撮影情報を取得する。撮影情報として、画像評価部１１９は、前述した撮影情報の中の顔情報や動きベクトル情報等を取得する。Ｓ２０９の後、画像評価部１１９は、Ｓ２１０に処理を進める。
Description will be returned to the flowchart of FIG. In step S208, the
Ｓ２１０では、画像評価部１１９は、動画の中の顔領域について位置の変動累積として、顔領域の動きベクトル累積量を求め、その動きベクトル累積量に基づいて動き評価値を算出する。具体的には、画像評価部１１９は、図１３（ａ）〜図１３（ｄ）に示すように、動画の各フレーム画像１３０１〜１３０４内の顔等の被写体領域１３１１〜１３１４の位置変動累積として、各被写体領域１３１１〜１３１４の動きベクトル累積量を求める。そして、図１３（ｅ）に示す動き評価特性１３２０を用いて動き評価値Ｗ７を求める。
In S210, the
ここで、図１３（ｅ）の動き評価特性１３２０は、動きベクトル累積量と、動き評価値Ｗ７との対応関係を表している。動き評価特性１３２０は、初期設定として予め決められていてもよいし、ユーザ等により任意に変更されてもよい。動き評価特性１３２０は、動きベクトル累積量が例えば０〜ＭＶ１までは動き評価値Ｗ７として例えば「３」が対応付けられ、動きベクトル累積量が例えばＭＶ２以上では動き評価値Ｗ７として例えば「１０」が対応付けられた例を示している。また、動き評価特性１３２０では、動きベクトル累積量がＭＶ１〜ＭＶ２では動き評価値Ｗ７として「３」から「１０」まで線形に変化する値が対応付けられている。すなわち、動き評価特性１３２０は、動きベクトル累積量が大きければ、高評価値となるような動き評価値Ｗ７を設定するような特性となされている。画像評価部１１９は、この図１３（ｅ）に示す動き評価特性１３２０を用いて、図１３（ａ）〜図１３（ｄ）に示したような動画の各フレーム画像１３０１〜１３０４から求めた動きベクトル累積量に対応した動き評価値Ｗ７を求める。Ｓ２１０の後、画像評価部１１９は、Ｓ２１１に処理を進める。
Here, the
Ｓ２１１では、画像評価部１１９は、前述したようにして、再生期間内の各選抜対象画像についてそれぞれ求められた画像評価値、最終的なぶれ度合い評価値（流し撮り評価値）、動き評価値等を足し合わせて、総合評価値を算出する。そして、画像評価部１１９は、再生期間内の各選抜対象画像を、総合評価値の高い順にソートする。Ｓ２１１の後、制御部１０２は、画像分類部１２０にて行われるＳ２１２に処理を移行させる。
In S211, the
Ｓ２１２では、画像分類部１２０は、再生期間の撮影総時間を算出する。具体的には、画像分類部１２０は、再生期間の各選抜対象画像の中で撮影日時が最も古い画像と、撮影日時が最も新しい画像との間の、撮影日時の時間差を撮影総時間として算出する。例えば、最も古い撮影時刻が８時、最も新しい撮影時刻が２０時であった場合、画像分類部１２０は、８時から２０時までの１２時間を撮影総時間として算出する。Ｓ２１２の後、画像分類部１２０は、Ｓ２１３に処理を進める。
In S212, the
Ｓ２１３では、画像分類部１２０は、Ｓ２１２で算出した撮影総時間が１日以下である場合には、１時間を一つのイベントの区切りとする。そして、画像分類部１２０は、撮影総時間内で時系列的に並んでいる各選抜対象画像の中で、それぞれ撮影時刻が近い１時間分の各画像を同一イベントに分類し、それら同一に分類されたイベント毎にクラスタを生成する。これにより、例えば８時から２０時までの１２時間の撮影総時間の場合には、最大で１２個のクラスタが生成されることになる。そして、画像分類部１２０は、総クラスタ数が決定したならば、その総クラスタ数に応じて、各クラスタに選抜対象画像を振り分けるようにクラスタリング処理する。なお、撮影総時間が例えば一週間など長い期間であり、多数の選抜対象画像が存在するような場合には、例えば所定の数時間や一日などをイベントの区切りにしてもよい。
In S213, the
図１４（ａ）と図１４（ｂ）は、例えば２月から３月の間に撮影された各記録画像に対して再生期間が設定され、その再生期間の各選抜対象画像に対して行われるクラスタリング処理の一例を示している。図１４（ａ）は、２月から３月の間において撮影されて記録された日毎の記録画像数１４００を示しており、一例として、２月２４日（２／２４）には６０シーン分の記録画像が存在していることを表している。そして、図１４（ａ）では、再生期間として、２月２４日の１日が設定されているとする。図１４（ｂ）は、再生期間として設定された２月２４日の１日において、時系列的に並んでいる各選抜対象画像の中で撮影時刻が近く同一イベントに分類された画像により生成されている各クラスタ１４０１内のシーン数の一例を示している。図１４（ｂ）では、再生期間の撮影総時間の中で、最も古い撮影時刻が６時（６：００）で、最も新しい撮影時刻が２０時（２０：００）となっている例を挙げている。図１４（ｂ）において、一例として、９時のクラスタ１４０１の「４」は９時から１時間のイベント内に４シーンの画像が存在することを表している。Ｓ２１３の後、画像分類部１２０は、Ｓ２１４に処理を進める。
14A and 14B, for example, a reproduction period is set for each recorded image captured between February and March, and is performed for each selection target image in the reproduction period. An example of clustering processing is shown. FIG. 14A shows the number of recorded
Ｓ２１４では、画像分類部１２０は、操作部１０１を介してユーザが設定した目標再生時間の情報を、制御部１０２から取得する。そして、画像分類部１２０は、次のＳ２１５の処理として、目標再生時間から総選抜枚数を決定する。一例として、ダイジェスト再生が行われる際の静止画１枚当たりの再生時間が４秒に設定されたような場合、画像分類部１２０は、目標再生時間を４秒で割ることにより総選抜枚数を算出する。Ｓ２１５の後、画像分類部１２０は、Ｓ２１６に処理を進める。
In step S <b> 214, the
Ｓ２１６では、画像分類部１２０は、得られた総選抜枚数を用いて、各クラスタを正規化する。なお、正規化を行う際に、例えばクラスタ内のシーン数が少ないと、正規化によりシーン数がゼロ（０）となってしまう場合があるため、正規化により小数点以下の値が得られる場合には、その小数点以下の値を切り上げ処理する。図１４（ｃ）は、図１４（ｂ）に示した各クラスタ１４０１に対する正規化後の各クラスタ１４０２のシーン数の一例を示している。Ｓ２１６の後、制御部１０２は、画像選抜部１２１にて行われるＳ２１７に処理を移行させる。
In S216, the
Ｓ２１７では、画像選抜部１２１は、前述した選抜対象画像の中から、各正規化後のクラスタにおいて選抜可能な数だけ、前述した総合評価値が上位の順に画像を選抜し、それら各選抜画像をダイジェスト再生用の画像とする。ここで、選抜対象画像が流し撮り撮影された画像である場合を例に挙げると、画質の良い流し撮り画像は前述したように流し撮り評価値が高評価値になるため、総合評価値も高い値になっていると考えられる。このため、画像選抜部１２１は、流し撮り撮影された複数の選抜対象画像の中から、総合評価値の高い順に画像を選抜することにより、画質の良い流し撮り画像を選抜することが可能になる。なお、ここでは、総合評価値を基に画像選抜を行ったが、例えば様々なシーンの画像が選抜されるようにするために、総合評価値ではなく、前述した画像評価値や動き評価値、流し撮り評価値等のそれぞれの評価値に基づいて画像を選抜するようにしてもよい。Ｓ２１７の後、画像選抜部１２１は、Ｓ２１８に処理を進める。
In step S <b> 217, the
Ｓ２１８では、画像選抜部１２１は、Ｓ２１７で選抜した各画像を、時系列順に並べ替える。そして、画像選抜部１２１は、次のＳ２１９の処理として、それら時系列順に並べ替えた各画像を、ダイジェスト再生としてスライドショー再生する際の一つの動画として結合する。その後、画像選抜部１２１は、Ｓ２２０の処理として、Ｓ２１９で結合された動画を、スライドショー再生する。なお、スライドショー再生は、後に画像の印刷が行われる場合には、印刷前のプレビュー表示のために行ってもよい。Ｓ２２０によるスライドショー再生が終了すると、制御部１０２は、表示部１０７を介して表示デバイスの画面上に、保存指示入力用のメニュー画面を表示させる。そして、操作部１０１を介してユーザから保存指示が入力された場合、制御部１０２は、スライドショー再生用としての動画を記録媒体に保存させる。
In S218, the
なお、本実施形態のデジタルカメラは、前述したようなダイジェスト再生用に選抜された各画像に対し、タイトル処理や色フィルタ処理などの加工処理を行って表示することも可能である。タイトル処理は、一例として、ダイジェスト再生用に選抜された各画像の例えば色に応じた背景色のタイトル画像や、その背景色に対する補色関係を有するタイトル文字等を生成して、ダイジェスト再生される画像に付加する処理等を挙げることができる。なお、タイトル画像だけでなく、エンディング画像の背景色や文字色等を決めてもよい。前述した色フィルタ処理には、極彩色フィルタ処理や白黒フィルタ処理、シアンフィルタ処理など様々なフィルタ処理によるフィルタ効果を付与するような加工が含まれる。極彩色フィルタ処理は、画像の各色の彩度を強調するようなフィルタ処理である。例えば、前述したように選抜された各画像の色に基づいて、それら各画像に様々な色が含まれる画像が多いか否か等を判断できる。このため、各画像に様々な色が含まれていると判断した場合には、極彩色フィルタ処理をそれら画像に施すことで、各色を際立たせたダイジェスト再生表示が可能となる。白黒のフィルタ処理は、画像の色情報を除去して、輝度情報のみを抽出するようなフィルタ処理である。各画像に対して白黒フィルタ処理を施すことで、白黒画像によるダイジェスト再生表示が可能となる。シアンフィルタ処理は、画像の全体的な色を青系の色味に変換するようなフィルタ処理である。例えば、各画像の色に基づき、青系の画像が多いことが判った場合には、シアンフィルタ処理を行うことで、青系の色を強調したようなダイジェスト再生表示が可能となる。逆に、例えば赤系の画像が多いような場合には、シアンフィルタ処理を行わないようにしてもよい。なお、フィルタ処理に関する知識を有さない一般ユーザの場合、最適なフィルタ効果が得られる最適なフィルタ処理を選択することは難しい。これに対し、本実施形態の場合、各画像の色に基づいて自動的に最適なフィルタ処理が選択されるため、最適なフィルタ効果によるダイジェスト再生表示が可能となる。 Note that the digital camera of the present embodiment can also perform processing such as title processing and color filter processing on each image selected for digest reproduction as described above, and display it. The title processing is, for example, a title image having a background color corresponding to, for example, a color of each image selected for digest reproduction, or a title character having a complementary color relationship to the background color, and the like, and an image to be digest reproduced. And the like. Note that not only the title image but also the background color, character color, and the like of the ending image may be determined. The above-described color filter processing includes processing for imparting a filter effect by various filter processing such as a saturated color filter processing, a black and white filter processing, and a cyan filter processing. The extra-color filter process is a filter process that emphasizes the saturation of each color of the image. For example, based on the color of each image selected as described above, it can be determined whether there are many images including various colors in each image. For this reason, when it is determined that each image contains various colors, it is possible to perform a digest reproduction display in which each color is emphasized by performing a color filter process on those images. The black and white filter process is a filter process that removes the color information of the image and extracts only the brightness information. By performing the black-and-white filter process on each image, it is possible to display the digest reproduction with the black-and-white image. The cyan filter process is a filter process that converts the overall color of the image into a bluish tint. For example, if it is found that there are many blue-based images based on the color of each image, cyan filter processing is performed to enable digest reproduction display in which the blue-based colors are emphasized. On the contrary, for example, when there are many red images, the cyan filter process may not be performed. It should be noted that it is difficult for a general user who has no knowledge of filter processing to select the optimum filter processing that can obtain the optimum filter effect. On the other hand, in the case of the present embodiment, the optimum filter processing is automatically selected based on the color of each image, so that the digest reproduction display with the optimum filter effect is possible.
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of specific embodiments for carrying out the present invention, and the technical scope of the present invention should not be limitedly interpreted by these. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features.
１０１ 操作部、１０２ 制御部、１０３ センサ部、１０５ 画像処理部、１０６ ジャイロセンサ、１０７ 表示部、１１２ エンコーダ部、１１３ 画像記録部、１１５ 被写体検出部、１１６ 表情検出部、１１７ 撮影情報作成部、１１８ 再生期間設定部、１１９ 画像評価部、１２０ 画像分類部、１２１ 画像選抜部 101 operation unit, 102 control unit, 103 sensor unit, 105 image processing unit, 106 gyro sensor, 107 display unit, 112 encoder unit, 113 image recording unit, 115 subject detecting unit, 116 facial expression detecting unit, 117 photographing information creating unit, 118 reproduction period setting unit, 119 image evaluation unit, 120 image classification unit, 121 image selection unit
Claims (14)
前記第１の評価領域および第２の評価領域のぶれ度合いに基づいて、前記画像の流し撮り画像としての評価を行う評価手段と、
を有し、
前記評価手段は、第１のシーンを撮影した画像を評価する場合、前記第１のシーンよりも明るい第２のシーンを撮影した画像を評価する場合よりも、前記画像の流し撮り画像としての評価が高くなりやすくなるよう評価を行うことを特徴とする画像処理装置。 A partial image area of an image obtained by photographing is set as a first evaluation area, and a blurring degree of the first evaluation area and a blurring degree of a second evaluation area which is an area different from the first evaluation area. Specifying means for specifying and
Evaluation means for evaluating the image as a follow shot image based on the blurring degree of the first evaluation area and the second evaluation area;
Have a,
The evaluation means evaluates the image as a follow shot image when evaluating the image of the first scene, rather than evaluating the image of the second scene that is brighter than the first scene. An image processing apparatus, characterized in that the evaluation is performed so as to easily increase .
前記評価手段は、前記判定手段により前記画像が流し撮り撮影により得られたと判定された場合に、前記流し撮り画像としての画像の評価を行うことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。 Further comprising a determination means for determining whether the image was obtained by panning shooting
5. The evaluation unit evaluates an image as the follow shot image when the determination unit determines that the image is obtained by the follow shot image capturing. The image processing device according to item.
前記評価手段による評価に基づき、前記複数の画像から少なくとも１つの画像を選抜する選抜手段をさらに有することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。 The evaluation means evaluates a plurality of images,
Wherein based on the evaluation by the evaluation unit, the image processing apparatus according to any one of claims 1 to 1 0, characterized by further comprising a selection means for selecting a least one image from the plurality of images.
撮影により得られた画像の一部の画像領域を第１の評価領域とし、前記第１の評価領域のぶれ度合いと、前記第１の評価領域と異なる領域である第２の評価領域のぶれ度合いとを特定する特定ステップと、
前記第１の評価領域および第２の評価領域のぶれ度合いに基づいて、前記画像の流し撮り画像としての評価を行う評価ステップと、
を含み、
前記評価ステップでは、第１のシーンを撮影した画像を評価する場合、前記第１のシーンよりも明るい第２のシーンを撮影した画像を評価する場合よりも、前記画像の流し撮り画像としての評価が高くなりやすくなるよう評価を行うことを特徴とする画像処理方法。 An image processing method executed by an image processing apparatus, comprising:
A partial image area of an image obtained by photographing is set as a first evaluation area, and a blurring degree of the first evaluation area and a blurring degree of a second evaluation area which is an area different from the first evaluation area. And a specific step to identify
An evaluation step of evaluating the image as a follow shot image based on the degree of blurring of the first evaluation region and the second evaluation region;
Only including,
In the evaluation step, when the image of the first scene is evaluated, the evaluation of the image as a follow shot image is performed more than when the image of the second scene that is brighter than the first scene is evaluated. An image processing method, characterized in that the evaluation is performed so that the value becomes higher .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016020906A JP6679333B2 (en) | 2016-02-05 | 2016-02-05 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016020906A JP6679333B2 (en) | 2016-02-05 | 2016-02-05 | Image processing apparatus, image processing method, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017139702A JP2017139702A (en) | 2017-08-10 |
| JP2017139702A5 JP2017139702A5 (en) | 2019-03-22 |
| JP6679333B2 true JP6679333B2 (en) | 2020-04-15 |
Family
ID=59566157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016020906A Active JP6679333B2 (en) | 2016-02-05 | 2016-02-05 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6679333B2 (en) |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4438099B2 (en) * | 2007-11-22 | 2010-03-24 | カシオ計算機株式会社 | Imaging apparatus and program thereof |
| JP4561845B2 (en) * | 2008-02-29 | 2010-10-13 | カシオ計算機株式会社 | Imaging apparatus and image processing program |
| JP2012065128A (en) * | 2010-09-16 | 2012-03-29 | Nikon Corp | Image evaluation apparatus and image evaluation program |
| JP5825172B2 (en) * | 2012-03-28 | 2015-12-02 | 富士通株式会社 | Image determination apparatus, image determination method, and computer program for image determination |
| JP6040655B2 (en) * | 2012-09-13 | 2016-12-07 | オムロン株式会社 | Image processing apparatus, image processing method, control program, and recording medium |
| JP6091229B2 (en) * | 2013-01-31 | 2017-03-08 | キヤノン株式会社 | Imaging apparatus, control method thereof, and program |
| JP5968379B2 (en) * | 2013-10-29 | 2016-08-10 | キヤノン株式会社 | Image processing apparatus and control method thereof |
| JP2016009998A (en) * | 2014-06-24 | 2016-01-18 | キヤノン株式会社 | Imaging apparatus, imaging method and program |
| JP6355454B2 (en) * | 2014-06-27 | 2018-07-11 | キヤノン株式会社 | Imaging apparatus, control method therefor, program, and storage medium |
-
2016
- 2016-02-05 JP JP2016020906A patent/JP6679333B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017139702A (en) | 2017-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101342477B1 (en) | Imaging apparatus and imaging method for taking moving image | |
| JP5246159B2 (en) | Imaging device, image display device, program | |
| US9723201B2 (en) | Image capturing apparatus and control method therefor | |
| JP5806623B2 (en) | Imaging apparatus, imaging method, and program | |
| JP4760302B2 (en) | Imaging device | |
| JP6261205B2 (en) | Image processing device | |
| JP2006313229A (en) | Focusing device, imaging apparatus, and its control method | |
| US11367229B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US11184551B2 (en) | Imaging apparatus and control method thereof | |
| JP2007124278A (en) | Imaging apparatus | |
| US10438067B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP6679333B2 (en) | Image processing apparatus, image processing method, and program | |
| JP7353821B2 (en) | Image processing device, its control method, program | |
| JP2018186439A (en) | Information processing system, information processing apparatus, and information processing method | |
| JP5403087B2 (en) | Image processing device | |
| JP6346529B2 (en) | Imaging device, control method thereof, and program | |
| JP6590681B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6378589B2 (en) | Imaging device, control method thereof, and program | |
| JP2007124280A (en) | Imaging apparatus | |
| JP2014138378A (en) | Image pickup device, control method thereof, and control program thereof | |
| JP6555978B2 (en) | Image processing apparatus, control method thereof, and program | |
| JP6742862B2 (en) | Imaging device, image processing device, control method of imaging device, and program | |
| JP4798229B2 (en) | Electronic camera | |
| JP5295197B2 (en) | Focus adjustment device, imaging device, and control method thereof | |
| JP2012182620A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190201 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200318 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6679333 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |