JP4931101B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4931101B2
JP4931101B2 JP2004232342A JP2004232342A JP4931101B2 JP 4931101 B2 JP4931101 B2 JP 4931101B2 JP 2004232342 A JP2004232342 A JP 2004232342A JP 2004232342 A JP2004232342 A JP 2004232342A JP 4931101 B2 JP4931101 B2 JP 4931101B2
Authority
JP
Japan
Prior art keywords
image
evaluation
evaluation value
value
recording medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004232342A
Other languages
Japanese (ja)
Other versions
JP2006050497A (en
Inventor
一記 喜多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004232342A priority Critical patent/JP4931101B2/en
Publication of JP2006050497A publication Critical patent/JP2006050497A/en
Application granted granted Critical
Publication of JP4931101B2 publication Critical patent/JP4931101B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Facsimiles In General (AREA)
  • Storing Facsimile Image Data (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像撮像装置に関する。 The present invention relates to an image capturing equipment.

静止画像や動画像を撮像し、メモリーカード等の記録媒体に記録するデジタルカメラでは、フィルム代や現像代などを気にすることなく撮影画像を記録することができる。最近では、記録媒体の価格が下がり、記録容量が大幅に増え、多数の画像が記録可能になっている(例えば、特許文献1参照。)。記録媒体の容量が一杯になった場合は、記録媒体に記録された画像データをPC(Personal Computer)等に転送してから記録媒体を空にするか、記録済みの画像の中から、ユーザが画像の良し悪しを判断して不要な画像を消去するなどして、記録媒体の空き領域が確保されている。   With a digital camera that captures still images and moving images and records them on a recording medium such as a memory card, it is possible to record captured images without worrying about film costs or development costs. Recently, the price of recording media has decreased, the recording capacity has increased significantly, and a large number of images can be recorded (see, for example, Patent Document 1). When the capacity of the recording medium is full, the image data recorded on the recording medium is transferred to a PC (Personal Computer) or the like, and then the recording medium is emptied, or the user can select from recorded images. An empty area of the recording medium is secured by determining whether the image is good or bad and deleting unnecessary images.

また、最近では、カメラ内で撮影画像の補正や画質の調整などを行わず、CCD(Charge Coupled Device)等により撮像された画像信号をそのまま出力できるRAW記録モード機能を搭載したデジタルカメラが普及している。RAWデータ(生データ)は、本来の画像情報を多く含んでいるため、PC(Personal Computer)やレタッチ・ソフトにより、好みの画質補正や二次加工を施すことができ、プロのカメラマン用や業務用に便利である。
特許第2787781号公報
Recently, digital cameras equipped with a RAW recording mode function that can directly output an image signal captured by a CCD (Charge Coupled Device) or the like without performing correction of a captured image or adjustment of image quality in the camera have become widespread. ing. Since RAW data (raw data) contains a lot of original image information, it can be subjected to desired image quality correction and secondary processing by PC (Personal Computer) and retouching software. Convenient for use.
Japanese Patent No. 2787781

しかしながら、従来、デジタルカメラの記録媒体に記録された画像の中から不要な画像を消去する場合、ユーザが記録済み画像の画質等を目視で評価し、その評価結果に基づいて不要な画像を決めて削除していたため、画像の評価及び削除操作をしていると、シャッターチャンスを逃す恐れがあった。また、RAWデータを用いた画質補正には、熟練したPC操作や画像修正技術を必要としているため、一般ユーザが、RAWデータから画質を評価して、満足な画像を得るのは困難であるとい問題があった。   However, conventionally, when erasing an unnecessary image from images recorded on a recording medium of a digital camera, a user visually evaluates the image quality of the recorded image and determines an unnecessary image based on the evaluation result. Therefore, there was a risk of missing a photo opportunity when performing image evaluation and deletion operations. Further, since image quality correction using RAW data requires skilled PC operations and image correction techniques, it is difficult for a general user to obtain a satisfactory image by evaluating image quality from RAW data. There was a problem.

本発明の課題は、デジタルカメラ等の画像撮影装置において撮影画像を自動的に評価することである。   An object of the present invention is to automatically evaluate a captured image in an image capturing apparatus such as a digital camera.

上記課題を解決するため、請求項1に記載の発明は、被写体を撮影して撮影画像を取得する撮像手段と、前記取得された撮影画像を記録媒体に記録する記録手段と、前記取得された撮影画像の画質を数値化した第1の評価値を算出する第1の評価手段と、前記取得された撮影画像と前記記録媒体に記録された他の撮影画像との間で、画素値の分布に基づく相関を計算することにより、前記取得された撮影画像と他の撮影画像との類似度を数値化した第2の評価値を算出する第2の評価手段と、前記第1の評価値および前記第2の評価値の両方の評価値、または前記第1の評価値および前記第2の評価値のうち所定の条件に基づいて選択された一方の評価値に基づいて、前記記録媒体から削除する撮影画像の候補を決定する決定手段と、前記決定手段により決定された撮影画像を削除する際に、該撮影画像に対応する評価値を表示して該撮影画像を削除するか否かをユーザーに確認する確認手段と、を備えることを特徴とする。 In order to solve the above-described problem, the invention described in claim 1 is directed to an imaging unit that captures a captured image by capturing a subject, a recording unit that records the acquired captured image on a recording medium, and the acquired Distribution of pixel values between first evaluation means for calculating a first evaluation value in which the image quality of the captured image is digitized, and the acquired captured image and another captured image recorded on the recording medium A second evaluation means for calculating a second evaluation value obtained by quantifying the similarity between the acquired captured image and another captured image by calculating a correlation based on the first evaluation value; Deleted from the recording medium based on both evaluation values of the second evaluation value or one evaluation value selected based on a predetermined condition from the first evaluation value and the second evaluation value determining means for determining a candidate of the captured image to the determined When deleting photographed images determined by means, characterized in that it comprises a check means for displaying the evaluation value corresponding to the captured image to confirm whether to delete the captured image to the user, a .

請求項2に記載の発明は、前記第1の評価手段は、前記撮影画像の輝度又は濃度のヒストグラム分布、周波数特性、ブレの具合、ボケの具合のうち少なくとも1つの項目を数値化して前記第1の評価値を算出することを特徴とするAccording to a second aspect of the present invention, the first evaluation means digitizes at least one of the histogram distribution of the luminance or density of the captured image, the frequency characteristics, the degree of blurring, and the degree of blurring. An evaluation value of 1 is calculated .

請求項3に記載の発明は、前記第2の評価手段は、撮影画像毎に、前記記録媒体に記録された他の撮影画像との間で画素値に基づく相関を計算することにより、各撮影画像と他の撮影画像との類似度を数値化した前記第2の評価値とすることを特徴とする。 According to a third aspect of the present invention, the second evaluation unit calculates, for each captured image, each image capturing by calculating a correlation based on a pixel value with another captured image recorded on the recording medium. It is characterized in that the second evaluation value obtained by quantifying the similarity between an image and another captured image is used .

請求項4に記載の発明は、前記第2の評価手段は、各撮影画像に画像処理を施した後に前記画素値に基づく相関を計算することにより類似度を数値化した第2の評価値を算出することを特徴とする。 According to a fourth aspect of the present invention, the second evaluation means calculates a second evaluation value obtained by quantifying the similarity by calculating a correlation based on the pixel value after performing image processing on each captured image. It is characterized by calculating.

請求項5に記載の発明は、前記記録手段は、前記撮像手段により取得された撮影画像を記録媒体に記録する際に、前記第1の評価手段により前記第1の評価値を算出し、この算出された評価値を前記撮影画像に対応付けて記録することを特徴とする。
請求項6に記載の発明は、前記記録手段は、前記撮像手段により取得された撮影画像を記録媒体に記録する際には、前記第1の評価値を撮影画像に対応付けずに記録し、前記決定手段により削除する撮影画像の候補を決定する際に、前記第1の評価手段により前記第1の評価値を算出することを特徴とする。
請求項7に記載の発明は、前記決定手段により削除する撮影画像の候補を決定する際に、前記記録媒体に既に記録されている撮影画像に前記第1の評価値が対応付けて記録されているか否かを判断し、前記第1の評価値が対応付けて記録されていなかった場合には、新たに前記第1の評価手段により前記第1の評価値を算出することを特徴とする。
請求項8に記載の発明は、前記確認手段は、前記撮影画像に対応する評価値を、5点法、10点法、または百分率に変換して表示することを特徴とする。
請求項9に記載の発明は、前記記録媒体の残り容量が予め設定された容量以下であるか否かを判定する判定手段を更に備え、前記決定手段は、前記判定手段により、前記記録媒体の残り容量が予め設定され容量以下であると判定された場合、前記第1の評価手段または前記第2の評価手段により算出される前記第1の評価値または前記第2の評価値に基づいて、前記記録媒体から削除する画像の候補を決定することを特徴とする。
請求項10に記載の発明は、画像削除の基準となる基準値を設定する基準値設定手段を備え、
前記決定手段は、前記第1の評価手段により算出される前記第1の評価値と前記基準値設定手段により設定された基準値とを比較することにより前記記録媒体から削除する画像の候補を決定することを特徴とする。
請求項11に記載の発明は、前記第1の評価手段により評価値を算出することが可能な複数の評価項目の中から、前記決定手段により削除する撮影画像の候補を決定する際に用いる評価項目を任意に設定する評価項目設定手段を備え、
前記前記決定手段は、前記評価項目設定手段により設定された評価項目に対応して算出された評価値を用いて、削除する撮影画像の候補を決定することを特徴とする。
請求項12に記載の発明は、前記基準値設定手段は、前記第1の評価手段により評価値を算出することが可能な複数の評価項目の各々に対して画像削除の基準となる基準値を設定し、前記決定手段は、前記各評価項目毎に、前記第1の評価手段により算出される前記第1の評価値と前記基準値設定手段により設定された基準値とを比較することにより前記記録媒体から削除する画像の候補を決定することを特徴とする。
According to a fifth aspect of the present invention, the recording unit calculates the first evaluation value by the first evaluation unit when recording the captured image acquired by the imaging unit on a recording medium. The calculated evaluation value is recorded in association with the captured image.
According to a sixth aspect of the present invention, the recording means records the first evaluation value without associating with the photographed image when recording the photographed image acquired by the imaging means on a recording medium. The first evaluation value is calculated by the first evaluation means when the candidate of the photographed image to be deleted is determined by the determination means.
According to a seventh aspect of the present invention, when determining a candidate of a photographed image to be deleted by the determining unit, the first evaluation value is recorded in association with a photographed image already recorded on the recording medium. In the case where the first evaluation value is not recorded in association with the first evaluation value, the first evaluation value is newly calculated by the first evaluation means.
The invention according to claim 8 is characterized in that the confirmation means converts an evaluation value corresponding to the photographed image into a five-point method, a ten-point method, or a percentage and displays it.
The invention according to claim 9 further includes a determination unit that determines whether or not the remaining capacity of the recording medium is equal to or less than a preset capacity, and the determination unit uses the determination unit to When it is determined that the remaining capacity is preset or less than the capacity, based on the first evaluation value or the second evaluation value calculated by the first evaluation means or the second evaluation means, An image candidate to be deleted from the recording medium is determined.
The invention according to claim 10 includes a reference value setting means for setting a reference value as a reference for image deletion,
The determination unit determines a candidate image to be deleted from the recording medium by comparing the first evaluation value calculated by the first evaluation unit and a reference value set by the reference value setting unit. It is characterized by doing.
The invention described in claim 11 is an evaluation used when determining a candidate of a photographed image to be deleted by the determination unit from a plurality of evaluation items whose evaluation value can be calculated by the first evaluation unit. Equipped with evaluation item setting means for arbitrarily setting items,
The determination unit determines a candidate of a captured image to be deleted using an evaluation value calculated corresponding to the evaluation item set by the evaluation item setting unit.
According to a twelfth aspect of the present invention, the reference value setting unit sets a reference value that serves as a reference for image deletion for each of a plurality of evaluation items whose evaluation value can be calculated by the first evaluation unit. The determination means is configured to compare the first evaluation value calculated by the first evaluation means with the reference value set by the reference value setting means for each evaluation item. An image candidate to be deleted from the recording medium is determined .

請求項13に記載の発明は、前記第2の評価手段は、前記記録手段に記録されている各撮影画像の輝度または濃度の分布を算出する分布算出手段と、前記分布算出手段により複数の撮影画像から算出された輝度または濃度の分布の間の相関である相関係数を前記第2の評価値として算出する相関算出手段とを備え、前記決定手段は、前記相関算出手段により算出された相関係数に基づいて、前記記録媒体に記憶されている複数の撮影画像の中から削除または補正の対象となる撮影画像を決定することを特徴とする。
請求項14に記載の発明は、前記分布算出手段は、各撮影画像の輝度または濃度の2次元分布を算出することを特徴とする。
請求項15に記載の発明は、前記分布算出手段は、各撮影画像の輝度または濃度のヒストグラム分布を算出することを特徴とする。
請求項16に記載の発明は、前記第2の評価手段は、前記記録手段に記録されている各撮影画像の輪郭を抽出する輪郭抽出手段と、前記輪郭抽出により複数の撮影画像から抽出された輪郭の間の相関である相関係数を前記第2の評価値として算出する相関算出手段とを備え、前記決定手段は、前記相関算出手段により算出された相関係数に基づいて、前記記録媒体に記憶されている複数の撮影画像の中から削除または補正の対象となる撮影画像を決定することを特徴とする。
The invention according to claim 13 is characterized in that the second evaluation means calculates distribution of brightness or density of each photographed image recorded in the recording means, and a plurality of photographings by the distribution calculation means. Correlation calculating means for calculating a correlation coefficient, which is a correlation between luminance or density distributions calculated from the image, as the second evaluation value, and the determining means includes the phase calculated by the correlation calculating means. A photographed image to be deleted or corrected is determined from a plurality of photographed images stored in the recording medium based on the relation number.
The invention according to claim 14 is characterized in that the distribution calculating means calculates a two-dimensional distribution of luminance or density of each photographed image.
The invention according to claim 15 is characterized in that the distribution calculating means calculates a histogram distribution of luminance or density of each captured image.
In the invention described in claim 16 , the second evaluation means is extracted from a plurality of photographed images by the contour extraction means for extracting the contour of each photographed image recorded in the recording means, and the contour extraction. Correlation calculating means for calculating a correlation coefficient, which is a correlation between contours, as the second evaluation value, and the determining means is based on the correlation coefficient calculated by the correlation calculating means. A photographed image to be deleted or corrected is determined from a plurality of photographed images stored in the memory.

本発明の画像撮影装置によれば、撮影画像の画質を数値化した第1の評価値だけでなく、撮影画像の画質とは異なる項目を数値化した第2の評価値を算出し、これら両方の評価値、または所定の条件に基づいて選択された一方の評価値に基づいて、記録媒体から削除する画像の候補を決定するようにしたことにより、ただ単に画質の悪い画像から順に削除していくだけでなく、画質以外の項目をも加味して削除する順番を決定したり、状況に応じて画質とそれ以外の項目のどちらかを選択して削除する順番を決定することができる。 According to the image photographing apparatus of the present invention , not only the first evaluation value in which the image quality of the photographed image is quantified but also the second evaluation value in which items different from the image quality of the photographed image are quantified are calculated. The image candidate to be deleted from the recording medium is determined on the basis of the evaluation value of the image or one of the evaluation values selected based on a predetermined condition. In addition, the order of deletion can be determined by taking into account items other than image quality, or the order of deletion can be determined by selecting either the image quality or other items depending on the situation.

以下、図面を参照して、本発明の実施形態を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

(実施形態1)
図1〜図15を参照して、本発明の実施形態1について説明する。まず、実施形態1における構成について説明する。
(Embodiment 1)
A first embodiment of the present invention will be described with reference to FIGS. First, the configuration in the first embodiment will be described.

図1に、本発明の画像撮影装置を適用した実施形態1に係るデジタルカメラ1の回路構成を示す。デジタルカメラ1は、図1に示すように、モータ(M)21、レンズ光学系22、CCD23、TG(タイミング発生器)24、垂直ドライバ25、S/H(サンプルホールド回路)26、A/D変換器27、カラープロセス回路28、DMA(Direct Memory Access)コントローラ29、DRAM(Dynamic RAM) I/F(DRAMインターフェース)30、DRAM31、制御部32、VRAM(Video RAM)コントローラ33、VRAM34、デジタルビデオエンコーダ35、キー入力部36、JPEG(Joint Photograph coding Experts Group)回路37、フラッシュメモリ38、通信部39、表示部13により構成される。   FIG. 1 shows a circuit configuration of a digital camera 1 according to Embodiment 1 to which the image photographing apparatus of the present invention is applied. As shown in FIG. 1, the digital camera 1 includes a motor (M) 21, a lens optical system 22, a CCD 23, a TG (timing generator) 24, a vertical driver 25, an S / H (sample hold circuit) 26, and an A / D. Converter 27, color process circuit 28, DMA (Direct Memory Access) controller 29, DRAM (Dynamic RAM) I / F (DRAM interface) 30, DRAM 31, control unit 32, VRAM (Video RAM) controller 33, VRAM 34, digital video The encoder 35, key input unit 36, JPEG (Joint Photograph coding Experts Group) circuit 37, flash memory 38, communication unit 39, and display unit 13 are configured.

モータ(M)21は、制御部32から入力される制御信号に従って駆動し、レンズ光学系22の絞り位置を移動させる。   The motor (M) 21 is driven according to a control signal input from the control unit 32 to move the aperture position of the lens optical system 22.

CCD23は、撮像素子が平面状(2次元)に配列された構造を有し、光入力を電気信号に変換して蓄積する光電変換部、蓄積された電荷を読み出す走査部、電気信号として出力する出力部により構成され、撮影モードでのモニタリング状態において、タイミング発生器(TG)24、垂直ドライバ25によって駆動される。   The CCD 23 has a structure in which imaging elements are arranged in a planar shape (two-dimensional), converts a light input into an electrical signal and stores it, a scanning unit that reads out the stored charge, and outputs it as an electrical signal. It is configured by an output unit, and is driven by a timing generator (TG) 24 and a vertical driver 25 in a monitoring state in the photographing mode.

CCD23の出力部から出力された電気信号は、アナログ値の信号の状態でRGBの各原色成分毎に適宜ゲイン調整され、S/H(サンプルホールド回路)26は、このゲイン調整された信号をサンプルホールドする。A/D変換器27は、S/H(サンプルホールド回路)26から出力されたアナログ信号をデジタル信号に変換し、カラープロセス回路28に出力する。   The electrical signal output from the output unit of the CCD 23 is appropriately gain-adjusted for each primary color component of RGB in an analog value signal state, and the S / H (sample hold circuit) 26 samples the gain-adjusted signal. Hold. The A / D converter 27 converts the analog signal output from the S / H (sample hold circuit) 26 into a digital signal and outputs the digital signal to the color process circuit 28.

カラープロセス回路28は、A/D変換器27から出力されたデジタル信号に対して画素補間処理及びγ補正処理を含むカラープロセス処理を施し、デジタル値の輝度信号Y及び色差信号Cb、Crを生成し、DMAコントローラ29に出力する。   The color process circuit 28 performs color process processing including pixel interpolation processing and γ correction processing on the digital signal output from the A / D converter 27 to generate a digital luminance signal Y and color difference signals Cb and Cr. And output to the DMA controller 29.

DMAコントローラ29は、カラープロセス回路28から出力された輝度信号Y及び色差信号Cb、Crを、同じくカラープロセス回路28から出力された複合同期信号、メモリ書込みイネーブル信号及びクロック信号を用いて一度DMAコントローラ29内部のバッファに書込み、DRAM I/F30を介してバッファメモリとして使用されるDRAM31にDMA転送を行う。   The DMA controller 29 uses the luminance signal Y and the color difference signals Cb and Cr output from the color process circuit 28 and the DMA controller once using the composite synchronization signal, the memory write enable signal and the clock signal output from the color process circuit 28. The data is written in the internal buffer 29 and DMA transfer is performed to the DRAM 31 used as a buffer memory via the DRAM I / F 30.

制御部32は、CPU(Central Processing Unit)、CPUで実行される動作プログラムを固定的に記憶したROM(Read Only Memory)及びワークメモリとして使用されるRAM(Random Access Memory)等により構成され、デジタルカメラ1の各部の動作を制御する。以下、制御部32による制御動作について説明する。   The control unit 32 includes a CPU (Central Processing Unit), a ROM (Read Only Memory) in which an operation program executed by the CPU is fixedly stored, a RAM (Random Access Memory) used as a work memory, and the like. The operation of each part of the camera 1 is controlled. Hereinafter, the control operation by the control unit 32 will be described.

制御部32は、撮影された画像の画質を評価する画像評価処理を実行する。また、制御部32は、撮影モードが指定されると、フラッシュメモリ38(記録媒体)の残り容量が予め設定された容量以下であるか否かを判定し、記録媒体の残り容量が予め設定され容量以下であると判定された場合、画像評価処理による撮影画像の評価結果に基づいて、記録媒体から削除する画像の候補を決定する。そして、制御部32は、削除画像の候補の中から、キー入力部36の操作により指定された画像を記録媒体から削除する処理を行う。以下の、実施形態1及び実施形態2において、記録媒体に記録済みのデータを消去する場合だけでなく、記録済みのデータに新しいデータを上書きする場合も、記録済みのデータが「削除」されたものとみなすことにする。   The control unit 32 executes an image evaluation process for evaluating the image quality of the captured image. When the shooting mode is designated, the control unit 32 determines whether or not the remaining capacity of the flash memory 38 (recording medium) is equal to or less than a preset capacity, and the remaining capacity of the recording medium is preset. If it is determined that the capacity is less than or equal to the capacity, a candidate image to be deleted from the recording medium is determined based on the evaluation result of the captured image obtained by the image evaluation process. Then, the control unit 32 performs processing for deleting the image designated by the operation of the key input unit 36 from the deletion image candidates from the recording medium. In Embodiments 1 and 2 below, recorded data is “deleted” not only when erasing data recorded on a recording medium but also when overwriting new data over recorded data. Consider it as something.

画像評価の方法としては、撮影画像の輝度又は濃度のヒストグラム分布から評価する方法と(画像評価方法1:図5及び図6参照)、撮影画像の周波数特性に基づいて評価する方法と(画像評価方法2:図7〜図9参照)、撮影画像のブレ又は焦点ボケの度合いに基づいて評価する方法(画像評価方法3:図10〜図14)等がある。本実施形態1の画像評価処理では、これら複数の画像評価方法の全てが適用される場合を示すが、これら画像評価方法1〜3のうちの何れか一つ又は2つ以上を組み合わせた画像評価方法であってもよい。   As an image evaluation method, a method of evaluating from a luminance or density histogram distribution of a captured image (image evaluation method 1: see FIGS. 5 and 6), a method of evaluating based on a frequency characteristic of a captured image (image evaluation) Method 2: Refer to FIGS. 7 to 9), a method of evaluating based on the degree of blurring or defocusing of a captured image (image evaluation method 3: FIGS. 10 to 14), and the like. In the image evaluation process of the first embodiment, a case where all of the plurality of image evaluation methods are applied is shown, but image evaluation combining any one or two or more of these image evaluation methods 1 to 3 is performed. It may be a method.

また、上述では、画像の画質の評価結果に基づいて、記録媒体から削除する画像の候補を決定する場合を示したが、記録媒体に記録された各撮影画像毎に、他の撮影画像との類似度を算出し、類似度の算出結果に基づいて、記録媒体から削除する画像の候補を決定するようにしてもよい。類似度に基づく画像評価方法(画像評価方法4)は、後に図15を参照して説明する。   Further, in the above description, the case where the candidate of the image to be deleted from the recording medium is determined based on the evaluation result of the image quality of the image is shown. However, for each captured image recorded on the recording medium, the other captured image The similarity may be calculated, and an image candidate to be deleted from the recording medium may be determined based on the calculation result of the similarity. The image evaluation method based on the similarity (image evaluation method 4) will be described later with reference to FIG.

VRAMコントローラ33は、制御部32の制御により、DRAM31に一時記憶されている画像データ(輝度信号Y及び色差信号Cb、Cr)を、DRAM31からDRAM I/F30を介して読出し、VRAM34に書込む。また、再生モード時、制御部32により伸長された画像データをVRAM34に展開して記憶させる。   The VRAM controller 33 reads the image data (luminance signal Y and color difference signals Cb and Cr) temporarily stored in the DRAM 31 through the DRAM I / F 30 and writes them in the VRAM 34 under the control of the control unit 32. In the reproduction mode, the image data expanded by the control unit 32 is expanded and stored in the VRAM 34.

デジタルビデオエンコーダ35は、VRAM34に記憶されている画像データを、VRAM34からVRAMコントローラ33を介して定期的に読出し、これらのデータを元にビデオ信号を生成して表示部13に出力する。   The digital video encoder 35 periodically reads image data stored in the VRAM 34 from the VRAM 34 via the VRAM controller 33, generates a video signal based on these data, and outputs the video signal to the display unit 13.

キー入力部36は、電源キー、シャッターキー、モードスイッチ、メニューキー及び十字キー等の各種キーにより構成され、それらのキー操作に応じた信号を制御部32に出力する。キー入力部36のシャッターキーは、2段階のストロークで動作し、一般的に「半押し」と表現されている第1段階の操作状態でAE(自動露光)処理やAF(オートフォーカス)処理を始めとする撮影の準備を行い、一般的に「全押し」と表現されている、より強く押圧操作した第2段階の操作状態で撮影を実行する。   The key input unit 36 includes various keys such as a power key, a shutter key, a mode switch, a menu key, and a cross key, and outputs a signal corresponding to the key operation to the control unit 32. The shutter key of the key input unit 36 operates with a two-stage stroke, and performs an AE (automatic exposure) process and an AF (autofocus) process in a first-stage operation state generally expressed as “half-press”. Preparation for the first shooting is performed, and the shooting is performed in the second-stage operation state in which the pressing operation is more strongly expressed, which is generally expressed as “full press”.

JPEG回路37は、CCD23から取り込まれ、DRAM31に一時的に記憶されている画像信号を、ADCT(Adaptive Discrete Cosine Transform:適応離散コサイン変換)、エントロピー符号化方式であるハフマン符号化などの処理によりデータ圧縮する。   The JPEG circuit 37 converts the image signal taken from the CCD 23 and temporarily stored in the DRAM 31 into data by processing such as ADCT (Adaptive Discrete Cosine Transform), Huffman coding which is an entropy coding method. Compress.

フラッシュメモリ38は、デジタルカメラ1の記録媒体として着脱自在に装着されるメモリーカード内に封入された不揮発性メモリであり、JEPG回路37により符号化された画像信号が記録される。なお、フラッシュメモリ38は、デジタルカメラ1に内蔵されていてもよい。   The flash memory 38 is a non-volatile memory enclosed in a memory card that is detachably mounted as a recording medium of the digital camera 1, and an image signal encoded by the JEPG circuit 37 is recorded on the flash memory 38. Note that the flash memory 38 may be built in the digital camera 1.

通信部39は、外部機器とケーブルを介したデータ通信を行うためのインターフェースを備える。例えば、通信部39は、IEEE1394やUSB(Universal Serial Bus)等により通信を行うためのインターフェースを備える。なお、外部機器と無線通信手段により通信可能としてもよい。   The communication unit 39 includes an interface for performing data communication with an external device via a cable. For example, the communication unit 39 includes an interface for performing communication using IEEE1394, USB (Universal Serial Bus), or the like. Note that communication with an external device may be possible by wireless communication means.

表示部13は、撮影モード時にはモニタ表示部(電子ファインダ)として機能し、デジタルビデオエンコーダ35からのビデオ信号に基づいた表示を行うことで、その時点でVRAMコントローラ33から取込んでいる画像情報に基づくスルー画像をリアルタイムに表示する。   The display unit 13 functions as a monitor display unit (electronic finder) in the shooting mode, and performs display based on the video signal from the digital video encoder 35, thereby displaying image information captured from the VRAM controller 33 at that time. Display the through image based on real time.

次に、実施形態1における動作について説明する。
まず、図2のフローチャートを参照して、実施形態1のデジタルカメラ1において実行される画像撮影・削除処理について説明する。
Next, the operation in the first embodiment will be described.
First, an image capturing / deleting process executed in the digital camera 1 according to the first embodiment will be described with reference to a flowchart of FIG.

まず、表示部13に、図4(a)に示すようなメニュー画面が表示される(ステップS1)。図4(a)に示すメニュー画面には、撮影モードを指定するための「撮影モード」ボタン、撮影画像の再生を指定するための「再生モード」ボタン、撮影画像の削除を指定するための「画像の削除」ボタン、その他の各種の設定を指定するための「各種の設定」ボタン等が表示されている。   First, a menu screen as shown in FIG. 4A is displayed on the display unit 13 (step S1). On the menu screen shown in FIG. 4A, a “shooting mode” button for specifying a shooting mode, a “playback mode” button for specifying playback of a shot image, and a “playback mode” button for specifying deletion of a shot image. A “delete image” button, a “various settings” button for specifying various other settings, and the like are displayed.

メニュー画面において、「撮影モード」ボタンが指定された場合(ステップS2;YES)、デジタルカメラ1のレンズ位置等の初期設定が行われ(ステップS3)、記録媒体(フラッシュメモリ38)の残り容量が設定容量以下であるか否かが判定される(ステップS4)。   When the “shooting mode” button is designated on the menu screen (step S2; YES), initial settings such as the lens position of the digital camera 1 are performed (step S3), and the remaining capacity of the recording medium (flash memory 38) is set. It is determined whether the capacity is equal to or less than the set capacity (step S4).

ステップS4において、記録媒体の残り容量が設定容量以下であると判定された場合(ステップS4;YES)、各撮影画像の評価値に基づいて記録媒体から画像データを削除する画像削除処理が行われる(ステップS5)。画像削除処理の詳細は、後に図3を参照して説明する。   If it is determined in step S4 that the remaining capacity of the recording medium is equal to or less than the set capacity (step S4; YES), an image deletion process is performed to delete image data from the recording medium based on the evaluation value of each captured image. (Step S5). Details of the image deletion processing will be described later with reference to FIG.

ステップS4において、記録媒体の残り容量が設定容量より大きいと判定された場合(ステップS4;NO)又はステップS5の画像削除処理の終了後、キー入力部36によりズーム操作が指定されると(ステップS6;YES)、ズーム処理が行われ(ステップS7)、オートフォーカス処理が行われる(ステップS8)。ズーム操作が指定されなかった場合は(ステップS6;NO)、ズーム処理が行われずにオートフォーカス処理が行われる(ステップS8)。   If it is determined in step S4 that the remaining capacity of the recording medium is larger than the set capacity (step S4; NO), or after the image deletion process in step S5 is completed, a zoom operation is designated by the key input unit 36 (step S4). S6; YES), zoom processing is performed (step S7), and autofocus processing is performed (step S8). When the zoom operation is not designated (step S6; NO), the autofocus process is performed without performing the zoom process (step S8).

表示部13に、図4(c)に示すような撮影スルー画像が表示され(ステップS9)、キー入力部36のシャッターキーの押下により撮影が指示されると(ステップS10;YES)、撮影処理が行われ(ステップS11)、撮影画像データが取得される。撮影処理後、撮影処理で取得された撮影画像データの画像評価処理が行われる(ステップS12)。画像評価処理の詳細は、後に図5〜図15を参照して説明する。シャッターキーが押されなかった場合には(ステップS10;NO)、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS15)、本画像撮影・削除処理が終了する。   A shooting through image as shown in FIG. 4C is displayed on the display unit 13 (step S9). When shooting is instructed by pressing the shutter key of the key input unit 36 (step S10; YES), shooting processing is performed. Is performed (step S11), and captured image data is acquired. After the shooting process, an image evaluation process is performed on the shot image data acquired in the shooting process (step S12). Details of the image evaluation process will be described later with reference to FIGS. If the shutter key has not been pressed (step S10; NO), other (other than shooting mode) key input processing, display processing, and the like are performed (step S15), and the image shooting / deletion processing ends.

撮影画像データの画像評価処理が終了すると、撮影画像データとその評価値が対応付けて記録媒体に記録され(ステップS13)、撮影画像データ及びその評価値が表示部13に表示される(ステップS14)。そして、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS15)、本画像撮影・削除処理が終了する。なお、ステップS14において、図4(d)に示すように、画像データのサイズ、撮影条件、画質評価値等の画像の詳細データを表示するようにしてもよい。また、画質評価値の各項目や総合評価値は、5点法や10点法又は%に換算して表示するようにしてもよい。   When the image evaluation process for the photographed image data is completed, the photographed image data and its evaluation value are associated and recorded on the recording medium (step S13), and the photographed image data and its evaluation value are displayed on the display unit 13 (step S14). ). Then, other (other than shooting mode) key input processing, display processing, and the like are performed (step S15), and the main image shooting / deleting processing is ended. In step S14, as shown in FIG. 4D, detailed image data such as the size of image data, shooting conditions, and image quality evaluation values may be displayed. In addition, each item of the image quality evaluation value and the comprehensive evaluation value may be displayed after being converted into a 5-point method, a 10-point method, or%.

メニュー画面において、「画像の削除」ボタンが指定された場合(ステップS16;YES)、図4(b)に示すような削除モード画面が表示される(ステップS17)。削除モード画面において、キー入力部36の操作により、撮影画像の自動削除機能を有効(ON)にするか無効(OFF)にするかが指定されると、その指定内容が設定され(ステップS18)、ステップS1に戻る。メニュー画面において、「撮影モード」ボタン及び「画像の削除」ボタン以外のボタンが指定された場合(ステップS16;NO)、その指定されたモードに対応する処理が行われ(ステップS19)、ステップS1に戻る。   When the “delete image” button is designated on the menu screen (step S16; YES), a delete mode screen as shown in FIG. 4B is displayed (step S17). When it is designated on the deletion mode screen that the automatic deletion function of the photographed image is to be enabled (ON) or disabled (OFF) by operating the key input unit 36, the specified content is set (step S18). Return to step S1. When a button other than the “shooting mode” button and the “delete image” button is designated on the menu screen (step S16; NO), processing corresponding to the designated mode is performed (step S19), and step S1. Return to.

なお、ステップS12における画像評価処理は、1枚撮影される度に行うようにしてもよいし、一連の撮影処理の終了後に全画像分の処理をまとめて行うようにしてもよい。特に、連写撮影や動画撮影では、撮影性能を保つため、後者の方法を用いるのが好ましい。   Note that the image evaluation process in step S12 may be performed every time one image is captured, or the process for all images may be performed collectively after a series of image capturing processes. In particular, in the continuous shooting and the moving image shooting, it is preferable to use the latter method in order to maintain the shooting performance.

次に、図3のフローチャートを参照して、図2に示した画像削除処理の詳細について説明する。   Next, details of the image deletion processing shown in FIG. 2 will be described with reference to the flowchart of FIG.

まず、画像データの自動削除設定がONであるか否か(画像データの自動削除機能が有効であるか否か)が判定される(ステップS20)。ステップS20において、自動削除設定がONであると判定された場合(ステップS20;YES)、表示部13に、図4(e)に示すように、記録媒体(メモリー)の容量がない旨と、削除候補の画像を検索する旨が表示され(ステップS21)、記録媒体に記録済みの画像は画像評価処理済であるか否かが判定される(ステップS22)。   First, it is determined whether or not the image data automatic deletion setting is ON (whether or not the image data automatic deletion function is enabled) (step S20). If it is determined in step S20 that the automatic deletion setting is ON (step S20; YES), the display unit 13 has no capacity of the recording medium (memory) as shown in FIG. A message to search for images to be deleted is displayed (step S21), and it is determined whether the image already recorded on the recording medium has been subjected to image evaluation processing (step S22).

ステップS22において、記録済み画像が画像評価処理済でないと判定された場合(ステップS22;NO)、記録済み画像の画像評価処理が行われ(ステップS23)、後述のステップS24に移行する。ステップS23の画像評価処理の詳細は、後に図5〜図15を参照して説明する。   If it is determined in step S22 that the recorded image has not been subjected to the image evaluation process (step S22; NO), the image evaluation process for the recorded image is performed (step S23), and the process proceeds to step S24 described later. Details of the image evaluation process in step S23 will be described later with reference to FIGS.

ステップS22において、記録済み画像が画像評価処理済であると判定された場合(ステップS22;YES)又は画像評価処理が終了すると、評価値の条件が設定されているか否かが判定される(ステップS24)。ステップS24において、評価値の条件が設定されていると判定された場合(ステップS24;YES)、評価値が所定値以下の画像が、撮影日時又は画像容量の順に削除候補として決定される(ステップS25)。   In step S22, when it is determined that the recorded image has been subjected to the image evaluation process (step S22; YES), or when the image evaluation process ends, it is determined whether or not an evaluation value condition is set (step S22). S24). If it is determined in step S24 that the condition for the evaluation value is set (step S24; YES), an image having an evaluation value equal to or smaller than a predetermined value is determined as a deletion candidate in order of shooting date and time or image capacity (step). S25).

ステップS24において、評価値の条件が設定されていないと判定された場合(ステップS24;NO)、評価値が最も低い画像から順に削除候補として決定される(ステップS26)。なお、ステップS23又は図2のステップS12の画像評価処理が、撮影画像の類似度に基づく画像評価である場合、ステップS25、S26では、評価値が所定値より大きい(即ち、類似度が高い)画像が削除候補として決定される。   If it is determined in step S24 that the condition of the evaluation value is not set (step S24; NO), the deletion value is determined in order from the image having the lowest evaluation value (step S26). If the image evaluation process in step S23 or step S12 in FIG. 2 is an image evaluation based on the similarity of the captured image, the evaluation value is larger than a predetermined value (ie, the similarity is high) in steps S25 and S26. An image is determined as a deletion candidate.

画像の削除候補が決定されると、表示部13には、図4(f)に示すように、削除確認プロンプト画面が表示される(ステップS27)。削除確認プロンプト画面には、該当する画像と、「この画像を削除してもよろしいですか?(Y/N)」というメッセージが表示される。   When an image deletion candidate is determined, a deletion confirmation prompt screen is displayed on the display unit 13 as shown in FIG. 4F (step S27). On the deletion confirmation prompt screen, a corresponding image and a message “Are you sure you want to delete this image? (Y / N)” are displayed.

削除確認プロンプト画面において、該当する画像の削除が指定されなかった場合(ステップS28;NO)、記録媒体に記録済みの画像の中から、次の削除候補が検索され(ステップS31)、ステップS25(評価値条件ありの場合)又はステップS26(評価値条件なしの場合)に戻る。削除確認プロンプト画面において、該当する画像の削除が指定された場合(ステップS28;YES)、該当画像が記録媒体から削除され(ステップS29)、現在の記録媒体の残り容量が新規撮影で得られる画像データを保存するのに十分であるか否かが判定される(ステップS30)。   If deletion of the corresponding image is not specified on the deletion confirmation prompt screen (step S28; NO), the next deletion candidate is searched from images already recorded on the recording medium (step S31), and step S25 ( The process returns to the case of the evaluation value condition) or step S26 (the case of no evaluation value condition). If deletion of the corresponding image is specified on the deletion confirmation prompt screen (step S28; YES), the corresponding image is deleted from the recording medium (step S29), and the remaining capacity of the current recording medium is obtained by new shooting. It is determined whether the data is sufficient to save (step S30).

ステップS30において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分であると判定された場合(ステップS30;YES)、本画像削除処理が終了する。ステップS30において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分でないと判定された場合(ステップS30;NO)、次の削除候補が検索され(ステップS31)、ステップS25(評価値条件ありの場合)又はステップS26(評価値条件なしの場合)に戻る。   If it is determined in step S30 that the remaining capacity of the recording medium is sufficient to store newly captured image data (step S30; YES), the image deletion process ends. If it is determined in step S30 that the remaining capacity of the recording medium is not sufficient to store the newly captured image data (step S30; NO), the next deletion candidate is searched (step S31), and step S25 (evaluation). Return to Step S26 (when there is no evaluation value condition).

ステップS20において、自動削除設定がOFFである場合(ステップS20;NO)、表示部13に、記録媒体の残り容量がなくなっている旨が表示されるとともに(ステップS32)、マニュアル操作での画像削除を確認するための確認プロンプト画面が表示される(ステップS33)。   In step S20, when the automatic deletion setting is OFF (step S20; NO), the display unit 13 displays that the remaining capacity of the recording medium is exhausted (step S32) and deletes the image by manual operation. A confirmation prompt screen for confirming is displayed (step S33).

表示部13に表示された確認プロンプト画面上において、マニュアル操作での画像削除が指定されると(ステップS34;YES)、マニュアル操作による画像の削除モードに移行し(ステップS35)、本画像削除処理が終了する。ステップS35では、ユーザは、記録媒体の容量を確認しながら画像を削除する。マニュアル操作での画像削除が指定されなかった場合(ステップS34;NO)、本画像削除処理が終了する。   When image deletion by manual operation is designated on the confirmation prompt screen displayed on the display unit 13 (step S34; YES), the mode shifts to an image deletion mode by manual operation (step S35), and main image deletion processing is performed. Ends. In step S35, the user deletes the image while checking the capacity of the recording medium. When image deletion by manual operation is not designated (step S34; NO), the image deletion process is terminated.

次に、図2及び図3の画像評価処理で適用される各画像評価方法の詳細を説明する。   Next, details of each image evaluation method applied in the image evaluation processing of FIGS. 2 and 3 will be described.

<画像評価方法1:輝度ヒストグラム分布に基づく評価>
まず、図5及び図6を参照して、撮影画像の輝度又は濃度のヒストグラム分布から画質を評価する方法について説明する。
<Image evaluation method 1: Evaluation based on luminance histogram distribution>
First, a method for evaluating image quality from a histogram distribution of luminance or density of a captured image will be described with reference to FIGS.

2次元画像データの各点(i、j)の輝度値をf(i、j)=xとし、輝度値別に画素数を集計することにより、図5に示すような輝度分布図(輝度のヒストグラム分布)P(x)が作成される。一般に、輝度のヒストグラム分布が中央からはずれて右端側(輝度値大:濃度のヒストグラム分布では左端側)に偏ると、露出オーバーで、高輝度領域が飽和したり、いわゆる「白飛び」した画像になる。逆に、輝度ヒストグラム分布が左端側(濃度ヒストグラム分布では右端側)に偏ると、露出アンダーで、低輝度領域が飽和したり、「黒つぶれ」した画像になる。また、分布が中央に集中していても、その分布幅が狭くて一様に広く分布していない場合には、ダイナミックレンジが狭く、中間諧調や細かな濃淡に欠けた画像となる。これらの何れも、撮影時の露出条件が悪く、写りの良くない画像の典型である。撮影画像の輝度又は濃度分布特性の指標値や統計量から、露出条件の良し悪しを評価できる。最近のデジタルカメラの多くは、この輝度値を集計演算して、ヒストグラム(頻度分布図)をグラフ表示したりできる機種が多いので、この機能を流用すれば、比較的容易に画像評価を行うことができる。   A luminance distribution diagram (brightness histogram) as shown in FIG. 5 is obtained by setting the luminance value of each point (i, j) of the two-dimensional image data to f (i, j) = x and totaling the number of pixels for each luminance value. Distribution) P (x) is created. In general, if the luminance histogram distribution deviates from the center and is biased to the right end side (large luminance value: left end side in the density histogram distribution), the image is overexposed and the high luminance area is saturated or a so-called “out-of-white” image. Become. Conversely, if the luminance histogram distribution is biased to the left end side (right end side in the density histogram distribution), the image is underexposed and the low luminance area is saturated or “blackout”. Even if the distribution is concentrated in the center, if the distribution width is narrow and not uniformly distributed, the dynamic range is narrow, and the image lacks intermediate gradation and fine gradation. Both of these are typical images that have poor exposure conditions at the time of shooting and are not well captured. Whether the exposure condition is good or bad can be evaluated from the index value or statistic of the luminance or density distribution characteristic of the photographed image. Many of the recent digital cameras can calculate the luminance values and display the histogram (frequency distribution diagram) as a graph, so if this function is used, image evaluation can be performed relatively easily. Can do.

本実施形態1では、撮影画像の輝度又は濃度のヒストグラム分布から、輝度又は濃度の最頻値(最も頻度数が多い輝度値又は濃度値)、平均値、中央値(分布の頻度数の順位が中央にある輝度値又は濃度値)等の分布の代表値、分布の最大値、最小値、分散、標準偏差、歪み度、尖り度等を算出し、算出結果から、画像評価のための評価値が決定される。   In the first embodiment, the mode of luminance or density (the luminance value or density value with the highest frequency number), average value, and median value (distribution frequency number order) are determined from the histogram distribution of luminance or density of the captured image. (E.g. luminance value or density value at the center), etc., the representative value of the distribution, maximum value, minimum value, variance, standard deviation, skewness, kurtosis, etc. of the distribution are calculated, and the evaluation value for image evaluation from the calculation result Is determined.

輝度又は濃度のヒストグラム分布の平均値xM、分散(Variance)σ2、標準偏差(Standard Deviation)σ、歪み度(Skewness)Skew、尖り度(Kurtosis)Kurtは、画素iの輝度値をxi、評価対象の画像の総画素数をNとすると、それぞれ、式(1)〜(5)のように表される。

Figure 0004931101
The average value x M of the histogram distribution of luminance or density, variance σ 2 , standard deviation σ, skewness Skew, kurtosis Kurt is the luminance value of pixel i x i. Assuming that the total number of pixels of the evaluation target image is N, these are expressed as equations (1) to (5), respectively.
Figure 0004931101

ここで、分布の歪み度Skewは、分布が左右対称かどうかの非対称性を示す。分布が左右対称であれば0、右に大きなはずれ値があれば(露出オーバーの場合)正、左に大きなはずれ値があれば(露出アンダーの場合)負となる。また、分布の尖り度Kurtは、分布が正規分布ならば0、正規分布より広がりが大きければ(ダイナミックレンジが広い場合)正、正規分布より広がりが小さければ(ダイナミックレンジが狭い場合)負となる。   Here, the degree of distortion Skew of the distribution indicates asymmetry whether the distribution is symmetrical. If the distribution is bilaterally symmetrical, it is 0, if there is a large outlier value on the right (when overexposed), and positive if there is a large outlier value on the left (underexposed). The kurtosis Kurt of the distribution is 0 if the distribution is a normal distribution, positive if the spread is larger than the normal distribution (when the dynamic range is wide), and negative if the spread is smaller than the normal distribution (if the dynamic range is narrow). .

このように、輝度又は濃度のヒストグラム分布の統計量に基づいて、分布の幅や広がり、その偏り、分布曲線の形状や特徴を判別し、画質の評価が可能となり、これらを元に画質の評価値が決定される。   In this way, based on the statistics of the histogram distribution of luminance or density, it is possible to determine the width and spread of the distribution, its bias, the shape and characteristics of the distribution curve, and to evaluate the image quality. The value is determined.

撮影画像がカラー画像である場合、図6に示すように、RGBの各色毎に、輝度又は濃度のヒストグラム分布PR(x)、PG(x)、PB(x)を作成し、色毎に、分布の平均値、分散、標準偏差、歪み度、尖り度、変動係数CV等の統計量を算出し、算出された色毎の統計量の違いや比較によって、画質の評価値を決定するようにしてもよい。ここで、変動係数CVは、式(6)のように定義される。

Figure 0004931101
When the captured image is a color image, as shown in FIG. 6, histogram distributions P R (x), P G (x), P B (x) of luminance or density are created for each color of RGB, and the color Each time, statistics such as distribution average, variance, standard deviation, degree of distortion, kurtosis, coefficient of variation CV, etc. are calculated, and the evaluation value of image quality is determined by the difference and comparison of the calculated statistics for each color. You may make it do. Here, the variation coefficient CV is defined as in Expression (6).
Figure 0004931101

<画像評価方法2:周波数特性に基づく評価>
次に、図7〜図9を参照して、撮影画像の周波数特性から画質を評価する方法について説明する。
<Image evaluation method 2: Evaluation based on frequency characteristics>
Next, a method for evaluating the image quality from the frequency characteristics of the captured image will be described with reference to FIGS.

撮影画像(2次元画像データ)の各点の輝度値又は濃度値f(x,y)を周波数変換したF(u,v)を算出し、周波数毎の振幅値や係数から、画像の周波数特性、画像全体に占める高周波成分や低周波成分の比率等から、画像のボケの程度や、鮮明度(シャープネス)、コントラスト等を評価することができる。周波数変換としては、フーリエ変換、離散フーリエ変換(DFT:Discrete Fourier Transform)、離散コサイン変換(DCT:Discrete Cosine Transform)、それらを高速計算する高速フーリエ変換(FFT:Fast Fourier Transform)アルゴリズム等を用いることができる。最近のデジタルカメラは、JPEG等の圧縮符号化のためにDCT用のDSP(Digital Signal Processor)やソフトウェアを内蔵しているものが多いので、この機能を流用すれば、比較的容易に画像評価を行うことができる。   F (u, v) obtained by frequency-converting the luminance value or density value f (x, y) of each point of the captured image (two-dimensional image data) is calculated, and the frequency characteristic of the image is obtained from the amplitude value and coefficient for each frequency. From the ratio of high-frequency components and low-frequency components in the entire image, the degree of image blur, sharpness, contrast, and the like can be evaluated. As the frequency transform, a Fourier transform, a discrete Fourier transform (DFT), a discrete cosine transform (DCT), a fast Fourier transform (FFT) algorithm for calculating them at high speed, or the like is used. Can do. Many recent digital cameras have a built-in DCT DSP (Digital Signal Processor) and software for JPEG and other compression coding, so if this function is used, image evaluation is relatively easy. It can be carried out.

2次元画像データの輝度値又は濃度値f(x,y)の離散フーリエ変換式は、式(7)のように表される。

Figure 0004931101
A discrete Fourier transform expression of the luminance value or density value f (x, y) of the two-dimensional image data is expressed as Expression (7).
Figure 0004931101

また、2次元画像データの輝度値又は濃度値f(x,y)の離散コサイン変換式は、式(8)のように表される。

Figure 0004931101
Also, the discrete cosine transform equation for the luminance value or density value f (x, y) of the two-dimensional image data is expressed as equation (8).
Figure 0004931101

このように、2次元画像f(x、y)を周波数空間に変換して周波数成分F(u、v)を算出し、全周波数成分に占める高周波成分の比率、全周波数成分に占める低周波成分の比率に基づいて画像の評価値を決定することができる。また、図7に示すように、予め、撮影画像を順次走査して1次元信号に並び替えてから周波数変換を施して、評価値を算出してもよいし、図8に示すように、撮影画像を周波数変換したF(u、v)の振幅値を、ジグザグ走査などで1次元に並び替えてから、評価値を算出するようにしてもよい。   As described above, the two-dimensional image f (x, y) is converted into the frequency space to calculate the frequency component F (u, v), the ratio of the high frequency component to the total frequency component, and the low frequency component to the total frequency component. The evaluation value of the image can be determined based on the ratio. In addition, as shown in FIG. 7, the captured image may be scanned in advance and rearranged into a one-dimensional signal, and then frequency conversion may be performed to calculate the evaluation value. Alternatively, as shown in FIG. The evaluation value may be calculated after the amplitude value of F (u, v) obtained by frequency-converting the image is rearranged in one dimension by zigzag scanning or the like.

本実施形態1では、全周波数成分に占める高周波成分の比率を画質評価値とし、全周波数成分に占める低周波成分の比率をボケ評価値とする。即ち、画質評価値、ボケ評価値は、それぞれ、式(9)、式(10)のように表すことができる。
画質評価値=(高周波成分の振幅値合計)/(全周波数成分の振幅値合計) (9)
ボケ評価値=(全周波数成分の振幅値合計−高周波成分の振幅値合計)/(全周波数成分の振幅値合計) (10)
In the first embodiment, the ratio of high-frequency components in all frequency components is set as an image quality evaluation value, and the ratio of low-frequency components in all frequency components is set as a blur evaluation value. That is, the image quality evaluation value and the blur evaluation value can be expressed as Expression (9) and Expression (10), respectively.
Image quality evaluation value = (total amplitude value of high frequency components) / (total amplitude value of all frequency components) (9)
Blur evaluation value = (total amplitude value of all frequency components−total amplitude value of high frequency components) / (total amplitude value of all frequency components) (10)

また、図9に示すように、撮影画像の輝度値又は濃度値f(x、y)の周波数分布(振幅(度数)−周波数の関係)を求め、画像評価方法1と同様に、この周波数分布の平均値、分散、標準偏差等の統計量を算出し、算出された統計量に基づいて画質の評価値を決定するようにしてもよい。周波数成分iの振幅値をF[i]、周波数成分の合計をNとすると、この分布の平均値fM、分散σ2、標準偏差σは、それぞれ、以下の式(11)〜式(13)のように表すことができる。

Figure 0004931101
Further, as shown in FIG. 9, the frequency distribution (amplitude (frequency) -frequency relationship) of the luminance value or density value f (x, y) of the captured image is obtained, and this frequency distribution is obtained in the same manner as the image evaluation method 1. Statistical values such as average value, variance, standard deviation, and the like may be calculated, and an image quality evaluation value may be determined based on the calculated statistical values. Assuming that the amplitude value of the frequency component i is F [i] and the total of the frequency components is N, the average value f M , variance σ 2 , and standard deviation σ of this distribution are represented by the following equations (11) to (13), respectively. ).
Figure 0004931101

<画像評価方法3:画像のブレの具合又はボケの度合いに基づく評価>
次に、図10〜図14を参照して、撮影画像のブレの具合又はボケの度合いに基づいて画質を評価する方法について説明する。
<Image Evaluation Method 3: Evaluation Based on Image Blur or Degree of Blur>
Next, with reference to FIGS. 10 to 14, a method for evaluating the image quality based on the degree of blurring or the degree of blur of the captured image will be described.

図10に、画像の変換や復元等に用いるPSF(Point Spread Function:点像分布関数、点広がり関数)法等を利用して、ブレやボケを判別評価する方法について示す。一般に、PSF法による画像復元では、ブレやボケのない本来の画像i(x,y)と、ブレやボケを生じさせる成分p(x,y)により、劣化した劣化画像g(x,y)を表す。即ち、劣化画像g(x,y)は、式(14)のように表される。
g(x,y)=p(x,y)*i(x,y) (14)
ここで、*は、コンボリューション(畳み込み積分)演算を表す。
FIG. 10 shows a method for discriminating and evaluating blur and blur using a PSF (Point Spread Function) method used for image conversion and restoration. In general, in image restoration by the PSF method, a degraded image g (x, y) deteriorated due to an original image i (x, y) without blurring or blurring and a component p (x, y) that causes blurring or blurring. Represents. That is, the deteriorated image g (x, y) is expressed as in Expression (14).
g (x, y) = p (x, y) * i (x, y) (14)
Here, * represents a convolution (convolution integration) operation.

p(x,y)を、PSF、LSF(Line Spread Function:線像分布関数)として、劣化させたp(x,y)を算出することができれば、本来の画像i(x,y)を、デコンボリューション(逆畳み込み積分)演算により求めることができる。以下、本来の画像i(x,y)の算出方法を説明する。   If p (x, y) deteriorated by calculating p (x, y) as PSF and LSF (Line Spread Function), the original image i (x, y) It can be obtained by deconvolution (deconvolution integration) calculation. Hereinafter, a method for calculating the original image i (x, y) will be described.

まず、式(14)に示す劣化画像g(x、y)を、フーリエ変換等により周波数軸に変換する。周波数変換された劣化画像をG(u、v)とすると、G(u、v)は、式(15−1)のように表される。

Figure 0004931101
First, the degraded image g (x, y) shown in Expression (14) is converted into the frequency axis by Fourier transform or the like. Assuming that the degraded image subjected to frequency conversion is G (u, v), G (u, v) is expressed as in Expression (15-1).
Figure 0004931101

また、p(x、y)、i(x、y)を周波数変換したものを、それぞれP(u、v)、I(u、v)とすると、G(u、v)は、式(15−2)のように表すこともできる。
G(u、v)=P(u、v)・I(u、v) (15−2)
ここで、コンボリューションは、周波数軸上では、フーリエ変換同士の掛け算となる。周波数領域で、式(15−2)のP(u、v)が算出できれば、逆フィルターとして1/P(u、v)を計算し、本来の画像i(x、y)を復元することができる。即ち、I(u、v)=G(u、v)/P(u、v)(フーリエ変換同士の割り算)を算出し、これを逆フーリエ変換してi(x、y)を求めればよい。式(16)にI(u、v)の逆フーリエ変換式を示す。

Figure 0004931101
Also, if p (x, y) and i (x, y) are frequency-converted as P (u, v) and I (u, v), respectively, G (u, v) is expressed by equation (15). -2).
G (u, v) = P (u, v) · I (u, v) (15-2)
Here, the convolution is a multiplication of Fourier transforms on the frequency axis. If P (u, v) in equation (15-2) can be calculated in the frequency domain, 1 / P (u, v) can be calculated as an inverse filter to restore the original image i (x, y). it can. That is, I (u, v) = G (u, v) / P (u, v) (division between Fourier transforms) is calculated, and i (x, y) is obtained by inverse Fourier transform. . Expression (16) shows an inverse Fourier transform expression of I (u, v).
Figure 0004931101

本実施形態1では、このPSF法におけるPSFやP(u、v)の算出方法を、一般のアマチュアの撮影画像で、露出設定の失敗と並んで多い、「焦点ボケ」画像や「直線ブレ」画像の判別や評価に適用する。一般に、直線ブレした画像をフーリエ変換したG(u、v)の振幅値の分布は、図10(b)に示すような直線ブレのパターンとなり、中央付近の高周波成分がブレ角度に従って数本の細長い筋や傾斜した楕円形状に抜けて歪んだパターンが現れる。また、焦点ボケした画像をフーリエ変換したG(u、v)は、図10(d)に示すような焦点ボケの画像パターンとなり、中央部の高周波成分が同心円状に抜けて歪んだパターンとなる。また、直線ブレと焦点ボケが共に生じると、図10(c)に示すような、両方の特徴を合せもったパターンとなる。   In the first embodiment, the PSF and P (u, v) calculation method in the PSF method is a general amateur photographed image, along with the exposure setting failure, which is often a “focus blur” image or “straight line blur”. Applies to image discrimination and evaluation. In general, the distribution of amplitude values of G (u, v) obtained by performing a Fourier transform on an image that has undergone linear blurring has a linear blur pattern as shown in FIG. A distorted pattern appears in the form of elongated stripes or slanted ellipses. Further, G (u, v) obtained by performing Fourier transform on the defocused image becomes a defocused image pattern as shown in FIG. 10 (d), and a high-frequency component in the central portion is lost concentrically and becomes a distorted pattern. . Further, when both straight blurring and out-of-focus blur occur, a pattern having both features as shown in FIG. 10C is obtained.

本実施形態1では、直線ブレの評価値は、G(u、v)の振幅値が周期1/Lでゼロ交差する方向のブレ方向角度(θ)と、ブレの距離又はその画素数(L)に基づいて決定されるものとする。また、焦点ボケの評価値は、G(u,v)の振幅値が周期1.01π/rでゼロ交差する同心円状の焦点の広がり半径又はその画素数(r)に基づいて決定されるものとする。ブレ方向角度(θ)、ブレの距離(L)、焦点の広がり半径(r)を算出するには、PSF法、多階調Hough変換法、逆フィルター法等を適用できるが、以下では、PSF法と多階調Hough変換を用いた算出方法について説明する。   In the first embodiment, the evaluation value of the straight blur is the blur direction angle (θ) in the direction in which the amplitude value of G (u, v) zero-crosses with the period 1 / L, the blur distance or the number of pixels (L ). Further, the evaluation value of the focal blur is determined based on the concentric focal spread radius where the amplitude value of G (u, v) zero-crosses with a period of 1.01π / r or the number of pixels (r). And To calculate the blur direction angle (θ), the blur distance (L), and the focal spread radius (r), the PSF method, the multi-tone Hough transform method, the inverse filter method, or the like can be applied. The calculation method using the method and multi-gradation Hough transform will be described.

まず、図11(a)に示すように、直線ブレ等の劣化画像をフーリエ変換したG(u,v)のフーリエ・スペクトルの中央部の円内を、(複数点を通る直線の推定や検出等に広く用いられる)Hough変換により、θ―ρ空間上の多階調の2次元画像H(θ、ρ)に変換し、H(θ、ρ)値の角度θ毎に切り出したHθ(ρ)波形を比較し、各角度θ(0°≦θ<180°)におけるエントロピーE(θ)を求める。エントロピーE(θ)は、式(17)のように表される。

Figure 0004931101
式(17)のHsum(θ)は、劣化画像G(u,v)のフーリエ・スペクトルが示す円内の画素値の合計である。式(17)に示すエントロピーE(θ)が最小となる角度θを、直線ブレ方向(θ)とみなすことができる。また、図11(b)に示すように、直線ブレ方向(θ)のHθ(ρ)波形の極小点の周期(TL)を求めると、ブレ距離(L)=1/TLが求まる。 First, as shown in FIG. 11 (a), within a circle at the center of the Fourier spectrum of G (u, v) obtained by Fourier transform of a deteriorated image such as linear blur (estimation or detection of a straight line passing through a plurality of points). Hough (ρ, which is widely used for the above), is converted into a multi-gradation two-dimensional image H (θ, ρ) in the θ-ρ space and cut out for each angle θ of the H (θ, ρ) value. ) Waveforms are compared to determine entropy E (θ) at each angle θ (0 ° ≦ θ <180 °). Entropy E (θ) is expressed as shown in Equation (17).
Figure 0004931101
Hsum (θ) in Expression (17) is the sum of the pixel values in the circle indicated by the Fourier spectrum of the degraded image G (u, v). The angle θ at which the entropy E (θ) shown in the equation (17) is minimized can be regarded as the linear blur direction (θ). Further, as shown in FIG. 11B, when the period (TL) of the minimum point of the Hθ (ρ) waveform in the linear blur direction (θ) is obtained, the blur distance (L) = 1 / TL is obtained.

焦点ボケの広がり半径(r)を算出するには、まず、図12に示すように、H(θ、ρ)をθ軸方向に0°〜179°まで平均化したC(ρ)波形を作成する。C(ρ)は、式(18)のように表される。

Figure 0004931101
C(ρ)波形の極小点の周期(Tr)から、焦点ボケの広がり半径(r)は、半径(r)=1.01×π/Trより求まる。 To calculate the defocusing radius (r), first, as shown in FIG. 12, a C (ρ) waveform is created by averaging H (θ, ρ) from 0 ° to 179 ° in the θ-axis direction. To do. C (ρ) is expressed as in Expression (18).
Figure 0004931101
From the period (Tr) of the local minimum point of the C (ρ) waveform, the spread radius (r) of the focal blur is obtained from the radius (r) = 1.01 × π / Tr.

図13及び図14に、上記の方法で用いたHough変換(ハフ変換)の原理を示す。Hough変換では、ρ=xcosθ+ysinθの変換式により、一般の2次元座標(x−y平面上の点)はθ‐ρ平面上の曲線に変換され、x−y平面上の直線は、θ‐ρ平面上の点に逆変換できる。例えば、x−y平面上の点A、B、Cを通る直線Lを求める場合には、図13に示すように、点A、B、CをHough変換した、θ‐ρ平面上の曲線A’、B’、C’が交差する交点P(θL、ρL)を求める。そして、その交点P(θL、ρL)をx−y平面上にHough逆変換し、ゼロ点から下ろした垂線の長さがρLで、垂線の角度がθLとなる直線Lが、求める直線となる。 13 and 14 show the principle of the Hough transform (Hough transform) used in the above method. In the Hough transform, a general two-dimensional coordinate (a point on the xy plane) is converted into a curve on the θ-ρ plane by a conversion formula of ρ = x cos θ + y sin θ, and a straight line on the xy plane is θ-ρ It can be converted back to a point on the plane. For example, when the straight line L passing through the points A, B, and C on the xy plane is obtained, as shown in FIG. 13, the curve A on the θ-ρ plane obtained by performing the Hough transform on the points A, B, and C. Find the intersection P (θ L , ρ L ) where ', B' and C 'intersect. Then, the intersection P (θ L , ρ L ) is inversely transformed into Hough on the xy plane, and the length of the perpendicular drawn from the zero point is ρ L , and the straight line L having the perpendicular angle θ L is The straight line to be obtained.

Hough変換の配列H(θ、ρ)の明度(多階調を有する輝度又は濃度)をH(θ、ρ)=f(x、y)として多階調の2次元画像として定義し、図13に示すような複数曲線の交点を求める場合には、図14に示すように、明度(階調値)を加算して、階調値が最も大きくなる点(図14の斜線部分)を交点として、近似計算で迅速に求めることができる。   The brightness (brightness or density having multiple gradations) of the Hough transform array H (θ, ρ) is defined as H (θ, ρ) = f (x, y) as a two-dimensional image having multiple gradations. 14 is obtained, the brightness (gradation value) is added as shown in FIG. 14, and the point where the gradation value becomes the largest (the hatched portion in FIG. 14) is taken as the intersection. Can be quickly obtained by approximate calculation.

以上のように、画像を劣化させたPSF関数を算出する方法、ゼロクロス法、多階調Hough変換等により、劣化画像g(x、y)を周波数軸上にフーリエ変換したG(u,v)から、直線ブレ画像の方向(角度θ)、直線ブレの距離(画素数L)、焦点ボケ画像の焦点広がり半径(画素数r)を算出し、これらθ、L、rに基づいて画像の評価値が決定される。   As described above, G (u, v) obtained by Fourier-transforming the deteriorated image g (x, y) on the frequency axis by the method of calculating the PSF function that deteriorates the image, the zero cross method, the multi-gradation Hough transform, or the like. From this, the direction of the straight blur image (angle θ), the straight blur distance (number of pixels L), and the focal spread radius (number of pixels r) of the defocus image are calculated, and the image is evaluated based on these θ, L, and r. The value is determined.

<画像評価方法4:類似度に基づく評価>
次に、図15を参照して、撮影画像の類似度から画像を評価する方法について説明する。画像評価方法4では、画像評価方法1〜3と異なり、画質そのものでなく、画像が既に記録済みの他の画像と比べてどの程度類似しているかを判別して、画像削除の基準となる評価値を算出する方法を示す。
<Image evaluation method 4: Evaluation based on similarity>
Next, with reference to FIG. 15, a method for evaluating an image from the similarity of captured images will be described. Unlike the image evaluation methods 1 to 3, the image evaluation method 4 discriminates not only the image quality itself, but also how much the image is similar to other recorded images, and is used as a criterion for image deletion. The method of calculating the value is shown.

図15に、入力画像(着目画像)f(x、y)と、既に記録済みの参照画像t(x、y)との類似度を算出する3つの方法を示す。図15(a)は、輝度又は濃度の2次元分布における相関係数Rを、類似度の評価値としたものである。相関係数Rは、ピアソンの積率相関係数を用いて算出することができる。入力画像f(x、y)の輝度値の平均値をfAV、参照画像t(x、y)の輝度値の平均値をtAV、両画像の画素数をn×mとすると、2次元輝度分布における相関係数Rは、式(19)のように表される。

Figure 0004931101
FIG. 15 shows three methods for calculating the similarity between the input image (target image) f (x, y) and the already recorded reference image t (x, y). FIG. 15A shows a correlation coefficient R in a two-dimensional distribution of luminance or density as an evaluation value of similarity. The correlation coefficient R can be calculated using the Pearson product moment correlation coefficient. If the average value of the luminance values of the input image f (x, y) is f AV , the average value of the luminance values of the reference image t (x, y) is t AV , and the number of pixels of both images is n × m, it is two-dimensional. The correlation coefficient R in the luminance distribution is expressed as in Expression (19).
Figure 0004931101

図15(b)は、入力画像f(x、y)及び参照画像t(x、y)のエッジ抽出、2値化処理等により、それぞれの画像の輪郭線を抽出し、輪郭画像の相関係数R'を類似度の評価値としたものである。入力画像f(x、y)の輪郭画像をf'(x、y)、参照画像t(x、y)の輪郭画像をt'(x、y)とすると、相関係数R'は、式(20)のように表される。
R'=(輪郭画像f'と輪郭画像t'の共分散)/(輪郭画像f'の標準偏差)・(輪郭画像t'の標準偏差) (20)
FIG. 15B shows the relationship between the contour images by extracting the contour lines of the input image f (x, y) and the reference image t (x, y) by edge extraction, binarization processing, and the like. The number R ′ is used as an evaluation value of similarity. Assuming that the contour image of the input image f (x, y) is f ′ (x, y) and the contour image of the reference image t (x, y) is t ′ (x, y), the correlation coefficient R ′ is It is expressed as (20).
R ′ = (covariance between contour image f ′ and contour image t ′) / (standard deviation of contour image f ′) · (standard deviation of contour image t ′) (20)

図15(c)は、入力画像f(x、y)及び参照画像t(x、y)の輝度又は濃度のヒストグラム分布の相関係数R"を、類似度の評価値としたものである。入力画像f(x、y)の輝度のヒストグラム分布図を画像f"(x、y)とし、参照画像t(x、y)のヒストグラム分布図を画像t"(x、y)とすると、相関係数R"は、式(21)のように表される。
R"=(ヒストグラム画像f"とヒストグラム画像t"の共分散)/(ヒストグラム画像f"の標準偏差)・(ヒストグラム画像t"の標準偏差) (21)
このように、相関係数を求めると、記録済みの他の画像に類似した画像パターン、輪郭画像又は露出特性が類似した画像を、削除候補として優先して選択することができる。
In FIG. 15C, the correlation coefficient R ″ of the histogram distribution of luminance or density of the input image f (x, y) and the reference image t (x, y) is used as the evaluation value of similarity. Assuming that the histogram distribution diagram of the luminance of the input image f (x, y) is an image f ″ (x, y) and the histogram distribution diagram of the reference image t (x, y) is an image t ″ (x, y), The relation number R ″ is expressed as in Expression (21).
R ″ = (covariance between histogram image f ″ and histogram image t ″) / (standard deviation of histogram image f ″) · (standard deviation of histogram image t ″) (21)
As described above, when the correlation coefficient is obtained, an image pattern similar to another recorded image, an outline image, or an image having similar exposure characteristics can be preferentially selected as a deletion candidate.

画像評価方法1〜3は、実施形態2及び実施形態3においても適用され、画像評価方法4は、実施形態2においても適用される。   The image evaluation methods 1 to 3 are also applied to the second and third embodiments, and the image evaluation method 4 is also applied to the second embodiment.

以上のように、本実施形態1のデジタルカメラ1によれば、記録媒体の残り容量が予め設定された容量以下である場合、撮影画像の評価結果に基づいて、記録媒体から削除する画像の候補を決定するようにしたことにより、画質の悪い画像を迅速に削除して、新規撮影用に記録媒体の空き領域を確実に確保することができ、シャッターチャンスを逃すことが少なくなる。   As described above, according to the digital camera 1 of the first embodiment, when the remaining capacity of the recording medium is equal to or less than the preset capacity, the image candidate to be deleted from the recording medium based on the evaluation result of the captured image. Therefore, it is possible to quickly delete an image with poor image quality and to ensure a free area of the recording medium for new shooting, and to reduce the chance of missing a photo opportunity.

また、記録媒体に記録された他の画像との類似度(相関係数)を算出し、類似度の高い画像を記録媒体から優先的に削除するようにしたことにより、類似した画像を迅速に削除して、新規撮影用に記録媒体の空き領域を確実に確保することができ、シャッターチャンスを逃すことが少なくなる。   Also, by calculating the similarity (correlation coefficient) with other images recorded on the recording medium and preferentially deleting images with high similarity from the recording medium, similar images can be quickly retrieved. By deleting it, it is possible to ensure the free area of the recording medium for new shooting, and it is less likely to miss a photo opportunity.

(実施形態2)
図16〜図19を参照して、本発明の実施形態2について説明する。まず、実施形態2における構成について説明する。実施形態2におけるデジタルカメラの回路構成は、実施形態1において図1に示したデジタルカメラ1と同一であるため、その図示を省略し、同一符号を用いるものとする。以下、実施形態1のデジタルカメラ1と異なる点のみを説明する。
(Embodiment 2)
A second embodiment of the present invention will be described with reference to FIGS. First, the configuration in the second embodiment will be described. Since the circuit configuration of the digital camera in the second embodiment is the same as that of the digital camera 1 shown in FIG. 1 in the first embodiment, the illustration thereof is omitted and the same reference numerals are used. Only differences from the digital camera 1 of the first embodiment will be described below.

制御部32は、CPU(Central Processing Unit)、CPUで実行される動作プログラムを固定的に記憶したROM(Read Only Memory)及びワークメモリとして使用されるRAM(Random Access Memory)等により構成され、デジタルカメラ1の各部の動作を制御する。以下、制御部32による制御動作について説明する。   The control unit 32 includes a CPU (Central Processing Unit), a ROM (Read Only Memory) in which an operation program executed by the CPU is fixedly stored, a RAM (Random Access Memory) used as a work memory, and the like. The operation of each part of the camera 1 is controlled. Hereinafter, the control operation by the control unit 32 will be described.

実施形態2の制御部32は、キー入力部36の操作により、画像の評価方法(画質優先の評価方法、類似度に基づく評価方法)を設定するとともに、画像の評価項目を設定する。また制御部32は、画像削除の基準となる基準値を評価項目別に設定する。例えば、画像の評価方法が画質優先の評価方法である場合、画質の評価を行うための評価項目には、露出条件評価、コントラスト評価、ボケ・ブレ評価等がある。制御部32は、評価項目別に画像を評価する画像評価処理を実行する(図18参照)。また、制御部32は、撮影モードが指定されると、記録媒体の残り容量が予め設定された容量以下であるか否かを判定し、記録媒体の残り容量が予め設定され容量以下であると判定された場合、画像評価処理による撮影画像の評価値と、設定された基準値とを比較することによって、記録媒体から削除する画像の候補を決定する(図17参照)。   The control unit 32 according to the second embodiment sets an image evaluation method (image quality priority evaluation method, similarity-based evaluation method) and image evaluation items by operating the key input unit 36. Further, the control unit 32 sets a reference value as a reference for image deletion for each evaluation item. For example, when the image evaluation method is an image quality priority evaluation method, the evaluation items for image quality evaluation include exposure condition evaluation, contrast evaluation, blur / blur evaluation, and the like. The control unit 32 executes an image evaluation process for evaluating an image for each evaluation item (see FIG. 18). Further, when the shooting mode is designated, the control unit 32 determines whether or not the remaining capacity of the recording medium is equal to or smaller than a preset capacity, and the remaining capacity of the recording medium is equal to or smaller than the preset capacity. If it is determined, a candidate for an image to be deleted from the recording medium is determined by comparing the evaluation value of the captured image obtained by the image evaluation process with the set reference value (see FIG. 17).

次に、実施形態2における動作について説明する。
まず、図16のフローチャートを参照して、実施形態2のデジタルカメラ1において実行される画像撮影・削除処理について説明する。
Next, the operation in the second embodiment will be described.
First, an image capturing / deleting process executed in the digital camera 1 according to the second embodiment will be described with reference to a flowchart of FIG.

まず、表示部13に、図4(a)に示すようなメニュー画面が表示される(ステップS101)。図4(a)に示すメニュー画面には、撮影モードを指定するための「撮影モード」ボタン、撮影画像の再生を指定するための「再生モード」ボタン、撮影画像の削除を指定するための「画像の削除」ボタン、その他の各種の設定を指定するための「各種の設定」ボタン等が表示されている。   First, a menu screen as shown in FIG. 4A is displayed on the display unit 13 (step S101). On the menu screen shown in FIG. 4A, a “shooting mode” button for specifying a shooting mode, a “playback mode” button for specifying playback of a shot image, and a “playback mode” button for specifying deletion of a shot image. A “delete image” button, a “various settings” button for specifying various other settings, and the like are displayed.

メニュー画面において、「撮影モード」ボタン及び「画像の削除」ボタン以外のボタンが指定された場合(ステップS116;NO)、その指定されたモードに対応する処理が行われ(ステップS122)、ステップS101に戻る。   When a button other than the “shooting mode” button and the “delete image” button is designated on the menu screen (step S116; NO), processing corresponding to the designated mode is performed (step S122), and step S101. Return to.

メニュー画面において、「画像の削除」ボタンが指定された場合(ステップS116;YES)、図19(a)に示すような削除モード画面が表示される(ステップS117)。図19(a)に示す削除モード画面において、キー入力部36の操作により、「自動削除の設定」ボタンが指定されると(ステップS118;YES)、表示部13には、図19(b)に示すような自動削除設定画面が表示される(ステップS119)。   When the “delete image” button is designated on the menu screen (step S116; YES), a delete mode screen as shown in FIG. 19A is displayed (step S117). When the “automatic deletion setting” button is designated by the operation of the key input unit 36 on the deletion mode screen shown in FIG. 19A (step S118; YES), the display unit 13 displays FIG. 19B. The automatic deletion setting screen as shown in FIG. 6 is displayed (step S119).

自動削除設定画面には、図19に示すように、設定項目として、撮影画像の自動削除機能を有効(ON)にするか無効(OFF)にするかを設定するための「自動削除」欄と、画像の評価方法を設定するための「評価方法」欄と、各評価機能を有効(ON)にするか無効(OFF)にするかを設定するための「評価項目」欄(例えば、「露出条件評価」項目、「コントラスト」項目、「ボケ・ブレ」項目)が表示されている。また、各評価項目欄には、評価項目の基準値を設定するための「基準値」欄が表示されている。ここで、評価項目の基準値とは、画像削除の基準となる値であり、この基準値と画像評価値との比較により、対象とする画像が削除候補となるか否かが決定される。   In the automatic deletion setting screen, as shown in FIG. 19, an “automatic deletion” column for setting whether to enable (ON) or disable (OFF) the automatic image deletion function as a setting item. , “Evaluation Method” field for setting the image evaluation method, and “Evaluation Item” field (for example, “Exposure” for setting whether each evaluation function is enabled (ON) or disabled (OFF). "Condition evaluation" item, "Contrast" item, and "Blur / blur" item) are displayed. In each evaluation item column, a “reference value” column for setting a reference value of the evaluation item is displayed. Here, the reference value of the evaluation item is a value serving as a reference for image deletion, and whether or not the target image is a deletion candidate is determined by comparing the reference value with the image evaluation value.

自動削除設定画面において、キー入力部36の操作により、撮影画像の自動削除機能を有効にするか否か(ON/OFF)、評価方法、各評価項目の機能を有効にするか否か(ON/OFF)、評価項目別の基準値が指定され(ステップS120)、「OK」ボタンが指定されると、ステップS120で指定された内容の設定が完了し(ステップS121;YES)、ステップS101に戻る。なお、評価項目別に設定された基準値に基づいて、通常撮影時の露出条件を自動的に設定するようにしてもよい。また、ユーザ毎に、過去に設定した基準値の履歴を保存しておき、その履歴に基づいて基準値を自動的に設定するようにしてもよい。   On the automatic deletion setting screen, whether or not to enable the automatic deletion function of the photographed image (ON / OFF), whether to evaluate the evaluation method, and the function of each evaluation item by the operation of the key input unit 36 (ON) / OFF), the reference value for each evaluation item is designated (step S120), and when the “OK” button is designated, the setting of the content designated in step S120 is completed (step S121; YES), and the process proceeds to step S101. Return. Note that the exposure condition during normal photographing may be automatically set based on the reference value set for each evaluation item. Alternatively, a history of reference values set in the past may be stored for each user, and the reference values may be automatically set based on the history.

メニュー画面において、「撮影モード」ボタンが指定された場合(ステップS102;YES)、デジタルカメラ1のレンズ位置等の初期設定が行われ(ステップS103)、記録媒体(フラッシュメモリ38)の残り容量が設定容量以下であるか否かが判定される(ステップS104)。   When the “shooting mode” button is designated on the menu screen (step S102; YES), initial settings such as the lens position of the digital camera 1 are performed (step S103), and the remaining capacity of the recording medium (flash memory 38) is set. It is determined whether or not the capacity is less than the set capacity (step S104).

ステップS104において、記録媒体の残り容量が設定容量以下であると判定された場合(ステップS104;YES)、各撮影画像の評価値に基づいて記録媒体から画像データを削除する画像削除処理が行われる(ステップS105)。画像削除処理の詳細は、後に図17を参照して説明する。   If it is determined in step S104 that the remaining capacity of the recording medium is equal to or less than the set capacity (step S104; YES), an image deletion process is performed to delete image data from the recording medium based on the evaluation value of each captured image. (Step S105). Details of the image deletion processing will be described later with reference to FIG.

ステップS104において、記録媒体の残り容量が設定容量より大きいと判定された場合(ステップS104;NO)又はステップS105の画像削除処理の終了後、キー入力部36によりズーム操作が指定されると(ステップS106;YES)、ズーム処理が行われ(ステップS107)、オートフォーカス処理が行われる(ステップS108)。ズーム操作が指定されなかった場合は(ステップS106;NO)、ズーム処理が行われずにオートフォーカス処理が行われる(ステップS108)。   When it is determined in step S104 that the remaining capacity of the recording medium is larger than the set capacity (step S104; NO) or after the image deletion process in step S105 is completed, a zoom operation is designated by the key input unit 36 (step S104). S106; YES), zoom processing is performed (step S107), and autofocus processing is performed (step S108). When the zoom operation is not designated (step S106; NO), the autofocus process is performed without performing the zoom process (step S108).

表示部13に、図4(c)に示すような撮影スルー画像が表示され(ステップS109)、キー入力部36のシャッターキーの押下により撮影が指示されると(ステップS110;YES)、撮影処理が行われ(ステップS111)、撮影画像データが取得される。撮影処理後、撮影処理で取得された撮影画像データの画像評価処理が行われる(ステップS112)。画像評価処理は、実施形態1において示した画像評価方法1〜4が適用され、ステップS120において設定された基準値に基づいて、評価項目別に画像評価が行われる。シャッターキーが押されなかった場合には(ステップS110;NO)、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS115)、本画像撮影・削除処理が終了する。   A shooting through image as shown in FIG. 4C is displayed on the display unit 13 (step S109). When shooting is instructed by pressing the shutter key of the key input unit 36 (step S110; YES), shooting processing is performed. Is performed (step S111), and photographed image data is acquired. After the shooting process, an image evaluation process is performed on the shot image data acquired in the shooting process (step S112). In the image evaluation process, the image evaluation methods 1 to 4 shown in the first embodiment are applied, and image evaluation is performed for each evaluation item based on the reference value set in step S120. If the shutter key is not pressed (step S110; NO), other (other than shooting mode) key input processing, display processing, and the like are performed (step S115), and the image shooting / deletion processing ends.

撮影画像データの画像評価処理が終了すると、撮影画像データとその評価値が対応付けて記録媒体に記録され(ステップS113)、撮影画像データ及びその評価値が表示部13に表示される(ステップS114)。そして、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS115)、本画像撮影・削除処理が終了する。なお、ステップS114において、図4(d)に示すように、画像データのサイズ、撮影条件、画質評価値等の画像の詳細データを表示するようにしてもよい。また、画質評価値の各項目や総合評価値は、5点法や10点法又は%に換算して表示するようにしてもよい。   When the image evaluation process for the photographed image data is completed, the photographed image data and its evaluation value are associated and recorded on the recording medium (step S113), and the photographed image data and its evaluation value are displayed on the display unit 13 (step S114). ). Then, other key input processing (except for the shooting mode), display processing, and the like are performed (step S115), and the main image shooting / deleting processing ends. In step S114, as shown in FIG. 4D, detailed image data such as the size of image data, shooting conditions, and image quality evaluation values may be displayed. In addition, each item of the image quality evaluation value and the comprehensive evaluation value may be displayed after being converted into a 5-point method, a 10-point method, or%.

なお、ステップS112における画像評価処理は、1枚撮影される度に行うようにしてもよいし、一連の撮影処理の終了後に全画像分の処理をまとめて行うようにしてもよい。特に、連写撮影や動画撮影では、撮影性能を保つため、後者の方法を用いるのが好ましい。   Note that the image evaluation processing in step S112 may be performed every time one image is captured, or processing for all images may be performed collectively after a series of imaging processing is completed. In particular, in the continuous shooting and the moving image shooting, it is preferable to use the latter method in order to maintain the shooting performance.

次に、図17のフローチャートを参照して、図16に示した画像削除処理の詳細について説明する。   Next, details of the image deletion processing shown in FIG. 16 will be described with reference to the flowchart of FIG.

まず、画像データの自動削除設定がONであるか否か(画像データの自動削除機能が有効であるか否か)が判定される(ステップS130)。ステップS130において、自動削除設定がONであると判定された場合(ステップS130;YES)、表示部13に、図4(e)に示すように、記録媒体(メモリー)の容量がない旨と、削除候補の画像を検索する旨が表示され(ステップS131)、記録媒体に記録済み画像は画像評価処理済であるか否かが判定される(ステップS132)。   First, it is determined whether or not the image data automatic deletion setting is ON (whether or not the image data automatic deletion function is enabled) (step S130). If it is determined in step S130 that the automatic deletion setting is ON (step S130; YES), the display unit 13 has no recording medium (memory) capacity as shown in FIG. A message to search for images to be deleted is displayed (step S131), and it is determined whether the image already recorded on the recording medium has been subjected to the image evaluation process (step S132).

ステップS132において、記録済み画像が画像評価処理済でないと判定された場合(ステップS132;NO)、記録済み画像の画像評価処理が行われ(ステップS133)、後述のステップS134に移行する。ステップS133の画像評価処理の詳細は、後に図18を参照して説明する。   If it is determined in step S132 that the recorded image has not been subjected to the image evaluation process (step S132; NO), the image evaluation process for the recorded image is performed (step S133), and the process proceeds to step S134 described later. Details of the image evaluation process in step S133 will be described later with reference to FIG.

ステップS132において、記録済み画像が画像評価処理済であると判定された場合(ステップS132;YES)又は画像評価処理が終了すると、ステップS120で設定された画像の評価方法が判別される(ステップS134)。ステップS134において、評価方法が「画質優先」の評価方法である場合(ステップS134;画質優先)、評価値が基準値以下の画像が、撮影日時又は画像容量の順に削除候補として決定される(ステップS135)。   When it is determined in step S132 that the recorded image has been subjected to the image evaluation process (step S132; YES) or when the image evaluation process ends, the image evaluation method set in step S120 is determined (step S134). ). If the evaluation method is the “image quality priority” evaluation method in step S134 (step S134; image quality priority), an image whose evaluation value is equal to or less than the reference value is determined as a deletion candidate in the order of shooting date and time or image capacity (step S134). S135).

ステップS134において、評価方法が「類似度」に基づく評価方法である場合(ステップS134;類似度)、評価値が、設定された基準値より大きい画像が、評価値が高い順に削除候補として決定される(ステップS136)。   When the evaluation method is an evaluation method based on “similarity” in step S134 (step S134; similarity), images whose evaluation values are larger than the set reference value are determined as deletion candidates in descending order of evaluation values. (Step S136).

画像の削除候補が決定されると、表示部13には、図4(f)に示すように、削除確認プロンプト画面が表示される(ステップS137)。削除確認プロンプト画面には、該当する画像と、「この画像を削除してもよろしいですか?(Y/N)」というメッセージが表示される。   When an image deletion candidate is determined, a deletion confirmation prompt screen is displayed on the display unit 13 as shown in FIG. 4F (step S137). On the deletion confirmation prompt screen, a corresponding image and a message “Are you sure you want to delete this image? (Y / N)” are displayed.

削除確認プロンプト画面において、該当する画像の削除が指定されなかった場合(ステップS138;NO)、記録媒体に記録済みの画像の中から、次の削除候補が検索され(ステップS141)、ステップS135(評価方法が「画質優先」の場合)又はステップS136(評価方法が「類似度」の場合)に戻る。削除確認プロンプト画面において、該当する画像の削除が指定された場合(ステップS138;YES)、該当画像が記録媒体から削除され(ステップS139)、現在の記録媒体の残り容量が新規撮影の画像データを保存するのに十分であるか否かが判定される(ステップS140)。   If deletion of the corresponding image is not specified on the deletion confirmation prompt screen (step S138; NO), the next deletion candidate is searched from images already recorded on the recording medium (step S141), and step S135 ( If the evaluation method is “image quality priority”) or return to step S136 (if the evaluation method is “similarity”). When deletion of the corresponding image is designated on the deletion confirmation prompt screen (step S138; YES), the corresponding image is deleted from the recording medium (step S139), and the remaining capacity of the current recording medium is the image data of the newly captured image. It is determined whether it is sufficient to save (step S140).

ステップS140において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分であると判定された場合(ステップS140;YES)、本画像削除処理が終了する。ステップS140において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分でないと判定された場合(ステップS140;NO)、次の削除候補が検索され(ステップS141)、ステップS135(評価方法が「画質優先」の場合)又はステップS136(評価方法が「類似度」の場合)に戻る。   If it is determined in step S140 that the remaining capacity of the recording medium is sufficient to store the newly captured image data (step S140; YES), the image deletion process ends. If it is determined in step S140 that the remaining capacity of the recording medium is not sufficient to store the newly captured image data (step S140; NO), the next deletion candidate is searched (step S141), and step S135 (evaluation). When the method is “image quality priority”) or the process returns to step S136 (when the evaluation method is “similarity”).

ステップS130において、自動削除設定がOFFである場合(ステップS130;NO)、表示部13に、記録媒体の残り容量がなくなっている旨が表示されるとともに(ステップS142)、マニュアル操作での画像削除を確認するための確認プロンプトが表示される(ステップS143)。   In step S130, when the automatic deletion setting is OFF (step S130; NO), the display unit 13 displays that the remaining capacity of the recording medium is exhausted (step S142) and deletes the image by manual operation. A confirmation prompt for confirming is displayed (step S143).

表示部13に表示された確認プロンプト上において、マニュアル操作での画像削除が指定されると(ステップS144;YES)、マニュアル操作による画像の削除モードに移行し(ステップS145)、本画像削除処理が終了する。ステップS145では、ユーザは、記録媒体の容量を確認しながら画像を削除する。マニュアル操作での画像削除が指定されなかった場合(ステップS144;NO)、本画像削除処理が終了する。   When image deletion by manual operation is designated on the confirmation prompt displayed on the display unit 13 (step S144; YES), the mode shifts to an image deletion mode by manual operation (step S145), and this image deletion processing is performed. finish. In step S145, the user deletes the image while checking the capacity of the recording medium. When image deletion by manual operation is not designated (step S144; NO), the image deletion process ends.

なお、削除した画像の評価値の履歴を保存し、削除画像の評価値の頻度を集計する手段を設け、累計頻度の多い評価値の画像を優先的に削除候補して決定するようにしてもよい。   It should be noted that a history of evaluation values of deleted images is stored, and means for counting the evaluation value frequencies of deleted images is provided so that images with evaluation values with a high cumulative frequency can be preferentially determined as deletion candidates. Good.

次に、図18のフローチャートを参照して、図17に示した画像評価処理の詳細について説明する。   Next, the details of the image evaluation process shown in FIG. 17 will be described with reference to the flowchart of FIG.

まず、画像の評価方法が画質優先の評価方法であるか類似度に基づく評価方法であるかが判別される(ステップS200)。ステップS200において、画像の評価方法が画質優先の評価方法であると判別された場合(ステップS200;画質優先)、画質の評価項目として、露出条件評価が設定されているか否かが判別される(ステップS201)。   First, it is determined whether the image evaluation method is an image quality priority evaluation method or a similarity-based evaluation method (step S200). If it is determined in step S200 that the image evaluation method is an image quality priority evaluation method (step S200; image quality priority), it is determined whether or not exposure condition evaluation is set as an image quality evaluation item (step S200: image quality priority). Step S201).

ステップS201において、評価項目として露出条件評価が設定されていると判別された場合(ステップS201;YES)、記録媒体に記録済みの未評価の画像から評価対象の画像が選択される(ステップS202)。そして、ステップS202で選択された画像について、画像評価方法1による画像評価が行われる。即ち、該当画像の輝度又は濃度のヒストグラム分布の統計量(平均値、分散、標準偏差、歪み度、尖り度等)が算出され(ステップS203)、算出された統計量に基づいて露出条件の評価値が決定される(ステップS204)。   In step S201, when it is determined that the exposure condition evaluation is set as the evaluation item (step S201; YES), an image to be evaluated is selected from unevaluated images already recorded on the recording medium (step S202). . Then, image evaluation by the image evaluation method 1 is performed on the image selected in step S202. That is, statistics (average value, variance, standard deviation, distortion, kurtosis, etc.) of the histogram distribution of luminance or density of the corresponding image are calculated (step S203), and the exposure condition is evaluated based on the calculated statistics. A value is determined (step S204).

次いで、ステップS204で決定された評価値が、該当画像に対応付けて記録媒体に記録される(ステップS205)。次いで、ステップS202〜S205において評価対象であった画像が最後の画像であるか、即ち、未評価の記録済み画像が他にあるか否かが判定される(ステップS206)。   Next, the evaluation value determined in step S204 is recorded on the recording medium in association with the corresponding image (step S205). Next, it is determined whether or not the image that was the object of evaluation in steps S202 to S205 is the last image, that is, whether or not there are other unevaluated recorded images (step S206).

ステップS206において、未評価の記録済み画像が他にあると判定された場合(ステップS206;NO)、ステップS202に戻り、該当する未評価の記録済み画像について、ステップS202〜S205の処理が繰り返される。ステップS206において、未評価の記録済み画像が他にないと判定された場合(ステップS206;YES)、画像評価方法1による画像評価が終了し、ステップS207に移行する。ステップS201において、画質の評価項目として露出条件評価が設定されていないと判別された場合(ステップS201;NO)、画質の評価項目としてコントラスト評価が設定されているか否かが判定される(ステップS207)。   If it is determined in step S206 that there are other unevaluated recorded images (step S206; NO), the process returns to step S202, and the processes in steps S202 to S205 are repeated for the corresponding unevaluated recorded images. . If it is determined in step S206 that there are no other unevaluated recorded images (step S206; YES), the image evaluation by the image evaluation method 1 ends, and the process proceeds to step S207. If it is determined in step S201 that the exposure condition evaluation is not set as the image quality evaluation item (step S201; NO), it is determined whether or not the contrast evaluation is set as the image quality evaluation item (step S207). ).

ステップS207において、画質の評価項目としてコントラスト評価が設定されていると判定された場合(ステップS207;YES)、記録媒体に記録済みの未評価画像(コントラスト評価が行われていない画像)の中から評価対象の画像が選択される(ステップS208)。そして、ステップS208で選択された画像について、画像評価方法2による画像評価が行われる。即ち、該当画像が、DFT、DCT等により周波数変換され(ステップS209)、周波数変換後の画像から、式(9)に示す画質評価値、式(10)に示すボケ評価値等が算出され、該当画像の評価値として決定される(ステップS210)。   If it is determined in step S207 that contrast evaluation is set as the image quality evaluation item (step S207; YES), the image is selected from unevaluated images (images on which contrast evaluation has not been performed) already recorded on the recording medium. An image to be evaluated is selected (step S208). Then, image evaluation by the image evaluation method 2 is performed on the image selected in step S208. That is, the corresponding image is frequency-converted by DFT, DCT, or the like (step S209), and the image quality evaluation value shown in Expression (9), the blur evaluation value shown in Expression (10), and the like are calculated from the image after frequency conversion. It is determined as the evaluation value of the corresponding image (step S210).

次いで、ステップS210で決定された評価値が、該当画像に対応付けて記録媒体に記録される(ステップS211)。次いで、ステップS208〜S211において、コントラスト評価の対象であった画像が最後の画像であるか、即ち、未評価の記録済み画像が他にあるか否かが判定される(ステップS212)。   Next, the evaluation value determined in step S210 is recorded on the recording medium in association with the corresponding image (step S211). Next, in steps S208 to S211, it is determined whether the image that has been the object of contrast evaluation is the last image, that is, whether there are other unevaluated recorded images (step S212).

ステップS212において、未評価の記録済み画像が他にあると判定された場合(ステップS212;NO)、ステップS208に戻り、該当する未評価の記録済み画像について、ステップS208〜S211の処理が繰り返される。ステップS212において、未評価の記録済み画像が他にないと判定された場合(ステップS212;YES)、画像評価方法2による画像評価が終了し、ステップS213に移行する。ステップS207において、画質の評価項目としてコントラスト評価が設定されていないと判別された場合(ステップS207;NO)、画質の評価項目としてボケ・ブレ評価が設定されているか否かが判定される(ステップS213)。   If it is determined in step S212 that there are other unevaluated recorded images (step S212; NO), the process returns to step S208, and the processing of steps S208 to S211 is repeated for the corresponding unevaluated recorded images. . If it is determined in step S212 that there are no other unevaluated recorded images (step S212; YES), the image evaluation by the image evaluation method 2 ends, and the process proceeds to step S213. If it is determined in step S207 that contrast evaluation is not set as an image quality evaluation item (step S207; NO), it is determined whether blur / blur evaluation is set as an image quality evaluation item (step S207). S213).

ステップS213において、画像の評価項目としてボケ・ブレ評価が設定されていると判定された場合(ステップS213;YES)、記録媒体に記録済みの未評価画像(ボケ・ブレ評価が行われていない画像)の中から評価対象の画像が選択される(ステップS214)。そして、ステップS214で選択された画像について、画像評価方法3による画像評価が行われる。即ち、該当画像が、フーリエ変換、DCT等により周波数変換され(ステップS215)、周波数変換後の画像から、直線ブレの方向角度(θ)距離(L)、焦点ボケの広がり半径(r)が算出され、該当画像の評価値として決定される(ステップS216)。   If it is determined in step S213 that blur / blur evaluation is set as an image evaluation item (step S213; YES), an unevaluated image recorded on the recording medium (an image for which blur / blur evaluation has not been performed) ) Is selected from among the images (step S214). Then, image evaluation by the image evaluation method 3 is performed on the image selected in step S214. That is, the corresponding image is frequency-converted by Fourier transform, DCT, or the like (step S215), and the linear blur direction angle (θ) distance (L) and defocus radius (r) are calculated from the frequency-converted image. Then, it is determined as the evaluation value of the corresponding image (step S216).

次いで、ステップS216で決定された評価値が、該当画像に対応付けて記録媒体に記録される(ステップS217)。次いで、ステップS214〜S217において、ボケ・ブレ評価の対象であった画像が最後の画像であるか、即ち、未評価の記録済み画像が他にあるか否かが判定される(ステップS218)。   Next, the evaluation value determined in step S216 is recorded on the recording medium in association with the corresponding image (step S217). Next, in steps S214 to S217, it is determined whether or not the image that has been subjected to the blur / blur evaluation is the last image, that is, whether there are other unevaluated recorded images (step S218).

ステップS218において、未評価の記録済み画像が他にあると判定された場合(ステップS218;NO)、ステップS214に戻り、該当する未評価の記録済み画像について、ステップS214〜S217の処理が繰り返される。ステップS218において、未評価の記録済み画像が他にないと判定された場合(ステップS218;YES)、本画像評価処理が終了する。   If it is determined in step S218 that there are other unevaluated recorded images (step S218; NO), the process returns to step S214, and the processes in steps S214 to S217 are repeated for the corresponding unevaluated recorded images. . If it is determined in step S218 that there are no other unevaluated recorded images (step S218; YES), the image evaluation process ends.

ステップS213において、画像の評価項目としてボケ・ブレ評価が設定されていないと判定された場合(ステップS213;NO)、その他の評価処理が行われ(ステップS219)、本画像評価処理が終了する。   If it is determined in step S213 that the blur / blur evaluation is not set as the image evaluation item (step S213; NO), other evaluation processing is performed (step S219), and the image evaluation processing ends.

ステップS200において、画像の評価方法が類似度に基づく評価方法であると判別された場合(ステップS200;類似度)、記録媒体に記録済みの未評価画像の中から評価対象の画像が選択される(ステップS220)。そして、ステップS220で選択された画像について、画像評価方法4による画像評価が行われる。即ち、他の記録済み画像との類似度として、2次元輝度分布の相関係数R(式(19))、輪郭画像の相関係数R'(式(20))、ヒストグラム分布の相関係数R"(式(21))の何れかが算出され、算出された相関係数が評価値として決定される(ステップS221)。   If it is determined in step S200 that the image evaluation method is an evaluation method based on similarity (step S200; similarity), an image to be evaluated is selected from unevaluated images already recorded on the recording medium. (Step S220). Then, image evaluation by the image evaluation method 4 is performed on the image selected in step S220. That is, as similarities with other recorded images, the correlation coefficient R of the two-dimensional luminance distribution (Expression (19)), the correlation coefficient R ′ of the contour image (Expression (20)), and the correlation coefficient of the histogram distribution One of R ″ (formula (21)) is calculated, and the calculated correlation coefficient is determined as an evaluation value (step S221).

次いで、ステップS221で決定された評価値が、該当画像に対応付けて記録媒体に記録される(ステップS222)。次いで、ステップS220〜S222において、評価対象であった画像が最後の画像であるか、即ち、未評価の記録済み画像が他にあるか否かが判定される(ステップS223)。   Next, the evaluation value determined in step S221 is recorded on the recording medium in association with the corresponding image (step S222). Next, in steps S220 to S222, it is determined whether the image to be evaluated is the last image, that is, whether there are other unevaluated recorded images (step S223).

ステップS223において、未評価の記録済み画像が他にあると判定された場合(ステップS223;NO)、ステップS220に戻り、該当する未評価の記録済み画像について、ステップS220〜S222の処理が繰り返される。ステップS223において、未評価の記録済み画像が他にないと判定された場合(ステップS223;YES)、本画像評価処理が終了する。   If it is determined in step S223 that there are other unevaluated recorded images (step S223; NO), the process returns to step S220, and the processing of steps S220 to S222 is repeated for the corresponding unevaluated recorded images. . If it is determined in step S223 that there are no other unevaluated recorded images (step S223; YES), the image evaluation process ends.

以上のように、本実施形態2のデジタルカメラ1によれば、記録媒体の残り容量が予め設定された容量以下である場合、撮影画像の評価結果に基づいて、記録媒体から削除する画像の候補を決定するようにしたことにより、画質の悪い画像を迅速に削除して、新規撮影用に記録媒体の空き領域を確実に確保することができ、シャッターチャンスを逃すことが少なくなる。   As described above, according to the digital camera 1 of the second embodiment, when the remaining capacity of the recording medium is equal to or less than the preset capacity, the image candidate to be deleted from the recording medium based on the evaluation result of the captured image. Therefore, it is possible to quickly delete an image with poor image quality and to ensure a free area of the recording medium for new shooting, and to reduce the chance of missing a photo opportunity.

また、記録媒体に記録された他の画像との類似度(相関係数)を算出し、類似度の高い画像を記録媒体から優先的に削除するようにしたことにより、類似した画像を迅速に削除して、新規撮影用に記録媒体の空き領域を確実に確保することができ、シャッターチャンスを逃すことが少なくなる。   Also, by calculating the similarity (correlation coefficient) with other images recorded on the recording medium and preferentially deleting images with high similarity from the recording medium, similar images can be quickly retrieved. By deleting it, it is possible to ensure the free area of the recording medium for new shooting, and it is less likely to miss a photo opportunity.

また、評価項目別に画像削除の基準となる基準値を設定し、評価項目別に画質を評価することにより、ユーザの用途や好みに合わせて、記録媒体から削除する画像が決定され、デジタルカメラ1の利便性を向上させることができる。   Further, by setting a reference value as a reference for image deletion for each evaluation item and evaluating the image quality for each evaluation item, an image to be deleted from the recording medium is determined according to the user's usage and preference. Convenience can be improved.

(実施形態3)
図20及び図21を参照して、本発明の実施形態3について説明する。まず、実施形態3における構成について説明する。
(Embodiment 3)
A third embodiment of the present invention will be described with reference to FIGS. First, the configuration in the third embodiment will be described.

図20に、本発明の実施形態3に係る画像処理システム100の全体構成を示す。図20に示すように、画像撮影装置としてのデジタルカメラ1と外部機器3により構成され、デジタルカメラ1と外部機器3は、通信ケーブルにより接続される。外部機器2は、図20に示すように、画像処理装置3、表示装置4、印刷装置5により構成される。   FIG. 20 shows an overall configuration of an image processing system 100 according to Embodiment 3 of the present invention. As shown in FIG. 20, the digital camera 1 as an image photographing apparatus and an external device 3 are configured, and the digital camera 1 and the external device 3 are connected by a communication cable. As illustrated in FIG. 20, the external device 2 includes an image processing device 3, a display device 4, and a printing device 5.

実施形態3におけるデジタルカメラの回路構成は、実施形態1及び2において図1に示したデジタルカメラ1と同一であるため、その図示を省略し、同一符号を用いるものとする。以下、実施形態1と異なる点のみを説明する。   Since the circuit configuration of the digital camera in the third embodiment is the same as that of the digital camera 1 shown in FIG. 1 in the first and second embodiments, the illustration thereof is omitted and the same reference numerals are used. Only differences from the first embodiment will be described below.

実施形態3のデジタルカメラ1の制御部32は、CPU(Central Processing Unit)、CPUで実行される動作プログラムを固定的に記憶したROM(Read Only Memory)及びワークメモリとして使用されるRAM(Random Access Memory)等により構成され、デジタルカメラ1の各部の動作を制御する。以下、実施形態3の制御部32による制御動作について説明する。   The control unit 32 of the digital camera 1 according to the third embodiment includes a CPU (Central Processing Unit), a ROM (Read Only Memory) in which an operation program executed by the CPU is fixedly stored, and a RAM (Random Access) used as a work memory. Memory) and the like, and controls the operation of each part of the digital camera 1. Hereinafter, the control operation by the control unit 32 of the third embodiment will be described.

制御部32は、撮影された画像の画質を評価する画像評価処理を実行し、撮影画像のデータと、その評価値を対応付けて記録媒体に記録する。また、制御部32は、撮影画像を外部機器に送信する場合、当該撮影画像のデータを評価値とともに、外部機器に送信する(図21(a)参照)。実施形態3における画像評価処理は、実施形態1又は実施形態2に示した画像評価処理を適用することができる。   The control unit 32 executes an image evaluation process for evaluating the image quality of the captured image, and records the captured image data and the evaluation value in association with each other on the recording medium. Further, when transmitting the captured image to the external device, the control unit 32 transmits the data of the captured image together with the evaluation value to the external device (see FIG. 21A). For the image evaluation process in the third embodiment, the image evaluation process shown in the first or second embodiment can be applied.

外部機器2の画像処理装置3は、例えば、PC(Personal Computer)であり、デジタルカメラ1から受信された画像データの評価値が設定値より小さいか否かを判定し、設定値より小さいと判定した場合、その評価値に基づいて当該画像データを補正する処理を行う(図21(b)参照)。   The image processing device 3 of the external device 2 is, for example, a PC (Personal Computer), and determines whether or not the evaluation value of the image data received from the digital camera 1 is smaller than the set value, and is determined to be smaller than the set value. In such a case, a process for correcting the image data based on the evaluation value is performed (see FIG. 21B).

例えば、デジタルカメラ1から受信された画像データの評価値が、ブレ方向角度(θ)及びブレの距離(L)に基づく評価値である場合、受信された画像データには、θ方向に周期1/Lでゼロ交差する直線ブレが生じているとみなされ、式(15−2)のP(u、v)は、下記の式(22)のように表される。
P(u、v)=sin(πfL)/πfL (22)
ここで、f=ucosθ+vsinθである。そして、受信された画像データをフーリエ変換したG(u、v)と、式(22)のP(u、v)から、ブレの無い本来の画像のフーリエ変換画像I(u、v)=G(u、v)/P(u、v)を求め、このI(u、v)を式(16)に示すように逆フーリエ変換して本来の画像i(x、y)を求めることにより、デジタルカメラ1から受信された画像データの直線ブレを補正することができる。
For example, when the evaluation value of the image data received from the digital camera 1 is an evaluation value based on the blur direction angle (θ) and the blur distance (L), the received image data has a period 1 in the θ direction. It is considered that a straight line blur that crosses zero at / L has occurred, and P (u, v) in Expression (15-2) is expressed as Expression (22) below.
P (u, v) = sin (πfL) / πfL (22)
Here, f = u cos θ + v sin θ. Then, from G (u, v) obtained by performing Fourier transform on the received image data and P (u, v) in Expression (22), a Fourier transform image I (u, v) = G of the original image without blurring. (U, v) / P (u, v) is obtained, and the original image i (x, y) is obtained by inverse Fourier transforming this I (u, v) as shown in equation (16). It is possible to correct linear blurring of image data received from the digital camera 1.

デジタルカメラ1から受信された画像データの評価値が、焦点の広がり半径(r)に基づく評価値である場合、受信された画像データには、周期1.01π/rで同心円状のゼロ交差をする焦点ボケが生じているとみなされ、式(15−2)のP(u、v)は、下記の式(23)のように表される。
P(u、v)=2・J1(r・R)/r・R (23)
ここで、式(23)のJ1は、1次の第1種ベッセル関数である。そして、上述と同様に、受信された画像データをフーリエ変換したG(u、v)と、式(23)のP(u、v)から、焦点ボケの無い本来の画像のフーリエ変換画像I(u、v)=G(u、v)/P(u、v)を求め、このI(u、v)を式(16)に示すように逆フーリエ変換して本来の画像i(x、y)を求めることにより、デジタルカメラ1から受信された画像データの焦点ボケを補正することができる。
When the evaluation value of the image data received from the digital camera 1 is an evaluation value based on the focal radius (r), the received image data has a concentric zero crossing with a period of 1.01π / r. Therefore, P (u, v) in the equation (15-2) is expressed as the following equation (23).
P (u, v) = 2 · J1 (r · R) / r · R (23)
Here, J1 in Expression (23) is a first-order first-type Bessel function. Then, similarly to the above, from the G (u, v) obtained by Fourier-transforming the received image data and P (u, v) in Expression (23), the original Fourier transformed image I ( u, v) = G (u, v) / P (u, v) is obtained, and the original image i (x, y) is obtained by performing inverse Fourier transform on this I (u, v) as shown in Expression (16). ), It is possible to correct defocusing of image data received from the digital camera 1.

表示装置4は、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)等の表示ディスプレイを備え、画像処理装置3から入力された表示制御信号に従って表示処理を行う。   The display device 4 includes a display such as an LCD (Liquid Crystal Display) and a CRT (Cathode Ray Tube), and performs display processing according to a display control signal input from the image processing device 3.

印刷装置5は、レーザプリンタ、インクジェット式プリンタ、昇華型プリンタ等のプリンタであり、画像処理装置3から入力される印刷制御信号に従って印刷出力を行う。   The printing apparatus 5 is a printer such as a laser printer, an ink jet printer, or a sublimation printer, and performs print output according to a print control signal input from the image processing apparatus 3.

次に、実施形態3における動作について説明する。
図21(a)のフローチャートを参照して、実施形態3のデジタルカメラ1において実行される画像撮影・送信処理について説明する。
Next, the operation in the third embodiment will be described.
With reference to the flowchart of FIG. 21A, image capturing / transmission processing executed in the digital camera 1 of Embodiment 3 will be described.

図4(a)に示すようなメニュー画面において撮影モードが指定されると(ステップS300;YES)、撮影スルー画像が表示部13に表示される(ステップS301)。そして、キー入力部36のシャッターキーの操作により撮影が指示されると(ステップS302;YES)、撮影処理が行われ(ステップS303)、撮影画像データが取得される。ステップS300において、撮影モード以外の他のモードが指定された場合は、そのモードに対応する処理が行われ、後述のステップS306に移行する。また、ステップS302において、撮影が指示されなかった場合も、ステップS306に移行する。   When the shooting mode is designated on the menu screen as shown in FIG. 4A (step S300; YES), a shooting through image is displayed on the display unit 13 (step S301). When photographing is instructed by operating the shutter key of the key input unit 36 (step S302; YES), photographing processing is performed (step S303), and photographed image data is acquired. If a mode other than the shooting mode is designated in step S300, processing corresponding to that mode is performed, and the process proceeds to step S306 described later. In step S302, if shooting is not instructed, the process proceeds to step S306.

撮影処理が終了すると、撮影画像の画像評価処理が行われ(ステップS304)、撮影画像のデータと、その評価値が対応付けて記録媒体に記録される(ステップS305)。ステップS304における画像評価処理は、実施形態1において図2のステップS12に示した画像評価処理又は実施形態2において図16のステップS112に示した画像評価処理を適用することができる。   When the photographing process is completed, an image evaluation process for the photographed image is performed (step S304), and the photographed image data and the evaluation value are associated with each other and recorded on the recording medium (step S305). In the image evaluation process in step S304, the image evaluation process shown in step S12 of FIG. 2 in the first embodiment or the image evaluation process shown in step S112 of FIG. 16 in the second embodiment can be applied.

次いで、キー入力部36の操作により、記録媒体に記録された撮影画像の中から、外部機器2に送信する画像が選択され、送信が指示されると(ステップS306;YES)、通信部39により外部機器2と通信接続され(ステップS307)、外部機器2から、機能の仕様や容量情報が取得される(ステップS308)。   Next, when an image to be transmitted to the external device 2 is selected from the captured images recorded on the recording medium by the operation of the key input unit 36 and transmission is instructed (step S306; YES), the communication unit 39 Communication connection is established with the external device 2 (step S307), and function specifications and capacity information are acquired from the external device 2 (step S308).

次いで、選択された画像データが送信データとして設定され(ステップS309)、当該画像データがその評価値とともに外部機器2に送信される(ステップS310)。ステップS309及びS310の処理は、選択された各々のデータについて行われ、選択された全ての画像データの送信が終了すると(ステップS311;YES)、外部機器2との通信接続が切断される(ステップS312)。そして、撮影以外のその他のキー入力処理、表示処理が行われ(ステップS313)、本画像撮影・送信処理が終了する。   Next, the selected image data is set as transmission data (step S309), and the image data is transmitted to the external device 2 together with the evaluation value (step S310). The processing in steps S309 and S310 is performed for each selected data, and when transmission of all the selected image data is completed (step S311; YES), the communication connection with the external device 2 is disconnected (step S311). S312). Then, other key input processing and display processing other than photographing are performed (step S313), and the main image photographing / transmission processing ends.

次に、図21(b)のフローチャートを参照して、外部機器2において実行される画像補正・出力処理について説明する。   Next, image correction / output processing executed in the external device 2 will be described with reference to the flowchart in FIG.

画像処理装置3がデジタルカメラ1と通信接続されると(ステップT1)、デジタルカメラ1から、機能の仕様や容量情報が取得され(ステップT2)、デジタルカメラ1から受信された画像データの一覧データが取得され(ステップT3)、これらの画像データの内容情報が引き出される(ステップT4)。また、画像データ及びその評価値が取得され(ステップT5)、画像処理装置3のメモリ(図示略)に記録される。   When the image processing apparatus 3 is communicatively connected to the digital camera 1 (step T1), function specifications and capacity information are acquired from the digital camera 1 (step T2), and list data of image data received from the digital camera 1 is obtained. Is acquired (step T3), and the contents information of these image data is extracted (step T4). Further, the image data and its evaluation value are acquired (step T5) and recorded in the memory (not shown) of the image processing device 3.

ステップT3〜T5の処理は、画像データ及びその評価値の受信中に行われ、画像受信が終了すると(ステップT6;YES)、デジタルカメラ1との通信接続が切断される(ステップT7)。   The processes in steps T3 to T5 are performed during the reception of the image data and its evaluation value. When the image reception is completed (step T6; YES), the communication connection with the digital camera 1 is disconnected (step T7).

画像処理装置3のキー入力部(図示略)により、デジタルカメラ1から取得された画像データの再生、編集、印刷の何れかが指示されると(ステップT8;YES)、該当する画像データとともにその評価値が読み出され(ステップT9)、その読み出された評価値が設定値より小さいか否かが判定される(ステップT10)。   When a key input unit (not shown) of the image processing apparatus 3 instructs to reproduce, edit, or print the image data acquired from the digital camera 1 (step T8; YES), the corresponding image data is displayed along with the corresponding image data. The evaluation value is read (step T9), and it is determined whether or not the read evaluation value is smaller than the set value (step T10).

ステップT10において、画像データの評価値が設定値以上であると判定された場合(ステップT10;NO)、その画像データがそのまま、指定された出力先(表示装置4又は印刷装置5)に出力され(再生処理、編集処理、印刷処理の何れか)(ステップT11)、本画像補正・出力処理が終了する。   If it is determined in step T10 that the evaluation value of the image data is greater than or equal to the set value (step T10; NO), the image data is output as it is to the designated output destination (display device 4 or printing device 5). (Any of reproduction processing, editing processing, and printing processing) (step T11), the image correction / output processing ends.

ステップT10において、画像データの評価値が設定値より小さいと判定された場合(ステップT10;YES)、該当する画像データに対し、その評価値に基づいて補正処理が行われる(ステップT12)。ステップT12の補正処理が終了すると、補正済み画像データが、指定された出力先(表示装置4又は印刷装置5)に出力され(再生処理、編集処理、印刷処理の何れか)(ステップT13)、本画像補正・出力処理が終了する。   If it is determined in step T10 that the evaluation value of the image data is smaller than the set value (step T10; YES), correction processing is performed on the corresponding image data based on the evaluation value (step T12). When the correction processing in step T12 is completed, the corrected image data is output to the designated output destination (display device 4 or printing device 5) (reproduction processing, editing processing, or printing processing) (step T13). The main image correction / output process ends.

なお、本実施形態3では、デジタルカメラ1から受信された画像データを画像処理装置3が補正する場合を示したが、例えば、プリンタ5に画像補正機能を搭載させ、デジタルカメラ1とプリンタ5を直接接続(有線接続又は無線接続)させて、デジタルカメラ1から直接、プリンタ5に画像データ及びその評価値を送信し、プリンタ5で画像補正後、印刷処理を行うようにしてもよい。   In the third embodiment, the case where the image processing apparatus 3 corrects the image data received from the digital camera 1 has been described. For example, the printer 5 is provided with an image correction function, and the digital camera 1 and the printer 5 are connected. The image data and its evaluation value may be directly transmitted from the digital camera 1 to the printer 5 by direct connection (wired connection or wireless connection), and after the image correction by the printer 5, the printing process may be performed.

以上のように、本実施形態3の画像処理システム100によれば、デジタルカメラ1に接続された外部機器2において、デジタルカメラ1から送信された撮影画像データ及びその画像の画質評価値に基づいて当該画像を自動的に補正するようにしたことにより、PC操作やレタッチ・ソフトに習熟していない一般ユーザであっても、高度な補正が施された画像を得ることができる。   As described above, according to the image processing system 100 of the third embodiment, the external device 2 connected to the digital camera 1 is based on the captured image data transmitted from the digital camera 1 and the image quality evaluation value of the image. By automatically correcting the image, even a general user who is not familiar with PC operation or retouching software can obtain an image with a high degree of correction.

なお、上記各実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。   In addition, the description content in each said embodiment can be suitably changed in the range which does not deviate from the meaning of this invention.

本発明の画像撮影装置を適用したデジタルカメラの回路構成を示すブロック図。1 is a block diagram showing a circuit configuration of a digital camera to which an image photographing apparatus of the present invention is applied. 実施形態1のデジタルカメラにおいて実行される画像撮影・削除処理を示すフローチャート。3 is a flowchart illustrating image shooting / deleting processing executed in the digital camera according to the first embodiment. 図2における画像削除処理の詳細を示すフローチャート。The flowchart which shows the detail of the image deletion process in FIG. デジタルカメラの表示部における画面表示例を示す図。The figure which shows the example of a screen display in the display part of a digital camera. 画像の輝度ヒストグラム分布から画像を評価する方法の一例を示す図。The figure which shows an example of the method of evaluating an image from the brightness | luminance histogram distribution of an image. 画像の輝度ヒストグラム分布から画像を評価する方法の一例を示す図。The figure which shows an example of the method of evaluating an image from the brightness | luminance histogram distribution of an image. 画像の周波数特性により画像を評価する方法の一例を示す図。The figure which shows an example of the method of evaluating an image with the frequency characteristic of an image. 画像の周波数特性により画像を評価する方法の一例を示す図。The figure which shows an example of the method of evaluating an image with the frequency characteristic of an image. 画像の周波数特性により画像を評価する方法の一例を示す図。The figure which shows an example of the method of evaluating an image with the frequency characteristic of an image. 画像の直線ブレ、焦点ボケの度合いの測定による画像評価方法の一例を示す図。The figure which shows an example of the image evaluation method by the measurement of the linear blurring of an image and the degree of a focus blur. 直線ブレの方向の角度(θ)の算出方法と、直線ブレの距離(L)の算出方法を示す図。The figure which shows the calculation method of the angle ((theta)) of the direction of a linear blurring, and the calculation method of the distance (L) of a linear blurring. 焦点ボケの広がり半径(r)の算出方法を示す図。The figure which shows the calculation method of the expansion radius (r) of a focus blur. ハフ(Hough)変換を説明するための図。The figure for demonstrating Hough conversion. 多階調ハフ変換を説明するための図。The figure for demonstrating multi-gradation Hough conversion. 画像間の類似度により画像を評価する方法の一例を示す図。The figure which shows an example of the method of evaluating an image with the similarity between images. 本発明の実施形態2のデジタルカメラにおいて実行される画像撮影・削除処理を示すフローチャート。9 is a flowchart showing image photographing / deleting processing executed in the digital camera according to the second embodiment of the present invention. 図16における画像削除処理の詳細を示すフローチャート。The flowchart which shows the detail of the image deletion process in FIG. 図17における画像評価処理の詳細を示すフローチャート。The flowchart which shows the detail of the image evaluation process in FIG. デジタルカメラの表示部における画面表示例を示す図。The figure which shows the example of a screen display in the display part of a digital camera. 本発明の実施形態3に係る画像処理システムの全体構成を示す図。The figure which shows the whole structure of the image processing system which concerns on Embodiment 3 of this invention. 実施形態3のデジタルカメラにおいて実行される画像撮影・送信処理を示すフローチャート(a)と、外部機器において実行される画像補正・出力処理を示すフローチャート(b)。9 is a flowchart (a) showing image shooting / transmission processing executed in the digital camera of Embodiment 3, and a flowchart (b) showing image correction / output processing executed in an external device.

符号の説明Explanation of symbols

1 デジタルカメラ(画像撮影装置)
2 外部機器
3 画像処理装置
4 表示装置
5 印刷装置
13 表示部
21 モータ(M)
22 レンズ光学系
23 CCD
24 TG(タイミング発生器)
25 垂直ドライバ
26 S/H(サンプルホールド回路)
27 A/D変換器
28 カラープロセス回路
29 DMAコントローラ
30 DRAMI/F
31 DRAM
32 制御部
33 VRAMコントローラ
34 VRAM
35 デジタルビデオエンコーダ
36 キー入力部
37 JPEG回路
38 フラッシュメモリ
39 通信部
100 画像処理システム
1 Digital camera (image capture device)
2 External device 3 Image processing device 4 Display device 5 Printing device 13 Display unit 21 Motor (M)
22 Lens optical system 23 CCD
24 TG (timing generator)
25 Vertical driver 26 S / H (sample hold circuit)
27 A / D converter 28 Color process circuit 29 DMA controller 30 DRAM I / F
31 DRAM
32 Control unit 33 VRAM controller 34 VRAM
35 Digital Video Encoder 36 Key Input Unit 37 JPEG Circuit 38 Flash Memory 39 Communication Unit 100 Image Processing System

Claims (16)

被写体を撮影して撮影画像を取得する撮像手段と、
前記取得された撮影画像を記録媒体に記録する記録手段と、
前記取得された撮影画像の画質を数値化した第1の評価値を算出する第1の評価手段と、
前記取得された撮影画像と前記記録媒体に記録された他の撮影画像との間で、画素値の分布に基づく相関を計算することにより、前記取得された撮影画像と他の撮影画像との類似度を数値化した第2の評価値を算出する第2の評価手段と、
前記第1の評価値および前記第2の評価値の両方の評価値、または前記第1の評価値および前記第2の評価値のうち所定の条件に基づいて選択された一方の評価値に基づいて、前記記録媒体から削除する撮影画像の候補を決定する決定手段と、
前記決定手段により決定された撮影画像を削除する際に、該撮影画像に対応する評価値を表示して該撮影画像を削除するか否かをユーザーに確認する確認手段と、
を備えることを特徴とする画像撮影装置。
Imaging means for photographing a subject and obtaining a captured image;
Recording means for recording the acquired photographed image on a recording medium;
First evaluation means for calculating a first evaluation value obtained by quantifying the image quality of the acquired captured image;
Similarity between the acquired captured image and the other captured image is calculated by calculating a correlation based on a distribution of pixel values between the acquired captured image and another captured image recorded on the recording medium. A second evaluation means for calculating a second evaluation value obtained by quantifying the degree ;
Based on both evaluation values of the first evaluation value and the second evaluation value, or one evaluation value selected based on a predetermined condition among the first evaluation value and the second evaluation value Determining means for determining a candidate for a photographed image to be deleted from the recording medium;
A confirmation unit that displays an evaluation value corresponding to the captured image and confirms whether to delete the captured image when deleting the captured image determined by the determination unit;
An image photographing apparatus comprising:
前記第1の評価手段は、前記撮影画像の輝度又は濃度のヒストグラム分布、周波数特性、ブレの具合、ボケの具合のうち少なくとも1つの項目を数値化して前記第1の評価値を算出することを特徴とする請求項1に記載の画像撮影装置。   The first evaluation means calculates the first evaluation value by quantifying at least one of the luminance or density histogram distribution, frequency characteristics, blurring condition, and blurring condition of the captured image. The image photographing device according to claim 1, wherein 前記第2の評価手段は、撮影画像毎に、前記記録媒体に記録された他の撮影画像との間で画素値に基づく相関を計算することにより、各撮影画像と他の撮影画像との類似度を数値化した前記第2の評価値とすることを特徴とする請求項1または2に記載の画像撮影装置。 The second evaluation means calculates a correlation between each captured image and another captured image by calculating a correlation based on a pixel value with another captured image recorded on the recording medium for each captured image. The image photographing apparatus according to claim 1 , wherein the second evaluation value obtained by converting the degree into a numerical value is used. 前記第2の評価手段は、各撮影画像に画像処理を施した後に前記画素値に基づく相関を計算することにより類似度を数値化した第2の評価値を算出することを特徴とする請求項3に記載の画像撮影装置。 The second evaluation unit calculates a second evaluation value obtained by quantifying the similarity by calculating a correlation based on the pixel value after performing image processing on each captured image. 3. The image photographing device according to 3. 前記記録手段は、前記撮像手段により取得された撮影画像を記録媒体に記録する際に、前記第1の評価手段により前記第1の評価値を算出し、この算出された評価値を前記撮影画像に対応付けて記録することを特徴とする請求項1に記載の画像撮影装置。   The recording unit calculates the first evaluation value by the first evaluation unit when recording the captured image acquired by the imaging unit on a recording medium, and uses the calculated evaluation value as the captured image. The image photographing device according to claim 1, wherein the image photographing device is recorded in association with each other. 前記記録手段は、前記撮像手段により取得された撮影画像を記録媒体に記録する際には、前記第1の評価値を撮影画像に対応付けずに記録し、
前記決定手段により削除する撮影画像の候補を決定する際に、前記第1の評価手段により前記第1の評価値を算出することを特徴とする請求項1に記載の画像撮影装置。
The recording unit records the first evaluation value without associating with the captured image when recording the captured image acquired by the imaging unit on a recording medium;
The image photographing apparatus according to claim 1, wherein the first evaluation value is calculated by the first evaluation unit when the candidate of the photographed image to be deleted is determined by the determination unit.
前記決定手段により削除する撮影画像の候補を決定する際に、前記記録媒体に既に記録されている撮影画像に前記第1の評価値が対応付けて記録されているか否かを判断し、前記第1の評価値が対応付けて記録されていなかった場合には、新たに前記第1の評価手段により前記第1の評価値を算出することを特徴とする請求項6に記載の画像撮影装置。 When determining the photographed image candidate to be deleted by the determining means, it is determined whether or not the first evaluation value is recorded in association with the photographed image already recorded on the recording medium. The image photographing apparatus according to claim 6 , wherein when the first evaluation value is not recorded in association with the first evaluation value, the first evaluation value is newly calculated by the first evaluation unit. 前記確認手段は、前記撮影画像に対応する評価値を、5点法、10点法、または百分率に変換して表示することを特徴とする請求項1に記載の画像撮影装置。 The image capturing apparatus according to claim 1 , wherein the confirmation unit converts an evaluation value corresponding to the captured image into a five-point method, a ten-point method, or a percentage and displays the evaluation value. 前記記録媒体の残り容量が予め設定された容量以下であるか否かを判定する判定手段を更に備え、
前記決定手段は、前記判定手段により、前記記録媒体の残り容量が予め設定され容量以下であると判定された場合、前記第1の評価手段または前記第2の評価手段により算出される前記第1の評価値または前記第2の評価値に基づいて、前記記録媒体から削除する画像の候補を決定することを特徴とする請求項1乃至8に記載の画像撮影装置。
Determination means for determining whether or not the remaining capacity of the recording medium is equal to or less than a preset capacity;
The determination means calculates the first evaluation means calculated by the first evaluation means or the second evaluation means when the determination means determines that the remaining capacity of the recording medium is preset and less than the capacity. 9. The image photographing apparatus according to claim 1 , wherein a candidate for an image to be deleted from the recording medium is determined based on the evaluation value or the second evaluation value.
画像削除の基準となる基準値を設定する基準値設定手段を備え、
前記決定手段は、前記第1の評価手段により算出される前記第1の評価値と前記基準値設定手段により設定された基準値とを比較することにより前記記録媒体から削除する画像の候補を決定することを特徴とする請求項1乃至9に記載の画像撮影装置。
Provided with a reference value setting means for setting a reference value as a reference for image deletion,
The determination unit determines a candidate image to be deleted from the recording medium by comparing the first evaluation value calculated by the first evaluation unit and a reference value set by the reference value setting unit. The image photographing device according to claim 1, wherein
前記第1の評価手段により評価値を算出することが可能な複数の評価項目の中から、前記決定手段により削除する撮影画像の候補を決定する際に用いる評価項目を任意に設定する評価項目設定手段を備え、
前記前記決定手段は、前記評価項目設定手段により設定された評価項目に対応して算出された評価値を用いて、削除する撮影画像の候補を決定することを特徴とする請求項1乃至10に記載の画像撮影装置。
Evaluation item setting for arbitrarily setting an evaluation item to be used when determining a candidate of a photographed image to be deleted by the determination unit from among a plurality of evaluation items whose evaluation value can be calculated by the first evaluation unit With means,
Wherein said determining means uses the evaluation values calculated in correspondence to the set evaluation item by the evaluation item setting means in claim 1 to 10, wherein determining the candidate of the captured image to be deleted The image photographing device described.
前記基準値設定手段は、前記第1の評価手段により評価値を算出することが可能な複数の評価項目の各々に対して画像削除の基準となる基準値を設定し、
前記決定手段は、前記各評価項目毎に、前記第1の評価手段により算出される前記第1の評価値と前記基準値設定手段により設定された基準値とを比較することにより前記記録媒体から削除する画像の候補を決定することを特徴とする請求項10に記載の画像撮影装置。
The reference value setting means sets a reference value as a reference for image deletion for each of a plurality of evaluation items whose evaluation values can be calculated by the first evaluation means,
The determination unit compares the first evaluation value calculated by the first evaluation unit with the reference value set by the reference value setting unit for each evaluation item, thereby comparing the first evaluation value from the recording medium. The image photographing apparatus according to claim 10 , wherein candidates for images to be deleted are determined.
前記第2の評価手段は、
前記記録手段に記録されている各撮影画像の輝度または濃度の分布を算出する分布算出手段と、
前記分布算出手段により複数の撮影画像から算出された輝度または濃度の分布の間の相関である相関係数を前記第2の評価値として算出する相関算出手段とを備え、
前記決定手段は、前記相関算出手段により算出された相関係数に基づいて、前記記録媒体に記憶されている複数の撮影画像の中から削除または補正の対象となる撮影画像を決定することを特徴とする請求項1に記載の画像撮影装置。
The second evaluation means includes
A distribution calculating means for calculating a luminance or density distribution of each photographed image recorded in the recording means;
Correlation calculating means for calculating a correlation coefficient that is a correlation between luminance or density distributions calculated from a plurality of photographed images by the distribution calculating means as the second evaluation value;
The determining means determines a captured image to be deleted or corrected from a plurality of captured images stored in the recording medium based on the correlation coefficient calculated by the correlation calculating means. The image photographing device according to claim 1.
前記分布算出手段は、各撮影画像の輝度または濃度の2次元分布を算出することを特徴とする請求項13に記載の画像撮影装置。 The image capturing apparatus according to claim 13 , wherein the distribution calculating unit calculates a two-dimensional distribution of luminance or density of each captured image. 前記分布算出手段は、各撮影画像の輝度または濃度のヒストグラム分布を算出することを特徴とする請求項13に記載の画像撮影装置。 The image capturing apparatus according to claim 13 , wherein the distribution calculating unit calculates a histogram distribution of luminance or density of each captured image. 前記第2の評価手段は、
前記記録手段に記録されている各撮影画像の輪郭を抽出する輪郭抽出手段と、
前記輪郭抽出により複数の撮影画像から抽出された輪郭の間の相関である相関係数を前記第2の評価値として算出する相関算出手段とを備え、
前記決定手段は、前記相関算出手段により算出された相関係数に基づいて、前記記録媒体に記憶されている複数の撮影画像の中から削除または補正の対象となる撮影画像を決定することを特徴とする請求項1に記載の画像撮影装置。
The second evaluation means includes
Contour extracting means for extracting the contour of each photographed image recorded in the recording means;
Correlation calculating means for calculating a correlation coefficient, which is a correlation between contours extracted from a plurality of captured images by the contour extraction, as the second evaluation value;
The determining means determines a captured image to be deleted or corrected from a plurality of captured images stored in the recording medium based on the correlation coefficient calculated by the correlation calculating means. The image photographing device according to claim 1.
JP2004232342A 2004-08-09 2004-08-09 Imaging device Expired - Fee Related JP4931101B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004232342A JP4931101B2 (en) 2004-08-09 2004-08-09 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004232342A JP4931101B2 (en) 2004-08-09 2004-08-09 Imaging device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009197989A Division JP2010035177A (en) 2009-08-28 2009-08-28 Image photographing apparatus and image processing system

Publications (2)

Publication Number Publication Date
JP2006050497A JP2006050497A (en) 2006-02-16
JP4931101B2 true JP4931101B2 (en) 2012-05-16

Family

ID=36028494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004232342A Expired - Fee Related JP4931101B2 (en) 2004-08-09 2004-08-09 Imaging device

Country Status (1)

Country Link
JP (1) JP4931101B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105391940A (en) * 2015-11-05 2016-03-09 华为技术有限公司 Image recommendation method and apparatus

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4506966B2 (en) * 2004-12-17 2010-07-21 富士フイルム株式会社 Composite photo creation device, composite photo creation method, composite photo creation program, and composite photo creation system
JP2006221347A (en) * 2005-02-09 2006-08-24 Tokyo Institute Of Technology Blurring information detection method
JP2007251338A (en) * 2006-03-14 2007-09-27 Casio Comput Co Ltd Image pickup device, recording method therefor, and recording program therefor
JP4793049B2 (en) * 2006-03-27 2011-10-12 カシオ計算機株式会社 Imaging device, captured image display method, captured image display program, captured image deletion method, and captured image deletion program
JP2007267227A (en) * 2006-03-29 2007-10-11 Sony Corp Image analyzing device, image analyzing method, image analyzing program and image capturing device
JP2007295181A (en) * 2006-04-24 2007-11-08 Casio Comput Co Ltd Imaging device, image recording device, and its program
US7920758B2 (en) * 2006-11-22 2011-04-05 Tektronix, Inc. Measurement apparatus and method of measurement of video spatial scale, offset and cropping
KR101336234B1 (en) 2007-01-12 2013-12-03 삼성전자주식회사 Method for improving image quality of digital camera
JP2008206006A (en) * 2007-02-22 2008-09-04 Matsushita Electric Ind Co Ltd Encrypted stream reproducing system, apparatus, program, and medium
JP4919862B2 (en) * 2007-03-30 2012-04-18 株式会社トーメーコーポレーション Corneal endothelium imaging device
JP2008278347A (en) * 2007-05-02 2008-11-13 Nikon System:Kk Image display system
JP2008278344A (en) * 2007-05-02 2008-11-13 Nikon System:Kk Image output system
JP5304002B2 (en) * 2008-04-11 2013-10-02 株式会社ニコン Imaging apparatus, image selection method, and program
US20100079602A1 (en) * 2008-09-26 2010-04-01 Silverbrook Research Pty Ltd. Method and apparatus for alignment of an optical assembly with an image sensor
US20100086277A1 (en) * 2008-10-03 2010-04-08 Guideworks, Llc Systems and methods for deleting viewed portions of recorded programs
JP5540762B2 (en) * 2010-01-28 2014-07-02 パナソニック株式会社 Imaging device, image display device, and image display program
US8774561B2 (en) 2010-09-01 2014-07-08 Apple Inc. Consolidating information relating to duplicate images
JP5170280B2 (en) * 2011-04-22 2013-03-27 カシオ計算機株式会社 Imaging apparatus and program
JP6230335B2 (en) * 2013-08-29 2017-11-15 株式会社Nttドコモ Information processing apparatus and information processing method
JP2016052081A (en) * 2014-09-02 2016-04-11 カシオ計算機株式会社 Imaging apparatus, and method and program for storing image
JP6589900B2 (en) * 2017-01-27 2019-10-16 京セラドキュメントソリューションズ株式会社 Video processing device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105391940A (en) * 2015-11-05 2016-03-09 华为技术有限公司 Image recommendation method and apparatus
CN105391940B (en) * 2015-11-05 2019-05-28 华为技术有限公司 A kind of image recommendation method and device

Also Published As

Publication number Publication date
JP2006050497A (en) 2006-02-16

Similar Documents

Publication Publication Date Title
JP4931101B2 (en) Imaging device
JP4415188B2 (en) Image shooting device
TWI268096B (en) Image processing apparatus for correcting distortion of image, image shooting apparatus for correcting distortion of shot image and recordable medium
US8947523B2 (en) Image processing apparatus and associated methodology for blurring digital images
JP4186699B2 (en) Imaging apparatus and image processing apparatus
US7327890B2 (en) Imaging method and system for determining an area of importance in an archival image
EP1474779B1 (en) Assessing the photo quality of a captured image in a digital still camera
US20110221920A1 (en) Digital photographing apparatus, method of controlling the same, and computer readable storage medium
US20060062487A1 (en) Panorama synthesis processing of a plurality of image data
WO2007049634A1 (en) Imaging device, image processing device, and program
JP2006190259A (en) Shake determining device, image processor, control method and program of the same
JP2009212853A (en) White balance controller, its control method, and imaging apparatus
JP2007074578A (en) Image processor, photography instrument, and program
JP4624947B2 (en) Image trimming method, apparatus and program
WO2007077730A1 (en) Imaging system and image processing program
JP6755787B2 (en) Image processing equipment, image processing methods and programs
US20080018754A1 (en) Method for image data print control, electronic camera and camera system
JP2010035177A (en) Image photographing apparatus and image processing system
JP2007184888A (en) Imaging apparatus, image processor, image processing method, and image processing program
JP4493416B2 (en) Image processing method, apparatus, and program
JP2006049949A (en) Image processing apparatus, image processing method and program thereof
JP2014123881A (en) Information processing device, information processing method, and computer program
JP2022083913A (en) Image processing device, image processing method, and program
JP2003219246A (en) Electronic camera and electronic camera system
JP2009118434A (en) Blurring correction device and imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091222

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100112

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100219

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120210

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees