JP4931101B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP4931101B2 JP4931101B2 JP2004232342A JP2004232342A JP4931101B2 JP 4931101 B2 JP4931101 B2 JP 4931101B2 JP 2004232342 A JP2004232342 A JP 2004232342A JP 2004232342 A JP2004232342 A JP 2004232342A JP 4931101 B2 JP4931101 B2 JP 4931101B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation
- evaluation value
- value
- recording medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Facsimiles In General (AREA)
- Storing Facsimile Image Data (AREA)
- Studio Devices (AREA)
Description
本発明は、画像撮像装置に関する。 The present invention relates to an image capturing equipment.
静止画像や動画像を撮像し、メモリーカード等の記録媒体に記録するデジタルカメラでは、フィルム代や現像代などを気にすることなく撮影画像を記録することができる。最近では、記録媒体の価格が下がり、記録容量が大幅に増え、多数の画像が記録可能になっている(例えば、特許文献1参照。)。記録媒体の容量が一杯になった場合は、記録媒体に記録された画像データをPC(Personal Computer)等に転送してから記録媒体を空にするか、記録済みの画像の中から、ユーザが画像の良し悪しを判断して不要な画像を消去するなどして、記録媒体の空き領域が確保されている。 With a digital camera that captures still images and moving images and records them on a recording medium such as a memory card, it is possible to record captured images without worrying about film costs or development costs. Recently, the price of recording media has decreased, the recording capacity has increased significantly, and a large number of images can be recorded (see, for example, Patent Document 1). When the capacity of the recording medium is full, the image data recorded on the recording medium is transferred to a PC (Personal Computer) or the like, and then the recording medium is emptied, or the user can select from recorded images. An empty area of the recording medium is secured by determining whether the image is good or bad and deleting unnecessary images.
また、最近では、カメラ内で撮影画像の補正や画質の調整などを行わず、CCD(Charge Coupled Device)等により撮像された画像信号をそのまま出力できるRAW記録モード機能を搭載したデジタルカメラが普及している。RAWデータ(生データ)は、本来の画像情報を多く含んでいるため、PC(Personal Computer)やレタッチ・ソフトにより、好みの画質補正や二次加工を施すことができ、プロのカメラマン用や業務用に便利である。
しかしながら、従来、デジタルカメラの記録媒体に記録された画像の中から不要な画像を消去する場合、ユーザが記録済み画像の画質等を目視で評価し、その評価結果に基づいて不要な画像を決めて削除していたため、画像の評価及び削除操作をしていると、シャッターチャンスを逃す恐れがあった。また、RAWデータを用いた画質補正には、熟練したPC操作や画像修正技術を必要としているため、一般ユーザが、RAWデータから画質を評価して、満足な画像を得るのは困難であるとい問題があった。 However, conventionally, when erasing an unnecessary image from images recorded on a recording medium of a digital camera, a user visually evaluates the image quality of the recorded image and determines an unnecessary image based on the evaluation result. Therefore, there was a risk of missing a photo opportunity when performing image evaluation and deletion operations. Further, since image quality correction using RAW data requires skilled PC operations and image correction techniques, it is difficult for a general user to obtain a satisfactory image by evaluating image quality from RAW data. There was a problem.
本発明の課題は、デジタルカメラ等の画像撮影装置において撮影画像を自動的に評価することである。 An object of the present invention is to automatically evaluate a captured image in an image capturing apparatus such as a digital camera.
上記課題を解決するため、請求項1に記載の発明は、被写体を撮影して撮影画像を取得する撮像手段と、前記取得された撮影画像を記録媒体に記録する記録手段と、前記取得された撮影画像の画質を数値化した第1の評価値を算出する第1の評価手段と、前記取得された撮影画像と前記記録媒体に記録された他の撮影画像との間で、画素値の分布に基づく相関を計算することにより、前記取得された撮影画像と他の撮影画像との類似度を数値化した第2の評価値を算出する第2の評価手段と、前記第1の評価値および前記第2の評価値の両方の評価値、または前記第1の評価値および前記第2の評価値のうち所定の条件に基づいて選択された一方の評価値に基づいて、前記記録媒体から削除する撮影画像の候補を決定する決定手段と、前記決定手段により決定された撮影画像を削除する際に、該撮影画像に対応する評価値を表示して該撮影画像を削除するか否かをユーザーに確認する確認手段と、を備えることを特徴とする。
In order to solve the above-described problem, the invention described in
請求項2に記載の発明は、前記第1の評価手段は、前記撮影画像の輝度又は濃度のヒストグラム分布、周波数特性、ブレの具合、ボケの具合のうち少なくとも1つの項目を数値化して前記第1の評価値を算出することを特徴とする。 According to a second aspect of the present invention, the first evaluation means digitizes at least one of the histogram distribution of the luminance or density of the captured image, the frequency characteristics, the degree of blurring, and the degree of blurring. An evaluation value of 1 is calculated .
請求項3に記載の発明は、前記第2の評価手段は、撮影画像毎に、前記記録媒体に記録された他の撮影画像との間で画素値に基づく相関を計算することにより、各撮影画像と他の撮影画像との類似度を数値化した前記第2の評価値とすることを特徴とする。 According to a third aspect of the present invention, the second evaluation unit calculates, for each captured image, each image capturing by calculating a correlation based on a pixel value with another captured image recorded on the recording medium. It is characterized in that the second evaluation value obtained by quantifying the similarity between an image and another captured image is used .
請求項4に記載の発明は、前記第2の評価手段は、各撮影画像に画像処理を施した後に前記画素値に基づく相関を計算することにより類似度を数値化した第2の評価値を算出することを特徴とする。 According to a fourth aspect of the present invention, the second evaluation means calculates a second evaluation value obtained by quantifying the similarity by calculating a correlation based on the pixel value after performing image processing on each captured image. It is characterized by calculating.
請求項5に記載の発明は、前記記録手段は、前記撮像手段により取得された撮影画像を記録媒体に記録する際に、前記第1の評価手段により前記第1の評価値を算出し、この算出された評価値を前記撮影画像に対応付けて記録することを特徴とする。
請求項6に記載の発明は、前記記録手段は、前記撮像手段により取得された撮影画像を記録媒体に記録する際には、前記第1の評価値を撮影画像に対応付けずに記録し、前記決定手段により削除する撮影画像の候補を決定する際に、前記第1の評価手段により前記第1の評価値を算出することを特徴とする。
請求項7に記載の発明は、前記決定手段により削除する撮影画像の候補を決定する際に、前記記録媒体に既に記録されている撮影画像に前記第1の評価値が対応付けて記録されているか否かを判断し、前記第1の評価値が対応付けて記録されていなかった場合には、新たに前記第1の評価手段により前記第1の評価値を算出することを特徴とする。
請求項8に記載の発明は、前記確認手段は、前記撮影画像に対応する評価値を、5点法、10点法、または百分率に変換して表示することを特徴とする。
請求項9に記載の発明は、前記記録媒体の残り容量が予め設定された容量以下であるか否かを判定する判定手段を更に備え、前記決定手段は、前記判定手段により、前記記録媒体の残り容量が予め設定され容量以下であると判定された場合、前記第1の評価手段または前記第2の評価手段により算出される前記第1の評価値または前記第2の評価値に基づいて、前記記録媒体から削除する画像の候補を決定することを特徴とする。
請求項10に記載の発明は、画像削除の基準となる基準値を設定する基準値設定手段を備え、
前記決定手段は、前記第1の評価手段により算出される前記第1の評価値と前記基準値設定手段により設定された基準値とを比較することにより前記記録媒体から削除する画像の候補を決定することを特徴とする。
請求項11に記載の発明は、前記第1の評価手段により評価値を算出することが可能な複数の評価項目の中から、前記決定手段により削除する撮影画像の候補を決定する際に用いる評価項目を任意に設定する評価項目設定手段を備え、
前記前記決定手段は、前記評価項目設定手段により設定された評価項目に対応して算出された評価値を用いて、削除する撮影画像の候補を決定することを特徴とする。
請求項12に記載の発明は、前記基準値設定手段は、前記第1の評価手段により評価値を算出することが可能な複数の評価項目の各々に対して画像削除の基準となる基準値を設定し、前記決定手段は、前記各評価項目毎に、前記第1の評価手段により算出される前記第1の評価値と前記基準値設定手段により設定された基準値とを比較することにより前記記録媒体から削除する画像の候補を決定することを特徴とする。
According to a fifth aspect of the present invention, the recording unit calculates the first evaluation value by the first evaluation unit when recording the captured image acquired by the imaging unit on a recording medium. The calculated evaluation value is recorded in association with the captured image.
According to a sixth aspect of the present invention, the recording means records the first evaluation value without associating with the photographed image when recording the photographed image acquired by the imaging means on a recording medium. The first evaluation value is calculated by the first evaluation means when the candidate of the photographed image to be deleted is determined by the determination means.
According to a seventh aspect of the present invention, when determining a candidate of a photographed image to be deleted by the determining unit, the first evaluation value is recorded in association with a photographed image already recorded on the recording medium. In the case where the first evaluation value is not recorded in association with the first evaluation value, the first evaluation value is newly calculated by the first evaluation means.
The invention according to claim 8 is characterized in that the confirmation means converts an evaluation value corresponding to the photographed image into a five-point method, a ten-point method, or a percentage and displays it.
The invention according to
The invention according to claim 10 includes a reference value setting means for setting a reference value as a reference for image deletion,
The determination unit determines a candidate image to be deleted from the recording medium by comparing the first evaluation value calculated by the first evaluation unit and a reference value set by the reference value setting unit. It is characterized by doing.
The invention described in claim 11 is an evaluation used when determining a candidate of a photographed image to be deleted by the determination unit from a plurality of evaluation items whose evaluation value can be calculated by the first evaluation unit. Equipped with evaluation item setting means for arbitrarily setting items,
The determination unit determines a candidate of a captured image to be deleted using an evaluation value calculated corresponding to the evaluation item set by the evaluation item setting unit.
According to a twelfth aspect of the present invention, the reference value setting unit sets a reference value that serves as a reference for image deletion for each of a plurality of evaluation items whose evaluation value can be calculated by the first evaluation unit. The determination means is configured to compare the first evaluation value calculated by the first evaluation means with the reference value set by the reference value setting means for each evaluation item. An image candidate to be deleted from the recording medium is determined .
請求項13に記載の発明は、前記第2の評価手段は、前記記録手段に記録されている各撮影画像の輝度または濃度の分布を算出する分布算出手段と、前記分布算出手段により複数の撮影画像から算出された輝度または濃度の分布の間の相関である相関係数を前記第2の評価値として算出する相関算出手段とを備え、前記決定手段は、前記相関算出手段により算出された相関係数に基づいて、前記記録媒体に記憶されている複数の撮影画像の中から削除または補正の対象となる撮影画像を決定することを特徴とする。
請求項14に記載の発明は、前記分布算出手段は、各撮影画像の輝度または濃度の2次元分布を算出することを特徴とする。
請求項15に記載の発明は、前記分布算出手段は、各撮影画像の輝度または濃度のヒストグラム分布を算出することを特徴とする。
請求項16に記載の発明は、前記第2の評価手段は、前記記録手段に記録されている各撮影画像の輪郭を抽出する輪郭抽出手段と、前記輪郭抽出により複数の撮影画像から抽出された輪郭の間の相関である相関係数を前記第2の評価値として算出する相関算出手段とを備え、前記決定手段は、前記相関算出手段により算出された相関係数に基づいて、前記記録媒体に記憶されている複数の撮影画像の中から削除または補正の対象となる撮影画像を決定することを特徴とする。
The invention according to
The invention according to claim 14 is characterized in that the distribution calculating means calculates a two-dimensional distribution of luminance or density of each photographed image.
The invention according to claim 15 is characterized in that the distribution calculating means calculates a histogram distribution of luminance or density of each captured image.
In the invention described in claim 16 , the second evaluation means is extracted from a plurality of photographed images by the contour extraction means for extracting the contour of each photographed image recorded in the recording means, and the contour extraction. Correlation calculating means for calculating a correlation coefficient, which is a correlation between contours, as the second evaluation value, and the determining means is based on the correlation coefficient calculated by the correlation calculating means. A photographed image to be deleted or corrected is determined from a plurality of photographed images stored in the memory.
本発明の画像撮影装置によれば、撮影画像の画質を数値化した第1の評価値だけでなく、撮影画像の画質とは異なる項目を数値化した第2の評価値を算出し、これら両方の評価値、または所定の条件に基づいて選択された一方の評価値に基づいて、記録媒体から削除する画像の候補を決定するようにしたことにより、ただ単に画質の悪い画像から順に削除していくだけでなく、画質以外の項目をも加味して削除する順番を決定したり、状況に応じて画質とそれ以外の項目のどちらかを選択して削除する順番を決定することができる。 According to the image photographing apparatus of the present invention , not only the first evaluation value in which the image quality of the photographed image is quantified but also the second evaluation value in which items different from the image quality of the photographed image are quantified are calculated. The image candidate to be deleted from the recording medium is determined on the basis of the evaluation value of the image or one of the evaluation values selected based on a predetermined condition. In addition, the order of deletion can be determined by taking into account items other than image quality, or the order of deletion can be determined by selecting either the image quality or other items depending on the situation.
以下、図面を参照して、本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(実施形態1)
図1〜図15を参照して、本発明の実施形態1について説明する。まず、実施形態1における構成について説明する。
(Embodiment 1)
A first embodiment of the present invention will be described with reference to FIGS. First, the configuration in the first embodiment will be described.
図1に、本発明の画像撮影装置を適用した実施形態1に係るデジタルカメラ1の回路構成を示す。デジタルカメラ1は、図1に示すように、モータ(M)21、レンズ光学系22、CCD23、TG(タイミング発生器)24、垂直ドライバ25、S/H(サンプルホールド回路)26、A/D変換器27、カラープロセス回路28、DMA(Direct Memory Access)コントローラ29、DRAM(Dynamic RAM) I/F(DRAMインターフェース)30、DRAM31、制御部32、VRAM(Video RAM)コントローラ33、VRAM34、デジタルビデオエンコーダ35、キー入力部36、JPEG(Joint Photograph coding Experts Group)回路37、フラッシュメモリ38、通信部39、表示部13により構成される。
FIG. 1 shows a circuit configuration of a
モータ(M)21は、制御部32から入力される制御信号に従って駆動し、レンズ光学系22の絞り位置を移動させる。
The motor (M) 21 is driven according to a control signal input from the
CCD23は、撮像素子が平面状(2次元)に配列された構造を有し、光入力を電気信号に変換して蓄積する光電変換部、蓄積された電荷を読み出す走査部、電気信号として出力する出力部により構成され、撮影モードでのモニタリング状態において、タイミング発生器(TG)24、垂直ドライバ25によって駆動される。
The
CCD23の出力部から出力された電気信号は、アナログ値の信号の状態でRGBの各原色成分毎に適宜ゲイン調整され、S/H(サンプルホールド回路)26は、このゲイン調整された信号をサンプルホールドする。A/D変換器27は、S/H(サンプルホールド回路)26から出力されたアナログ信号をデジタル信号に変換し、カラープロセス回路28に出力する。
The electrical signal output from the output unit of the
カラープロセス回路28は、A/D変換器27から出力されたデジタル信号に対して画素補間処理及びγ補正処理を含むカラープロセス処理を施し、デジタル値の輝度信号Y及び色差信号Cb、Crを生成し、DMAコントローラ29に出力する。
The
DMAコントローラ29は、カラープロセス回路28から出力された輝度信号Y及び色差信号Cb、Crを、同じくカラープロセス回路28から出力された複合同期信号、メモリ書込みイネーブル信号及びクロック信号を用いて一度DMAコントローラ29内部のバッファに書込み、DRAM I/F30を介してバッファメモリとして使用されるDRAM31にDMA転送を行う。
The
制御部32は、CPU(Central Processing Unit)、CPUで実行される動作プログラムを固定的に記憶したROM(Read Only Memory)及びワークメモリとして使用されるRAM(Random Access Memory)等により構成され、デジタルカメラ1の各部の動作を制御する。以下、制御部32による制御動作について説明する。
The
制御部32は、撮影された画像の画質を評価する画像評価処理を実行する。また、制御部32は、撮影モードが指定されると、フラッシュメモリ38(記録媒体)の残り容量が予め設定された容量以下であるか否かを判定し、記録媒体の残り容量が予め設定され容量以下であると判定された場合、画像評価処理による撮影画像の評価結果に基づいて、記録媒体から削除する画像の候補を決定する。そして、制御部32は、削除画像の候補の中から、キー入力部36の操作により指定された画像を記録媒体から削除する処理を行う。以下の、実施形態1及び実施形態2において、記録媒体に記録済みのデータを消去する場合だけでなく、記録済みのデータに新しいデータを上書きする場合も、記録済みのデータが「削除」されたものとみなすことにする。
The
画像評価の方法としては、撮影画像の輝度又は濃度のヒストグラム分布から評価する方法と(画像評価方法1:図5及び図6参照)、撮影画像の周波数特性に基づいて評価する方法と(画像評価方法2:図7〜図9参照)、撮影画像のブレ又は焦点ボケの度合いに基づいて評価する方法(画像評価方法3:図10〜図14)等がある。本実施形態1の画像評価処理では、これら複数の画像評価方法の全てが適用される場合を示すが、これら画像評価方法1〜3のうちの何れか一つ又は2つ以上を組み合わせた画像評価方法であってもよい。
As an image evaluation method, a method of evaluating from a luminance or density histogram distribution of a captured image (image evaluation method 1: see FIGS. 5 and 6), a method of evaluating based on a frequency characteristic of a captured image (image evaluation) Method 2: Refer to FIGS. 7 to 9), a method of evaluating based on the degree of blurring or defocusing of a captured image (image evaluation method 3: FIGS. 10 to 14), and the like. In the image evaluation process of the first embodiment, a case where all of the plurality of image evaluation methods are applied is shown, but image evaluation combining any one or two or more of these
また、上述では、画像の画質の評価結果に基づいて、記録媒体から削除する画像の候補を決定する場合を示したが、記録媒体に記録された各撮影画像毎に、他の撮影画像との類似度を算出し、類似度の算出結果に基づいて、記録媒体から削除する画像の候補を決定するようにしてもよい。類似度に基づく画像評価方法(画像評価方法4)は、後に図15を参照して説明する。 Further, in the above description, the case where the candidate of the image to be deleted from the recording medium is determined based on the evaluation result of the image quality of the image is shown. However, for each captured image recorded on the recording medium, the other captured image The similarity may be calculated, and an image candidate to be deleted from the recording medium may be determined based on the calculation result of the similarity. The image evaluation method based on the similarity (image evaluation method 4) will be described later with reference to FIG.
VRAMコントローラ33は、制御部32の制御により、DRAM31に一時記憶されている画像データ(輝度信号Y及び色差信号Cb、Cr)を、DRAM31からDRAM I/F30を介して読出し、VRAM34に書込む。また、再生モード時、制御部32により伸長された画像データをVRAM34に展開して記憶させる。
The
デジタルビデオエンコーダ35は、VRAM34に記憶されている画像データを、VRAM34からVRAMコントローラ33を介して定期的に読出し、これらのデータを元にビデオ信号を生成して表示部13に出力する。
The
キー入力部36は、電源キー、シャッターキー、モードスイッチ、メニューキー及び十字キー等の各種キーにより構成され、それらのキー操作に応じた信号を制御部32に出力する。キー入力部36のシャッターキーは、2段階のストロークで動作し、一般的に「半押し」と表現されている第1段階の操作状態でAE(自動露光)処理やAF(オートフォーカス)処理を始めとする撮影の準備を行い、一般的に「全押し」と表現されている、より強く押圧操作した第2段階の操作状態で撮影を実行する。
The
JPEG回路37は、CCD23から取り込まれ、DRAM31に一時的に記憶されている画像信号を、ADCT(Adaptive Discrete Cosine Transform:適応離散コサイン変換)、エントロピー符号化方式であるハフマン符号化などの処理によりデータ圧縮する。
The
フラッシュメモリ38は、デジタルカメラ1の記録媒体として着脱自在に装着されるメモリーカード内に封入された不揮発性メモリであり、JEPG回路37により符号化された画像信号が記録される。なお、フラッシュメモリ38は、デジタルカメラ1に内蔵されていてもよい。
The
通信部39は、外部機器とケーブルを介したデータ通信を行うためのインターフェースを備える。例えば、通信部39は、IEEE1394やUSB(Universal Serial Bus)等により通信を行うためのインターフェースを備える。なお、外部機器と無線通信手段により通信可能としてもよい。
The
表示部13は、撮影モード時にはモニタ表示部(電子ファインダ)として機能し、デジタルビデオエンコーダ35からのビデオ信号に基づいた表示を行うことで、その時点でVRAMコントローラ33から取込んでいる画像情報に基づくスルー画像をリアルタイムに表示する。
The
次に、実施形態1における動作について説明する。
まず、図2のフローチャートを参照して、実施形態1のデジタルカメラ1において実行される画像撮影・削除処理について説明する。
Next, the operation in the first embodiment will be described.
First, an image capturing / deleting process executed in the
まず、表示部13に、図4(a)に示すようなメニュー画面が表示される(ステップS1)。図4(a)に示すメニュー画面には、撮影モードを指定するための「撮影モード」ボタン、撮影画像の再生を指定するための「再生モード」ボタン、撮影画像の削除を指定するための「画像の削除」ボタン、その他の各種の設定を指定するための「各種の設定」ボタン等が表示されている。 First, a menu screen as shown in FIG. 4A is displayed on the display unit 13 (step S1). On the menu screen shown in FIG. 4A, a “shooting mode” button for specifying a shooting mode, a “playback mode” button for specifying playback of a shot image, and a “playback mode” button for specifying deletion of a shot image. A “delete image” button, a “various settings” button for specifying various other settings, and the like are displayed.
メニュー画面において、「撮影モード」ボタンが指定された場合(ステップS2;YES)、デジタルカメラ1のレンズ位置等の初期設定が行われ(ステップS3)、記録媒体(フラッシュメモリ38)の残り容量が設定容量以下であるか否かが判定される(ステップS4)。
When the “shooting mode” button is designated on the menu screen (step S2; YES), initial settings such as the lens position of the
ステップS4において、記録媒体の残り容量が設定容量以下であると判定された場合(ステップS4;YES)、各撮影画像の評価値に基づいて記録媒体から画像データを削除する画像削除処理が行われる(ステップS5)。画像削除処理の詳細は、後に図3を参照して説明する。 If it is determined in step S4 that the remaining capacity of the recording medium is equal to or less than the set capacity (step S4; YES), an image deletion process is performed to delete image data from the recording medium based on the evaluation value of each captured image. (Step S5). Details of the image deletion processing will be described later with reference to FIG.
ステップS4において、記録媒体の残り容量が設定容量より大きいと判定された場合(ステップS4;NO)又はステップS5の画像削除処理の終了後、キー入力部36によりズーム操作が指定されると(ステップS6;YES)、ズーム処理が行われ(ステップS7)、オートフォーカス処理が行われる(ステップS8)。ズーム操作が指定されなかった場合は(ステップS6;NO)、ズーム処理が行われずにオートフォーカス処理が行われる(ステップS8)。 If it is determined in step S4 that the remaining capacity of the recording medium is larger than the set capacity (step S4; NO), or after the image deletion process in step S5 is completed, a zoom operation is designated by the key input unit 36 (step S4). S6; YES), zoom processing is performed (step S7), and autofocus processing is performed (step S8). When the zoom operation is not designated (step S6; NO), the autofocus process is performed without performing the zoom process (step S8).
表示部13に、図4(c)に示すような撮影スルー画像が表示され(ステップS9)、キー入力部36のシャッターキーの押下により撮影が指示されると(ステップS10;YES)、撮影処理が行われ(ステップS11)、撮影画像データが取得される。撮影処理後、撮影処理で取得された撮影画像データの画像評価処理が行われる(ステップS12)。画像評価処理の詳細は、後に図5〜図15を参照して説明する。シャッターキーが押されなかった場合には(ステップS10;NO)、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS15)、本画像撮影・削除処理が終了する。 A shooting through image as shown in FIG. 4C is displayed on the display unit 13 (step S9). When shooting is instructed by pressing the shutter key of the key input unit 36 (step S10; YES), shooting processing is performed. Is performed (step S11), and captured image data is acquired. After the shooting process, an image evaluation process is performed on the shot image data acquired in the shooting process (step S12). Details of the image evaluation process will be described later with reference to FIGS. If the shutter key has not been pressed (step S10; NO), other (other than shooting mode) key input processing, display processing, and the like are performed (step S15), and the image shooting / deletion processing ends.
撮影画像データの画像評価処理が終了すると、撮影画像データとその評価値が対応付けて記録媒体に記録され(ステップS13)、撮影画像データ及びその評価値が表示部13に表示される(ステップS14)。そして、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS15)、本画像撮影・削除処理が終了する。なお、ステップS14において、図4(d)に示すように、画像データのサイズ、撮影条件、画質評価値等の画像の詳細データを表示するようにしてもよい。また、画質評価値の各項目や総合評価値は、5点法や10点法又は%に換算して表示するようにしてもよい。 When the image evaluation process for the photographed image data is completed, the photographed image data and its evaluation value are associated and recorded on the recording medium (step S13), and the photographed image data and its evaluation value are displayed on the display unit 13 (step S14). ). Then, other (other than shooting mode) key input processing, display processing, and the like are performed (step S15), and the main image shooting / deleting processing is ended. In step S14, as shown in FIG. 4D, detailed image data such as the size of image data, shooting conditions, and image quality evaluation values may be displayed. In addition, each item of the image quality evaluation value and the comprehensive evaluation value may be displayed after being converted into a 5-point method, a 10-point method, or%.
メニュー画面において、「画像の削除」ボタンが指定された場合(ステップS16;YES)、図4(b)に示すような削除モード画面が表示される(ステップS17)。削除モード画面において、キー入力部36の操作により、撮影画像の自動削除機能を有効(ON)にするか無効(OFF)にするかが指定されると、その指定内容が設定され(ステップS18)、ステップS1に戻る。メニュー画面において、「撮影モード」ボタン及び「画像の削除」ボタン以外のボタンが指定された場合(ステップS16;NO)、その指定されたモードに対応する処理が行われ(ステップS19)、ステップS1に戻る。
When the “delete image” button is designated on the menu screen (step S16; YES), a delete mode screen as shown in FIG. 4B is displayed (step S17). When it is designated on the deletion mode screen that the automatic deletion function of the photographed image is to be enabled (ON) or disabled (OFF) by operating the
なお、ステップS12における画像評価処理は、1枚撮影される度に行うようにしてもよいし、一連の撮影処理の終了後に全画像分の処理をまとめて行うようにしてもよい。特に、連写撮影や動画撮影では、撮影性能を保つため、後者の方法を用いるのが好ましい。 Note that the image evaluation process in step S12 may be performed every time one image is captured, or the process for all images may be performed collectively after a series of image capturing processes. In particular, in the continuous shooting and the moving image shooting, it is preferable to use the latter method in order to maintain the shooting performance.
次に、図3のフローチャートを参照して、図2に示した画像削除処理の詳細について説明する。 Next, details of the image deletion processing shown in FIG. 2 will be described with reference to the flowchart of FIG.
まず、画像データの自動削除設定がONであるか否か(画像データの自動削除機能が有効であるか否か)が判定される(ステップS20)。ステップS20において、自動削除設定がONであると判定された場合(ステップS20;YES)、表示部13に、図4(e)に示すように、記録媒体(メモリー)の容量がない旨と、削除候補の画像を検索する旨が表示され(ステップS21)、記録媒体に記録済みの画像は画像評価処理済であるか否かが判定される(ステップS22)。
First, it is determined whether or not the image data automatic deletion setting is ON (whether or not the image data automatic deletion function is enabled) (step S20). If it is determined in step S20 that the automatic deletion setting is ON (step S20; YES), the
ステップS22において、記録済み画像が画像評価処理済でないと判定された場合(ステップS22;NO)、記録済み画像の画像評価処理が行われ(ステップS23)、後述のステップS24に移行する。ステップS23の画像評価処理の詳細は、後に図5〜図15を参照して説明する。 If it is determined in step S22 that the recorded image has not been subjected to the image evaluation process (step S22; NO), the image evaluation process for the recorded image is performed (step S23), and the process proceeds to step S24 described later. Details of the image evaluation process in step S23 will be described later with reference to FIGS.
ステップS22において、記録済み画像が画像評価処理済であると判定された場合(ステップS22;YES)又は画像評価処理が終了すると、評価値の条件が設定されているか否かが判定される(ステップS24)。ステップS24において、評価値の条件が設定されていると判定された場合(ステップS24;YES)、評価値が所定値以下の画像が、撮影日時又は画像容量の順に削除候補として決定される(ステップS25)。 In step S22, when it is determined that the recorded image has been subjected to the image evaluation process (step S22; YES), or when the image evaluation process ends, it is determined whether or not an evaluation value condition is set (step S22). S24). If it is determined in step S24 that the condition for the evaluation value is set (step S24; YES), an image having an evaluation value equal to or smaller than a predetermined value is determined as a deletion candidate in order of shooting date and time or image capacity (step). S25).
ステップS24において、評価値の条件が設定されていないと判定された場合(ステップS24;NO)、評価値が最も低い画像から順に削除候補として決定される(ステップS26)。なお、ステップS23又は図2のステップS12の画像評価処理が、撮影画像の類似度に基づく画像評価である場合、ステップS25、S26では、評価値が所定値より大きい(即ち、類似度が高い)画像が削除候補として決定される。 If it is determined in step S24 that the condition of the evaluation value is not set (step S24; NO), the deletion value is determined in order from the image having the lowest evaluation value (step S26). If the image evaluation process in step S23 or step S12 in FIG. 2 is an image evaluation based on the similarity of the captured image, the evaluation value is larger than a predetermined value (ie, the similarity is high) in steps S25 and S26. An image is determined as a deletion candidate.
画像の削除候補が決定されると、表示部13には、図4(f)に示すように、削除確認プロンプト画面が表示される(ステップS27)。削除確認プロンプト画面には、該当する画像と、「この画像を削除してもよろしいですか?(Y/N)」というメッセージが表示される。
When an image deletion candidate is determined, a deletion confirmation prompt screen is displayed on the
削除確認プロンプト画面において、該当する画像の削除が指定されなかった場合(ステップS28;NO)、記録媒体に記録済みの画像の中から、次の削除候補が検索され(ステップS31)、ステップS25(評価値条件ありの場合)又はステップS26(評価値条件なしの場合)に戻る。削除確認プロンプト画面において、該当する画像の削除が指定された場合(ステップS28;YES)、該当画像が記録媒体から削除され(ステップS29)、現在の記録媒体の残り容量が新規撮影で得られる画像データを保存するのに十分であるか否かが判定される(ステップS30)。 If deletion of the corresponding image is not specified on the deletion confirmation prompt screen (step S28; NO), the next deletion candidate is searched from images already recorded on the recording medium (step S31), and step S25 ( The process returns to the case of the evaluation value condition) or step S26 (the case of no evaluation value condition). If deletion of the corresponding image is specified on the deletion confirmation prompt screen (step S28; YES), the corresponding image is deleted from the recording medium (step S29), and the remaining capacity of the current recording medium is obtained by new shooting. It is determined whether the data is sufficient to save (step S30).
ステップS30において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分であると判定された場合(ステップS30;YES)、本画像削除処理が終了する。ステップS30において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分でないと判定された場合(ステップS30;NO)、次の削除候補が検索され(ステップS31)、ステップS25(評価値条件ありの場合)又はステップS26(評価値条件なしの場合)に戻る。 If it is determined in step S30 that the remaining capacity of the recording medium is sufficient to store newly captured image data (step S30; YES), the image deletion process ends. If it is determined in step S30 that the remaining capacity of the recording medium is not sufficient to store the newly captured image data (step S30; NO), the next deletion candidate is searched (step S31), and step S25 (evaluation). Return to Step S26 (when there is no evaluation value condition).
ステップS20において、自動削除設定がOFFである場合(ステップS20;NO)、表示部13に、記録媒体の残り容量がなくなっている旨が表示されるとともに(ステップS32)、マニュアル操作での画像削除を確認するための確認プロンプト画面が表示される(ステップS33)。
In step S20, when the automatic deletion setting is OFF (step S20; NO), the
表示部13に表示された確認プロンプト画面上において、マニュアル操作での画像削除が指定されると(ステップS34;YES)、マニュアル操作による画像の削除モードに移行し(ステップS35)、本画像削除処理が終了する。ステップS35では、ユーザは、記録媒体の容量を確認しながら画像を削除する。マニュアル操作での画像削除が指定されなかった場合(ステップS34;NO)、本画像削除処理が終了する。 When image deletion by manual operation is designated on the confirmation prompt screen displayed on the display unit 13 (step S34; YES), the mode shifts to an image deletion mode by manual operation (step S35), and main image deletion processing is performed. Ends. In step S35, the user deletes the image while checking the capacity of the recording medium. When image deletion by manual operation is not designated (step S34; NO), the image deletion process is terminated.
次に、図2及び図3の画像評価処理で適用される各画像評価方法の詳細を説明する。 Next, details of each image evaluation method applied in the image evaluation processing of FIGS. 2 and 3 will be described.
<画像評価方法1:輝度ヒストグラム分布に基づく評価>
まず、図5及び図6を参照して、撮影画像の輝度又は濃度のヒストグラム分布から画質を評価する方法について説明する。
<Image evaluation method 1: Evaluation based on luminance histogram distribution>
First, a method for evaluating image quality from a histogram distribution of luminance or density of a captured image will be described with reference to FIGS.
2次元画像データの各点(i、j)の輝度値をf(i、j)=xとし、輝度値別に画素数を集計することにより、図5に示すような輝度分布図(輝度のヒストグラム分布)P(x)が作成される。一般に、輝度のヒストグラム分布が中央からはずれて右端側(輝度値大:濃度のヒストグラム分布では左端側)に偏ると、露出オーバーで、高輝度領域が飽和したり、いわゆる「白飛び」した画像になる。逆に、輝度ヒストグラム分布が左端側(濃度ヒストグラム分布では右端側)に偏ると、露出アンダーで、低輝度領域が飽和したり、「黒つぶれ」した画像になる。また、分布が中央に集中していても、その分布幅が狭くて一様に広く分布していない場合には、ダイナミックレンジが狭く、中間諧調や細かな濃淡に欠けた画像となる。これらの何れも、撮影時の露出条件が悪く、写りの良くない画像の典型である。撮影画像の輝度又は濃度分布特性の指標値や統計量から、露出条件の良し悪しを評価できる。最近のデジタルカメラの多くは、この輝度値を集計演算して、ヒストグラム(頻度分布図)をグラフ表示したりできる機種が多いので、この機能を流用すれば、比較的容易に画像評価を行うことができる。 A luminance distribution diagram (brightness histogram) as shown in FIG. 5 is obtained by setting the luminance value of each point (i, j) of the two-dimensional image data to f (i, j) = x and totaling the number of pixels for each luminance value. Distribution) P (x) is created. In general, if the luminance histogram distribution deviates from the center and is biased to the right end side (large luminance value: left end side in the density histogram distribution), the image is overexposed and the high luminance area is saturated or a so-called “out-of-white” image. Become. Conversely, if the luminance histogram distribution is biased to the left end side (right end side in the density histogram distribution), the image is underexposed and the low luminance area is saturated or “blackout”. Even if the distribution is concentrated in the center, if the distribution width is narrow and not uniformly distributed, the dynamic range is narrow, and the image lacks intermediate gradation and fine gradation. Both of these are typical images that have poor exposure conditions at the time of shooting and are not well captured. Whether the exposure condition is good or bad can be evaluated from the index value or statistic of the luminance or density distribution characteristic of the photographed image. Many of the recent digital cameras can calculate the luminance values and display the histogram (frequency distribution diagram) as a graph, so if this function is used, image evaluation can be performed relatively easily. Can do.
本実施形態1では、撮影画像の輝度又は濃度のヒストグラム分布から、輝度又は濃度の最頻値(最も頻度数が多い輝度値又は濃度値)、平均値、中央値(分布の頻度数の順位が中央にある輝度値又は濃度値)等の分布の代表値、分布の最大値、最小値、分散、標準偏差、歪み度、尖り度等を算出し、算出結果から、画像評価のための評価値が決定される。 In the first embodiment, the mode of luminance or density (the luminance value or density value with the highest frequency number), average value, and median value (distribution frequency number order) are determined from the histogram distribution of luminance or density of the captured image. (E.g. luminance value or density value at the center), etc., the representative value of the distribution, maximum value, minimum value, variance, standard deviation, skewness, kurtosis, etc. of the distribution are calculated, and the evaluation value for image evaluation from the calculation result Is determined.
輝度又は濃度のヒストグラム分布の平均値xM、分散(Variance)σ2、標準偏差(Standard Deviation)σ、歪み度(Skewness)Skew、尖り度(Kurtosis)Kurtは、画素iの輝度値をxi、評価対象の画像の総画素数をNとすると、それぞれ、式(1)〜(5)のように表される。
ここで、分布の歪み度Skewは、分布が左右対称かどうかの非対称性を示す。分布が左右対称であれば0、右に大きなはずれ値があれば(露出オーバーの場合)正、左に大きなはずれ値があれば(露出アンダーの場合)負となる。また、分布の尖り度Kurtは、分布が正規分布ならば0、正規分布より広がりが大きければ(ダイナミックレンジが広い場合)正、正規分布より広がりが小さければ(ダイナミックレンジが狭い場合)負となる。 Here, the degree of distortion Skew of the distribution indicates asymmetry whether the distribution is symmetrical. If the distribution is bilaterally symmetrical, it is 0, if there is a large outlier value on the right (when overexposed), and positive if there is a large outlier value on the left (underexposed). The kurtosis Kurt of the distribution is 0 if the distribution is a normal distribution, positive if the spread is larger than the normal distribution (when the dynamic range is wide), and negative if the spread is smaller than the normal distribution (if the dynamic range is narrow). .
このように、輝度又は濃度のヒストグラム分布の統計量に基づいて、分布の幅や広がり、その偏り、分布曲線の形状や特徴を判別し、画質の評価が可能となり、これらを元に画質の評価値が決定される。 In this way, based on the statistics of the histogram distribution of luminance or density, it is possible to determine the width and spread of the distribution, its bias, the shape and characteristics of the distribution curve, and to evaluate the image quality. The value is determined.
撮影画像がカラー画像である場合、図6に示すように、RGBの各色毎に、輝度又は濃度のヒストグラム分布PR(x)、PG(x)、PB(x)を作成し、色毎に、分布の平均値、分散、標準偏差、歪み度、尖り度、変動係数CV等の統計量を算出し、算出された色毎の統計量の違いや比較によって、画質の評価値を決定するようにしてもよい。ここで、変動係数CVは、式(6)のように定義される。
<画像評価方法2:周波数特性に基づく評価>
次に、図7〜図9を参照して、撮影画像の周波数特性から画質を評価する方法について説明する。
<Image evaluation method 2: Evaluation based on frequency characteristics>
Next, a method for evaluating the image quality from the frequency characteristics of the captured image will be described with reference to FIGS.
撮影画像(2次元画像データ)の各点の輝度値又は濃度値f(x,y)を周波数変換したF(u,v)を算出し、周波数毎の振幅値や係数から、画像の周波数特性、画像全体に占める高周波成分や低周波成分の比率等から、画像のボケの程度や、鮮明度(シャープネス)、コントラスト等を評価することができる。周波数変換としては、フーリエ変換、離散フーリエ変換(DFT:Discrete Fourier Transform)、離散コサイン変換(DCT:Discrete Cosine Transform)、それらを高速計算する高速フーリエ変換(FFT:Fast Fourier Transform)アルゴリズム等を用いることができる。最近のデジタルカメラは、JPEG等の圧縮符号化のためにDCT用のDSP(Digital Signal Processor)やソフトウェアを内蔵しているものが多いので、この機能を流用すれば、比較的容易に画像評価を行うことができる。 F (u, v) obtained by frequency-converting the luminance value or density value f (x, y) of each point of the captured image (two-dimensional image data) is calculated, and the frequency characteristic of the image is obtained from the amplitude value and coefficient for each frequency. From the ratio of high-frequency components and low-frequency components in the entire image, the degree of image blur, sharpness, contrast, and the like can be evaluated. As the frequency transform, a Fourier transform, a discrete Fourier transform (DFT), a discrete cosine transform (DCT), a fast Fourier transform (FFT) algorithm for calculating them at high speed, or the like is used. Can do. Many recent digital cameras have a built-in DCT DSP (Digital Signal Processor) and software for JPEG and other compression coding, so if this function is used, image evaluation is relatively easy. It can be carried out.
2次元画像データの輝度値又は濃度値f(x,y)の離散フーリエ変換式は、式(7)のように表される。
また、2次元画像データの輝度値又は濃度値f(x,y)の離散コサイン変換式は、式(8)のように表される。
このように、2次元画像f(x、y)を周波数空間に変換して周波数成分F(u、v)を算出し、全周波数成分に占める高周波成分の比率、全周波数成分に占める低周波成分の比率に基づいて画像の評価値を決定することができる。また、図7に示すように、予め、撮影画像を順次走査して1次元信号に並び替えてから周波数変換を施して、評価値を算出してもよいし、図8に示すように、撮影画像を周波数変換したF(u、v)の振幅値を、ジグザグ走査などで1次元に並び替えてから、評価値を算出するようにしてもよい。 As described above, the two-dimensional image f (x, y) is converted into the frequency space to calculate the frequency component F (u, v), the ratio of the high frequency component to the total frequency component, and the low frequency component to the total frequency component. The evaluation value of the image can be determined based on the ratio. In addition, as shown in FIG. 7, the captured image may be scanned in advance and rearranged into a one-dimensional signal, and then frequency conversion may be performed to calculate the evaluation value. Alternatively, as shown in FIG. The evaluation value may be calculated after the amplitude value of F (u, v) obtained by frequency-converting the image is rearranged in one dimension by zigzag scanning or the like.
本実施形態1では、全周波数成分に占める高周波成分の比率を画質評価値とし、全周波数成分に占める低周波成分の比率をボケ評価値とする。即ち、画質評価値、ボケ評価値は、それぞれ、式(9)、式(10)のように表すことができる。
画質評価値=(高周波成分の振幅値合計)/(全周波数成分の振幅値合計) (9)
ボケ評価値=(全周波数成分の振幅値合計−高周波成分の振幅値合計)/(全周波数成分の振幅値合計) (10)
In the first embodiment, the ratio of high-frequency components in all frequency components is set as an image quality evaluation value, and the ratio of low-frequency components in all frequency components is set as a blur evaluation value. That is, the image quality evaluation value and the blur evaluation value can be expressed as Expression (9) and Expression (10), respectively.
Image quality evaluation value = (total amplitude value of high frequency components) / (total amplitude value of all frequency components) (9)
Blur evaluation value = (total amplitude value of all frequency components−total amplitude value of high frequency components) / (total amplitude value of all frequency components) (10)
また、図9に示すように、撮影画像の輝度値又は濃度値f(x、y)の周波数分布(振幅(度数)−周波数の関係)を求め、画像評価方法1と同様に、この周波数分布の平均値、分散、標準偏差等の統計量を算出し、算出された統計量に基づいて画質の評価値を決定するようにしてもよい。周波数成分iの振幅値をF[i]、周波数成分の合計をNとすると、この分布の平均値fM、分散σ2、標準偏差σは、それぞれ、以下の式(11)〜式(13)のように表すことができる。
<画像評価方法3:画像のブレの具合又はボケの度合いに基づく評価>
次に、図10〜図14を参照して、撮影画像のブレの具合又はボケの度合いに基づいて画質を評価する方法について説明する。
<Image Evaluation Method 3: Evaluation Based on Image Blur or Degree of Blur>
Next, with reference to FIGS. 10 to 14, a method for evaluating the image quality based on the degree of blurring or the degree of blur of the captured image will be described.
図10に、画像の変換や復元等に用いるPSF(Point Spread Function:点像分布関数、点広がり関数)法等を利用して、ブレやボケを判別評価する方法について示す。一般に、PSF法による画像復元では、ブレやボケのない本来の画像i(x,y)と、ブレやボケを生じさせる成分p(x,y)により、劣化した劣化画像g(x,y)を表す。即ち、劣化画像g(x,y)は、式(14)のように表される。
g(x,y)=p(x,y)*i(x,y) (14)
ここで、*は、コンボリューション(畳み込み積分)演算を表す。
FIG. 10 shows a method for discriminating and evaluating blur and blur using a PSF (Point Spread Function) method used for image conversion and restoration. In general, in image restoration by the PSF method, a degraded image g (x, y) deteriorated due to an original image i (x, y) without blurring or blurring and a component p (x, y) that causes blurring or blurring. Represents. That is, the deteriorated image g (x, y) is expressed as in Expression (14).
g (x, y) = p (x, y) * i (x, y) (14)
Here, * represents a convolution (convolution integration) operation.
p(x,y)を、PSF、LSF(Line Spread Function:線像分布関数)として、劣化させたp(x,y)を算出することができれば、本来の画像i(x,y)を、デコンボリューション(逆畳み込み積分)演算により求めることができる。以下、本来の画像i(x,y)の算出方法を説明する。 If p (x, y) deteriorated by calculating p (x, y) as PSF and LSF (Line Spread Function), the original image i (x, y) It can be obtained by deconvolution (deconvolution integration) calculation. Hereinafter, a method for calculating the original image i (x, y) will be described.
まず、式(14)に示す劣化画像g(x、y)を、フーリエ変換等により周波数軸に変換する。周波数変換された劣化画像をG(u、v)とすると、G(u、v)は、式(15−1)のように表される。
また、p(x、y)、i(x、y)を周波数変換したものを、それぞれP(u、v)、I(u、v)とすると、G(u、v)は、式(15−2)のように表すこともできる。
G(u、v)=P(u、v)・I(u、v) (15−2)
ここで、コンボリューションは、周波数軸上では、フーリエ変換同士の掛け算となる。周波数領域で、式(15−2)のP(u、v)が算出できれば、逆フィルターとして1/P(u、v)を計算し、本来の画像i(x、y)を復元することができる。即ち、I(u、v)=G(u、v)/P(u、v)(フーリエ変換同士の割り算)を算出し、これを逆フーリエ変換してi(x、y)を求めればよい。式(16)にI(u、v)の逆フーリエ変換式を示す。
G (u, v) = P (u, v) · I (u, v) (15-2)
Here, the convolution is a multiplication of Fourier transforms on the frequency axis. If P (u, v) in equation (15-2) can be calculated in the frequency domain, 1 / P (u, v) can be calculated as an inverse filter to restore the original image i (x, y). it can. That is, I (u, v) = G (u, v) / P (u, v) (division between Fourier transforms) is calculated, and i (x, y) is obtained by inverse Fourier transform. . Expression (16) shows an inverse Fourier transform expression of I (u, v).
本実施形態1では、このPSF法におけるPSFやP(u、v)の算出方法を、一般のアマチュアの撮影画像で、露出設定の失敗と並んで多い、「焦点ボケ」画像や「直線ブレ」画像の判別や評価に適用する。一般に、直線ブレした画像をフーリエ変換したG(u、v)の振幅値の分布は、図10(b)に示すような直線ブレのパターンとなり、中央付近の高周波成分がブレ角度に従って数本の細長い筋や傾斜した楕円形状に抜けて歪んだパターンが現れる。また、焦点ボケした画像をフーリエ変換したG(u、v)は、図10(d)に示すような焦点ボケの画像パターンとなり、中央部の高周波成分が同心円状に抜けて歪んだパターンとなる。また、直線ブレと焦点ボケが共に生じると、図10(c)に示すような、両方の特徴を合せもったパターンとなる。 In the first embodiment, the PSF and P (u, v) calculation method in the PSF method is a general amateur photographed image, along with the exposure setting failure, which is often a “focus blur” image or “straight line blur”. Applies to image discrimination and evaluation. In general, the distribution of amplitude values of G (u, v) obtained by performing a Fourier transform on an image that has undergone linear blurring has a linear blur pattern as shown in FIG. A distorted pattern appears in the form of elongated stripes or slanted ellipses. Further, G (u, v) obtained by performing Fourier transform on the defocused image becomes a defocused image pattern as shown in FIG. 10 (d), and a high-frequency component in the central portion is lost concentrically and becomes a distorted pattern. . Further, when both straight blurring and out-of-focus blur occur, a pattern having both features as shown in FIG. 10C is obtained.
本実施形態1では、直線ブレの評価値は、G(u、v)の振幅値が周期1/Lでゼロ交差する方向のブレ方向角度(θ)と、ブレの距離又はその画素数(L)に基づいて決定されるものとする。また、焦点ボケの評価値は、G(u,v)の振幅値が周期1.01π/rでゼロ交差する同心円状の焦点の広がり半径又はその画素数(r)に基づいて決定されるものとする。ブレ方向角度(θ)、ブレの距離(L)、焦点の広がり半径(r)を算出するには、PSF法、多階調Hough変換法、逆フィルター法等を適用できるが、以下では、PSF法と多階調Hough変換を用いた算出方法について説明する。
In the first embodiment, the evaluation value of the straight blur is the blur direction angle (θ) in the direction in which the amplitude value of G (u, v) zero-crosses with the
まず、図11(a)に示すように、直線ブレ等の劣化画像をフーリエ変換したG(u,v)のフーリエ・スペクトルの中央部の円内を、(複数点を通る直線の推定や検出等に広く用いられる)Hough変換により、θ―ρ空間上の多階調の2次元画像H(θ、ρ)に変換し、H(θ、ρ)値の角度θ毎に切り出したHθ(ρ)波形を比較し、各角度θ(0°≦θ<180°)におけるエントロピーE(θ)を求める。エントロピーE(θ)は、式(17)のように表される。
焦点ボケの広がり半径(r)を算出するには、まず、図12に示すように、H(θ、ρ)をθ軸方向に0°〜179°まで平均化したC(ρ)波形を作成する。C(ρ)は、式(18)のように表される。
図13及び図14に、上記の方法で用いたHough変換(ハフ変換)の原理を示す。Hough変換では、ρ=xcosθ+ysinθの変換式により、一般の2次元座標(x−y平面上の点)はθ‐ρ平面上の曲線に変換され、x−y平面上の直線は、θ‐ρ平面上の点に逆変換できる。例えば、x−y平面上の点A、B、Cを通る直線Lを求める場合には、図13に示すように、点A、B、CをHough変換した、θ‐ρ平面上の曲線A’、B’、C’が交差する交点P(θL、ρL)を求める。そして、その交点P(θL、ρL)をx−y平面上にHough逆変換し、ゼロ点から下ろした垂線の長さがρLで、垂線の角度がθLとなる直線Lが、求める直線となる。 13 and 14 show the principle of the Hough transform (Hough transform) used in the above method. In the Hough transform, a general two-dimensional coordinate (a point on the xy plane) is converted into a curve on the θ-ρ plane by a conversion formula of ρ = x cos θ + y sin θ, and a straight line on the xy plane is θ-ρ It can be converted back to a point on the plane. For example, when the straight line L passing through the points A, B, and C on the xy plane is obtained, as shown in FIG. 13, the curve A on the θ-ρ plane obtained by performing the Hough transform on the points A, B, and C. Find the intersection P (θ L , ρ L ) where ', B' and C 'intersect. Then, the intersection P (θ L , ρ L ) is inversely transformed into Hough on the xy plane, and the length of the perpendicular drawn from the zero point is ρ L , and the straight line L having the perpendicular angle θ L is The straight line to be obtained.
Hough変換の配列H(θ、ρ)の明度(多階調を有する輝度又は濃度)をH(θ、ρ)=f(x、y)として多階調の2次元画像として定義し、図13に示すような複数曲線の交点を求める場合には、図14に示すように、明度(階調値)を加算して、階調値が最も大きくなる点(図14の斜線部分)を交点として、近似計算で迅速に求めることができる。 The brightness (brightness or density having multiple gradations) of the Hough transform array H (θ, ρ) is defined as H (θ, ρ) = f (x, y) as a two-dimensional image having multiple gradations. 14 is obtained, the brightness (gradation value) is added as shown in FIG. 14, and the point where the gradation value becomes the largest (the hatched portion in FIG. 14) is taken as the intersection. Can be quickly obtained by approximate calculation.
以上のように、画像を劣化させたPSF関数を算出する方法、ゼロクロス法、多階調Hough変換等により、劣化画像g(x、y)を周波数軸上にフーリエ変換したG(u,v)から、直線ブレ画像の方向(角度θ)、直線ブレの距離(画素数L)、焦点ボケ画像の焦点広がり半径(画素数r)を算出し、これらθ、L、rに基づいて画像の評価値が決定される。 As described above, G (u, v) obtained by Fourier-transforming the deteriorated image g (x, y) on the frequency axis by the method of calculating the PSF function that deteriorates the image, the zero cross method, the multi-gradation Hough transform, or the like. From this, the direction of the straight blur image (angle θ), the straight blur distance (number of pixels L), and the focal spread radius (number of pixels r) of the defocus image are calculated, and the image is evaluated based on these θ, L, and r. The value is determined.
<画像評価方法4:類似度に基づく評価>
次に、図15を参照して、撮影画像の類似度から画像を評価する方法について説明する。画像評価方法4では、画像評価方法1〜3と異なり、画質そのものでなく、画像が既に記録済みの他の画像と比べてどの程度類似しているかを判別して、画像削除の基準となる評価値を算出する方法を示す。
<Image evaluation method 4: Evaluation based on similarity>
Next, with reference to FIG. 15, a method for evaluating an image from the similarity of captured images will be described. Unlike the
図15に、入力画像(着目画像)f(x、y)と、既に記録済みの参照画像t(x、y)との類似度を算出する3つの方法を示す。図15(a)は、輝度又は濃度の2次元分布における相関係数Rを、類似度の評価値としたものである。相関係数Rは、ピアソンの積率相関係数を用いて算出することができる。入力画像f(x、y)の輝度値の平均値をfAV、参照画像t(x、y)の輝度値の平均値をtAV、両画像の画素数をn×mとすると、2次元輝度分布における相関係数Rは、式(19)のように表される。
図15(b)は、入力画像f(x、y)及び参照画像t(x、y)のエッジ抽出、2値化処理等により、それぞれの画像の輪郭線を抽出し、輪郭画像の相関係数R'を類似度の評価値としたものである。入力画像f(x、y)の輪郭画像をf'(x、y)、参照画像t(x、y)の輪郭画像をt'(x、y)とすると、相関係数R'は、式(20)のように表される。
R'=(輪郭画像f'と輪郭画像t'の共分散)/(輪郭画像f'の標準偏差)・(輪郭画像t'の標準偏差) (20)
FIG. 15B shows the relationship between the contour images by extracting the contour lines of the input image f (x, y) and the reference image t (x, y) by edge extraction, binarization processing, and the like. The number R ′ is used as an evaluation value of similarity. Assuming that the contour image of the input image f (x, y) is f ′ (x, y) and the contour image of the reference image t (x, y) is t ′ (x, y), the correlation coefficient R ′ is It is expressed as (20).
R ′ = (covariance between contour image f ′ and contour image t ′) / (standard deviation of contour image f ′) · (standard deviation of contour image t ′) (20)
図15(c)は、入力画像f(x、y)及び参照画像t(x、y)の輝度又は濃度のヒストグラム分布の相関係数R"を、類似度の評価値としたものである。入力画像f(x、y)の輝度のヒストグラム分布図を画像f"(x、y)とし、参照画像t(x、y)のヒストグラム分布図を画像t"(x、y)とすると、相関係数R"は、式(21)のように表される。
R"=(ヒストグラム画像f"とヒストグラム画像t"の共分散)/(ヒストグラム画像f"の標準偏差)・(ヒストグラム画像t"の標準偏差) (21)
このように、相関係数を求めると、記録済みの他の画像に類似した画像パターン、輪郭画像又は露出特性が類似した画像を、削除候補として優先して選択することができる。
In FIG. 15C, the correlation coefficient R ″ of the histogram distribution of luminance or density of the input image f (x, y) and the reference image t (x, y) is used as the evaluation value of similarity. Assuming that the histogram distribution diagram of the luminance of the input image f (x, y) is an image f ″ (x, y) and the histogram distribution diagram of the reference image t (x, y) is an image t ″ (x, y), The relation number R ″ is expressed as in Expression (21).
R ″ = (covariance between histogram image f ″ and histogram image t ″) / (standard deviation of histogram image f ″) · (standard deviation of histogram image t ″) (21)
As described above, when the correlation coefficient is obtained, an image pattern similar to another recorded image, an outline image, or an image having similar exposure characteristics can be preferentially selected as a deletion candidate.
画像評価方法1〜3は、実施形態2及び実施形態3においても適用され、画像評価方法4は、実施形態2においても適用される。
The
以上のように、本実施形態1のデジタルカメラ1によれば、記録媒体の残り容量が予め設定された容量以下である場合、撮影画像の評価結果に基づいて、記録媒体から削除する画像の候補を決定するようにしたことにより、画質の悪い画像を迅速に削除して、新規撮影用に記録媒体の空き領域を確実に確保することができ、シャッターチャンスを逃すことが少なくなる。
As described above, according to the
また、記録媒体に記録された他の画像との類似度(相関係数)を算出し、類似度の高い画像を記録媒体から優先的に削除するようにしたことにより、類似した画像を迅速に削除して、新規撮影用に記録媒体の空き領域を確実に確保することができ、シャッターチャンスを逃すことが少なくなる。 Also, by calculating the similarity (correlation coefficient) with other images recorded on the recording medium and preferentially deleting images with high similarity from the recording medium, similar images can be quickly retrieved. By deleting it, it is possible to ensure the free area of the recording medium for new shooting, and it is less likely to miss a photo opportunity.
(実施形態2)
図16〜図19を参照して、本発明の実施形態2について説明する。まず、実施形態2における構成について説明する。実施形態2におけるデジタルカメラの回路構成は、実施形態1において図1に示したデジタルカメラ1と同一であるため、その図示を省略し、同一符号を用いるものとする。以下、実施形態1のデジタルカメラ1と異なる点のみを説明する。
(Embodiment 2)
A second embodiment of the present invention will be described with reference to FIGS. First, the configuration in the second embodiment will be described. Since the circuit configuration of the digital camera in the second embodiment is the same as that of the
制御部32は、CPU(Central Processing Unit)、CPUで実行される動作プログラムを固定的に記憶したROM(Read Only Memory)及びワークメモリとして使用されるRAM(Random Access Memory)等により構成され、デジタルカメラ1の各部の動作を制御する。以下、制御部32による制御動作について説明する。
The
実施形態2の制御部32は、キー入力部36の操作により、画像の評価方法(画質優先の評価方法、類似度に基づく評価方法)を設定するとともに、画像の評価項目を設定する。また制御部32は、画像削除の基準となる基準値を評価項目別に設定する。例えば、画像の評価方法が画質優先の評価方法である場合、画質の評価を行うための評価項目には、露出条件評価、コントラスト評価、ボケ・ブレ評価等がある。制御部32は、評価項目別に画像を評価する画像評価処理を実行する(図18参照)。また、制御部32は、撮影モードが指定されると、記録媒体の残り容量が予め設定された容量以下であるか否かを判定し、記録媒体の残り容量が予め設定され容量以下であると判定された場合、画像評価処理による撮影画像の評価値と、設定された基準値とを比較することによって、記録媒体から削除する画像の候補を決定する(図17参照)。
The
次に、実施形態2における動作について説明する。
まず、図16のフローチャートを参照して、実施形態2のデジタルカメラ1において実行される画像撮影・削除処理について説明する。
Next, the operation in the second embodiment will be described.
First, an image capturing / deleting process executed in the
まず、表示部13に、図4(a)に示すようなメニュー画面が表示される(ステップS101)。図4(a)に示すメニュー画面には、撮影モードを指定するための「撮影モード」ボタン、撮影画像の再生を指定するための「再生モード」ボタン、撮影画像の削除を指定するための「画像の削除」ボタン、その他の各種の設定を指定するための「各種の設定」ボタン等が表示されている。 First, a menu screen as shown in FIG. 4A is displayed on the display unit 13 (step S101). On the menu screen shown in FIG. 4A, a “shooting mode” button for specifying a shooting mode, a “playback mode” button for specifying playback of a shot image, and a “playback mode” button for specifying deletion of a shot image. A “delete image” button, a “various settings” button for specifying various other settings, and the like are displayed.
メニュー画面において、「撮影モード」ボタン及び「画像の削除」ボタン以外のボタンが指定された場合(ステップS116;NO)、その指定されたモードに対応する処理が行われ(ステップS122)、ステップS101に戻る。 When a button other than the “shooting mode” button and the “delete image” button is designated on the menu screen (step S116; NO), processing corresponding to the designated mode is performed (step S122), and step S101. Return to.
メニュー画面において、「画像の削除」ボタンが指定された場合(ステップS116;YES)、図19(a)に示すような削除モード画面が表示される(ステップS117)。図19(a)に示す削除モード画面において、キー入力部36の操作により、「自動削除の設定」ボタンが指定されると(ステップS118;YES)、表示部13には、図19(b)に示すような自動削除設定画面が表示される(ステップS119)。
When the “delete image” button is designated on the menu screen (step S116; YES), a delete mode screen as shown in FIG. 19A is displayed (step S117). When the “automatic deletion setting” button is designated by the operation of the
自動削除設定画面には、図19に示すように、設定項目として、撮影画像の自動削除機能を有効(ON)にするか無効(OFF)にするかを設定するための「自動削除」欄と、画像の評価方法を設定するための「評価方法」欄と、各評価機能を有効(ON)にするか無効(OFF)にするかを設定するための「評価項目」欄(例えば、「露出条件評価」項目、「コントラスト」項目、「ボケ・ブレ」項目)が表示されている。また、各評価項目欄には、評価項目の基準値を設定するための「基準値」欄が表示されている。ここで、評価項目の基準値とは、画像削除の基準となる値であり、この基準値と画像評価値との比較により、対象とする画像が削除候補となるか否かが決定される。 In the automatic deletion setting screen, as shown in FIG. 19, an “automatic deletion” column for setting whether to enable (ON) or disable (OFF) the automatic image deletion function as a setting item. , “Evaluation Method” field for setting the image evaluation method, and “Evaluation Item” field (for example, “Exposure” for setting whether each evaluation function is enabled (ON) or disabled (OFF). "Condition evaluation" item, "Contrast" item, and "Blur / blur" item) are displayed. In each evaluation item column, a “reference value” column for setting a reference value of the evaluation item is displayed. Here, the reference value of the evaluation item is a value serving as a reference for image deletion, and whether or not the target image is a deletion candidate is determined by comparing the reference value with the image evaluation value.
自動削除設定画面において、キー入力部36の操作により、撮影画像の自動削除機能を有効にするか否か(ON/OFF)、評価方法、各評価項目の機能を有効にするか否か(ON/OFF)、評価項目別の基準値が指定され(ステップS120)、「OK」ボタンが指定されると、ステップS120で指定された内容の設定が完了し(ステップS121;YES)、ステップS101に戻る。なお、評価項目別に設定された基準値に基づいて、通常撮影時の露出条件を自動的に設定するようにしてもよい。また、ユーザ毎に、過去に設定した基準値の履歴を保存しておき、その履歴に基づいて基準値を自動的に設定するようにしてもよい。 On the automatic deletion setting screen, whether or not to enable the automatic deletion function of the photographed image (ON / OFF), whether to evaluate the evaluation method, and the function of each evaluation item by the operation of the key input unit 36 (ON) / OFF), the reference value for each evaluation item is designated (step S120), and when the “OK” button is designated, the setting of the content designated in step S120 is completed (step S121; YES), and the process proceeds to step S101. Return. Note that the exposure condition during normal photographing may be automatically set based on the reference value set for each evaluation item. Alternatively, a history of reference values set in the past may be stored for each user, and the reference values may be automatically set based on the history.
メニュー画面において、「撮影モード」ボタンが指定された場合(ステップS102;YES)、デジタルカメラ1のレンズ位置等の初期設定が行われ(ステップS103)、記録媒体(フラッシュメモリ38)の残り容量が設定容量以下であるか否かが判定される(ステップS104)。
When the “shooting mode” button is designated on the menu screen (step S102; YES), initial settings such as the lens position of the
ステップS104において、記録媒体の残り容量が設定容量以下であると判定された場合(ステップS104;YES)、各撮影画像の評価値に基づいて記録媒体から画像データを削除する画像削除処理が行われる(ステップS105)。画像削除処理の詳細は、後に図17を参照して説明する。 If it is determined in step S104 that the remaining capacity of the recording medium is equal to or less than the set capacity (step S104; YES), an image deletion process is performed to delete image data from the recording medium based on the evaluation value of each captured image. (Step S105). Details of the image deletion processing will be described later with reference to FIG.
ステップS104において、記録媒体の残り容量が設定容量より大きいと判定された場合(ステップS104;NO)又はステップS105の画像削除処理の終了後、キー入力部36によりズーム操作が指定されると(ステップS106;YES)、ズーム処理が行われ(ステップS107)、オートフォーカス処理が行われる(ステップS108)。ズーム操作が指定されなかった場合は(ステップS106;NO)、ズーム処理が行われずにオートフォーカス処理が行われる(ステップS108)。 When it is determined in step S104 that the remaining capacity of the recording medium is larger than the set capacity (step S104; NO) or after the image deletion process in step S105 is completed, a zoom operation is designated by the key input unit 36 (step S104). S106; YES), zoom processing is performed (step S107), and autofocus processing is performed (step S108). When the zoom operation is not designated (step S106; NO), the autofocus process is performed without performing the zoom process (step S108).
表示部13に、図4(c)に示すような撮影スルー画像が表示され(ステップS109)、キー入力部36のシャッターキーの押下により撮影が指示されると(ステップS110;YES)、撮影処理が行われ(ステップS111)、撮影画像データが取得される。撮影処理後、撮影処理で取得された撮影画像データの画像評価処理が行われる(ステップS112)。画像評価処理は、実施形態1において示した画像評価方法1〜4が適用され、ステップS120において設定された基準値に基づいて、評価項目別に画像評価が行われる。シャッターキーが押されなかった場合には(ステップS110;NO)、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS115)、本画像撮影・削除処理が終了する。
A shooting through image as shown in FIG. 4C is displayed on the display unit 13 (step S109). When shooting is instructed by pressing the shutter key of the key input unit 36 (step S110; YES), shooting processing is performed. Is performed (step S111), and photographed image data is acquired. After the shooting process, an image evaluation process is performed on the shot image data acquired in the shooting process (step S112). In the image evaluation process, the
撮影画像データの画像評価処理が終了すると、撮影画像データとその評価値が対応付けて記録媒体に記録され(ステップS113)、撮影画像データ及びその評価値が表示部13に表示される(ステップS114)。そして、その他(撮影モード以外)のキー入力処理、表示処理等が行われ(ステップS115)、本画像撮影・削除処理が終了する。なお、ステップS114において、図4(d)に示すように、画像データのサイズ、撮影条件、画質評価値等の画像の詳細データを表示するようにしてもよい。また、画質評価値の各項目や総合評価値は、5点法や10点法又は%に換算して表示するようにしてもよい。 When the image evaluation process for the photographed image data is completed, the photographed image data and its evaluation value are associated and recorded on the recording medium (step S113), and the photographed image data and its evaluation value are displayed on the display unit 13 (step S114). ). Then, other key input processing (except for the shooting mode), display processing, and the like are performed (step S115), and the main image shooting / deleting processing ends. In step S114, as shown in FIG. 4D, detailed image data such as the size of image data, shooting conditions, and image quality evaluation values may be displayed. In addition, each item of the image quality evaluation value and the comprehensive evaluation value may be displayed after being converted into a 5-point method, a 10-point method, or%.
なお、ステップS112における画像評価処理は、1枚撮影される度に行うようにしてもよいし、一連の撮影処理の終了後に全画像分の処理をまとめて行うようにしてもよい。特に、連写撮影や動画撮影では、撮影性能を保つため、後者の方法を用いるのが好ましい。 Note that the image evaluation processing in step S112 may be performed every time one image is captured, or processing for all images may be performed collectively after a series of imaging processing is completed. In particular, in the continuous shooting and the moving image shooting, it is preferable to use the latter method in order to maintain the shooting performance.
次に、図17のフローチャートを参照して、図16に示した画像削除処理の詳細について説明する。 Next, details of the image deletion processing shown in FIG. 16 will be described with reference to the flowchart of FIG.
まず、画像データの自動削除設定がONであるか否か(画像データの自動削除機能が有効であるか否か)が判定される(ステップS130)。ステップS130において、自動削除設定がONであると判定された場合(ステップS130;YES)、表示部13に、図4(e)に示すように、記録媒体(メモリー)の容量がない旨と、削除候補の画像を検索する旨が表示され(ステップS131)、記録媒体に記録済み画像は画像評価処理済であるか否かが判定される(ステップS132)。
First, it is determined whether or not the image data automatic deletion setting is ON (whether or not the image data automatic deletion function is enabled) (step S130). If it is determined in step S130 that the automatic deletion setting is ON (step S130; YES), the
ステップS132において、記録済み画像が画像評価処理済でないと判定された場合(ステップS132;NO)、記録済み画像の画像評価処理が行われ(ステップS133)、後述のステップS134に移行する。ステップS133の画像評価処理の詳細は、後に図18を参照して説明する。 If it is determined in step S132 that the recorded image has not been subjected to the image evaluation process (step S132; NO), the image evaluation process for the recorded image is performed (step S133), and the process proceeds to step S134 described later. Details of the image evaluation process in step S133 will be described later with reference to FIG.
ステップS132において、記録済み画像が画像評価処理済であると判定された場合(ステップS132;YES)又は画像評価処理が終了すると、ステップS120で設定された画像の評価方法が判別される(ステップS134)。ステップS134において、評価方法が「画質優先」の評価方法である場合(ステップS134;画質優先)、評価値が基準値以下の画像が、撮影日時又は画像容量の順に削除候補として決定される(ステップS135)。 When it is determined in step S132 that the recorded image has been subjected to the image evaluation process (step S132; YES) or when the image evaluation process ends, the image evaluation method set in step S120 is determined (step S134). ). If the evaluation method is the “image quality priority” evaluation method in step S134 (step S134; image quality priority), an image whose evaluation value is equal to or less than the reference value is determined as a deletion candidate in the order of shooting date and time or image capacity (step S134). S135).
ステップS134において、評価方法が「類似度」に基づく評価方法である場合(ステップS134;類似度)、評価値が、設定された基準値より大きい画像が、評価値が高い順に削除候補として決定される(ステップS136)。 When the evaluation method is an evaluation method based on “similarity” in step S134 (step S134; similarity), images whose evaluation values are larger than the set reference value are determined as deletion candidates in descending order of evaluation values. (Step S136).
画像の削除候補が決定されると、表示部13には、図4(f)に示すように、削除確認プロンプト画面が表示される(ステップS137)。削除確認プロンプト画面には、該当する画像と、「この画像を削除してもよろしいですか?(Y/N)」というメッセージが表示される。
When an image deletion candidate is determined, a deletion confirmation prompt screen is displayed on the
削除確認プロンプト画面において、該当する画像の削除が指定されなかった場合(ステップS138;NO)、記録媒体に記録済みの画像の中から、次の削除候補が検索され(ステップS141)、ステップS135(評価方法が「画質優先」の場合)又はステップS136(評価方法が「類似度」の場合)に戻る。削除確認プロンプト画面において、該当する画像の削除が指定された場合(ステップS138;YES)、該当画像が記録媒体から削除され(ステップS139)、現在の記録媒体の残り容量が新規撮影の画像データを保存するのに十分であるか否かが判定される(ステップS140)。 If deletion of the corresponding image is not specified on the deletion confirmation prompt screen (step S138; NO), the next deletion candidate is searched from images already recorded on the recording medium (step S141), and step S135 ( If the evaluation method is “image quality priority”) or return to step S136 (if the evaluation method is “similarity”). When deletion of the corresponding image is designated on the deletion confirmation prompt screen (step S138; YES), the corresponding image is deleted from the recording medium (step S139), and the remaining capacity of the current recording medium is the image data of the newly captured image. It is determined whether it is sufficient to save (step S140).
ステップS140において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分であると判定された場合(ステップS140;YES)、本画像削除処理が終了する。ステップS140において、記録媒体の残り容量が新規撮影の画像データを保存するのに十分でないと判定された場合(ステップS140;NO)、次の削除候補が検索され(ステップS141)、ステップS135(評価方法が「画質優先」の場合)又はステップS136(評価方法が「類似度」の場合)に戻る。 If it is determined in step S140 that the remaining capacity of the recording medium is sufficient to store the newly captured image data (step S140; YES), the image deletion process ends. If it is determined in step S140 that the remaining capacity of the recording medium is not sufficient to store the newly captured image data (step S140; NO), the next deletion candidate is searched (step S141), and step S135 (evaluation). When the method is “image quality priority”) or the process returns to step S136 (when the evaluation method is “similarity”).
ステップS130において、自動削除設定がOFFである場合(ステップS130;NO)、表示部13に、記録媒体の残り容量がなくなっている旨が表示されるとともに(ステップS142)、マニュアル操作での画像削除を確認するための確認プロンプトが表示される(ステップS143)。
In step S130, when the automatic deletion setting is OFF (step S130; NO), the
表示部13に表示された確認プロンプト上において、マニュアル操作での画像削除が指定されると(ステップS144;YES)、マニュアル操作による画像の削除モードに移行し(ステップS145)、本画像削除処理が終了する。ステップS145では、ユーザは、記録媒体の容量を確認しながら画像を削除する。マニュアル操作での画像削除が指定されなかった場合(ステップS144;NO)、本画像削除処理が終了する。 When image deletion by manual operation is designated on the confirmation prompt displayed on the display unit 13 (step S144; YES), the mode shifts to an image deletion mode by manual operation (step S145), and this image deletion processing is performed. finish. In step S145, the user deletes the image while checking the capacity of the recording medium. When image deletion by manual operation is not designated (step S144; NO), the image deletion process ends.
なお、削除した画像の評価値の履歴を保存し、削除画像の評価値の頻度を集計する手段を設け、累計頻度の多い評価値の画像を優先的に削除候補して決定するようにしてもよい。 It should be noted that a history of evaluation values of deleted images is stored, and means for counting the evaluation value frequencies of deleted images is provided so that images with evaluation values with a high cumulative frequency can be preferentially determined as deletion candidates. Good.
次に、図18のフローチャートを参照して、図17に示した画像評価処理の詳細について説明する。 Next, the details of the image evaluation process shown in FIG. 17 will be described with reference to the flowchart of FIG.
まず、画像の評価方法が画質優先の評価方法であるか類似度に基づく評価方法であるかが判別される(ステップS200)。ステップS200において、画像の評価方法が画質優先の評価方法であると判別された場合(ステップS200;画質優先)、画質の評価項目として、露出条件評価が設定されているか否かが判別される(ステップS201)。 First, it is determined whether the image evaluation method is an image quality priority evaluation method or a similarity-based evaluation method (step S200). If it is determined in step S200 that the image evaluation method is an image quality priority evaluation method (step S200; image quality priority), it is determined whether or not exposure condition evaluation is set as an image quality evaluation item (step S200: image quality priority). Step S201).
ステップS201において、評価項目として露出条件評価が設定されていると判別された場合(ステップS201;YES)、記録媒体に記録済みの未評価の画像から評価対象の画像が選択される(ステップS202)。そして、ステップS202で選択された画像について、画像評価方法1による画像評価が行われる。即ち、該当画像の輝度又は濃度のヒストグラム分布の統計量(平均値、分散、標準偏差、歪み度、尖り度等)が算出され(ステップS203)、算出された統計量に基づいて露出条件の評価値が決定される(ステップS204)。
In step S201, when it is determined that the exposure condition evaluation is set as the evaluation item (step S201; YES), an image to be evaluated is selected from unevaluated images already recorded on the recording medium (step S202). . Then, image evaluation by the
次いで、ステップS204で決定された評価値が、該当画像に対応付けて記録媒体に記録される(ステップS205)。次いで、ステップS202〜S205において評価対象であった画像が最後の画像であるか、即ち、未評価の記録済み画像が他にあるか否かが判定される(ステップS206)。 Next, the evaluation value determined in step S204 is recorded on the recording medium in association with the corresponding image (step S205). Next, it is determined whether or not the image that was the object of evaluation in steps S202 to S205 is the last image, that is, whether or not there are other unevaluated recorded images (step S206).
ステップS206において、未評価の記録済み画像が他にあると判定された場合(ステップS206;NO)、ステップS202に戻り、該当する未評価の記録済み画像について、ステップS202〜S205の処理が繰り返される。ステップS206において、未評価の記録済み画像が他にないと判定された場合(ステップS206;YES)、画像評価方法1による画像評価が終了し、ステップS207に移行する。ステップS201において、画質の評価項目として露出条件評価が設定されていないと判別された場合(ステップS201;NO)、画質の評価項目としてコントラスト評価が設定されているか否かが判定される(ステップS207)。
If it is determined in step S206 that there are other unevaluated recorded images (step S206; NO), the process returns to step S202, and the processes in steps S202 to S205 are repeated for the corresponding unevaluated recorded images. . If it is determined in step S206 that there are no other unevaluated recorded images (step S206; YES), the image evaluation by the
ステップS207において、画質の評価項目としてコントラスト評価が設定されていると判定された場合(ステップS207;YES)、記録媒体に記録済みの未評価画像(コントラスト評価が行われていない画像)の中から評価対象の画像が選択される(ステップS208)。そして、ステップS208で選択された画像について、画像評価方法2による画像評価が行われる。即ち、該当画像が、DFT、DCT等により周波数変換され(ステップS209)、周波数変換後の画像から、式(9)に示す画質評価値、式(10)に示すボケ評価値等が算出され、該当画像の評価値として決定される(ステップS210)。
If it is determined in step S207 that contrast evaluation is set as the image quality evaluation item (step S207; YES), the image is selected from unevaluated images (images on which contrast evaluation has not been performed) already recorded on the recording medium. An image to be evaluated is selected (step S208). Then, image evaluation by the
次いで、ステップS210で決定された評価値が、該当画像に対応付けて記録媒体に記録される(ステップS211)。次いで、ステップS208〜S211において、コントラスト評価の対象であった画像が最後の画像であるか、即ち、未評価の記録済み画像が他にあるか否かが判定される(ステップS212)。 Next, the evaluation value determined in step S210 is recorded on the recording medium in association with the corresponding image (step S211). Next, in steps S208 to S211, it is determined whether the image that has been the object of contrast evaluation is the last image, that is, whether there are other unevaluated recorded images (step S212).
ステップS212において、未評価の記録済み画像が他にあると判定された場合(ステップS212;NO)、ステップS208に戻り、該当する未評価の記録済み画像について、ステップS208〜S211の処理が繰り返される。ステップS212において、未評価の記録済み画像が他にないと判定された場合(ステップS212;YES)、画像評価方法2による画像評価が終了し、ステップS213に移行する。ステップS207において、画質の評価項目としてコントラスト評価が設定されていないと判別された場合(ステップS207;NO)、画質の評価項目としてボケ・ブレ評価が設定されているか否かが判定される(ステップS213)。
If it is determined in step S212 that there are other unevaluated recorded images (step S212; NO), the process returns to step S208, and the processing of steps S208 to S211 is repeated for the corresponding unevaluated recorded images. . If it is determined in step S212 that there are no other unevaluated recorded images (step S212; YES), the image evaluation by the
ステップS213において、画像の評価項目としてボケ・ブレ評価が設定されていると判定された場合(ステップS213;YES)、記録媒体に記録済みの未評価画像(ボケ・ブレ評価が行われていない画像)の中から評価対象の画像が選択される(ステップS214)。そして、ステップS214で選択された画像について、画像評価方法3による画像評価が行われる。即ち、該当画像が、フーリエ変換、DCT等により周波数変換され(ステップS215)、周波数変換後の画像から、直線ブレの方向角度(θ)距離(L)、焦点ボケの広がり半径(r)が算出され、該当画像の評価値として決定される(ステップS216)。
If it is determined in step S213 that blur / blur evaluation is set as an image evaluation item (step S213; YES), an unevaluated image recorded on the recording medium (an image for which blur / blur evaluation has not been performed) ) Is selected from among the images (step S214). Then, image evaluation by the
次いで、ステップS216で決定された評価値が、該当画像に対応付けて記録媒体に記録される(ステップS217)。次いで、ステップS214〜S217において、ボケ・ブレ評価の対象であった画像が最後の画像であるか、即ち、未評価の記録済み画像が他にあるか否かが判定される(ステップS218)。 Next, the evaluation value determined in step S216 is recorded on the recording medium in association with the corresponding image (step S217). Next, in steps S214 to S217, it is determined whether or not the image that has been subjected to the blur / blur evaluation is the last image, that is, whether there are other unevaluated recorded images (step S218).
ステップS218において、未評価の記録済み画像が他にあると判定された場合(ステップS218;NO)、ステップS214に戻り、該当する未評価の記録済み画像について、ステップS214〜S217の処理が繰り返される。ステップS218において、未評価の記録済み画像が他にないと判定された場合(ステップS218;YES)、本画像評価処理が終了する。 If it is determined in step S218 that there are other unevaluated recorded images (step S218; NO), the process returns to step S214, and the processes in steps S214 to S217 are repeated for the corresponding unevaluated recorded images. . If it is determined in step S218 that there are no other unevaluated recorded images (step S218; YES), the image evaluation process ends.
ステップS213において、画像の評価項目としてボケ・ブレ評価が設定されていないと判定された場合(ステップS213;NO)、その他の評価処理が行われ(ステップS219)、本画像評価処理が終了する。 If it is determined in step S213 that the blur / blur evaluation is not set as the image evaluation item (step S213; NO), other evaluation processing is performed (step S219), and the image evaluation processing ends.
ステップS200において、画像の評価方法が類似度に基づく評価方法であると判別された場合(ステップS200;類似度)、記録媒体に記録済みの未評価画像の中から評価対象の画像が選択される(ステップS220)。そして、ステップS220で選択された画像について、画像評価方法4による画像評価が行われる。即ち、他の記録済み画像との類似度として、2次元輝度分布の相関係数R(式(19))、輪郭画像の相関係数R'(式(20))、ヒストグラム分布の相関係数R"(式(21))の何れかが算出され、算出された相関係数が評価値として決定される(ステップS221)。
If it is determined in step S200 that the image evaluation method is an evaluation method based on similarity (step S200; similarity), an image to be evaluated is selected from unevaluated images already recorded on the recording medium. (Step S220). Then, image evaluation by the
次いで、ステップS221で決定された評価値が、該当画像に対応付けて記録媒体に記録される(ステップS222)。次いで、ステップS220〜S222において、評価対象であった画像が最後の画像であるか、即ち、未評価の記録済み画像が他にあるか否かが判定される(ステップS223)。 Next, the evaluation value determined in step S221 is recorded on the recording medium in association with the corresponding image (step S222). Next, in steps S220 to S222, it is determined whether the image to be evaluated is the last image, that is, whether there are other unevaluated recorded images (step S223).
ステップS223において、未評価の記録済み画像が他にあると判定された場合(ステップS223;NO)、ステップS220に戻り、該当する未評価の記録済み画像について、ステップS220〜S222の処理が繰り返される。ステップS223において、未評価の記録済み画像が他にないと判定された場合(ステップS223;YES)、本画像評価処理が終了する。 If it is determined in step S223 that there are other unevaluated recorded images (step S223; NO), the process returns to step S220, and the processing of steps S220 to S222 is repeated for the corresponding unevaluated recorded images. . If it is determined in step S223 that there are no other unevaluated recorded images (step S223; YES), the image evaluation process ends.
以上のように、本実施形態2のデジタルカメラ1によれば、記録媒体の残り容量が予め設定された容量以下である場合、撮影画像の評価結果に基づいて、記録媒体から削除する画像の候補を決定するようにしたことにより、画質の悪い画像を迅速に削除して、新規撮影用に記録媒体の空き領域を確実に確保することができ、シャッターチャンスを逃すことが少なくなる。
As described above, according to the
また、記録媒体に記録された他の画像との類似度(相関係数)を算出し、類似度の高い画像を記録媒体から優先的に削除するようにしたことにより、類似した画像を迅速に削除して、新規撮影用に記録媒体の空き領域を確実に確保することができ、シャッターチャンスを逃すことが少なくなる。 Also, by calculating the similarity (correlation coefficient) with other images recorded on the recording medium and preferentially deleting images with high similarity from the recording medium, similar images can be quickly retrieved. By deleting it, it is possible to ensure the free area of the recording medium for new shooting, and it is less likely to miss a photo opportunity.
また、評価項目別に画像削除の基準となる基準値を設定し、評価項目別に画質を評価することにより、ユーザの用途や好みに合わせて、記録媒体から削除する画像が決定され、デジタルカメラ1の利便性を向上させることができる。 Further, by setting a reference value as a reference for image deletion for each evaluation item and evaluating the image quality for each evaluation item, an image to be deleted from the recording medium is determined according to the user's usage and preference. Convenience can be improved.
(実施形態3)
図20及び図21を参照して、本発明の実施形態3について説明する。まず、実施形態3における構成について説明する。
(Embodiment 3)
A third embodiment of the present invention will be described with reference to FIGS. First, the configuration in the third embodiment will be described.
図20に、本発明の実施形態3に係る画像処理システム100の全体構成を示す。図20に示すように、画像撮影装置としてのデジタルカメラ1と外部機器3により構成され、デジタルカメラ1と外部機器3は、通信ケーブルにより接続される。外部機器2は、図20に示すように、画像処理装置3、表示装置4、印刷装置5により構成される。
FIG. 20 shows an overall configuration of an
実施形態3におけるデジタルカメラの回路構成は、実施形態1及び2において図1に示したデジタルカメラ1と同一であるため、その図示を省略し、同一符号を用いるものとする。以下、実施形態1と異なる点のみを説明する。
Since the circuit configuration of the digital camera in the third embodiment is the same as that of the
実施形態3のデジタルカメラ1の制御部32は、CPU(Central Processing Unit)、CPUで実行される動作プログラムを固定的に記憶したROM(Read Only Memory)及びワークメモリとして使用されるRAM(Random Access Memory)等により構成され、デジタルカメラ1の各部の動作を制御する。以下、実施形態3の制御部32による制御動作について説明する。
The
制御部32は、撮影された画像の画質を評価する画像評価処理を実行し、撮影画像のデータと、その評価値を対応付けて記録媒体に記録する。また、制御部32は、撮影画像を外部機器に送信する場合、当該撮影画像のデータを評価値とともに、外部機器に送信する(図21(a)参照)。実施形態3における画像評価処理は、実施形態1又は実施形態2に示した画像評価処理を適用することができる。
The
外部機器2の画像処理装置3は、例えば、PC(Personal Computer)であり、デジタルカメラ1から受信された画像データの評価値が設定値より小さいか否かを判定し、設定値より小さいと判定した場合、その評価値に基づいて当該画像データを補正する処理を行う(図21(b)参照)。
The
例えば、デジタルカメラ1から受信された画像データの評価値が、ブレ方向角度(θ)及びブレの距離(L)に基づく評価値である場合、受信された画像データには、θ方向に周期1/Lでゼロ交差する直線ブレが生じているとみなされ、式(15−2)のP(u、v)は、下記の式(22)のように表される。
P(u、v)=sin(πfL)/πfL (22)
ここで、f=ucosθ+vsinθである。そして、受信された画像データをフーリエ変換したG(u、v)と、式(22)のP(u、v)から、ブレの無い本来の画像のフーリエ変換画像I(u、v)=G(u、v)/P(u、v)を求め、このI(u、v)を式(16)に示すように逆フーリエ変換して本来の画像i(x、y)を求めることにより、デジタルカメラ1から受信された画像データの直線ブレを補正することができる。
For example, when the evaluation value of the image data received from the
P (u, v) = sin (πfL) / πfL (22)
Here, f = u cos θ + v sin θ. Then, from G (u, v) obtained by performing Fourier transform on the received image data and P (u, v) in Expression (22), a Fourier transform image I (u, v) = G of the original image without blurring. (U, v) / P (u, v) is obtained, and the original image i (x, y) is obtained by inverse Fourier transforming this I (u, v) as shown in equation (16). It is possible to correct linear blurring of image data received from the
デジタルカメラ1から受信された画像データの評価値が、焦点の広がり半径(r)に基づく評価値である場合、受信された画像データには、周期1.01π/rで同心円状のゼロ交差をする焦点ボケが生じているとみなされ、式(15−2)のP(u、v)は、下記の式(23)のように表される。
P(u、v)=2・J1(r・R)/r・R (23)
ここで、式(23)のJ1は、1次の第1種ベッセル関数である。そして、上述と同様に、受信された画像データをフーリエ変換したG(u、v)と、式(23)のP(u、v)から、焦点ボケの無い本来の画像のフーリエ変換画像I(u、v)=G(u、v)/P(u、v)を求め、このI(u、v)を式(16)に示すように逆フーリエ変換して本来の画像i(x、y)を求めることにより、デジタルカメラ1から受信された画像データの焦点ボケを補正することができる。
When the evaluation value of the image data received from the
P (u, v) = 2 · J1 (r · R) / r · R (23)
Here, J1 in Expression (23) is a first-order first-type Bessel function. Then, similarly to the above, from the G (u, v) obtained by Fourier-transforming the received image data and P (u, v) in Expression (23), the original Fourier transformed image I ( u, v) = G (u, v) / P (u, v) is obtained, and the original image i (x, y) is obtained by performing inverse Fourier transform on this I (u, v) as shown in Expression (16). ), It is possible to correct defocusing of image data received from the
表示装置4は、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)等の表示ディスプレイを備え、画像処理装置3から入力された表示制御信号に従って表示処理を行う。
The
印刷装置5は、レーザプリンタ、インクジェット式プリンタ、昇華型プリンタ等のプリンタであり、画像処理装置3から入力される印刷制御信号に従って印刷出力を行う。
The
次に、実施形態3における動作について説明する。
図21(a)のフローチャートを参照して、実施形態3のデジタルカメラ1において実行される画像撮影・送信処理について説明する。
Next, the operation in the third embodiment will be described.
With reference to the flowchart of FIG. 21A, image capturing / transmission processing executed in the
図4(a)に示すようなメニュー画面において撮影モードが指定されると(ステップS300;YES)、撮影スルー画像が表示部13に表示される(ステップS301)。そして、キー入力部36のシャッターキーの操作により撮影が指示されると(ステップS302;YES)、撮影処理が行われ(ステップS303)、撮影画像データが取得される。ステップS300において、撮影モード以外の他のモードが指定された場合は、そのモードに対応する処理が行われ、後述のステップS306に移行する。また、ステップS302において、撮影が指示されなかった場合も、ステップS306に移行する。 When the shooting mode is designated on the menu screen as shown in FIG. 4A (step S300; YES), a shooting through image is displayed on the display unit 13 (step S301). When photographing is instructed by operating the shutter key of the key input unit 36 (step S302; YES), photographing processing is performed (step S303), and photographed image data is acquired. If a mode other than the shooting mode is designated in step S300, processing corresponding to that mode is performed, and the process proceeds to step S306 described later. In step S302, if shooting is not instructed, the process proceeds to step S306.
撮影処理が終了すると、撮影画像の画像評価処理が行われ(ステップS304)、撮影画像のデータと、その評価値が対応付けて記録媒体に記録される(ステップS305)。ステップS304における画像評価処理は、実施形態1において図2のステップS12に示した画像評価処理又は実施形態2において図16のステップS112に示した画像評価処理を適用することができる。 When the photographing process is completed, an image evaluation process for the photographed image is performed (step S304), and the photographed image data and the evaluation value are associated with each other and recorded on the recording medium (step S305). In the image evaluation process in step S304, the image evaluation process shown in step S12 of FIG. 2 in the first embodiment or the image evaluation process shown in step S112 of FIG. 16 in the second embodiment can be applied.
次いで、キー入力部36の操作により、記録媒体に記録された撮影画像の中から、外部機器2に送信する画像が選択され、送信が指示されると(ステップS306;YES)、通信部39により外部機器2と通信接続され(ステップS307)、外部機器2から、機能の仕様や容量情報が取得される(ステップS308)。
Next, when an image to be transmitted to the
次いで、選択された画像データが送信データとして設定され(ステップS309)、当該画像データがその評価値とともに外部機器2に送信される(ステップS310)。ステップS309及びS310の処理は、選択された各々のデータについて行われ、選択された全ての画像データの送信が終了すると(ステップS311;YES)、外部機器2との通信接続が切断される(ステップS312)。そして、撮影以外のその他のキー入力処理、表示処理が行われ(ステップS313)、本画像撮影・送信処理が終了する。
Next, the selected image data is set as transmission data (step S309), and the image data is transmitted to the
次に、図21(b)のフローチャートを参照して、外部機器2において実行される画像補正・出力処理について説明する。
Next, image correction / output processing executed in the
画像処理装置3がデジタルカメラ1と通信接続されると(ステップT1)、デジタルカメラ1から、機能の仕様や容量情報が取得され(ステップT2)、デジタルカメラ1から受信された画像データの一覧データが取得され(ステップT3)、これらの画像データの内容情報が引き出される(ステップT4)。また、画像データ及びその評価値が取得され(ステップT5)、画像処理装置3のメモリ(図示略)に記録される。
When the
ステップT3〜T5の処理は、画像データ及びその評価値の受信中に行われ、画像受信が終了すると(ステップT6;YES)、デジタルカメラ1との通信接続が切断される(ステップT7)。
The processes in steps T3 to T5 are performed during the reception of the image data and its evaluation value. When the image reception is completed (step T6; YES), the communication connection with the
画像処理装置3のキー入力部(図示略)により、デジタルカメラ1から取得された画像データの再生、編集、印刷の何れかが指示されると(ステップT8;YES)、該当する画像データとともにその評価値が読み出され(ステップT9)、その読み出された評価値が設定値より小さいか否かが判定される(ステップT10)。
When a key input unit (not shown) of the
ステップT10において、画像データの評価値が設定値以上であると判定された場合(ステップT10;NO)、その画像データがそのまま、指定された出力先(表示装置4又は印刷装置5)に出力され(再生処理、編集処理、印刷処理の何れか)(ステップT11)、本画像補正・出力処理が終了する。
If it is determined in step T10 that the evaluation value of the image data is greater than or equal to the set value (step T10; NO), the image data is output as it is to the designated output destination (
ステップT10において、画像データの評価値が設定値より小さいと判定された場合(ステップT10;YES)、該当する画像データに対し、その評価値に基づいて補正処理が行われる(ステップT12)。ステップT12の補正処理が終了すると、補正済み画像データが、指定された出力先(表示装置4又は印刷装置5)に出力され(再生処理、編集処理、印刷処理の何れか)(ステップT13)、本画像補正・出力処理が終了する。
If it is determined in step T10 that the evaluation value of the image data is smaller than the set value (step T10; YES), correction processing is performed on the corresponding image data based on the evaluation value (step T12). When the correction processing in step T12 is completed, the corrected image data is output to the designated output destination (
なお、本実施形態3では、デジタルカメラ1から受信された画像データを画像処理装置3が補正する場合を示したが、例えば、プリンタ5に画像補正機能を搭載させ、デジタルカメラ1とプリンタ5を直接接続(有線接続又は無線接続)させて、デジタルカメラ1から直接、プリンタ5に画像データ及びその評価値を送信し、プリンタ5で画像補正後、印刷処理を行うようにしてもよい。
In the third embodiment, the case where the
以上のように、本実施形態3の画像処理システム100によれば、デジタルカメラ1に接続された外部機器2において、デジタルカメラ1から送信された撮影画像データ及びその画像の画質評価値に基づいて当該画像を自動的に補正するようにしたことにより、PC操作やレタッチ・ソフトに習熟していない一般ユーザであっても、高度な補正が施された画像を得ることができる。
As described above, according to the
なお、上記各実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。 In addition, the description content in each said embodiment can be suitably changed in the range which does not deviate from the meaning of this invention.
1 デジタルカメラ(画像撮影装置)
2 外部機器
3 画像処理装置
4 表示装置
5 印刷装置
13 表示部
21 モータ(M)
22 レンズ光学系
23 CCD
24 TG(タイミング発生器)
25 垂直ドライバ
26 S/H(サンプルホールド回路)
27 A/D変換器
28 カラープロセス回路
29 DMAコントローラ
30 DRAMI/F
31 DRAM
32 制御部
33 VRAMコントローラ
34 VRAM
35 デジタルビデオエンコーダ
36 キー入力部
37 JPEG回路
38 フラッシュメモリ
39 通信部
100 画像処理システム
1 Digital camera (image capture device)
2
22 Lens
24 TG (timing generator)
25 Vertical driver 26 S / H (sample hold circuit)
27 A /
31 DRAM
32
35
Claims (16)
前記取得された撮影画像を記録媒体に記録する記録手段と、
前記取得された撮影画像の画質を数値化した第1の評価値を算出する第1の評価手段と、
前記取得された撮影画像と前記記録媒体に記録された他の撮影画像との間で、画素値の分布に基づく相関を計算することにより、前記取得された撮影画像と他の撮影画像との類似度を数値化した第2の評価値を算出する第2の評価手段と、
前記第1の評価値および前記第2の評価値の両方の評価値、または前記第1の評価値および前記第2の評価値のうち所定の条件に基づいて選択された一方の評価値に基づいて、前記記録媒体から削除する撮影画像の候補を決定する決定手段と、
前記決定手段により決定された撮影画像を削除する際に、該撮影画像に対応する評価値を表示して該撮影画像を削除するか否かをユーザーに確認する確認手段と、
を備えることを特徴とする画像撮影装置。 Imaging means for photographing a subject and obtaining a captured image;
Recording means for recording the acquired photographed image on a recording medium;
First evaluation means for calculating a first evaluation value obtained by quantifying the image quality of the acquired captured image;
Similarity between the acquired captured image and the other captured image is calculated by calculating a correlation based on a distribution of pixel values between the acquired captured image and another captured image recorded on the recording medium. A second evaluation means for calculating a second evaluation value obtained by quantifying the degree ;
Based on both evaluation values of the first evaluation value and the second evaluation value, or one evaluation value selected based on a predetermined condition among the first evaluation value and the second evaluation value Determining means for determining a candidate for a photographed image to be deleted from the recording medium;
A confirmation unit that displays an evaluation value corresponding to the captured image and confirms whether to delete the captured image when deleting the captured image determined by the determination unit;
An image photographing apparatus comprising:
前記決定手段により削除する撮影画像の候補を決定する際に、前記第1の評価手段により前記第1の評価値を算出することを特徴とする請求項1に記載の画像撮影装置。 The recording unit records the first evaluation value without associating with the captured image when recording the captured image acquired by the imaging unit on a recording medium;
The image photographing apparatus according to claim 1, wherein the first evaluation value is calculated by the first evaluation unit when the candidate of the photographed image to be deleted is determined by the determination unit.
前記決定手段は、前記判定手段により、前記記録媒体の残り容量が予め設定され容量以下であると判定された場合、前記第1の評価手段または前記第2の評価手段により算出される前記第1の評価値または前記第2の評価値に基づいて、前記記録媒体から削除する画像の候補を決定することを特徴とする請求項1乃至8に記載の画像撮影装置。 Determination means for determining whether or not the remaining capacity of the recording medium is equal to or less than a preset capacity;
The determination means calculates the first evaluation means calculated by the first evaluation means or the second evaluation means when the determination means determines that the remaining capacity of the recording medium is preset and less than the capacity. 9. The image photographing apparatus according to claim 1 , wherein a candidate for an image to be deleted from the recording medium is determined based on the evaluation value or the second evaluation value.
前記決定手段は、前記第1の評価手段により算出される前記第1の評価値と前記基準値設定手段により設定された基準値とを比較することにより前記記録媒体から削除する画像の候補を決定することを特徴とする請求項1乃至9に記載の画像撮影装置。 Provided with a reference value setting means for setting a reference value as a reference for image deletion,
The determination unit determines a candidate image to be deleted from the recording medium by comparing the first evaluation value calculated by the first evaluation unit and a reference value set by the reference value setting unit. The image photographing device according to claim 1, wherein
前記前記決定手段は、前記評価項目設定手段により設定された評価項目に対応して算出された評価値を用いて、削除する撮影画像の候補を決定することを特徴とする請求項1乃至10に記載の画像撮影装置。 Evaluation item setting for arbitrarily setting an evaluation item to be used when determining a candidate of a photographed image to be deleted by the determination unit from among a plurality of evaluation items whose evaluation value can be calculated by the first evaluation unit With means,
Wherein said determining means uses the evaluation values calculated in correspondence to the set evaluation item by the evaluation item setting means in claim 1 to 10, wherein determining the candidate of the captured image to be deleted The image photographing device described.
前記決定手段は、前記各評価項目毎に、前記第1の評価手段により算出される前記第1の評価値と前記基準値設定手段により設定された基準値とを比較することにより前記記録媒体から削除する画像の候補を決定することを特徴とする請求項10に記載の画像撮影装置。 The reference value setting means sets a reference value as a reference for image deletion for each of a plurality of evaluation items whose evaluation values can be calculated by the first evaluation means,
The determination unit compares the first evaluation value calculated by the first evaluation unit with the reference value set by the reference value setting unit for each evaluation item, thereby comparing the first evaluation value from the recording medium. The image photographing apparatus according to claim 10 , wherein candidates for images to be deleted are determined.
前記記録手段に記録されている各撮影画像の輝度または濃度の分布を算出する分布算出手段と、
前記分布算出手段により複数の撮影画像から算出された輝度または濃度の分布の間の相関である相関係数を前記第2の評価値として算出する相関算出手段とを備え、
前記決定手段は、前記相関算出手段により算出された相関係数に基づいて、前記記録媒体に記憶されている複数の撮影画像の中から削除または補正の対象となる撮影画像を決定することを特徴とする請求項1に記載の画像撮影装置。 The second evaluation means includes
A distribution calculating means for calculating a luminance or density distribution of each photographed image recorded in the recording means;
Correlation calculating means for calculating a correlation coefficient that is a correlation between luminance or density distributions calculated from a plurality of photographed images by the distribution calculating means as the second evaluation value;
The determining means determines a captured image to be deleted or corrected from a plurality of captured images stored in the recording medium based on the correlation coefficient calculated by the correlation calculating means. The image photographing device according to claim 1.
前記記録手段に記録されている各撮影画像の輪郭を抽出する輪郭抽出手段と、
前記輪郭抽出により複数の撮影画像から抽出された輪郭の間の相関である相関係数を前記第2の評価値として算出する相関算出手段とを備え、
前記決定手段は、前記相関算出手段により算出された相関係数に基づいて、前記記録媒体に記憶されている複数の撮影画像の中から削除または補正の対象となる撮影画像を決定することを特徴とする請求項1に記載の画像撮影装置。 The second evaluation means includes
Contour extracting means for extracting the contour of each photographed image recorded in the recording means;
Correlation calculating means for calculating a correlation coefficient, which is a correlation between contours extracted from a plurality of captured images by the contour extraction, as the second evaluation value;
The determining means determines a captured image to be deleted or corrected from a plurality of captured images stored in the recording medium based on the correlation coefficient calculated by the correlation calculating means. The image photographing device according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004232342A JP4931101B2 (en) | 2004-08-09 | 2004-08-09 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004232342A JP4931101B2 (en) | 2004-08-09 | 2004-08-09 | Imaging device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009197989A Division JP2010035177A (en) | 2009-08-28 | 2009-08-28 | Image photographing apparatus and image processing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006050497A JP2006050497A (en) | 2006-02-16 |
JP4931101B2 true JP4931101B2 (en) | 2012-05-16 |
Family
ID=36028494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004232342A Expired - Fee Related JP4931101B2 (en) | 2004-08-09 | 2004-08-09 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4931101B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105391940A (en) * | 2015-11-05 | 2016-03-09 | 华为技术有限公司 | Image recommendation method and apparatus |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4506966B2 (en) * | 2004-12-17 | 2010-07-21 | 富士フイルム株式会社 | Composite photo creation device, composite photo creation method, composite photo creation program, and composite photo creation system |
JP2006221347A (en) * | 2005-02-09 | 2006-08-24 | Tokyo Institute Of Technology | Blurring information detection method |
JP2007251338A (en) * | 2006-03-14 | 2007-09-27 | Casio Comput Co Ltd | Image pickup device, recording method therefor, and recording program therefor |
JP4793049B2 (en) * | 2006-03-27 | 2011-10-12 | カシオ計算機株式会社 | Imaging device, captured image display method, captured image display program, captured image deletion method, and captured image deletion program |
JP2007267227A (en) * | 2006-03-29 | 2007-10-11 | Sony Corp | Image analyzing device, image analyzing method, image analyzing program and image capturing device |
JP2007295181A (en) * | 2006-04-24 | 2007-11-08 | Casio Comput Co Ltd | Imaging device, image recording device, and its program |
US7920758B2 (en) * | 2006-11-22 | 2011-04-05 | Tektronix, Inc. | Measurement apparatus and method of measurement of video spatial scale, offset and cropping |
KR101336234B1 (en) | 2007-01-12 | 2013-12-03 | 삼성전자주식회사 | Method for improving image quality of digital camera |
JP2008206006A (en) * | 2007-02-22 | 2008-09-04 | Matsushita Electric Ind Co Ltd | Encrypted stream reproducing system, apparatus, program, and medium |
JP4919862B2 (en) * | 2007-03-30 | 2012-04-18 | 株式会社トーメーコーポレーション | Corneal endothelium imaging device |
JP2008278347A (en) * | 2007-05-02 | 2008-11-13 | Nikon System:Kk | Image display system |
JP2008278344A (en) * | 2007-05-02 | 2008-11-13 | Nikon System:Kk | Image output system |
JP5304002B2 (en) * | 2008-04-11 | 2013-10-02 | 株式会社ニコン | Imaging apparatus, image selection method, and program |
US20100079602A1 (en) * | 2008-09-26 | 2010-04-01 | Silverbrook Research Pty Ltd. | Method and apparatus for alignment of an optical assembly with an image sensor |
US20100086277A1 (en) * | 2008-10-03 | 2010-04-08 | Guideworks, Llc | Systems and methods for deleting viewed portions of recorded programs |
JP5540762B2 (en) * | 2010-01-28 | 2014-07-02 | パナソニック株式会社 | Imaging device, image display device, and image display program |
US8774561B2 (en) | 2010-09-01 | 2014-07-08 | Apple Inc. | Consolidating information relating to duplicate images |
JP5170280B2 (en) * | 2011-04-22 | 2013-03-27 | カシオ計算機株式会社 | Imaging apparatus and program |
JP6230335B2 (en) * | 2013-08-29 | 2017-11-15 | 株式会社Nttドコモ | Information processing apparatus and information processing method |
JP2016052081A (en) * | 2014-09-02 | 2016-04-11 | カシオ計算機株式会社 | Imaging apparatus, and method and program for storing image |
JP6589900B2 (en) * | 2017-01-27 | 2019-10-16 | 京セラドキュメントソリューションズ株式会社 | Video processing device |
-
2004
- 2004-08-09 JP JP2004232342A patent/JP4931101B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105391940A (en) * | 2015-11-05 | 2016-03-09 | 华为技术有限公司 | Image recommendation method and apparatus |
CN105391940B (en) * | 2015-11-05 | 2019-05-28 | 华为技术有限公司 | A kind of image recommendation method and device |
Also Published As
Publication number | Publication date |
---|---|
JP2006050497A (en) | 2006-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4931101B2 (en) | Imaging device | |
JP4415188B2 (en) | Image shooting device | |
TWI268096B (en) | Image processing apparatus for correcting distortion of image, image shooting apparatus for correcting distortion of shot image and recordable medium | |
US8947523B2 (en) | Image processing apparatus and associated methodology for blurring digital images | |
JP4186699B2 (en) | Imaging apparatus and image processing apparatus | |
US7327890B2 (en) | Imaging method and system for determining an area of importance in an archival image | |
EP1474779B1 (en) | Assessing the photo quality of a captured image in a digital still camera | |
US20110221920A1 (en) | Digital photographing apparatus, method of controlling the same, and computer readable storage medium | |
US20060062487A1 (en) | Panorama synthesis processing of a plurality of image data | |
WO2007049634A1 (en) | Imaging device, image processing device, and program | |
JP2006190259A (en) | Shake determining device, image processor, control method and program of the same | |
JP2009212853A (en) | White balance controller, its control method, and imaging apparatus | |
JP2007074578A (en) | Image processor, photography instrument, and program | |
JP4624947B2 (en) | Image trimming method, apparatus and program | |
WO2007077730A1 (en) | Imaging system and image processing program | |
JP6755787B2 (en) | Image processing equipment, image processing methods and programs | |
US20080018754A1 (en) | Method for image data print control, electronic camera and camera system | |
JP2010035177A (en) | Image photographing apparatus and image processing system | |
JP2007184888A (en) | Imaging apparatus, image processor, image processing method, and image processing program | |
JP4493416B2 (en) | Image processing method, apparatus, and program | |
JP2006049949A (en) | Image processing apparatus, image processing method and program thereof | |
JP2014123881A (en) | Information processing device, information processing method, and computer program | |
JP2022083913A (en) | Image processing device, image processing method, and program | |
JP2003219246A (en) | Electronic camera and electronic camera system | |
JP2009118434A (en) | Blurring correction device and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090828 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091222 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100112 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20100219 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120210 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150224 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |