JP5353175B2

JP5353175B2 - Imaging device

Info

Publication number: JP5353175B2
Application number: JP2008262914A
Authority: JP
Inventors: 昭彦森下
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-10-09
Filing date: 2008-10-09
Publication date: 2013-11-27
Anticipated expiration: 2028-10-09
Also published as: JP2010093636A

Description

本発明は、撮像装置に関する。 The present invention relates to an imaging device.

従来より、電子カメラなどの撮像装置による撮影において、撮影機会（いわゆるシャッターチャンス）を逃すということは、ユーザにとって大きな問題である。そこで、高速で連続撮影を行うことが考えられている（例えば、特許文献１参照）。
特開２００８−７２６８２号公報 Conventionally, it is a big problem for a user to miss a photographing opportunity (so-called shutter chance) in photographing with an imaging device such as an electronic camera. Therefore, it is considered to perform continuous shooting at high speed (see, for example, Patent Document 1).
JP 2008-72682 A

撮影機会を逃さないように高速で連続撮影を行う場合には、撮影可能間隔（コマ速度）を短くすることが好ましい。撮影可能間隔を短くするためには、メモリの記憶容量を大きくし、連続撮影で生成される多くの画像データを保持することが必要である。しかし、結果的には不要となる可能性のある画像データを含む多数の画像データを保管するためには、膨大な記憶容量のメモリが必要となる。また、メモリの記憶容量を大きくしたとしても、保管された多数の画像データからユーザが必要な画像データ（希望する画像データ）を参照したり抽出したりするのには、非常な手間と時間が必要になる。 When continuous shooting is performed at a high speed so as not to miss a shooting opportunity, it is preferable to shorten the shooting interval (frame speed). In order to shorten the photographing interval, it is necessary to increase the storage capacity of the memory and hold a lot of image data generated by continuous photographing. However, in order to store a large number of image data including image data that may become unnecessary as a result, a memory having a huge storage capacity is required. Even if the storage capacity of the memory is increased, it takes a great deal of time and effort to refer to and extract necessary image data (desired image data) from a large number of stored image data. I need it.

本発明は、無駄な処理を省くことが可能な撮像装置を提供することを目的とする。 An object of the present invention is to provide an imaging apparatus capable of omitting unnecessary processing .

請求項１に記載の撮像装置は、被写体を撮像して画像データを生成する撮像部と、前記撮像部により生成された前記画像データを記憶する第１領域と、前記第１領域とは別の第２領域とを有する一時記憶部と、前記第１領域に記憶された前記画像データが所定基準を満たしているか否かを判定する判定部と、前記画像データに画像処理を施す画像処理部と、前記第１領域に記憶された前記画像データが前記所定基準を満たしていると前記判定部により判定された場合は、前記第１領域に記憶されている前記画像データを前記第２領域に転送する処理と、前記第１領域から転送されて前記第２領域に記憶されている前記画像データに前記画像処理部による前記画像処理を施す処理と、前記画像処理部により前記画像処理が施された画像処理済み画像データを記憶媒体に記憶する処理とを実行するよう制御し、前記第１領域に記憶された前記画像データが前記所定基準を満たしていないと前記判定部により判定された場合は、前記第１領域に記憶されている前記画像データを前記第２領域に転送せず、前記第１領域に記憶されている前記画像データに前記画像処理部による画像処理を施さないよう制御する制御部とを備え、前記画像処理部は、ホワイトバランス調整処理及び階調補正処理の少なくとも１つの処理を前記画像処理として前記画像データに施すことを特徴とする。 The imaging apparatus according to claim 1, wherein an imaging unit that images a subject to generate image data, a first area that stores the image data generated by the imaging unit, and the first area are different from each other. A temporary storage section having a second area, a determination section for determining whether or not the image data stored in the first area satisfies a predetermined criterion, and an image processing section for performing image processing on the image data If the determination unit determines that the image data stored in the first area satisfies the predetermined criterion, the image data stored in the first area is transferred to the second area. Processing for performing the image processing by the image processing unit on the image data transferred from the first region and stored in the second region, and the image processing by the image processing unit. Image processed When the determination unit determines that the image data stored in the first area does not satisfy the predetermined criterion, the first data is stored in the storage medium. A control unit that controls the image data stored in the region not to be transferred to the second region and the image data stored in the first region is not subjected to image processing by the image processing unit. The image processing unit applies at least one of white balance adjustment processing and gradation correction processing to the image data as the image processing .

請求項２に記載の撮像装置は、請求項１に記載の撮像装置において、連続撮影を行うことが可能な連続撮影モードを設定する設定部を更に備え、前記設定部により前記連続撮影モードが設定されている場合、前記判定部は、撮影指示ごとに前記撮像部により生成されて前記第１領域に記憶された前記画像データが前記所定基準を満たしているか否かを判定することを特徴とする。 The imaging device according to claim 2 further includes a setting unit that sets a continuous shooting mode capable of performing continuous shooting in the imaging device according to claim 1, and the continuous shooting mode is set by the setting unit. If it is, the determination unit determines whether the image data generated by the imaging unit and stored in the first area for each shooting instruction satisfies the predetermined criterion. .

請求項３に記載の撮像装置は、請求項１又は請求項２に記載の撮像装置において、前記一時記憶部は、前記第１領域を含む第１メモリと、前記第１メモリとは別体であって前記第２領域を含む第２メモリとを有することを特徴とする。 The imaging device according to claim 3 is the imaging device according to claim 1 or 2 , wherein the temporary storage unit is separate from the first memory including the first region and the first memory. And a second memory including the second area.

請求項４に記載の撮像装置は、請求項１から請求項３のいずれか一項に記載の撮像装置において、前記第１領域に記憶された前記画像データに関する評価情報を生成する生成部を更に備え、前記判定部は、前記生成部により生成された前記評価情報に基づいて、前記第１領域に記憶された前記画像データが前記所定基準を満たしているか否かを判定することを特徴とする。 The imaging device according to claim 4 is the imaging device according to any one of claims 1 to 3 , further comprising a generation unit that generates evaluation information regarding the image data stored in the first region. The determination unit determines whether the image data stored in the first region satisfies the predetermined criterion based on the evaluation information generated by the generation unit. .

請求項５に記載の撮像装置は、請求項１から請求項４のいずれか一項に記載の撮像装置において、前記判定部は、前記第１領域に記憶された前記画像データに顔が含まれているか否かを判定することを特徴とする。 The imaging device according to claim 5 is the imaging device according to any one of claims 1 to 4 , wherein the determination unit includes a face in the image data stored in the first region. It is characterized by determining whether or not.

請求項６に記載の撮像装置は、請求項１から請求項５のいずれか一項に記載の撮像装置において、前記判定部は、前記第１領域に記憶された前記画像データが合焦状態にあるか否かを判定することを特徴とする。 The imaging device according to claim 6 is the imaging device according to any one of claims 1 to 5 , wherein the determination unit sets the image data stored in the first region to a focused state. It is characterized by determining whether or not there is.

本発明によれば、無駄な処理を省くことが可能な撮像装置を提供することができる。 According to the present invention, it is possible to provide an imaging apparatus capable of omitting unnecessary processing .

以下、図面を用いて本発明の実施形態について説明する。本実施形態では、電子カメラを例に挙げて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the present embodiment, an electronic camera will be described as an example.

図１は本実施形態の電子カメラの概略を示すブロック図である。電子カメラ１は、図１に示すように、撮影レンズ２、撮像素子３、ディジタル処理部４、内蔵メモリＡ５、内蔵メモリＢ６、画像処理部７、記録部８、表示部９の各部を備える。撮影レンズ２は、不図示のズームレンズなどを含む複数のレンズ群から成る。また、撮像素子３は、ＣＣＤやＣＭＯＳなどのイメージセンサを備え、被写体像を撮像してアナログ信号を出力する。ディジタル処理部４は、撮像素子３からアナログ信号を取得し、ディジタルデータを出力する。内蔵メモリＡ５、内蔵メモリＢ６は画像データなどを一時展開するためのメモリである。高速の連続撮影時には、内蔵メモリＡ５は作業領域として用いられ、内蔵メモリＢ６は保管領域として用いられる。処理の詳細は後述する。画像処理部７は、クランプレベルの削除処理、暗電流浮きの削除処理、シェーディング補正処理、補間処理、ホワイトバランス調整、色処理、階調補正、ノイズ除去などの画像処理を行う。記録部８は、不図示のカードインタフェースやメモリカードなどを備え、画像データや各種情報を記録する。表示部９は、不図示の表示制御部や表示素子を備え、画像や各種メニューなどを表示する。 FIG. 1 is a block diagram showing an outline of the electronic camera of this embodiment. As shown in FIG. 1, the electronic camera 1 includes a photographing lens 2, an image sensor 3, a digital processing unit 4, a built-in memory A5, a built-in memory B6, an image processing unit 7, a recording unit 8, and a display unit 9. The taking lens 2 includes a plurality of lens groups including a zoom lens (not shown). The image pickup device 3 includes an image sensor such as a CCD or a CMOS, picks up a subject image, and outputs an analog signal. The digital processing unit 4 acquires an analog signal from the image sensor 3 and outputs digital data. The built-in memory A5 and the built-in memory B6 are memories for temporarily expanding image data and the like. During high-speed continuous shooting, the built-in memory A5 is used as a work area, and the built-in memory B6 is used as a storage area. Details of the processing will be described later. The image processing unit 7 performs image processing such as clamp level deletion processing, dark current floating deletion processing, shading correction processing, interpolation processing, white balance adjustment, color processing, gradation correction, and noise removal. The recording unit 8 includes a card interface (not shown), a memory card, and the like, and records image data and various types of information. The display unit 9 includes a display control unit and a display element (not shown), and displays images and various menus.

電子カメラ１は、上述した構成に加えて、各部を制御する制御部１０および操作部１１をさらに備える。操作部１１は、レリーズ釦１１ａやコマ速変更釦１１ｂを含む各種操作部材を備える。コマ速変更釦１１ｂの詳細は後述する。操作部１１の状態は、制御部１０により検知される。また、制御部１０は、各部を統括的に制御するためのプログラムを予め記憶する。 In addition to the configuration described above, the electronic camera 1 further includes a control unit 10 and an operation unit 11 that control each unit. The operation unit 11 includes various operation members including a release button 11a and a frame speed change button 11b. Details of the frame speed change button 11b will be described later. The state of the operation unit 11 is detected by the control unit 10. Moreover, the control part 10 memorize | stores the program for controlling each part collectively.

以上説明した電子カメラ１において、撮影時には、制御部１０は、撮影レンズ２を介した被写体像を撮像素子３により撮像し、ディジタル処理部４、画像処理部７等を適宜制御して画像データを生成し、記録部８に記録するとともに表示部９に表示する。なお、電子カメラ１は、高速で連続撮影を行い、複数の画像を生成する「連続撮影モード」を備える。 In the electronic camera 1 described above, at the time of photographing, the control unit 10 captures an image of a subject through the photographing lens 2 by the image sensor 3, and appropriately controls the digital processing unit 4, the image processing unit 7 and the like to obtain image data. It is generated, recorded in the recording unit 8 and displayed on the display unit 9. The electronic camera 1 includes a “continuous shooting mode” that performs continuous shooting at high speed and generates a plurality of images.

連続撮影モードにおいては、レリーズ釦１１ａが押圧されている期間中、所定のコマ速度で撮像素子３による撮像を繰り返し行い、複数の画像を生成することにより、撮影機会を確実に捉えた画像を取得することができる。この連続撮影モードのＯＮ／ＯＦＦは、操作部１１を介したユーザ操作により行われる。さらに、連続撮影モードの詳細に関する設定も、操作部１１を介したユーザ操作により予め行われる。 In the continuous shooting mode, during the period when the release button 11a is being pressed, the image pickup device 3 is repeatedly imaged at a predetermined frame speed, and a plurality of images are generated, thereby obtaining an image that reliably captures the shooting opportunity. can do. The continuous shooting mode is turned ON / OFF by a user operation via the operation unit 11. Furthermore, the setting regarding the details of the continuous shooting mode is performed in advance by a user operation via the operation unit 11.

設定される内容は以下の２つである。なお、以下では、短距離走のレースを被写体として連続撮影を行う場合を例に挙げて説明する。 The contents to be set are the following two. In the following, a case where continuous shooting is performed using a short-distance race as a subject will be described as an example.

１）コマ速度の設定
電子カメラ１は、上述したように、コマ速変更釦１１ｂを備える。このコマ速変更釦１１ｂは、レリーズ釦１１ａの近傍に配置され、ユーザは、レリーズ釦１１ａを押圧して連続撮影を行っている途中でこのコマ速変更釦１１ｂを押圧することにより、連続撮影の速度を変更可能である。なお、コマ速変更釦１１ｂは専用の部材であっても良いし、何らかの操作部材を兼用した部材であっても良い。 1) Setting of frame speed The electronic camera 1 includes the frame speed change button 11b as described above. The frame speed change button 11b is arranged in the vicinity of the release button 11a, and the user presses the release button 11a and presses the frame speed change button 11b while performing continuous shooting, thereby performing continuous shooting. The speed can be changed. Note that the frame speed change button 11b may be a dedicated member or a member that also serves as an operation member.

ユーザは、操作部１１を介して、複数段階のコマ速度を予め指定する。制御部１０は、指定されたコマ速度を記憶し、レリーズ釦１１ａが押圧され、連続撮影を行っている最中にコマ速変更釦１１ｂが押圧されると、これを検知して連続撮影のコマ速度を変更する。以下では、２段階のコマ速度として、３ｆｐｓと３０ｆｐｓとが指定されたものとして説明を行う。速い方のコマ速度（３０ｆｐｓ）は、短距離走のスタート直後やゴール地点前後のメインの時間帯を想定したコマ速度であり、遅い方のコマ速度（３ｆｐｓ）は、上記以外の時間帯を想定したコマ速度である。 The user designates a plurality of frame speeds in advance via the operation unit 11. The control unit 10 stores the designated frame speed. When the release button 11a is pressed and the frame speed change button 11b is pressed during continuous shooting, this is detected and the frames for continuous shooting are detected. Change the speed. In the following description, it is assumed that 3 fps and 30 fps are designated as the two-step frame speed. The faster frame speed (30 fps) is the frame speed that assumes the main time zone immediately after the start of short-distance running and around the goal point, and the slower frame speed (3 fps) assumes a time zone other than the above Frame speed.

なお、２段階のコマ速度が指定された場合には、コマ速変更釦１１ｂが押圧されるたびに、連続撮影のコマ速度を３ｆｐｓと３０ｆｐｓとの間で切り換える。連続撮影時の模式図を図２に示す。また、３段階以上のコマ速度が指定された場合には、順次コマ速度を切り換えれば良い。 When a two-step frame speed is designated, the continuous shooting frame speed is switched between 3 fps and 30 fps each time the frame speed change button 11b is pressed. A schematic diagram at the time of continuous photographing is shown in FIG. When three or more frame speeds are designated, the frame speeds may be switched sequentially.

２）判定に用いるフラグの設定
本実施形態では、連続撮影により生成される複数の画像を選別するための判定に、以下のフラグを用いる。 2) Setting of flags used for determination In the present embodiment, the following flags are used for determination for selecting a plurality of images generated by continuous shooting.

ａ．合焦状態
合焦状態は、判定対象の画像が生成された際のコントラスト情報、デフォーカス量、手ぶれ情報の少なくとも一つに基づいて求めることができる。合焦状態に関しては、「合焦状態をフラグとして利用しない（＝合焦状態は不問）」または「合焦状態をフラグとして利用し、合焦状態である場合のみＯＫとする」の何れかを設定可能とする。 a. In-focus state The in-focus state can be obtained based on at least one of contrast information, defocus amount, and camera shake information when an image to be determined is generated. For the in-focus state, either “Do not use the in-focus state as a flag (= the in-focus state does not matter)” or “Use the in-focus state as a flag and set OK only in the in-focus state”. Can be set.

ｂ．主要被写体の占有面積比率
主要被写体の占有面積比率は、判定対象の画像に占める主要被写体の面積比率である。主要被写体は、例えば、顔認識、テンプレートマッチングによる主要被写体（ペットモードやキッズモードなどの撮影シーンにおいて指定される主要被写体など）検出、追尾ＡＦによる主要被写体情報などに基づいて抽出することができる。そして、抽出した主要被写体の面積を求め、画像全体に対する占有面積率を算出することができる。主要被写体の占有面積比率に関しては、「主要被写体の占有面積比率をフラグとして利用しない（＝主要被写体の占有面積比率は不問）」または「主要被写体の占有面積比率をフラグとして利用し、主要被写体の占有面積比率が閾値Ｔａ以上である場合のみＯＫとする」の何れかを設定可能とする。なお、閾値Ｔａも、ユーザにより設定可能とする。 b. Occupied area ratio of main subject The occupied area ratio of the main subject is an area ratio of the main subject in the determination target image. The main subject can be extracted based on, for example, face recognition, detection of a main subject (such as a main subject specified in a shooting scene such as a pet mode or a kids mode) by template matching, main subject information by tracking AF, and the like. Then, the area of the extracted main subject can be obtained, and the occupation area ratio for the entire image can be calculated. Regarding the occupied area ratio of the main subject, “Do not use the occupied area ratio of the main subject as a flag (= the occupied area ratio of the main subject is not required)” or “use the occupied area ratio of the main subject as a flag, It is possible to set one of “OK only when the occupation area ratio is equal to or greater than the threshold Ta”. The threshold value Ta can also be set by the user.

ｃ．前画像に対する変動割合（同一性）
前画像に対する変動割合は、判定対象の画像と、それ以前に生成された画像との変動割合である。比較対象の画像を何れの画像にするかについては、その詳細を後述する。なお、変動割合は、画像を所定数の領域に分割し、領域ごとの変動割合を算出することにより求めることができる。変動割合に関しては、「変動割合をフラグとして利用しない（＝変動割合は不問）」または「変動割合をフラグとして利用し、変動割合が閾値Ｔｂ以上Ｔｃ以下である場合のみＯＫとする」の何れかを設定可能とする。なお、閾値ＴｂおよびＴｃも、ユーザにより設定可能とする。変動割合について設けられる上下の閾値のうち、下側の閾値（Ｔｂ）は、変動割合が非常に小さい画像を除外するための閾値である。変動割合が非常に小さい場合には、２枚の画像はほとんど変化のない画像であるとみなすことができる。そのため、これらの画像を両方残すことは無駄であるので、下側の閾値（Ｔｂ）により除外する。一方、上側の閾値（Ｔｃ）は、変動割合が非常に大きい画像を除外するための閾値である。変動割合が非常に大きい場合には、２枚の画像は完全に連続動作での撮影ではないとみなすことができる。そのため、上側の閾値（Ｔｃ）により除外することにより、人によるさえぎりなど突発的に混ざってしまった画像を除外することができる。 c. Change rate relative to previous image (identity)
The variation ratio with respect to the previous image is a variation ratio between the determination target image and an image generated before that. Details of the image to be compared will be described later. The variation rate can be obtained by dividing the image into a predetermined number of regions and calculating the variation rate for each region. Regarding the change rate, either “Do not use change rate as a flag (= the change rate is not required)” or “Use change rate as a flag and set OK only when the change rate is not less than the threshold value Tb and not more than Tc”. Can be set. Note that the threshold values Tb and Tc can also be set by the user. Of the upper and lower threshold values provided for the variation ratio, the lower threshold value (Tb) is a threshold value for excluding images with a very small variation ratio. When the variation rate is very small, the two images can be regarded as images having almost no change. For this reason, it is useless to leave both of these images, and are excluded by the lower threshold value (Tb). On the other hand, the upper threshold value (Tc) is a threshold value for excluding images with a very large variation rate. When the variation rate is very large, it can be considered that the two images are not completely continuously captured. Therefore, by excluding the upper threshold value (Tc), it is possible to exclude an image that has been suddenly mixed, such as blocking by a person.

フラグの設定は、例えば、図３に示す設定画面を表示部９に表示することにより行う。ユーザは、表示部９に表示された設定画面を目視しながら操作部１１を操作することにより、フラグの設定を行う。なお、以下では、短距離走のレースを被写体として連続撮影を行う場合を想定し、ａ．の合焦状態に関しては、「合焦状態をフラグとして利用し、合焦状態である場合のみＯＫとする」を設定し、ｂ．の主要被写体の占有面積比率に関しては、「主要被写体の占有面積比率をフラグとして利用しない（＝主要被写体の占有面積比率は不問）」を設定し、ｃ．の変動割合に関しては、「変動割合をフラグとして利用し、変動割合が閾値Ｔｂ（Ｔｂ＝２０％）以上Ｔｃ（Ｔｃ＝９０％）以下である場合のみＯＫとする」を設定したものとして説明を行う。 The flag is set, for example, by displaying a setting screen shown in FIG. The user sets the flag by operating the operation unit 11 while viewing the setting screen displayed on the display unit 9. In the following, it is assumed that continuous shooting is performed using a short-distance race as a subject. For the in-focus state, set “use the in-focus state as a flag and set it to OK only in the in-focus state”; b. Is set to “Do not use the occupied area ratio of the main subject as a flag (= the occupied area ratio of the main subject does not matter)”, c. As for the fluctuation ratio, the explanation is made assuming that “use the fluctuation ratio as a flag and set OK only when the fluctuation ratio is greater than or equal to a threshold Tb (Tb = 20%) and less than or equal to Tc (Tc = 90%)”. Do.

以上説明した連続撮影モードの詳細に関する設定が行われた後に、レリーズ釦１１ａが押圧されて連続撮影が開始されると、制御部１０は、画像を生成するたびに上述したフラグに設定された各評価値を生成して画像に付加情報として付加する。さらに、付加情報には、フラグとしての利用有無を示す情報も付加される。評価値とは、ａ．の合焦状態に関しては、合焦しているか否かを示す値（例えば０または１など）であり、ｂ．の主要被写体の占有面積比率に関しては、占有面積比率（例えば、２０％など）であり、ｃ．の変動割合に関しては、変動割合（例えば、４５％など）である。なお、「フラグとして利用する」と設定された評価値のみを算出する構成としても良い。 After the setting related to the details of the continuous shooting mode described above is performed, when the release button 11a is pressed and continuous shooting is started, the controller 10 sets each flag set to the flag described above every time an image is generated. An evaluation value is generated and added to the image as additional information. Furthermore, information indicating whether or not the flag is used is added to the additional information. The evaluation value is a. Is a value (for example, 0 or 1) indicating whether or not in-focus, and b. Is the occupied area ratio (for example, 20%), and c. The fluctuation ratio is a fluctuation ratio (for example, 45%). Note that only the evaluation value set to “use as a flag” may be calculated.

制御部１０は、画像に付加された付加情報にしたがって判定を行い、画像を選別する。このときの制御部１０の動作について、図４のフローチャートを参照して説明する。なお、連続撮影により生成された画像は順次上述した付加情報が付加された後に内蔵メモリＡ５に蓄積される。制御部１０は、これらの画像に対して順次後述の処理を行う。 The control unit 10 performs determination according to the additional information added to the image, and selects the image. The operation of the control unit 10 at this time will be described with reference to the flowchart of FIG. It should be noted that the images generated by the continuous shooting are stored in the built-in memory A5 after the additional information described above is sequentially added. The control unit 10 sequentially performs processes described later on these images.

ステップＳ１において、制御部１０は、合焦状態に関する設定が「不問」であるか否かを判定する。制御部１０は、判定対象の画像の付加情報を参照し、合焦状態に関する設定が「不問」でない、すなわち、「合焦状態をフラグとして利用する」と設定されている場合には、ステップＳ２に進み、合焦状態に関する設定が「不問」である場合には後述するステップＳ３に進む。上述したように、短距離走のレースを被写体として想定し、ａ．の合焦状態が「合焦状態をフラグとして利用し、合焦状態である場合のみＯＫとする」と設定されている場合には、ステップＳ２に進む。 In step S 1, the control unit 10 determines whether the setting related to the in-focus state is “unquestioned”. The control unit 10 refers to the additional information of the determination target image, and when the setting regarding the in-focus state is not “unquestioned”, that is, “use in-focus state as a flag” is set, step S2 If the setting related to the in-focus state is “unquestioned”, the process proceeds to step S3 described later. As described above, assuming a short-distance race as a subject, a. When the in-focus state is set to “use the in-focus state as a flag and set it to OK only in the in-focus state”, the process proceeds to step S2.

ステップＳ２において、制御部１０は、判定対象の画像のフラグを参照し、合焦状態であるか否かを判定する。そして、制御部１０は、合焦状態であると判定するとステップＳ３に進み、合焦状態でないと判定すると後述するステップＳ９に進む。 In step S 2, the control unit 10 refers to the flag of the image to be determined, and determines whether or not it is in focus. If the control unit 10 determines that the in-focus state is obtained, the process proceeds to step S3. If the control unit 10 determines that the in-focus state is not obtained, the process proceeds to step S9 described later.

ステップＳ３において、制御部１０は、主要被写体の占有面積比率に関する設定が「不問」であるか否かを判定する。制御部１０は、判定対象の画像のフラグを参照し、主要被写体の占有面積比率に関する設定が「不問」でない、すなわち、「主要被写体の占有面積比率をフラグとして利用する」と設定されてる場合には、ステップＳ４に進み、主要被写体の占有面積比率に関する設定が「不問」である場合には後述するステップＳ５に進む。上述したように、短距離走のレースを被写体として想定し、ｂ．の主要被写体の占有面積比率が「主要被写体の占有面積比率をフラグとして利用しない（＝主要被写体の占有面積比率は不問）」と設定されている場合には、ステップＳ５に進む。 In step S 3, the control unit 10 determines whether the setting related to the occupied area ratio of the main subject is “unquestioned”. The control unit 10 refers to the flag of the determination target image, and the setting regarding the occupied area ratio of the main subject is not “unquestioned”, that is, “uses the occupied area ratio of the main subject as a flag” is set. The process proceeds to step S4. If the setting relating to the occupied area ratio of the main subject is “unquestioned”, the process proceeds to step S5 described later. As described above, assuming a short-distance race as a subject, b. If the occupied area ratio of the main subject is set to “Do not use the occupied area ratio of the main subject as a flag (= the occupied area ratio of the main subject is not specified)”, the process proceeds to step S5.

ステップＳ４において、制御部１０は、判定対象の画像のフラグを参照し、主要被写体の占有面積比率が設定された閾値Ｔａ以上であるか否かを判定する。そして、制御部１０は、占有面積比率が設定された閾値Ｔａ以上であると判定するとステップＳ５に進み、占有面積比率が設定された閾値Ｔａ未満であると判定すると後述するステップＳ９に進む。 In step S4, the control unit 10 refers to the flag of the image to be determined, and determines whether or not the occupied area ratio of the main subject is equal to or greater than the set threshold value Ta. If the control unit 10 determines that the occupied area ratio is equal to or greater than the set threshold Ta, the control unit 10 proceeds to step S5. If the control unit 10 determines that the occupied area ratio is less than the set threshold Ta, the control unit 10 proceeds to step S9 described later.

ステップＳ５において、制御部１０は、判定対象の画像が、連続撮影の１枚目の画像であるか否かを判定する。制御部１０は、１枚目の画像であると判定すると後述するステップＳ８に進み、１枚目の画像でない（＝連続撮影の２枚目以降の画像である）と判定するとステップＳ６に進む。 In step S 5, the control unit 10 determines whether the determination target image is the first image for continuous shooting. If it is determined that the image is the first image, the control unit 10 proceeds to step S8, which will be described later, and proceeds to step S6 if it is determined that the image is not the first image (= the second and subsequent images after continuous shooting).

ステップＳ６において、制御部１０は、変動割合に関する設定が「不問」であるか否かを判定する。制御部１０は、判定対象の画像のフラグを参照し、変動割合に関する設定が「不問」でない、すなわち、「変動割合をフラグとして利用する」と設定されてる場合には、ステップＳ７に進み、変動割合に関する設定が「不問」である場合には後述するステップＳ８に進む。上述したように、短距離走のレースを被写体として想定し、ｃ．の変動割合が「変動割合をフラグとして利用し、変動割合が閾値Ｔｂ（Ｔｂ＝２０％）以上Ｔｃ（Ｔｃ＝９０％）以下である場合のみＯＫとする」と設定されている場合には、ステップＳ７に進む。 In step S 6, the control unit 10 determines whether or not the setting relating to the fluctuation ratio is “unquestioned”. The control unit 10 refers to the flag of the image to be determined, and if the setting regarding the fluctuation ratio is not “unquestioned”, that is, “uses the fluctuation ratio as a flag” is set, the process proceeds to step S7, where the fluctuation When the setting regarding the ratio is “unquestioned”, the process proceeds to step S8 described later. As described above, assuming a short-distance race as a subject, c. Is set such that “the change rate is used as a flag and the change rate is OK only when the change rate is greater than or equal to the threshold Tb (Tb = 20%) and less than or equal to Tc (Tc = 90%)” Proceed to step S7.

ステップＳ７において、制御部１０は、判定対象の画像のフラグを参照し、変動割合が設定された閾値Ｔｂ以上Ｔｃ以下であるか否かを判定する。そして、制御部１０は、変動割合が設定された閾値Ｔｂ以上Ｔｃ以下であると判定するとステップＳ８に進み、変動割合が設定された閾値Ｔｂ未満またはＴｃを超えると判定すると後述するステップＳ１０に進む。 In step S 7, the control unit 10 refers to the flag of the image to be determined, and determines whether or not the variation ratio is greater than or equal to the set threshold Tb and less than or equal to Tc. The control unit 10 proceeds to step S8 when determining that the variation rate is greater than or equal to the set threshold value Tb and less than or equal to Tc, and proceeds to step S10 described later when determining that the variation rate is less than the set threshold value Tb or exceeds Tc. .

ステップＳ８において、制御部１０は、判定対象の画像の画像データを内蔵メモリＢ６にコピー転送して保存し、次の画像を判定対象として、ステップＳ１からの処理を同様に行う。なお、内蔵メモリＡ５には、この画像が引き続き残される。これは、２枚目以降の画像において評価値の算出に用いるためである。 In step S8, the control unit 10 copies and stores the image data of the determination target image in the internal memory B6, and similarly performs the processing from step S1 with the next image as the determination target. This image remains in the built-in memory A5. This is because it is used for calculating the evaluation value in the second and subsequent images.

ステップＳ９において、制御部１０は、上述したステップＳ５と同様に、判定対象の画像が、連続撮影の１枚目の画像であるか否かを判定する。制御部１０は、１枚目の画像であると判定すると後述するステップＳ１１に進み、１枚目の画像でない（＝連続撮影の２枚目以降の画像である）と判定するとステップＳ１０に進む。 In step S9, the control unit 10 determines whether or not the determination target image is the first image for continuous shooting, as in step S5 described above. If it is determined that the image is the first image, the control unit 10 proceeds to step S11 to be described later, and if it is determined that the image is not the first image (= the second and subsequent images of continuous shooting), the process proceeds to step S10.

ステップＳ１０において、制御部１０は、判定対象の画像の画像データを内蔵メモリＡ５から消去し、次の画像を判定対象として、ステップＳ１からの処理を同様に行う。なお、内蔵メモリＡ５には、評価値の算出に用いた画像が引き続き残される。 In step S10, the control unit 10 erases the image data of the determination target image from the built-in memory A5, and similarly performs the processing from step S1 with the next image as the determination target. Note that the image used to calculate the evaluation value remains in the built-in memory A5.

ステップＳ１１において、制御部１０は、判定対象の画像の画像データを内蔵メモリＡ５にそのまま残し、次の画像を判定対象として、ステップＳ１からの処理を同様に行う。 In step S11, the control unit 10 leaves the image data of the determination target image in the built-in memory A5 as it is, and similarly performs the processing from step S1 with the next image as the determination target.

以下説明した処理を、連続撮影により生成された画像に順次行うことにより、作業領域である内蔵メモリＡ５には、比較対象として利用可能な最新の１画像の画像データのみが残り、保管領域である内蔵メモリＢ６には、フラグ設定にしたがって選別された画像の画像データのみが蓄積されていくこととなる。図５に、画像の選別の模式図を示す。図５Ａは、図２に示した連続撮影時の模式図である。そして、図５Ｂは、上述した処理による自動選別後の模式図である。図５Ｂに示すように、フラグ設定にしたがった選別の結果、点線で示す画像の画像データは消去され、実線で示す画像の画像データのみが蓄積される。したがって、必要な画像の画像データのみを保管し、メモリ容量を必要とする不要な画像の画像データは保管せずに消去することができる。 By sequentially performing the processing described below on images generated by continuous shooting, only the latest image data that can be used for comparison remains in the internal memory A5, which is a work area, and is a storage area. Only the image data of the image selected according to the flag setting is stored in the built-in memory B6. FIG. 5 shows a schematic diagram of image selection. FIG. 5A is a schematic diagram at the time of continuous shooting shown in FIG. FIG. 5B is a schematic diagram after automatic selection by the above-described processing. As shown in FIG. 5B, as a result of the selection according to the flag setting, the image data of the image indicated by the dotted line is deleted, and only the image data of the image indicated by the solid line is accumulated. Therefore, only the image data of the necessary image can be stored, and the image data of the unnecessary image requiring a memory capacity can be erased without storing.

また、制御部１０は、保管領域である内蔵メモリＢ６に蓄積された画像の画像データについて、付加情報を付加したまま、画像処理部７による画像処理を施す。そして、画像処理部７による画像処理を終了すると、制御部１０は、画像処理後の画像データを再び保管領域である内蔵メモリＢ６に格納する。このように、選別後の画像の画像データにのみ画像処理部７による画像処理を行うことにより、無駄な処理を省くことができる。なお、画像処理部７による画像処理は、連続撮影の実行中から開始しても良い。 Further, the control unit 10 performs image processing by the image processing unit 7 while adding additional information to the image data of the image stored in the built-in memory B6 that is a storage area. When the image processing by the image processing unit 7 is completed, the control unit 10 stores the image data after the image processing again in the built-in memory B6 that is a storage area. In this way, wasteful processing can be omitted by performing image processing by the image processing unit 7 only on the image data of the sorted image. Note that the image processing by the image processing unit 7 may be started during execution of continuous shooting.

また、保管領域である内蔵メモリＢ６に蓄積された画像の画像データは、記録部８に自動で記録する構成としても良いし、さらにユーザによる選別および指示を受け付けた後に記録部８に記録する構成としても良い。 The image data stored in the built-in memory B6, which is a storage area, may be automatically recorded in the recording unit 8, or may be recorded in the recording unit 8 after receiving selection and instructions from the user. It is also good.

最後に、連続撮影により生成した複数の画像の再生について説明する。上述したように、本実施形態においては、コマ速変更釦１１ｂの操作により連続撮影の速度を変更可能である。したがって、図２に示したように、時間ｔに対して部分的に撮影時間間隔が異なる複数の画像が生成される。そこで、これらの画像を表示部９に順番に表示する際には、何れかの撮影時間間隔に合わせて全ての画像の再生時間間隔を一定の時間間隔に決定すると良い。このとき、撮影時間間隔が長い部分の画像を基準とし、この部分の画像が見やすい再生時間間隔を決定すれば、全体の表示に要する時間を短縮することができる。逆に、撮影時間間隔が短い部分の画像を基準とし、この部分の画像が見やすい再生時間間隔を決定すれば、詳細を確認するのに適した表示を行うことができる。再生時間間隔に関する指定は、操作部１１を介したユーザ操作により行う構成とすると良い。 Finally, reproduction of a plurality of images generated by continuous shooting will be described. As described above, in the present embodiment, the continuous shooting speed can be changed by operating the frame speed change button 11b. Therefore, as shown in FIG. 2, a plurality of images having different photographing time intervals with respect to time t are generated. Therefore, when displaying these images on the display unit 9 in order, it is preferable to determine the reproduction time interval of all the images as a fixed time interval in accordance with any shooting time interval. At this time, if an image having a long shooting time interval is used as a reference and a reproduction time interval at which the image of this portion is easy to see is determined, the time required for the entire display can be shortened. On the other hand, if an image with a short shooting time interval is used as a reference and a reproduction time interval at which this image is easy to see is determined, a display suitable for confirming the details can be performed. The designation regarding the reproduction time interval may be configured to be performed by a user operation via the operation unit 11.

さらに、再生時に新たな選別基準を追加して再生表示を行っても良い。例えば、再生時にフラグの再設定を行い、再設定されたフラグにしたがって、上述した選別処理を再度行っても良い。この場合、最初に設定されたフラグの設定よりも厳しい条件のみ設定可能とすれば良い。例えば、上述した例では、「変動割合が閾値Ｔｂ（Ｔｂ＝２０％）以上Ｔｃ（Ｔｃ＝９０％）以下である場合のみＯＫとする」と設定された場合を例に挙げて説明したが、例えば、Ｔｂ＝３０％，Ｔｃ＝７０％と再設定することにより、さらに画像を絞り込んで選別することができる。このような構成とすれば、自動で選別された画像の数が未だ多すぎて、参照したり抽出したりするのに手間や時間が必要な場合などに有用である。 Further, a new selection criterion may be added at the time of reproduction to perform reproduction display. For example, the flag may be reset at the time of reproduction, and the above-described sorting process may be performed again according to the reset flag. In this case, only conditions that are stricter than the initial flag setting may be set. For example, in the above-described example, the case where “set only when the variation ratio is equal to or greater than the threshold value Tb (Tb = 20%) and equal to or less than Tc (Tc = 90%)” has been described as an example. For example, by resetting Tb = 30% and Tc = 70%, the image can be further narrowed down and selected. Such a configuration is useful when the number of automatically selected images is still too large and it takes time and effort to refer to and extract them.

以上説明したように、本実施形態によれば、被写体像を繰り返し撮像して複数の画像を連続的に生成し、画像が生成されるたびに、その画像に関する評価情報を生成し、評価情報を画像に付加する。そして、付加した評価情報に基づいて、画像の画像データを消去するか否かを判定し、消去しないと判定された画像データを記録する。したがって、メモリの記憶容量を大きくすることなく高速の連続撮影が可能で、かつ、必要な画像データを取得するための手間や時間を軽減することができる。 As described above, according to the present embodiment, a plurality of images are continuously generated by repeatedly capturing a subject image, each time an image is generated, evaluation information about the image is generated, and evaluation information is Append to image. Then, based on the added evaluation information, it is determined whether or not to delete the image data of the image, and the image data determined not to be deleted is recorded. Therefore, high-speed continuous shooting can be performed without increasing the storage capacity of the memory, and time and effort for acquiring necessary image data can be reduced.

また、本実施形態によれば、画像の合焦状態に関する情報と、評価対象の画像とそれ以前に生成された画像との差分情報とを求めて評価情報を生成する。したがって、必要な画像のみを選別し、無駄な画像が保管されるのを防ぐことができる。 Further, according to the present embodiment, the evaluation information is generated by obtaining the information related to the in-focus state of the image and the difference information between the image to be evaluated and the image generated before that. Therefore, only necessary images can be selected and useless images can be prevented from being stored.

また、本実施形態によれば、繰り返し撮像が行われている最中に、その撮影速度を変更するユーザ指示を受け付ける受付部をさらに備え、ユーザ指示にしたがって、撮影速度を変更する。したがって、被写体の変化に応じて好適な速度で撮影を行うことができる。 In addition, according to the present embodiment, it is further provided with a reception unit that receives a user instruction to change the shooting speed during repeated imaging, and changes the shooting speed according to the user instruction. Therefore, it is possible to perform photographing at a suitable speed according to the change of the subject.

また、本実施形態によれば、複数の画像の画像データが記録され、かつ、生成時の撮影速度が異なる画像が含まれる場合には、何れかの撮影速度を基準とした一定速度で再生を行う。したがって、ユーザの目的に応じた好適な再生速度で画像の再生を行うことができる。 Further, according to the present embodiment, when image data of a plurality of images is recorded and images having different shooting speeds at the time of generation are included, playback is performed at a constant speed based on any shooting speed. Do. Therefore, the image can be reproduced at a suitable reproduction speed according to the user's purpose.

なお、本実施形態では、複数のフラグを用いて画像の選別を行う場合を例に挙げて説明したが、複数のファクターについて評価値をそれぞれ求め、それらの評価値を加算または重み付け加算して代表評価値を求め、この代表評価値に基づく一つのフラグを用いて画像の選別を行っても良い。例えば、本実施形態で説明した３つのファクター（ａ．合焦状態、ｂ．主要被写体の占有面積比率、ｃ．前画像に対する変動割合）のそれぞれの評価値を求め、ポイント付けなどをして代表評価値を求める。そして、この代表評価値とユーザにより設定される閾値とを比較することにより、保管する画像と消去する画像とを選別しても良い。このような構成とすれば、複数のファクターの何れかに誤差などが生じたとしても、比較的好ましい選別を実現することができる。 In the present embodiment, the case of selecting an image using a plurality of flags has been described as an example. However, evaluation values are obtained for a plurality of factors, and the evaluation values are added or weighted to add representative values. An evaluation value may be obtained, and an image may be selected using one flag based on this representative evaluation value. For example, the respective evaluation values of the three factors described in the present embodiment (a. Focused state, b. Occupied area ratio of main subject, c. Fluctuation ratio with respect to previous image) are obtained, and points are given to represent the evaluation values. Obtain an evaluation value. Then, the image to be stored and the image to be deleted may be selected by comparing the representative evaluation value with a threshold set by the user. With such a configuration, even if an error or the like occurs in any of a plurality of factors, a relatively preferable selection can be realized.

また、本実施形態で説明した選別の工程は一例であり、本発明はこの例に限定されない。例えば、本実施形態では、ａ．合焦状態、ｂ．主要被写体の占有面積比率、ｃ．前画像に対する変動割合の順番でフラグの判定を行う例を示したが、異なる順番でフラグの判定を行う構成としても良い。 Moreover, the selection process described in this embodiment is an example, and the present invention is not limited to this example. For example, in this embodiment, a. In-focus state, b. Occupied area ratio of main subject, c. Although an example in which the flag is determined in the order of the variation ratio with respect to the previous image has been described, a configuration in which the flag is determined in a different order may be employed.

また、本実施形態で例示した以外のファクターを用いてフラグの判定を行う構成としても良い。例えば、主要被写体がに文字情報（車のナンバー、競技者のゼッケンなど）が含まれる場合には、この文字情報を認識し、認識度合いを用いてフラグの判定を行っても良い。また、顔認識の可否や、テンプレートマッチングの精度、追尾ＡＦの精度などを用いてフラグの判定を行っても良い。 Moreover, it is good also as a structure which performs determination of a flag using factors other than having illustrated in this embodiment. For example, when the main subject includes character information (such as a car number or a competitor's race bib), the character information may be recognized and the flag may be determined using the degree of recognition. Further, the flag may be determined using the possibility of face recognition, the accuracy of template matching, the accuracy of tracking AF, or the like.

また、本実施形態では、作業領域である内蔵メモリＡ５と、保管領域である内蔵メモリＢ６とを独立に備える構成を例に挙げて説明したが、本発明はこの例に限定されない。例えば、記録部８のメモリカードの容量を転用しても良いし、一つのメモリを部分的にそれぞれのメモリとして利用しても良い。 In the present embodiment, the internal memory A5, which is a work area, and the internal memory B6, which is a storage area, are described as examples. However, the present invention is not limited to this example. For example, the capacity of the memory card of the recording unit 8 may be diverted, or one memory may be partially used as each memory.

また、本実施形態で説明した処理の一部をコンピュータにより実現することも可能である。図６は、コンピュータの概略を示すブロック図である。コンピュータ１００は、図６に示すように、取得部１０１、内蔵メモリＡ１０５、内蔵メモリＢ１０６、画像処理部１０７、記録部１０８、表示部１０９、制御部１１０、操作部１１１の各部を備える。取得部１０１は、有線、無線、記録媒体用のドライブなどを介して、電子カメラなどの外部機器や記録媒体から画像データを取得する。画像処理部１１７は、第１実施形態の画像処理部７と同様である。記録部１０８は、画像データなどを記録する。表示部１０９は、液晶表示素子などの画像表示素子を備える。操作部１１１は、電源釦、マウス、キーボードなどを含む。制御部１１０は、各部を統合的に制御する。また、制御部１１０は、各処理を実行するためのプログラムを予め記録している。 In addition, a part of the processing described in the present embodiment can be realized by a computer. FIG. 6 is a block diagram showing an outline of a computer. As shown in FIG. 6, the computer 100 includes an acquisition unit 101, a built-in memory A105, a built-in memory B106, an image processing unit 107, a recording unit 108, a display unit 109, a control unit 110, and an operation unit 111. The acquisition unit 101 acquires image data from an external device such as an electronic camera or a recording medium via a wired, wireless, or recording medium drive. The image processing unit 117 is the same as the image processing unit 7 of the first embodiment. The recording unit 108 records image data and the like. The display unit 109 includes an image display element such as a liquid crystal display element. The operation unit 111 includes a power button, a mouse, a keyboard, and the like. The control unit 110 controls each unit in an integrated manner. The control unit 110 records a program for executing each process in advance.

そして、コンピュータ１００は、取得部１０１を介して、外部から連続撮影により生成された複数の画像を取得する。そして、制御部１１０は、画像を取得するたびに上述した実施形態で説明した各評価値を生成して画像に付加情報として付加する。さらに、制御部１１０は、図４のフローチャートと同様の処理を行うことにより、同様に画像の選別を行うことができる。このようなプログラムは、画像の編集ソフトウェアやアルバムソフトウェアに好適である。また、ＷＥＢカメラなどの遠隔カメラとコンピュータとからなるカメラシステムにも好適である。 Then, the computer 100 acquires a plurality of images generated by continuous shooting from the outside via the acquisition unit 101. Then, every time an image is acquired, the control unit 110 generates each evaluation value described in the above-described embodiment and adds it to the image as additional information. Further, the control unit 110 can perform image selection in the same manner by performing the same processing as in the flowchart of FIG. Such a program is suitable for image editing software and album software. It is also suitable for a camera system including a remote camera such as a WEB camera and a computer.

本実施形態の電子カメラの概略を示すブロック図である。It is a block diagram which shows the outline of the electronic camera of this embodiment. 連続撮影時の模式図である。It is a schematic diagram at the time of continuous imaging. 設定画面の一例を示す図である。It is a figure which shows an example of a setting screen. 画像を選別する際の制御部１０の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the control part 10 at the time of classifying an image. 画像の選別の模式図である。It is a schematic diagram of image selection. 本実施形態のコンピュータ１００の概略を示すブロック図である。It is a block diagram which shows the outline of the computer 100 of this embodiment.

Explanation of symbols

１…電子カメラ、５・６・１０５・１０６…内蔵メモリ、７・１０７…画像処理部、１０・１１０…制御部、１１・１１１…操作部、１１ａ…レリーズ釦、１１ｂ…コマ速変更釦、１００…コンピュータ、１０１…取得部
DESCRIPTION OF SYMBOLS 1 ... Electronic camera, 5 * 6 * 105 * 106 ... Built-in memory, 7 * 107 ... Image processing part, 10 * 110 ... Control part, 11 * 111 ... Operation part, 11a ... Release button, 11b ... Frame speed change button, 100: Computer, 101: Acquisition unit

Claims

An imaging unit that images a subject and generates image data;
A temporary storage unit having a first area for storing the image data generated by the imaging unit, and a second area different from the first area;
A determination unit that determines whether or not the image data stored in the first region satisfies a predetermined criterion;
An image processing unit for performing image processing on the image data;
When the determination unit determines that the image data stored in the first area satisfies the predetermined criterion, the image data stored in the first area is transferred to the second area. Processing, processing for performing the image processing by the image processing unit on the image data transferred from the first region and stored in the second region, and an image subjected to the image processing by the image processing unit Control to execute processing for storing processed image data in a storage medium, and when the determination unit determines that the image data stored in the first area does not satisfy the predetermined criterion, Control that the image data stored in the first area is not transferred to the second area, and the image data stored in the first area is not subjected to image processing by the image processing unit. And a control unit that,
The image processing unit performs at least one of white balance adjustment processing and gradation correction processing on the image data as the image processing .

The imaging device according to claim 1,
It further includes a setting unit for setting a continuous shooting mode capable of continuous shooting,
When the continuous shooting mode is set by the setting unit, the determination unit determines whether the image data generated by the imaging unit and stored in the first area for each shooting instruction satisfies the predetermined criterion. Determining whether or not
An imaging apparatus characterized by the above.

In the imaging device according to claim 1 or 2,
The temporary storage unit includes a first memory including the first area, and a second memory including the second area, which is separate from the first memory.
An imaging apparatus characterized by the above.

In the imaging device according to any one of claims 1 to 3,
A generator for generating evaluation information related to the image data stored in the first area;
The determination unit determines whether the image data stored in the first area satisfies the predetermined criterion based on the evaluation information generated by the generation unit.
An imaging apparatus characterized by the above.

In the imaging device according to any one of claims 1 to 4,
The determination unit determines whether a face is included in the image data stored in the first area.
An imaging apparatus characterized by the above.

In the imaging device according to any one of claims 1 to 5,
The determination unit determines whether the image data stored in the first area is in a focused state.
An imaging apparatus characterized by the above.