WO2014054296A1 - 画像評価装置、撮像装置およびプログラム - Google Patents

画像評価装置、撮像装置およびプログラム Download PDF

Info

Publication number
WO2014054296A1
WO2014054296A1 PCT/JP2013/005930 JP2013005930W WO2014054296A1 WO 2014054296 A1 WO2014054296 A1 WO 2014054296A1 JP 2013005930 W JP2013005930 W JP 2013005930W WO 2014054296 A1 WO2014054296 A1 WO 2014054296A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
captured
images
candidate
image evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/005930
Other languages
English (en)
French (fr)
Inventor
坂本　浩一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of WO2014054296A1 publication Critical patent/WO2014054296A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Definitions

  • the present invention relates to an image evaluation device, an imaging device, and a program.
  • An image evaluation apparatus as one aspect of the present invention includes an acquisition unit that acquires a captured image group captured in time series, an image evaluation unit that selects a plurality of candidate images from the captured image group, and the candidate image as a display device.
  • the image evaluation unit performs the first process and the second process.
  • the image evaluation unit in the first process performs the first operation according to the height of the sharpness of the image from the image captured in the attention period set according to the imaging instruction of the captured image group in the captured image group acquisition period.
  • One candidate image is selected.
  • the image evaluation unit in the second process selects a second candidate image from images captured in the preliminary period excluding the attention period in the captured image group acquisition period.
  • An image evaluation apparatus includes an acquisition unit that acquires a captured image group captured in time series, an image evaluation unit that selects a plurality of candidate images from the captured image group, and a candidate image display device. And a display processing unit to be displayed.
  • the image evaluation unit performs the first process and the second process.
  • the image evaluation unit in the first process performs the first operation according to the height of the sharpness of the image from the image captured in the attention period set according to the imaging instruction of the captured image group in the captured image group acquisition period.
  • One candidate image is selected.
  • the image evaluation unit in the second process selects a second candidate image from the images captured during the acquisition period of the captured image group, using image feature amounts different from those in the first process.
  • An image evaluation apparatus as still another aspect of the present invention includes an acquisition unit that acquires a plurality of captured images, and a determination that determines whether or not the subject has a predetermined amount of movement based on the plurality of captured images. And a selection unit that selects a plurality of images from a plurality of captured images by changing a selection criterion based on a determination result of the determination unit.
  • the flowchart which shows the operation example of the electronic camera in one Embodiment The figure which shows the example of the captured image group
  • FIG. 1 is a diagram illustrating a configuration example of an electronic camera according to an embodiment which is an example of an image evaluation apparatus and an imaging apparatus.
  • the electronic camera of one embodiment has a function (best shot selection function) for automatically selecting a best shot image (representative image) from a plurality of captured images (captured image group) captured in time series. ing.
  • the electronic camera 11 includes a photographing lens 12, an imaging unit 13, a camera microcomputer 14, a first memory 15, a second memory 16, a recording I / F 17, a display unit 18, and an operation unit 19. Yes.
  • the imaging unit 13, the first memory 15, the second memory 16, the recording I / F 17, the display unit 18, and the operation unit 19 are each connected to the camera microcomputer 14.
  • the imaging unit 13 is a module that captures (captures) an image of a subject formed by the photographing lens 12.
  • the imaging unit 13 includes an imaging device that performs photoelectric conversion, an analog front-end circuit that performs analog signal processing, and a digital front-end circuit that performs A / D conversion and digital signal processing.
  • image data captured by the imaging unit 13 is input to the camera microcomputer 14. Thereby, the image input of the camera microcomputer 14 of one Embodiment can acquire a captured image.
  • the imaging unit 13 captures a still image for recording accompanied by recording in the nonvolatile storage medium (24) in accordance with a user's imaging instruction. Further, the imaging unit 13 captures images for observation (through images) at predetermined intervals during standby for capturing still images.
  • the camera microcomputer 14 is a processor that comprehensively controls the operation of the electronic camera 11. For example, the camera microcomputer 14 performs automatic focus (AF) control and automatic exposure (AE) calculation using a through image in the shooting mode. Further, the camera microcomputer 14 causes the imaging unit 13 to capture a still image for recording in response to a user's imaging instruction. Further, the camera microcomputer 14 includes an image processing unit 21, an image evaluation unit 22, and a display processing unit 23.
  • AF automatic focus
  • AE automatic exposure
  • the image processing unit 21 performs image processing such as color interpolation, white balance correction, gradation conversion, color conversion, and contour enhancement on the captured image data input from the imaging unit 13.
  • the image evaluation unit 22 extracts image feature amounts from individual captured images by image analysis when the above-described best shot selection function is on. Then, the image evaluation unit 22 selects a representative image from the captured image group using an evaluation formula having the feature amount of the image as a variable.
  • the image evaluation unit 22 when selecting the representative image by the best shot selection function, uses the first evaluation formula to calculate q candidate images (p, q is a natural number other than 0, and p> q) is selected to narrow down candidate images. Then, the image evaluation unit 22 selects a representative image from q candidate images using a second evaluation formula different from the first evaluation formula. Thereby, since the calculation object by a 2nd evaluation formula becomes fewer than the time of a calculation of a 1st evaluation formula, the load of a calculation process can be reduced. In the embodiment, as an example, an example in which the image evaluation unit 22 selects five candidate images from a group of 20 captured images will be described.
  • the image evaluation unit 22 estimates the shooting scene using the captured image group, and switches the combination of the first evaluation formula and the second evaluation formula used for selecting the best shot according to the shooting scene. Thereby, an appropriate representative image can be selected according to the shooting scene.
  • the display processing unit 23 executes control to display an image on the display unit 18. Note that the display processing unit 23 executes a process of converting the resolution (image size) of the display target image as necessary.
  • the functional blocks in the camera microcomputer 14 shown in FIG. 1 can be realized by an arbitrary processor, memory, or other LSI in terms of hardware, and realized by a program loaded in the memory in terms of software.
  • the image processing unit 21, the image evaluation unit 22, and the display processing unit 23 may be any of an ASIC (Application Specific Integrated Circuit) or a program module that is arithmetically processed by the camera microcomputer 14.
  • the first memory 15 is a memory that temporarily stores captured image data, and is, for example, an SDRAM that is a volatile storage medium.
  • the second memory 16 is a memory that stores programs executed by the camera microcomputer 14 and various data used in the best shot selection function, and is a non-volatile memory such as a flash memory.
  • the recording I / F 17 has a connector for connecting a nonvolatile storage medium 24.
  • the recording I / F 17 executes writing / reading of image data with respect to the storage medium 24 connected to the connector.
  • the storage medium 24 is, for example, a hard disk or a memory card incorporating a semiconductor memory. In FIG. 1, a memory card is illustrated as an example of the storage medium 24.
  • the display unit 18 is a display device (such as a liquid crystal monitor or an organic electroluminescence monitor) that displays various images. For example, under the control of the display processing unit 23, the display unit 18 displays a moving image of a through image (view finder display) and reproduces and displays a still image shot according to an imaging instruction. Further, the display unit 18 displays candidate images and representative images when the best shot selection function is on under the control of the display processing unit 23.
  • a display device such as a liquid crystal monitor or an organic electroluminescence monitor
  • the operation unit 19 is an operation member that receives various user operations.
  • the operation unit 19 includes a release switch 19a that receives an imaging instruction in a shooting mode from a user, and a selector switch 19b that includes a cross key, a determination button, and the like.
  • the selector switch 19b also functions as an input unit that receives designation of a representative image by the user when the best shot selection function is on, for example.
  • the operation unit 19 may be a touch panel stacked on the display unit 18.
  • Step # 101 The camera microcomputer 14 drives the imaging unit 13 to start capturing a through image. Thereby, the camera microcomputer 14 acquires a through image from the imaging unit 13. In addition, the camera microcomputer 14 displays the through image on the display unit 18 as a moving image. Therefore, the user can perform framing for determining the shooting composition with reference to the through image on the display unit 18.
  • Step # 102 The camera microcomputer 14 determines whether an AF instruction (also expressed as S1) is received from the user. For example, the camera microcomputer 14 determines that an AF instruction has been accepted when the release switch 19a is half-pressed. If the above requirement is satisfied (YES side), the process proceeds to # 103. On the other hand, if the above requirement is not satisfied (NO side), the camera microcomputer 14 waits for an AF instruction.
  • an AF instruction also expressed as S1
  • Step # 103 The camera microcomputer 14 executes AF control according to the AF instruction (S1). Note that the camera microcomputer 14 in one embodiment continuously performs AF control following the main subject focused in # 103 until an imaging instruction is issued.
  • Step # 104 The camera microcomputer 14 starts a pre-shooting operation of a still image for recording with an AF instruction (S1) as a trigger in order to secure a captured image in the past from the time point of an imaging instruction to be described later.
  • S1 AF instruction
  • the imaging unit 13 continuously shoots still images for recording prior to the imaging instruction.
  • Data of images captured in time series is temporarily recorded in the first memory 15 after being processed by the image processing unit 21.
  • each image recorded in the first memory 15 is overwritten with a newly captured image after a certain period of time has elapsed since the time of imaging.
  • the first memory 15 is secured while updating images of a certain period of time taken in time series.
  • the camera microcomputer 14 may stop the through image capturing operation and generate a through image by thinning out still images for recording.
  • Step # 105 The camera microcomputer 14 determines whether an imaging instruction (also expressed as S2) is received from the user. For example, the camera microcomputer 14 determines that an imaging instruction has been accepted when the release switch 19a is fully pressed. If the above requirement is satisfied (YES side), the process proceeds to # 106. On the other hand, if the above requirement is not satisfied (NO side), the camera microcomputer 14 waits for an imaging instruction.
  • an imaging instruction also expressed as S2
  • Step # 106 The camera microcomputer 14 specifies p captured images (captured image group) to be selected as the best shot from the still images acquired by the pre-shooting operation with reference to the timing of the imaging instruction.
  • the captured image group includes at least one of a past image and a future image in response to the imaging instruction.
  • the camera microcomputer 14 has one image corresponding to the time point S ⁇ b> 2 among the images in the first memory 15, 12 images past the time point S ⁇ b> 2, and the time point S ⁇ b> 2. Also, a total of 20 images including 7 future images are specified as the best shot selection target (captured image group).
  • the first frame to the last frame of the photographed image group are also referred to as frames 0 to 19, and the frame corresponding to S2 is referred to as frame 12.
  • Step # 107 The image evaluation unit 22 analyzes p captured images included in the captured image group (# 106), and estimates a scene captured by the electronic camera 11. For example, the image evaluation unit 22 in # 107 executes the following (Processing i) and (Processing ii).
  • the image evaluation unit 22 calculates a frame difference between the first frame and the last frame among the p captured images. Then, the image evaluation unit 22 compares the frame difference magnitude with the scene estimation threshold value th_fr.
  • the image evaluation unit 22 determines that the scene is a moving body shooting scene.
  • the scene of moving object shooting includes, for example, a case of moving the viewpoint by pan / tilt of the camera and a case of changing the shooting range by zooming.
  • the image evaluation unit 22 determines that the scene is a still image.
  • a still shooting scene corresponds to, for example, a scene in which the imaging range is substantially fixed and the background portion changes little.
  • the image evaluation unit 22 calculates the amount of movement of the subject between the captured images. For example, the image evaluation unit 22 detects the main subject between the captured images adjacent in the time axis direction, and obtains the movement amount Mv all of the main subject in the planar direction over the entire acquisition period of the captured image group. Further, the image evaluation unit 22 obtains a movement amount Mv 0-19 of the main subject corresponding to each of the frames 0 to 19 in the planar direction.
  • Step # 108 The image evaluation unit 22 determines whether or not the scene photographed by the electronic camera 11 is a moving object photographing scene. If the above requirement is satisfied (YES side), the process proceeds to # 112. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to # 109. Note that the NO side of # 108 corresponds to a still shooting scene and the movement of the electronic camera 11 that captures the captured image group is less than the threshold.
  • Step # 109 The image evaluation unit 22 determines whether or not the amount of movement of the subject is less than the threshold value. For example, the image evaluation unit 22 in # 109 determines that the above requirement is satisfied when the movement amount Mv all of the main subject in the planar direction is less than the subject movement threshold th_mv. If the above requirement is satisfied (YES side), the process proceeds to # 110. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to # 111.
  • Step # 110 This case corresponds to a still shooting scene in which the movement of the electronic camera 11 that captures the captured image group is less than a threshold, and the amount of movement of the subject is less than the threshold (Mv all ⁇ th_mv).
  • the image evaluation unit 22 at # 110 selects the five candidate images from the captured image group by applying the first evaluation formula (A).
  • FIG. 4 is a diagram showing an example of selecting candidate images based on the first evaluation formula (A).
  • the image evaluation unit 22 at # 110 selects five candidate images by the following processes (A1) to (A3).
  • the image evaluation unit 22 sets 1, 2 from the time zone (the attention period) in the vicinity of S2, which is set in accordance with the imaging instruction (S2) in the captured image group acquisition period (frames 0 to 19).
  • the first candidate image is selected (an example of first processing).
  • the image evaluation unit 22 sets an imaging period of ⁇ 3 frames as the attention period with reference to the timing of S2 (frame 12). Then, the image evaluation unit 22 selects two candidate images in descending order of image sharpness among the frames 9 to 15 captured during the attention period. Note that the example of FIG. 4 shows a state where the frames 10 and 12 are selected as candidate images in the process (A1).
  • the image evaluation unit 22 selects the image with the highest sharpness as the third candidate image except for the image selected as the candidate image in the captured image group acquisition period (frames 0 to 19). Elected as. In the example of FIG. 4, in the process of (A2), the image evaluation unit 22 selects an image with the highest sharpness from the images (frames 0 to 9, 11, 13 to 19) excluding the frames 10 and 12 as candidate images. Elected as. Note that the example of FIG. 4 shows a state in which the frame 11 is selected as a candidate image in the process (A2).
  • the image evaluation unit 22 selects the fourth and fifth candidate images from the images captured in the preliminary period excluding the target period in the captured image group acquisition period (frames 0 to 19). (Example of second processing). In the process (A3), if there is an image already selected as a candidate image within the preliminary period, it is excluded from the selection target.
  • the image evaluation unit 22 determines each of the preliminary period before the attention period (frames 0 to 8) and the preliminary period after the attention period (frames 16 to 19) according to the sharpness level. Select candidate images one by one.
  • the example of FIG. 4 shows a state in which frames 5 and 16 are selected as candidate images in the process (A3).
  • candidate images may be selected only from either the preliminary period that is past the attention period or the preliminary period that is future than the attention period. Then, after the processing of (A3) ends, the camera microcomputer 14 shifts the processing to # 113.
  • Step # 111 This case corresponds to a still shooting scene in which the movement of the electronic camera 11 that captures the captured image group is less than the threshold, and the amount of movement of the subject is equal to or greater than the threshold (Mv all ⁇ th_mv).
  • the image evaluation unit 22 at # 111 selects five candidate images from the captured image group by applying the first evaluation formula (B).
  • FIG. 5 is a diagram illustrating an example of selecting candidate images based on the first evaluation formula (B).
  • the image evaluation unit 22 at # 111 selects five candidate images by the following processes (B1) to (B3).
  • the image evaluation unit 22 selects the first and second candidate images from the attention period set according to the imaging instruction (S2) in the captured image group acquisition period (frames 0 to 19). (An example of the first process).
  • the image evaluation unit 22 selects the image with the highest sharpness as the third candidate image except for the image selected as the candidate image in the captured image group acquisition period (frames 0 to 19). Elected as.
  • the image evaluation unit 22 selects the fourth and fifth candidate images using the amount of movement of the subject in the captured image group acquisition period (frames 0 to 19) (an example of the second process). ).
  • the images (frames 10 to 12) that have already been selected as candidate images are excluded from the selection targets.
  • the image evaluation unit 22 refers to the movement amount Mv 0-19 of the subject in the frames 0 to 19 and selects two candidate images in descending order of the movement amount. Also in the process of (B3), a blurred image whose image sharpness is less than the threshold value is excluded from the selection target in advance.
  • FIG. 5 shows a state in which frames 4 and 18 are selected as candidate images in the process (B3). Then, after the process of (B3) ends, the camera microcomputer 14 shifts the process to # 113.
  • Step # 112 This case corresponds to the scene of moving body shooting.
  • the image evaluation unit 22 at # 112 selects five candidate images from the captured image group by applying the first evaluation formula (C).
  • FIG. 6 is a diagram illustrating an example of selecting candidate images based on the first evaluation formula (C).
  • the image evaluation unit 22 in # 112 selects five candidate images by the following processes (C1) to (C3).
  • the image evaluation unit 22 selects the first and second candidate images from the attention period set according to the imaging instruction (S2) in the captured image group acquisition period (frames 0 to 19). (An example of the first process).
  • the image evaluation unit 22 selects the image with the highest sharpness as the third candidate image except for the image selected as the candidate image in the captured image group acquisition period (frames 0 to 19). Elected as.
  • the image evaluation unit 22 determines the fourth and fifth candidate images in the captured image group acquisition period (frames 0 to 19) according to the magnitude of the movement of the electronic camera 11 at the time of imaging. Select (an example of second processing). In the process of (C3), images (frames 10 to 12) that have already been selected as candidate images are excluded from selection targets.
  • the image evaluation unit 22 performs matching between the frames 0 to 19 with the past and future frames that move back and forth in the time axis direction, and obtains the pixel deviation in the entire image that indicates the level of correlation between the frames. .
  • the above-described pixel deviation increases as the number of pixels whose pixel values deviate between the previous and subsequent frames increases, and decreases as the number of pixels whose pixel values are close between the previous and subsequent frames increases.
  • FIG. 7 is a diagram showing an example of changes in pixel deviation in the entire image.
  • the example of FIG. 7 shows a case where the panning is performed by moving the electronic camera 11 from a stationary state.
  • the difference in the background portion between frames is small, so the pixel deviation shows a low value.
  • the background portion is different between frames, so that the pixel deviation shows a high value.
  • the image evaluation unit 22 refers to the pixel deviation in the frames 0 to 19 and selects a candidate image by giving priority to an image having a large pixel deviation or an image having a small pixel deviation.
  • the image evaluation unit 22 selects one candidate image from each of an image with the largest pixel deviation and an image with the smallest pixel deviation.
  • a blurred image whose image sharpness is less than the threshold value is excluded in advance from the selection target.
  • FIG. 6 shows a state in which frames 2 and 17 are selected as candidate images in the process (C3). Then, after the process of (C3) is completed, the camera microcomputer 14 shifts the process to # 113.
  • Step # 113 The image evaluation unit 22 selects one representative image from the five candidate images using the second evaluation formula.
  • the second evaluation expression is an expression for obtaining an evaluation value of an image by weighted addition of a plurality of feature amounts extracted from the candidate image.
  • the image evaluation unit 22 selects an image having the largest evaluation value according to the second evaluation formula among the five candidate images as a representative image.
  • elements (features) that can be included in the evaluation formula include, for example, “size of main subject”, “optimum degree of composition”, “presence / absence of main subject frame out”, “ There are “brightness histogram”, “facial reliability”, “eye meditation”, “face area”, “smile”.
  • the types of feature amounts and the values of weights are different between the second evaluation formulas corresponding to different shooting scenes. Each feature is normalized so that the maximum value in the state excluding the weighting factor is about 1.
  • Step # 114 The display processing unit 23 causes the display unit 18 to display the representative image and the candidate image. Thereby, the user can confirm the best shot image selected by the electronic camera 11 and the best shot candidate image.
  • Step # 115 The camera microcomputer 14 determines whether or not an input (save input) for saving the selected representative image as the best shot has been received from the operation unit 19.
  • Step # 116 The camera microcomputer 14 determines whether or not an input for manually specifying the best shot from the candidate image (best shot specifying input) has been received from the operation unit 19.
  • Step # 117 The camera microcomputer 14 changes the candidate image designated by the user to a representative image. At this time, the camera microcomputer 14 may perform a learning process of adjusting the weighting of the evaluation formula so that the candidate image designated by the user is selected as the representative image.
  • Step # 118 The camera microcomputer 14 records the representative image in the storage medium 24.
  • the camera microcomputer 14 may record the candidate image together with the representative image in the storage medium 24.
  • description of the flowchart of FIG. 2 is complete
  • the electronic camera 11 of one embodiment selects five candidate images from the group of 20 captured images using the best shot selection function (# 110 to # 112).
  • the electronic camera 11 selects a representative image from the five candidate images (# 113), and the display unit 18 displays the representative image and the candidate image (# 114). If the representative image displayed on the display unit 18 does not meet the user's preference, the user can also specify the representative image from the candidate images via the operation unit 19 (# 117).
  • the electronic camera 11 selects a candidate image from images captured in the preliminary period excluding the attention period.
  • the candidate images are sampled from other than the attention period, various images are easily selected as the candidate images regardless of the timing of S2.
  • the electronic camera 11 selects candidate images according to the amount of movement of the subject.
  • candidate images are sampled at characteristic points where the subject moves greatly, so that various images are easily selected as candidate images regardless of the timing of S2.
  • the electronic camera 11 selects a candidate image according to the magnitude of the movement of the electronic camera 11 at the time of imaging.
  • candidate images are sampled at a location that is characteristic of how the electronic camera 11 moves, so that various images are easily selected as candidate images regardless of the timing of S2.
  • the electronic camera 11 since the variation of the candidate images to be sampled is large, it is easy to present an image that matches the user's preference from the captured image group when selecting the best shot.
  • the image evaluation unit 22 may execute face detection processing at the time of scene analysis. Then, the image evaluation unit 22 may apply the first evaluation formula (A) at # 110 in the case of a non-person-photographed scene.
  • a motion detection sensor acceleration sensor, gyro sensor
  • gyro sensor gyro sensor
  • the image evaluation unit 22 may determine the amount of movement of the subject not only from the amount of movement of the subject in the planar direction but also from the change in the subject distance between the camera and the subject.
  • the image evaluation apparatus of the present invention is not limited to the example of the electronic camera of the embodiment, and is mounted on an electronic device (for example, a smartphone, a mobile phone, a tablet computer, etc.) having a camera module, for example. It may be done.
  • an electronic device for example, a smartphone, a mobile phone, a tablet computer, etc.
  • a camera module for example. It may be done.
  • SYMBOLS 11 Electronic camera, 12 ... Shooting lens, 13 ... Imaging part, 14 ... Camera microcomputer, 15 ... 1st memory, 16 ... 2nd memory, 17 ... Recording I / F, 18 ... Display part, 19 ... Operation part, 19a ... Release switch, 19b ... Selector switch, 21 ... Image processing section, 22 ... Image evaluation section, 23 ... Display processing section, 24 ... Storage medium

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

　画像評価装置は、時系列に撮像された撮像画像群を取得する取得部と、撮像画像群から複数の候補画像を選出する画像評価部と、候補画像を表示装置に表示させる表示処理部とを備える。上記の画像評価部は、第１処理および第２処理を実行する。第１処理での画像評価部は、撮像画像群の取得期間のうち、撮像画像群の撮像指示に応じて設定された注目期間に撮像された画像から画像の鮮鋭度の高さに応じて第１の候補画像を選出する。第２処理での画像評価部は、撮像画像群の取得期間のうち、注目期間を除外した予備期間に撮像された画像から第２の候補画像を選出する。

Description

画像評価装置、撮像装置およびプログラム
　本発明は、画像評価装置、撮像装置およびプログラムに関する。
　従来から、評価対象となる画像の特徴の解析結果を用いて、撮影のやり直しや良好な画像の抽出を行う装置が提案されている。
特開２００７－４８１０８号公報
　上記のような画像の抽出処理では、必ずしもユーザの嗜好に合致した画像が抽出されるとは限らない。そのため、ユーザの嗜好に合致した画像を提示するための手段が要望されている。
　本発明の一態様としての画像評価装置は、時系列に撮像された撮像画像群を取得する取得部と、撮像画像群から複数の候補画像を選出する画像評価部と、候補画像を表示装置に表示させる表示処理部と、を備える。上記の画像評価部は、第１処理および第２処理を実行する。第１処理での画像評価部は、撮像画像群の取得期間のうち、撮像画像群の撮像指示に応じて設定された注目期間に撮像された画像から画像の鮮鋭度の高さに応じて第１の候補画像を選出する。第２処理での画像評価部は、撮像画像群の取得期間のうち、注目期間を除外した予備期間に撮像された画像から第２の候補画像を選出する。
　本発明の他の態様としての画像評価装置は、時系列に撮像された撮像画像群を取得する取得部と、撮像画像群から複数の候補画像を選出する画像評価部と、候補画像を表示装置に表示させる表示処理部と、を備える。上記の画像評価部は、第１処理および第２処理を実行する。第１処理での画像評価部は、撮像画像群の取得期間のうち、撮像画像群の撮像指示に応じて設定された注目期間に撮像された画像から画像の鮮鋭度の高さに応じて第１の候補画像を選出する。第２処理での画像評価部は、撮像画像群の取得期間に撮像された画像から、第１処理とは異なる画像の特徴量を用いて、第２の候補画像を選出する。
　本発明のさらに他の態様としての画像評価装置は、複数の撮像画像を取得する取得部と、複数の撮像画像に基づいて、所定量以上の動きのある被写体であるか否かを判定する判定部と、判定部の判定結果に基づいて、選択基準を変えて複数の撮像画像から複数の画像を選択する選択部と、を備える。
一実施形態の電子カメラの構成例を示す図 一実施形態での電子カメラの動作例を示す流れ図 撮像画像群の例を示す図 第１評価式（Ａ）による候補画像の選出例を示す図 第１評価式（Ｂ）による候補画像の選出例を示す図 第１評価式（Ｃ）による候補画像の選出例を示す図 画素偏差の変化例を示す図
　＜一実施形態の説明＞
　図１は、画像評価装置および撮像装置の一例である一実施形態の電子カメラの構成例を示す図である。一実施形態の電子カメラは、時系列に撮像された複数の撮像画像（撮像画像群）のうちからベストショットの画像（代表画像）を自動的に選出する機能（ベストショット選出機能）を有している。
　電子カメラ１１は、撮影レンズ１２と、撮像部１３と、カメラマイコン１４と、第１メモリ１５と、第２メモリ１６と、記録Ｉ／Ｆ１７と、表示部１８と、操作部１９とを備えている。撮像部１３、第１メモリ１５、第２メモリ１６、記録Ｉ／Ｆ１７、表示部１８、操作部１９は、それぞれカメラマイコン１４と接続されている。
　撮像部１３は、撮影レンズ１２によって結像された被写体の像を撮像（撮影）するモジュールである。例えば、撮像部１３は、光電変換を行う撮像素子と、アナログ信号処理を行うアナログフロントエンド回路と、Ａ／Ｄ変換およびデジタル信号処理を行うデジタルフロントエンド回路とを含んでいる。なお、撮像部１３で撮像された画像のデータは、カメラマイコン１４に入力される。これにより、一実施形態のカメラマイコン１４の画像入力は、撮像画像を取得することができる。
　また、電子カメラ１１の撮影モードにおいて、撮像部１３は、ユーザの撮像指示に応じて、不揮発性の記憶媒体（２４）への記録を伴う記録用の静止画像を撮影する。また、撮像部１３は、静止画像の撮影待機時に所定間隔ごとに観測用の画像（スルー画像）を撮影する。
　カメラマイコン１４は、電子カメラ１１の動作を統括的に制御するプロセッサである。例えば、カメラマイコン１４は、撮影モードにおいて、スルー画像を用いた自動焦点（ＡＦ）制御および自動露出（ＡＥ）演算などを行う。また、カメラマイコン１４は、ユーザの撮像指示に応じて、撮像部１３に記録用の静止画像を撮影させる。さらに、カメラマイコン１４は、画像処理部２１、画像評価部２２、表示処理部２３を有している。
　画像処理部２１は、撮像部１３から入力された撮像画像のデータに対して、色補間、ホワイトバランス補正、階調変換、色変換、輪郭強調などの画像処理を施す。
　画像評価部２２は、上記のベストショット選出機能がオンのときに、画像解析によって個々の撮像画像から画像の特徴量を抽出する。そして、画像評価部２２は、画像の特徴量を変数とする評価式を用いて、撮像画像群のうちから代表画像を選出する。
　ここで、一実施形態の画像評価部２２は、ベストショット選出機能で代表画像を選出するときに、第１評価式を用いてｐ枚の撮像画像群のうちからｑ枚の候補画像（ｐ、ｑは０以外の自然数であり、ｐ＞ｑ）を選出し、候補画像の絞り込みを行う。そして、画像評価部２２は、第１評価式と異なる第２評価式を用いてｑ枚の候補画像のうちから代表画像を選出する。これにより、第２評価式による演算対象は、第１評価式の演算時よりも少なくなるので、演算処理の負荷を軽減させることができる。なお、一実施形態では、一例として、画像評価部２２が２０枚の撮像画像群から５枚の候補画像を選出する例を説明する。
　また、画像評価部２２は、撮像画像群を用いて撮影シーンを推定するとともに、撮影シーンに応じてベストショット選出に用いる第１評価式および第２評価式の組み合わせを切り替える。これにより、撮影シーンに応じて適切な代表画像を選出することができる。
　表示処理部２３は、表示部１８に画像を表示させる制御を実行する。なお、必要に応じて、表示処理部２３は、表示対象の画像の解像度（画像サイズ）を変換する処理を実行する。
　なお、図１に示すカメラマイコン１４内の機能ブロックは、ハードウェア的には任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現される。例えば、画像処理部２１、画像評価部２２、表示処理部２３はＡＳＩＣ(Application Specific Integrated Circuit)、またはカメラマイコン１４によって演算処理されるプログラムモジュールのいずれであってもよい。
　第１メモリ１５は、撮像画像のデータを一時的に記憶するメモリであって、例えば揮発性の記憶媒体であるＳＤＲＡＭである。また、第２メモリ１６は、カメラマイコン１４によって実行されるプログラムや、ベストショット選出機能等で使用される各種データを記憶するメモリであって、例えばフラッシュメモリ等の不揮発性メモリである。
　記録Ｉ／Ｆ１７は、不揮発性の記憶媒体２４を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体２４に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２４は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図１では記憶媒体２４の一例としてメモリカードを図示する。
　表示部１８は、各種画像を表示する表示装置（一例として、液晶モニタや有機エレクトロルミネッセンスモニタなど）である。例えば、表示部１８は、表示処理部２３の制御により、スルー画像の動画表示（ビューファインダ表示）や、撮像指示に応じて撮影された静止画像の再生表示を行う。また、表示部１８は、表示処理部２３の制御により、ベストショット選出機能がオンのときに候補画像や代表画像の表示を行う。
　操作部１９は、ユーザの各種操作を受け付ける操作部材である。例えば、操作部１９は、撮影モードでの撮像指示をユーザから受け付けるレリーズスイッチ１９ａや、十字キーや決定ボタンなどを含むセレクタスイッチ１９ｂを有している。上記のセレクタスイッチ１９ｂは、例えば、ベストショット選出機能がオンのときに、ユーザによる代表画像の指定を受け付ける入力部としても機能する。なお、操作部１９は、表示部１８に積層配置されたタッチパネルであってもよい。
　次に、図２の流れ図を参照しつつ、一実施形態での電子カメラの動作例を説明する。以下の動作例では、ベストショット選出機能がオンであることを前提として説明を行う。なお、図２の処理は、撮影モードの起動時にカメラマイコン１４によって開始される。
　ステップ＃１０１：カメラマイコン１４は、撮像部１３を駆動させてスルー画像の撮像を開始する。これにより、カメラマイコン１４は、スルー画像を撮像部１３から取得する。また、カメラマイコン１４は、スルー画像を表示部１８に動画表示させる。したがって、ユーザは、表示部１８のスルー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。
　ステップ＃１０２：カメラマイコン１４は、ユーザからＡＦ指示（Ｓ１とも表記する）を受け付けたか否かを判定する。例えば、カメラマイコン１４は、レリーズスイッチ１９ａの半押し操作があったときにＡＦ指示を受け付けたと判定する。上記要件を満たす場合（ＹＥＳ側）には＃１０３に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）にはカメラマイコン１４はＡＦ指示を待機する。
　ステップ＃１０３：カメラマイコン１４は、ＡＦ指示（Ｓ１）に応じてＡＦ制御を実行する。なお、一実施形態でのカメラマイコン１４は、撮像指示があるまで、＃１０３でピントを合わせた主要被写体を追従して継続的にＡＦ制御を実行する。
　ステップ＃１０４：カメラマイコン１４は、後述の撮像指示の時点よりも過去の撮像画像を確保するために、ＡＦ指示（Ｓ１）をトリガとして記録用の静止画像の先撮り動作を開始する。
　＃１０４の先撮り動作では、撮像指示に先だって撮像部１３が記録用の静止画像を連写撮影する。時系列に撮像された画像のデータは、画像処理部２１での処理後にそれぞれ第１メモリ１５に一時的に記録される。また、第１メモリ１５に記録されている各画像は、撮像時から一定期間経過すると新たに撮像された画像で上書きされる。これにより、第１メモリ１５には、時系列に撮像された一定期間の画像が更新されつつ確保される。
　なお、先撮り動作が行われているときには、カメラマイコン１４はスルー画像の撮影動作を停止する一方で、記録用の静止画像を間引きしてスルー画像を生成してもよい。
　ステップ＃１０５：カメラマイコン１４は、ユーザから撮像指示（Ｓ２とも表記する）を受け付けたか否かを判定する。例えば、カメラマイコン１４は、レリーズスイッチ１９ａの全押し操作があったときに撮像指示を受け付けたと判定する。上記要件を満たす場合（ＹＥＳ側）には＃１０６に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）にはカメラマイコン１４は撮像指示を待機する。
　ステップ＃１０６：カメラマイコン１４は、撮像指示のタイミングを基準として、先撮り動作で取得された静止画像から、ベストショットの選出対象となるｐ枚の撮像画像（撮像画像群）を特定する。上記の撮像画像群は、撮像指示に対して過去の画像および未来の画像の少なくとも一方を含む。
　例えば、図３に示すように、カメラマイコン１４は、第１メモリ１５の画像のうち、Ｓ２の時点に対応する画像１枚と、Ｓ２の時点よりも過去の画像１２枚と、Ｓ２の時点よりも未来の画像７枚との合計２０枚を、ベストショットの選出対象（撮像画像群）として特定する。なお、以下の説明では、撮影画像群の最初のフレームから最終フレームまでをフレーム０～１９とも表記し、Ｓ２に対応するフレームをフレーム１２とする。
　ステップ＃１０７：画像評価部２２は、撮像画像群（＃１０６）に含まれるｐ枚の撮像画像を解析し、電子カメラ１１で撮影したシーンを推定する。例えば、＃１０７での画像評価部２２は、下記の（処理ｉ）、（処理ｉｉ）を実行する。
　（処理ｉ）：画像評価部２２は、ｐ枚の撮像画像のうち、最初のフレームと最終フレームとのフレーム差分を算出する。そして、画像評価部２２は、上記のフレーム差分の大きさと、シーン推定用の閾値ｔｈ＿ｆｒとを比較する。
　フレーム差分が閾値ｔｈ＿ｆｒ以上の場合（すなわち、最初のフレームと最終フレームとが大きく異なる場合）、画像評価部２２は、動体撮影のシーンであると判定する。なお、動体撮影のシーンには、例えば、カメラのパン・チルトによる視点移動の場合や、ズーミングによる撮影範囲の変化の場合が含まれる。一方、フレーム差分が閾値ｔｈ＿ｆｒ未満の場合、画像評価部２２は、静止撮影のシーンであると判定する。なお、静止撮影のシーンは、例えば、撮像範囲がほぼ固定された状態であって、背景部分の変化が少ないシーンが該当する。
　（処理ｉｉ）：画像評価部２２は、撮像画像間での被写体の移動量を求める。例えば、画像評価部２２は、時間軸方向に隣接する撮像画像間で主要被写体をそれぞれ検出し、撮像画像群の取得期間全体での主要被写体の平面方向の移動量Ｍｖallを求める。また、画像評価部２２は、フレーム０～１９にそれぞれ対応する主要被写体の平面方向の移動量Ｍｖ0-19をそれぞれ求める。
　ステップ＃１０８：画像評価部２２は、電子カメラ１１で撮影したシーンが動体撮影のシーンであるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、＃１１２に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、＃１０９に処理が移行する。なお、＃１０８のＮＯ側は、静止撮影のシーンであって、撮像画像群を撮像する電子カメラ１１の動きが閾値未満の場合に相当する。
　ステップ＃１０９：画像評価部２２は、被写体の移動量が閾値未満であるか否かを判定する。例えば、＃１０９での画像評価部２２は、主要被写体の平面方向の移動量Ｍｖallが被写体の動きの閾値ｔｈ＿ｍｖ未満である場合に、上記要件を満たすと判定する。上記要件を満たす場合（ＹＥＳ側）には＃１１０に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１１１に処理が移行する。
　ステップ＃１１０：この場合は、撮像画像群を撮像する電子カメラ１１の動きが閾値未満の静止撮影のシーンであって、被写体の移動量が閾値未満（Ｍｖall＜ｔｈ＿ｍｖ）の場合に相当する。＃１１０での画像評価部２２は、第１評価式（Ａ）を適用して撮像画像群から５枚の候補画像を選出する。
　図４は、第１評価式（Ａ）による候補画像の選出例を示す図である。＃１１０での画像評価部２２は、以下の（Ａ１）～（Ａ３）の処理によって５枚の候補画像を選出する。
　（Ａ１）まず、画像評価部２２は、撮像画像群の取得期間（フレーム０～１９）のうち、撮像指示（Ｓ２）に応じて設定されたＳ２近傍の時間帯（注目期間）から１，２枚目の候補画像を選出する（第１処理の一例）。
　例えば、画像評価部２２は、Ｓ２のタイミング（フレーム１２）を基準として、±３フレーム分の撮像期間を注目期間とする。そして、画像評価部２２は、注目期間に撮像されたフレーム９～１５のうち、画像の鮮鋭度が高い順に候補画像を２枚選出する。なお、図４の例では、（Ａ１）の処理でフレーム１０，１２が候補画像として選出される状態を示している。
　（Ａ２）次に、画像評価部２２は、撮像画像群の取得期間（フレーム０～１９）のうち、候補画像に選出された画像を除いて最も鮮鋭度の高い画像を３枚目の候補画像として選出する。図４の例であれば、画像評価部２２は、（Ａ２）の処理において、フレーム１０，１２を除く画像（フレーム０～９，１１，１３～１９）から最も鮮鋭度の高い画像を候補画像として選出する。なお、図４の例では、（Ａ２）の処理でフレーム１１が候補画像として選出される状態を示している。
　（Ａ３）さらに、画像評価部２２は、撮像画像群の取得期間（フレーム０～１９）のうち、注目期間を除外した予備期間に撮像された画像から４，５枚目の候補画像を選出する（第２処理の一例）。なお、（Ａ３）の処理では、予備期間内で既に候補画像に選出された画像がある場合には選出対象から除外される。
　例えば、画像評価部２２は、注目期間よりも過去の予備期間（フレーム０～８）と、注目期間よりも未来の予備期間（フレーム１６～１９）とから、鮮鋭度の高さに応じてそれぞれ１枚ずつ候補画像を選出する。図４の例では、（Ａ３）の処理でフレーム５，１６が候補画像として選出される状態を示している。なお、図４の例において、注目期間よりも過去の予備期間または注目期間よりも未来の予備期間のいずれか一方のみから候補画像を選出するようにしてもよい。そして、（Ａ３）の処理終了後に、カメラマイコン１４は＃１１３に処理を移行させる。
　ステップ＃１１１：この場合は、撮像画像群を撮像する電子カメラ１１の動きが閾値未満の静止撮影のシーンであって、被写体の移動量が閾値以上（Ｍｖall≧ｔｈ＿ｍｖ）の場合に相当する。＃１１１での画像評価部２２は、第１評価式（Ｂ）を適用して撮像画像群から５枚の候補画像を選出する。
　図５は、第１評価式（Ｂ）による候補画像の選出例を示す図である。＃１１１での画像評価部２２は、以下の（Ｂ１）～（Ｂ３）の処理によって５枚の候補画像を選出する。
　（Ｂ１）まず、画像評価部２２は、撮像画像群の取得期間（フレーム０～１９）のうち、撮像指示（Ｓ２）に応じて設定された注目期間から１，２枚目の候補画像を選出する（第１処理の一例）。
　（Ｂ２）次に、画像評価部２２は、撮像画像群の取得期間（フレーム０～１９）のうち、候補画像に選出された画像を除いて最も鮮鋭度の高い画像を３枚目の候補画像として選出する。
　なお、（Ｂ１），（Ｂ２）の処理は、上記の（Ａ１），（Ａ２）にそれぞれ対応するため、図５の例での重複説明はいずれも省略する。
　（Ｂ３）さらに、画像評価部２２は、撮像画像群の取得期間（フレーム０～１９）のうち、被写体の移動量を用いて４，５枚目の候補画像を選出する（第２処理の一例）。なお、（Ｂ３）の処理では、既に候補画像に選出された画像（フレーム１０～１２）は選出対象から除外される。
　例えば、画像評価部２２は、フレーム０～１９での被写体の移動量Ｍｖ0-19を参照し、移動量が大きい順に２枚の候補画像を選出する。なお、（Ｂ３）の処理においても、画像の鮮鋭度が閾値未満のボケた画像は選出対象から予め除外される。図５の例では、（Ｂ３）の処理でフレーム４，１８が候補画像として選出された状態を示している。そして、（Ｂ３）の処理終了後に、カメラマイコン１４は＃１１３に処理を移行させる。
　ステップ＃１１２：この場合は、動体撮影のシーンの場合に相当する。＃１１２での画像評価部２２は、第１評価式（Ｃ）を適用して撮像画像群から５枚の候補画像を選出する。
　図６は、第１評価式（Ｃ）による候補画像の選出例を示す図である。＃１１２での画像評価部２２は、以下の（Ｃ１）～（Ｃ３）の処理によって５枚の候補画像を選出する。
　（Ｃ１）まず、画像評価部２２は、撮像画像群の取得期間（フレーム０～１９）のうち、撮像指示（Ｓ２）に応じて設定された注目期間から１，２枚目の候補画像を選出する（第１処理の一例）。
　（Ｃ２）次に、画像評価部２２は、撮像画像群の取得期間（フレーム０～１９）のうち、候補画像に選出された画像を除いて最も鮮鋭度の高い画像を３枚目の候補画像として選出する。
　なお、（Ｃ１），（Ｃ２）の処理は、上記の（Ａ１），（Ａ２）にそれぞれ対応するため、図６の例での重複説明はいずれも省略する。
　（Ｃ３）さらに、画像評価部２２は、撮像画像群の取得期間（フレーム０～１９）のうち、撮像時における電子カメラ１１の動きの大きさに応じて、４，５枚目の候補画像を選出する（第２処理の一例）。なお、（Ｃ３）の処理では、既に候補画像に選出された画像（フレーム１０～１２）は選出対象から除外される。
　例えば、画像評価部２２は、フレーム０～１９について、それぞれ時間軸方向に前後する過去および未来のフレームとのマッチングを行い、フレーム間の相関の高さを示す画像全体での画素偏差をそれぞれ求める。上記の画素偏差は、前後のフレーム間で画素値が乖離する画素が多いほど高い値となり、前後のフレーム間で画素値が近い画素が多いほど低い値となる。
　図７は、画像全体での画素偏差の変化例を示す図である。図７の例は、静止状態から電子カメラ１１を動かして流し撮りをした場合を示している。電子カメラ１１の動きが小さいときは、フレーム間で背景部分の相違が小さくなるため画素偏差は低い値を示す。一方、電子カメラ１１の動きが大きいときは、フレーム間で背景部分が相違するため画素偏差は高い値を示す。
　ここで、画像評価部２２は、フレーム０～１９での画素偏差を参照し、画素偏差の大きい画像または画素偏差の小さい画像を優先して候補画像を選出する。図６の例では、画像評価部２２は、画素偏差が最大となる画像と、画素偏差が最小となる画像からそれぞれ１枚ずつ候補画像を選出する。なお、（Ｃ３）の処理においても、画像の鮮鋭度が閾値未満のボケた画像は選出対象から予め除外される。図６の例では、（Ｃ３）の処理でフレーム２，１７が候補画像として選出された状態を示している。そして、（Ｃ３）の処理終了後に、カメラマイコン１４は＃１１３に処理を移行させる。
　ステップ＃１１３：画像評価部２２は、第２評価式を用いて、５枚の候補画像のうちから１枚の代表画像を選出する。
　ここで、第２評価式は、候補画像から抽出される複数の特徴量を重み付け加算して画像の評価値を求める式である。例えば、画像評価部２２は、５枚の候補画像のうち、第２評価式による評価値が最も大きくなる画像を代表画像に選出する。一実施形態において、評価式に含まれうる要素（特徴量）には、例えば、「主要被写体の大きさ」、「構図の最適度」、「主要被写体のフレームアウトの有無」、「画像全体の輝度ヒストグラム」、「顔の信頼度」、「目瞑り度」、「顔面積」、「笑顔度」などがある。また、異なる撮影シーンに対応する第２評価式の間では、特徴量の種類や重みの値はそれぞれ相違する。なお、各特徴量は、重み係数を除外した状態の最大値が１程度となるように正規化される。
　ステップ＃１１４：表示処理部２３は、代表画像および候補画像を表示部１８に表示させる。これにより、ユーザは、電子カメラ１１が選出したベストショットの画像と、ベストショットの候補画像を確認することができる。
　ステップ＃１１５：カメラマイコン１４は、選出された代表画像をベストショットとして保存する入力（保存入力）を、操作部１９から受け付けたか否かを判定する。
　上記要件を満たす場合（ＹＥＳ側）には＃１１８に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１１６に処理が移行する。
　ステップ＃１１６：カメラマイコン１４は、候補画像からベストショットを手動で指定する入力（ベストショット指定入力）を、操作部１９から受け付けたか否かを判定する。
　上記要件を満たす場合（ＹＥＳ側）には＃１１７に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１１５に戻って、カメラマイコン１４は上記の処理を繰り返す。
　ステップ＃１１７：カメラマイコン１４は、ユーザの指定した候補画像を代表画像に変更する。このとき、カメラマイコン１４は、ユーザの指定した候補画像が代表画像に選出されるように、評価式の重み付けを調整する学習処理を行ってもよい。
　ステップ＃１１８：カメラマイコン１４は、代表画像を記憶媒体２４に記録する。なお、カメラマイコン１４は、代表画像とともに候補画像も記憶媒体２４に記録してもよい。以上で、図２の流れ図の説明を終了する。
　以下、一実施形態の作用効果を説明する。一実施形態の電子カメラ１１は、ベストショット選出機能により、２０枚の撮像画像群のうちから５枚の候補画像を選出する（＃１１０～＃１１２）。また、電子カメラ１１は、５枚の候補画像から代表画像を選出し（＃１１３）、表示部１８には、代表画像および候補画像が表示される（＃１１４）。なお、表示部１８に表示された代表画像がユーザの嗜好に合わない場合、ユーザが操作部１９を介して候補画像から代表画像を指定することもできる（＃１１７）。
　ところで、撮像画像群の取得期間のうちから候補画像を選出するときに、画像の鮮鋭度に注目すると、候補画像の選出がＳ２近傍の注目期間に集中する傾向がある。
　ここで、＃１１０の場合、注目期間を除外した予備期間に撮像された画像から電子カメラ１１が候補画像を選出する。＃１１０の場合には、候補画像のサンプリングが注目期間以外からも行われるため、Ｓ２のタイミングに拘わらずに多様な画像が候補画像に選出されやすくなる。
　また、＃１１１の場合、被写体の移動量の大きさに応じて電子カメラ１１が候補画像を選出する。＃１１１の場合、被写体が大きく移動する特徴的な箇所で候補画像がサンプリングされるので、Ｓ２のタイミングに拘わらずに多様な画像が候補画像に選出されやすくなる。
　また、＃１１２の場合、撮像時における電子カメラ１１の動きの大きさに応じて、電子カメラ１１が候補画像を選出する。＃１１２の場合、電子カメラ１１の動き方に特徴のある箇所で候補画像がサンプリングされるので、Ｓ２のタイミングに拘わらずに多様な画像が候補画像に選出されやすくなる。
　したがって、一実施形態での電子カメラ１１では、サンプリングされる候補画像のバラツキが大きくなるため、ベストショット選出のときに撮像画像群からユーザの嗜好に合致した画像が提示されやすくなる。
　＜実施形態の補足事項＞
　（補足１）：一実施形態において、画像評価部２２は、シーン解析のときに顔検出処理を実行してもよい。そして、画像評価部２２は、非人物撮影のシーンのときに＃１１０での第１評価式（Ａ）を適用するようにしてもよい。
　（補足２）：一実施形態において、カメラの動きを検出する動き検出センサ（加速度センサ、ジャイロセンサ）を電子カメラに設け、シーン解析のときに動き検出センサの出力から動体撮影のシーンか否かを判定してもよい。
　（補足３）：一実施形態において、画像評価部２２は、平面方向の被写体の移動量に限らず、カメラ－被写体間の被写体距離の変化から被写体の移動量を求めてもよい。
　（補足４）：本発明の画像評価装置は、一実施形態の電子カメラの例に限定されることなく、例えば、カメラモジュールを有する電子機器（例えば、スマートフォン、携帯電話、タブレットコンピュータ等）に実装されるものであってもよい。
　以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
１１…電子カメラ、１２…撮影レンズ、１３…撮像部、１４…カメラマイコン、１５…第１メモリ、１６…第２メモリ、１７…記録Ｉ／Ｆ、１８…表示部、１９…操作部、１９ａ…レリーズスイッチ、１９ｂ…セレクタスイッチ、２１…画像処理部、２２…画像評価部、２３…表示処理部、２４…記憶媒体

Claims (16)

  1. 　時系列に撮像された撮像画像群を取得する取得部と、
    　前記撮像画像群から複数の候補画像を選出する画像評価部と、
    　前記候補画像を表示装置に表示させる表示処理部と、を備え、
    　前記画像評価部は、
    　前記撮像画像群の取得期間のうち、前記撮像画像群の撮像指示に応じて設定された注目期間に撮像された画像から画像の鮮鋭度の高さに応じて第１の候補画像を選出する第１処理と、
    　前記撮像画像群の取得期間のうち、前記注目期間を除外した予備期間に撮像された画像から第２の候補画像を選出する第２処理とを実行する画像評価装置。
  2. 　請求項１に記載の画像評価装置において、
    　前記画像評価部は、前記撮像画像群を撮像する撮像装置の動きが閾値未満のシーンのときに、前記第２処理を実行する画像評価装置。
  3. 　請求項１または請求項２に記載の画像評価装置において、
    　前記画像評価部は、前記撮像画像群の取得期間での被写体の移動量が閾値未満のシーンのときに、前記第２処理を実行する画像評価装置。
  4. 　時系列に撮像された撮像画像群を取得する取得部と、
    　前記撮像画像群から複数の候補画像を選出する画像評価部と、
    　前記候補画像を表示装置に表示させる表示処理部と、を備え、
    　前記画像評価部は、
    　前記撮像画像群の取得期間のうち、前記撮像画像群の撮像指示に応じて設定された注目期間に撮像された画像から画像の鮮鋭度の高さに応じて第１の候補画像を選出する第１処理と、
    　前記撮像画像群の取得期間に撮像された画像から、前記第１処理とは異なる画像の特徴量を用いて、第２の候補画像を選出する第２処理とを実行する画像評価装置。
  5. 　請求項４に記載の画像評価装置において、
    　前記画像評価部は、前記第２処理のときに、画像間での被写体の移動量の大きさに応じて、第２の候補画像を選出する画像評価装置。
  6. 　請求項５に記載の画像評価装置において、
    　前記画像評価部は、前記撮像画像群の取得期間での被写体の移動量が閾値以上のシーンのときに、前記第２処理を実行する画像評価装置。
  7. 　請求項４に記載の画像評価装置において、
    　前記画像評価部は、前記第２処理のときに、前記撮像画像群を撮像する撮像装置の動きの大きさに応じて、第２の候補画像を選出する画像評価装置。
  8. 　請求項７に記載の画像評価装置において、
    　前記画像評価部は、前記第２処理のときに、前記撮像装置の動きが大きいときの画像を優先して第２の候補画像を選出する画像評価装置。
  9. 　請求項７に記載の画像評価装置において、
    　前記画像評価部は、前記第２処理のときに、前記撮像装置の動きが小さいときの画像を優先して第２の候補画像を選出する画像評価装置。
  10. 　請求項７から請求項９のいずれか１項に記載の画像評価装置において、
    　前記画像評価部は、前記第２処理のときに、過去の画像および未来の画像との相関を用いて前記撮像装置の動きの大きさを求める画像評価装置。
  11. 　請求項１から請求項１０のいずれか１項に記載の画像評価装置において、
    　前記画像評価部は、前記第１の候補画像および前記第２の候補画像を含む複数の候補画像のうちから１枚の代表画像を選出する画像評価装置。
  12. 　複数の撮像画像を取得する取得部と、
    　前記複数の撮像画像に基づいて、所定量以上の動きのある被写体であるか否かを判定する判定部と、
    　前記判定部の判定結果に基づいて、選択基準を変えて前記複数の撮像画像から複数の画像を選択する選択部と、
    　を備える画像評価装置。
  13. 　撮像画像群を撮像する撮像部と、
    　請求項１から請求項１２のいずれか１項に記載の画像評価装置と、
    　を備える撮像装置。
  14. 　時系列に撮像された撮像画像群を取得する処理と、
    　前記撮像画像群から複数の候補画像を選出する画像評価処理と、
    　前記候補画像を表示装置に表示させる処理と、をコンピュータに実行させ、
    　前記画像評価処理は、
    　前記撮像画像群の取得期間のうち、前記撮像指示に応じて設定された注目期間に撮像された画像から画像の鮮鋭度の高さに応じて第１の候補画像を選出する第１処理と、
    　前記撮像画像群の取得期間のうち、前記注目期間を除外した予備期間に撮像された画像から第２の候補画像を選出する第２処理とを含むプログラム。
  15. 　時系列に撮像された撮像画像群を取得する処理と、
    　前記撮像画像群から複数の候補画像を選出する画像評価処理と、
    　前記候補画像を表示装置に表示させる処理と、をコンピュータに実行させ、
    　前記画像評価処理は、
    　前記撮像画像群の取得期間のうち、前記撮像画像群の撮像指示に応じて設定された注目期間に撮像された画像から画像の鮮鋭度の高さに応じて第１の候補画像を選出する第１処理と、
    　前記撮像画像群の取得期間に撮像された画像から、前記第１処理とは異なる画像の特徴量を用いて、第２の候補画像を選出する第２処理とを含むプログラム。
  16. 　複数の撮像画像を取得する処理と、
    　前記複数の撮像画像に基づいて、所定量以上の動きのある被写体であるか否かを判定する処理と、
    　前記判定部の判定結果に基づいて、選択基準を変えて前記複数の撮像画像から複数の画像を選択する処理と、
    　をコンピュータに実行させるプログラム。
PCT/JP2013/005930 2012-10-05 2013-10-04 画像評価装置、撮像装置およびプログラム Ceased WO2014054296A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012223146 2012-10-05
JP2012-223146 2012-10-05

Publications (1)

Publication Number Publication Date
WO2014054296A1 true WO2014054296A1 (ja) 2014-04-10

Family

ID=50434639

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/005930 Ceased WO2014054296A1 (ja) 2012-10-05 2013-10-04 画像評価装置、撮像装置およびプログラム

Country Status (1)

Country Link
WO (1) WO2014054296A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113574857A (zh) * 2019-03-25 2021-10-29 日本电气株式会社 图像处理设备和图像处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354185A (ja) * 1999-06-10 2000-12-19 Olympus Optical Co Ltd 電子カメラ
JP2010087971A (ja) * 2008-10-01 2010-04-15 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354185A (ja) * 1999-06-10 2000-12-19 Olympus Optical Co Ltd 電子カメラ
JP2010087971A (ja) * 2008-10-01 2010-04-15 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113574857A (zh) * 2019-03-25 2021-10-29 日本电气株式会社 图像处理设备和图像处理方法
CN113574857B (zh) * 2019-03-25 2023-10-31 日本电气株式会社 图像处理设备和图像处理方法
US11985432B2 (en) 2019-03-25 2024-05-14 Nec Corporation Image processing device and image processing method suitably applied to biometric authentication

Similar Documents

Publication Publication Date Title
US9473698B2 (en) Imaging device and imaging method
JP5136669B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9542754B2 (en) Device and method for detecting moving objects
US8988529B2 (en) Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera
US11818466B2 (en) Notifying apparatus, image capturing apparatus, notifying method, image capturing method, and storage medium
WO2019071613A1 (zh) 一种图像处理方法及装置
JP6024728B2 (ja) 検出装置、検出方法及びプログラム
CN110677592B (zh) 主体对焦方法、装置、计算机设备和存储介质
JP2010165012A (ja) 撮像装置、画像検索方法及びプログラム
WO2016008356A1 (zh) 星轨拍摄的方法、物体运动轨迹的拍摄方法和移动终端
WO2016008359A1 (zh) 物体运动轨迹图像的合成方法、装置及计算机存储介质
CN112422798A (zh) 拍照方法、装置、电子设备和存储介质
JP2023033355A (ja) 画像処理装置およびその制御方法
JP5949559B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
CN101472064A (zh) 拍摄系统及其景深处理方法
JP7475846B2 (ja) 情報処理装置、撮像装置、情報処理方法および撮像装置の制御方法
JP5370555B2 (ja) 撮像装置、撮像方法及びプログラム
JP2010154306A (ja) 撮像制御装置、撮像制御プログラム及び撮像制御方法
US9143684B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable storage medium
CN106161970A (zh) 一种拍摄方法、装置以及移动终端
US20150254856A1 (en) Smart moving object capture methods, devices and digital imaging systems including the same
WO2017071560A1 (zh) 图片处理方法及装置
JP2015232620A (ja) 撮像装置、制御方法およびプログラム
JP6529269B2 (ja) 画像処理装置、情報処理方法及びプログラム
JP6157238B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13843649

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13843649

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP