WO2013031241A1 - 電子カメラ、画像処理装置、および画像処理プログラム - Google Patents

電子カメラ、画像処理装置、および画像処理プログラム Download PDF

Info

Publication number
WO2013031241A1
WO2013031241A1 PCT/JP2012/005543 JP2012005543W WO2013031241A1 WO 2013031241 A1 WO2013031241 A1 WO 2013031241A1 JP 2012005543 W JP2012005543 W JP 2012005543W WO 2013031241 A1 WO2013031241 A1 WO 2013031241A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
images
recognition
evaluation
image
Prior art date
Application number
PCT/JP2012/005543
Other languages
English (en)
French (fr)
Inventor
佑子 中田
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to US14/238,659 priority Critical patent/US9792677B2/en
Priority to CN201280042306.2A priority patent/CN103797786B/zh
Publication of WO2013031241A1 publication Critical patent/WO2013031241A1/ja
Priority to US15/715,745 priority patent/US10489898B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00336—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing pattern recognition, e.g. of a face or a geographic feature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/215—Recording a sequence of still pictures, e.g. burst mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00068—Calculating or estimating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/21—Intermediate information storage
    • H04N2201/218—Deletion of stored data; Preventing such deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate

Definitions

  • the present invention relates to an electronic camera, an image processing apparatus, and an image processing program.
  • Patent Document 1 image evaluation processing is executed by exposure condition evaluation, contrast evaluation, blur, focus blur evaluation, and the like. Then, as a result of the image evaluation, images that have not been deleted from the recording medium are usually given sequential names in time series.
  • the images that have not been deleted from the recording medium are usually a plurality of images, and the user reproduces these images sequentially to obtain the most preferable one (or several) images.
  • Select an image Since images that have not been deleted from the recording medium are given sequential names in time series, when these images are reproduced, a plurality of images are reproduced in time series.
  • the main subject is a subject that does not move much, such as a group photo or a commemorative photo, there is no particular advantage in reproducing in time series. Therefore, there is a problem that the user cannot immediately determine which image is the most preferable image, in which a plurality of images must be sequentially forwarded or returned to perform comparison.
  • the present invention has been made in view of the above problems, and an object thereof is to optimize the reproduction order of a plurality of images according to the characteristics of a subject.
  • the electronic camera of the present invention is based on an imaging unit that images a subject and generates a plurality of images, an evaluation unit that evaluates the plurality of images generated by the imaging unit, and an evaluation result by the evaluation unit
  • a selection unit that selects some of the plurality of images generated by the imaging unit, a recognition unit that performs scene recognition on the plurality of images selected by the selection unit, and the recognition unit.
  • a determining unit that determines a reproduction order of the plurality of images on which the scene recognition has been performed based on the recognition result.
  • a naming unit may be provided for determining names of the plurality of images on which the scene recognition has been performed according to the reproduction order determined by the determination unit.
  • the determination unit may determine the reproduction order in descending order of evaluation by the evaluation unit based on the recognition result by the recognition unit, or may determine the reproduction order in accordance with the imaging order by the imaging unit. good.
  • the determination unit determines the reproduction order in accordance with the imaging order of the imaging unit when the main subject is a scene having a continuous change as a result of recognition by the recognition unit, When there is no continuous change, the reproduction order may be determined in descending order of evaluation by the evaluation unit.
  • the evaluation unit further evaluates whether or not a background area is conspicuous when the recognition result by the recognition unit is a portrait scene, and the determination unit determines that the recognition result by the recognition unit is the portrait.
  • the playback order may be determined in the order in which the background area is not noticeable as a result of the evaluation by the evaluation unit.
  • a recording unit that records the plurality of images generated by the imaging unit on a recording medium;
  • a deletion unit that deletes a part of the images selected by the selection unit among a plurality of images recorded on the recording medium based on the evaluation result by the evaluation unit;
  • the recognition unit may perform the scene recognition for a plurality of images that have not been deleted by the deletion unit.
  • the recording unit may record the information indicating the reproduction order determined by the determination unit in association with the plurality of images that have not been deleted by the deletion unit.
  • the image processing apparatus of the present invention includes, as an image to be processed, an acquisition unit that acquires a plurality of images, an evaluation unit that evaluates the plurality of images acquired by the acquisition unit, and the acquisition unit acquired by the acquisition unit.
  • a recognition unit that performs scene recognition for a plurality of images, and a determination unit that determines a reproduction order of the plurality of images subjected to the scene recognition based on a recognition result by the recognition unit.
  • a recording unit that records the plurality of images acquired by the pre-acquisition unit on a recording medium, and a part of the plurality of images recorded on the recording medium based on an evaluation result by the evaluation unit.
  • a deletion unit that deletes the image, the acquisition unit acquires a plurality of images captured and generated as the plurality of images, and the recognition unit is configured to obtain the plurality of images that have not been deleted by the deletion unit. Scene recognition may be performed.
  • An image processing program of the present invention is an image processing program for realizing image processing on a processing target image by a computer, wherein an acquisition step of acquiring a plurality of images as the processing target image, and the acquisition step The scene recognition is performed based on the evaluation step for evaluating the plurality of acquired images, the recognition step for performing scene recognition for the plurality of images acquired in the acquisition step, and the recognition result in the recognition step. And a determining step for determining a reproduction order of the plurality of images.
  • the reproduction order of a plurality of images can be optimized according to the characteristics of the subject.
  • 1 is a block diagram illustrating a configuration example of an electronic camera according to an embodiment.
  • 6 is a flowchart showing the operation of the electronic camera in one embodiment.
  • FIG. 1 is a block diagram illustrating a configuration example of an electronic camera 10 according to an embodiment.
  • the electronic camera 10 includes an imaging lens 11, a shutter 12, an imaging device 13, an AFE 14, an image processing unit 15, a first memory 16, a second memory 17, a recording I / F 18, a CPU 19, and an operation.
  • a unit 20 and a bus 21 are provided.
  • the image processing unit 15, the first memory 16, the second memory 17, the recording I / F 18, and the CPU 19 are respectively connected via a bus 21.
  • the shutter 11, the image sensor 13, the AFE 14, and the operation unit 20 are each connected to the CPU 19.
  • the shutter 12 is a mechanical shutter disposed between the photographing lens 11 and the image sensor 13.
  • the imaging element 13 is an imaging device that images an image formed by the imaging lens 11.
  • the image pickup device 13 of one embodiment is configured by, for example, a CMOS solid-state image pickup device that can read an image signal of an arbitrary light receiving device by random access. Note that the output of the image sensor 13 is connected to the AFE 14.
  • the AFE 14 is an analog front end circuit that performs analog signal processing on the output of the image sensor 13.
  • the AFE 14 performs correlated double sampling, image signal gain adjustment, and A / D conversion of the image signal.
  • the output of the AFE 14 is connected to the image processing unit 15.
  • the CPU 19 adjusts the imaging sensitivity corresponding to the ISO sensitivity by adjusting the gain of the image signal by the AFE 14.
  • the image processing unit 15 performs various types of image processing (color interpolation processing, gradation conversion processing, white balance adjustment, etc.) on the digital image signal output from the AFE 14.
  • the first memory 16 temporarily stores image data in the pre-process and post-process of image processing.
  • the first memory 16 is configured by an SDRAM that is a volatile storage medium.
  • the second memory 17 is a non-volatile memory that stores a program executed by the CPU 19 and a data table indicating a correspondence relationship between the S / N ratio and the imaging sensitivity value in each image signal.
  • the recording I / F 18 has a connector for connecting the nonvolatile storage medium 22.
  • the recording I / F 18 executes writing / reading of main image data, which will be described later, with respect to the storage medium 22 connected to the connector.
  • the storage medium 22 is composed of a hard disk, a memory card incorporating a semiconductor memory, or the like. In FIG. 1, a memory card is illustrated as an example of the storage medium 22.
  • the CPU 19 is a processor that comprehensively controls the operation of the electronic camera 10.
  • the CPU 19 drives the imaging device 13 in response to a user's imaging instruction input during operation in a shooting mode for shooting a subject, and records the main image with recording in the nonvolatile storage medium 22. An imaging process is executed.
  • the CPU 19 in the shooting mode executes a known automatic exposure calculation prior to imaging of the main image, and sets imaging sensitivity which is one parameter of imaging conditions. Further, the CPU 19 may set the above-described imaging sensitivity based on a user input.
  • the operation unit 20 has a plurality of switches that accept user operations.
  • the operation unit 20 includes, for example, a release button that receives an instruction to capture a main image, a cross-shaped cursor key, a determination button, and the like.
  • the electronic camera 10 has a so-called best shot mode in which a plurality of images are continuously captured, the generated plurality of images are temporarily recorded, and thereafter an image evaluation is performed to delete an image with a low evaluation.
  • This mode may be set based on a user operation through the operation unit 20 or may be automatically set by the CPU 19.
  • the user gives a shooting instruction by operating the release button of the operation unit 20 once.
  • step S101 the CPU 19 determines whether or not a shooting instruction has been given by the user.
  • the CPU 19 waits until a shooting instruction is given by the user via the operation unit 20, and proceeds to step S102 when the shooting instruction is issued.
  • step S102 the CPU 19 controls each unit to capture the nth image.
  • n 1.
  • an image generated by the n-th shooting is referred to as Img [n].
  • the image generated by the first shooting is Img [1].
  • step S103 the CPU 19 records the nth image generated by the imaging in step S102 on the storage medium 22 via the recording I / F 18. Note that the CPU 19 may record in the first memory 16 instead of recording in the storage medium 22.
  • step S104 the CPU 19 determines whether or not the processing from step S102 to step S103 has been completed for N sheets. If the CPU 19 determines that N sheets have not been completed, the process proceeds to step S105. If the CPU 19 determines that N sheets have been completed, the process proceeds to step S106 described below.
  • step S106 the CPU 19 calculates an evaluation value E [n] for each of the N images recorded on the storage medium 22.
  • the evaluation value calculated for the nth image is referred to as an evaluation value E [n].
  • the evaluation value calculated for the first image is the evaluation value E [1].
  • the evaluation value is calculated in the same manner as in the known technique based on, for example, luminance information, focus information, contrast information, edge information, and the like.
  • step S107 the CPU 19 evaluates each of the N images recorded on the storage medium 22 based on the evaluation value E [n] calculated in step S106.
  • the evaluation of the image is performed in the same manner as a known technique, for example, by scoring the evaluation value E [n]. In scoring, it is preferable that comprehensive evaluation is performed based on factors such as exposure, contrast, blur, smile, and eye meditation.
  • step S108 the CPU 19 determines an image to be deleted. Based on the evaluation performed in step S107, the CPU 19 selects a predetermined number (for example, 15) of images from the lowest evaluation as images to be deleted. By making such a selection, an image with a high evaluation can be selectively left.
  • the number of images to be deleted may be fixed, may be determined automatically by the CPU 19, or may be determined by a user operation via the operation unit 20. Also good.
  • determining an image to be deleted when making a determination based on a comparison between the evaluation value E [n] and a threshold value, one or more images (images that are not deleted) remain selectively. In addition, the above-described threshold value may be adjusted.
  • step S109 the CPU 19 deletes the image determined in step S108 from the recording medium 22.
  • step S103 when an image generated by shooting is recorded in the first memory 16, the CPU 19 deletes the image from the first memory and stores the remaining image in the storage medium 22 via the recording I / F 18. Record.
  • step S110 the CPU 19 performs scene recognition.
  • the CPU 19 performs scene recognition based on the image recorded in the storage medium 22 (the image that has not been deleted in step S109) as in the known technique.
  • the CPU 19 comprehensively analyzes image information of the image and shooting information (aperture value, shutter speed, ISO sensitivity, focal length, etc.) and recognizes what the main subject is.
  • This scene recognition is for estimating whether or not a subject includes a movement trajectory. For example, in a scene such as a portrait or a group photo, it can be inferred that the movement locus is not included (is difficult to include) in the subject. In addition, for example, in a scene such as a person or a vehicle in which the subject is playing sports, it can be estimated that the subject includes (is likely to include) a movement locus.
  • step S111 the CPU 19 determines “whether or not the subject includes a movement locus” based on the result of the scene recognition performed in step S110. If the CPU 19 determines that “the subject includes a motion trajectory”, the CPU 19 proceeds to step S112. If the CPU 19 determines that “the subject does not include a motion trajectory”, the CPU 19 proceeds to step S113 described below. Basically, when “the subject contains a motion trajectory”, the time-series playback order is preferable, and when “the subject does not contain a motion trajectory”, the time-series playback order is not preferred. Can be considered good.
  • the CPU 19 may be configured to proceed to a predetermined one (for example, step S113) of step S112 and step S113.
  • step S111 If it is determined in step S111 that “the subject includes a movement trajectory”, in step S112, the CPU 19 matches the image capturing order described in step S102 with the images recorded in the storage medium 22 (deleted in step S109). The playback order of the images that have not been determined) is determined.
  • the case where the subject includes a movement trajectory includes a case where the main subject is a person performing a golf swing, a case where the subject is a running car, and the like.
  • the playback order is preferably chronological. Therefore, the CPU 19 determines the reproduction order in accordance with the imaging order of shooting a plurality of images. By determining the playback order in this way, at the time of playback, the user can check the trajectory of movement by viewing a plurality of images that change in time series. Therefore, the user can compare a plurality of images without a sense of incongruity, and can quickly determine which image is the most preferable image.
  • step S113 the CPU 19 records in the storage medium 22 in descending order of evaluation based on the evaluation result described in step S107.
  • the playback order of the processed images is determined.
  • the case where the subject does not include a movement trajectory is a case where the subject is a group photo or a commemorative photograph, or a landscape. In such a case, there is no great movement or change in the main subject itself, but there is a high possibility that details such as smiles and eye meditation are different, so there is no merit in that the playback order is chronological. Therefore, the CPU 19 determines the playback order in descending order of evaluation. By determining the playback order in this way, at the time of playback, the user can visually compare a plurality of images in order from the highest evaluation, and determine which image is the most preferable image. Can be done quickly.
  • the saliency map is a map that shows peculiarities with respect to surrounding areas based on color, luminance, edge amount, edge directionality, and the like. By performing the evaluation using such a map, the image can be evaluated with reference to the background region.
  • the evaluation of “whether or not the background area is noticeable” may be performed at the time of calculating the evaluation value E [n] described in step S106 and the evaluation described in step S107, or described in step S110. It may be performed when it can be determined that the evaluation of “whether or not the background area is conspicuous” is effective based on the result of the scene recognition, or may be performed when the reproduction order is determined in step S113.
  • step S113 when the playback order is determined in descending order of evaluation, the playback order determination method may be changed based on the result of the scene recognition described in step S110. For example, in the group photo, the playback order may be determined in descending order of overall evaluation, and in the portrait, the playback order may be determined in descending order of the evaluation of “whether the background area is conspicuous”.
  • step S114 the CPU 19 determines the name of each image recorded in the storage medium 22 (the image that has not been deleted in step S109) according to the reproduction order determined in step S112 or step S113. Normally, when an image is generated, reproduction is performed in ascending order of numbers, alphabets, and the like. Therefore, the CPU 19 determines the name of each image according to the above-described reproduction order.
  • step S115 the CPU 19 records the name of each image determined in step S114 and ends the series of processes.
  • the CPU 19 changes the names of the images recorded in the storage medium 22 (images not deleted in step S109) to the names determined in step S114.
  • the image with the number 1 in the reproduction order may be used as the representative image (main image).
  • a subject is imaged to generate a plurality of images, and the generated plurality of images are evaluated. Based on the evaluation result, a part of the plurality of images generated by the imaging unit is selected, and scene recognition is performed on the selected plurality of images. Further, based on the recognition result, the reproduction order of the plurality of images that have undergone scene recognition is determined. Therefore, the reproduction order of the plurality of images can be optimized according to the characteristics of the subject.
  • the playback order is determined according to whether the main subject has a continuous change.
  • the optimal reproduction order it is possible to determine the optimum reproduction order according to the characteristics of the subject.
  • the playback can always be performed in the order that suits the human sense, so that the user can feel comfortable. While being able to appreciate the image, it is possible to quickly determine which image is the most preferable image.
  • step S106 the evaluation value E [n] is calculated (step S106) after N images have been captured (step S102) and recorded (step S103). It is not limited to examples.
  • the calculation of the evaluation value E [n] (step S106) may be started immediately after taking N images (step S102).
  • the evaluation and the imaging order are described as examples as factors for determining the reproduction order, but the present invention is not limited to this example.
  • the playback order may be determined according to the registration order for personal authentication.
  • the above-described functions are used, for example, in a goal scene in an athletic meet.
  • the evaluation of a person part with a high registration order for personal authentication (high priority order) is higher, or the reproduction order of an image in which a person is larger is accelerated, and the evaluation of this person part is more
  • the playback order of images that are low or have a smaller image of a person may be delayed. It should be noted that such playback order determination may always be executed when the above-described functions are enabled, and whether or not to execute in consideration of the scene recognition result described in step S110. You may judge.
  • the regularity for determining the playback order is changed according to the result of the scene recognition described in step S110, but the present invention is not limited to this example.
  • the regularity for determining the playback order may be changed according to the shooting mode.
  • the playback order is determined based on the above-described relationship. The regularity may be changed.
  • information indicating the playback order may be recorded in association with each image without changing the name of each image.
  • information indicating the reproduction order, information indicating regularity for determining the reproduction order, or the like may be recorded in the incidental information (tag information) of the image.
  • the present invention is not limited to this example.
  • the present invention can be similarly applied when generating a plurality of images in the continuous shooting mode.
  • you may perform the process after step S106 for the some image selected by the user.
  • the present invention is not limited to this.
  • the present invention can be similarly applied to an electronic camera having a configuration other than the electronic camera 10 shown in FIG.
  • the image processing apparatus described in the above embodiment may be realized as software by a computer and an image processing program. In this case, what is necessary is just to make it the structure which implement
  • the present invention can be similarly applied to an electronic device (for example, a photo viewer, a digital photo frame, a photo printing apparatus, etc.) having a digital image reproduction display function and a retouch function. it can.
  • the electronic camera 10 described in the above-described embodiment may be mounted as a camera module such as a mobile phone terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】　複数の画像の再生順を、被写体の特性に応じた最適なものとすること。 【解決手段】　被写体を撮像して、複数の画像を生成する撮像部と、撮像部により生成した複数の画像について、評価を行う評価部と、評価部による評価結果に基づいて、撮像部により生成した複数の画像のうち、一部の画像を選択する選択部と、選択部により選択された複数の画像について、シーン認識を行う認識部と、認識部による認識結果に基づいて、シーン認識が行われた複数の画像の再生順を決定する決定部とを備える。

Description

電子カメラ、画像処理装置、および画像処理プログラム
　本発明は、電子カメラ、画像処理装置、および画像処理プログラムに関する。
　従来より、複数の画像を生成して記録媒体に記録した後に、露出、コントラスト、ボケなどの観点から画像の評価を行い、評価が所定の基準より低い画像を、上述した記録媒体から削除する技術が知られている（例えば、特許文献１参照）。
　特許文献１の発明では、露出条件評価、コントラスト評価、ボケ、焦点ボケの評価などにより画像評価処理を実行している。そして、画像評価の結果、記録媒体から削除されなかった画像には、通常、時系列に連番の名称が付与される。
特開２００６－５０４９４号公報
　ところで、上述した画像評価の結果、記録媒体から削除されなかった画像は、通常、複数枚の画像であり、ユーザは、これらの画像を順次再生して、最も好ましい１枚（あるいは数枚）の画像を選択する。記録媒体から削除されなかった画像には、時系列に連番の名称が付与されているため、これらの画像を再生する際には、複数の画像が時系列で再生されることになる。
　しかし、集合写真や記念撮影など、主要被写体に大きな動きがない被写体である場合には、時系列に再生されることに特にメリットはない。そのため、ユーザは、複数の画像を順次画像送りしたり、戻したりして比較を行わなくてはならす、どの画像が最も好ましい画像であるかの判断がすぐにはつかないという問題がある。
　本発明は、上記問題に鑑みてなされたものであり、複数の画像の再生順を、被写体の特性に応じた最適なものとすることを目的とする。
　本発明の電子カメラは、被写体を撮像して、複数の画像を生成する撮像部と、前記撮像部により生成した前記複数の画像について、評価を行う評価部と、前記評価部による評価結果に基づいて、前記撮像部により生成した前記複数の画像のうち、一部の画像を選択する選択部と、前記選択部により選択された複数の画像について、シーン認識を行う認識部と、前記認識部による認識結果に基づいて、前記シーン認識が行われた複数の画像の再生順を決定する決定部とを備える。
　なお、前記決定部により決定した前記再生順に応じて、前記シーン認識が行われた複数の画像のそれぞれの名称を決定する命名部を備えても良い。
　また、前記決定部は、前記認識部による認識結果に基づいて、前記評価部による評価が高い順に前記再生順を決定するか、または、前記撮像部による撮像順に合わせて再生順を決定しても良い。
　また、前記決定部は、前記認識部による認識の結果、主要被写体に連続的な変化があるシーンである場合には、前記撮像部による撮像順に合わせて前記再生順を決定し、前記主要被写体に連続的な変化がない場合には、前記評価部による評価が高い順に前記再生順を決定しても良い。
　また、前記評価部は、前記認識部による認識結果がポートレートのシーンである場合には、背景領域が目立つか否かをさらに評価し、前記決定部は、前記認識部による認識結果が前記ポートレートのシーンである場合には、前記評価部による評価の結果、前記背景領域が目立たない順に前記再生順を決定しても良い。
　また、前記撮像部により生成した前記複数の画像を記録媒体に記録する記録部と、
　前記評価部による評価結果に基づいて、前記記録媒体に記録された複数の画像のうち、前記選択部により選択された一部の画像を削除する削除部とを備え、
　前記認識部は、前記削除部により削除されなかった複数の画像について、前記シーン認識を行っても良い。
　また、前記記録部は、前記決定部により決定した前記再生順を示す情報を、前記削除部により削除されなかった前記複数の画像と関連づけて記録しても良い。
　本発明の画像処理装置は、処理対象の画像として、複数の画像を取得する取得部と、前記取得部により取得した前記複数の画像について、評価を行う評価部と、前記取得部により取得した前記複数の画像について、シーン認識を行う認識部と、前記認識部による認識結果に基づいて、前記シーン認識が行われた複数の画像の再生順を決定する決定部とを備える。
　なお、前取得部により取得した前記複数の画像を記録媒体に記録する記録部と、前記評価部による評価結果に基づいて、前記記録媒体に記録された複数の画像のうち、一部の画像を削除する削除部とを備え、前記取得部は、前記複数の画像として、撮像および生成された複数の画像を取得し、前記認識部は、前記削除部により削除されなかった複数の画像について、前記シーン認識を行っても良い。
　本発明の画像処理プログラムは、処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムであって、前記処理対象の画像として、複数の画像を取得する取得ステップと、前記取得ステップにおいて取得した前記複数の画像について、評価を行う評価ステップと、前記取得ステップにおいて取得した前記複数の画像について、シーン認識を行う認識ステップと、前記認識ステップにおける認識結果に基づいて、前記シーン認識が行われた複数の画像の再生順を決定する決定ステップとを備える。
　本発明によれば、複数の画像の再生順を、被写体の特性に応じた最適なものとすることができる。
一の実施形態における電子カメラの構成例を示すブロック図 一の実施形態における電子カメラの動作を示す流れ図
　図１は、一の実施形態における電子カメラ１０の構成例を示すブロック図である。電子カメラ１０は、撮像レンズ１１と、シャッタ１２と、撮像素子１３と、ＡＦＥ１４と、画像処理部１５と、第１メモリ１６と、第２メモリ１７と、記録Ｉ／Ｆ１８と、ＣＰＵ１９と、操作部２０と、バス２１とを備えている。ここで、画像処理部１５、第１メモリ１６、第２メモリ１７、記録Ｉ／Ｆ１８、ＣＰＵ１９は、バス２１を介してそれぞれ接続されている。また、シャッタ１１、撮像素子１３、ＡＦＥ１４、操作部２０は、それぞれＣＰＵ１９と接続されている。
　シャッタ１２は、撮影レンズ１１と撮像素子１３との間に配置されるメカシャッタである。
　撮像素子１３は、撮像レンズ１１による結像を撮像する撮像デバイスである。一の実施形態の撮像素子１３は、例えば、任意の受光素子の画像信号をランダムアクセスで読み出し可能なＣＭＯＳ型の固体撮像素子で構成される。なお、撮像素子１３の出力はＡＦＥ１４に接続されている。
　ＡＦＥ１４は、撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。そして、ＡＦＥ１４の出力は画像処理部１５に接続されている。なお、ＣＰＵ１９は、ＡＦＥ１４により画像信号のゲインを調整することで、ＩＳＯ感度に相当する撮像感度の調整を行う。
　画像処理部１５は、ＡＦＥ１４から出力されたデジタルの画像信号に対して各種の画像処理（色補間処理、階調変換処理、ホワイトバランス調整など）を施す。
　第１メモリ１６は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、第１メモリ１６は、揮発性の記憶媒体であるＳＤＲＡＭにより構成される。また、第２メモリ１７は、ＣＰＵ１９によって実行されるプログラムや、各画像信号でのＳＮ比と撮像感度の値との対応関係を示すデータテーブルなどを記憶する不揮発性のメモリである。
　記録Ｉ／Ｆ１８は、不揮発性の記憶媒体２２を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１８は、コネクタに接続された記憶媒体２２に対して後述の本画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２２は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２２の一例としてメモリカードを図示する。
　ＣＰＵ１９は、電子カメラ１０の動作を統括的に制御するプロセッサである。例えば、ＣＰＵ１９は、被写体の撮影を行うための撮影モードでの動作時において、ユーザの撮像指示入力に応じて撮像素子１３を駆動させて、不揮発性の記憶媒体２２への記録を伴う本画像の撮像処理を実行する。
　また、撮影モードでのＣＰＵ１９は、本画像の撮像に先立って公知の自動露出演算を実行し、撮像条件の１パラメータである撮像感度を設定する。また、ＣＰＵ１９は、ユーザの入力に基づいて上記の撮像感度を設定してもよい。
　操作部２０は、ユーザの操作を受け付ける複数のスイッチを有している。この操作部２０は、例えば、本画像の撮像指示を受け付けるレリーズ釦や、十字状のカーソルキーや、決定釦などで構成される。
　なお、電子カメラ１０は、複数の画像を連続して撮像し、生成した複数の画像を一旦記録し、その後に画像評価を行って評価の低い画像を削除する、いわゆるベストショットモードを備える。このモードは、操作部２０を介したユーザの操作に基づいて設定されても良いし、ＣＰＵ１９により自動で設定されても良い。なお、ベストショットモードにおいては、ユーザは、操作部２０のレリーズ釦を１回操作することにより撮影指示を行う。
　次に、ベストショットモードでの電子カメラ１０の動作例を、図２の流れ図を用いて説明する。
　ステップＳ１０１において、ＣＰＵ１９は、ユーザによる撮影指示が行われたか否かを判定する。ＣＰＵ１９は、操作部２０を介したユーザによる撮影指示が行われるまで待機し、撮影指示が行われるとステップＳ１０２に進む。
　ステップＳ１０２において、ＣＰＵ１９は、各部を制御して、ｎ枚目の画像を撮影する。なお、初回のステップＳ１０２においては、ｎ＝１である。なお、以下では、ｎ回目の撮影により生成された画像を、Ｉｍｇ[ｎ]と称する。例えば、１回目の撮影により生成された画像は、Ｉｍｇ[１]である。
　ステップＳ１０３において、ＣＰＵ１９は、ステップＳ１０２の撮像により生成したｎ枚目の画像を記録Ｉ／Ｆ１８を介して記憶媒体２２に記録する。なお、ＣＰＵ１９は、記憶媒体２２に記録する代わりに、第１メモリ１６に記録しても良い。
　ステップＳ１０４において、ＣＰＵ１９は、ステップＳ１０２からステップＳ１０３の処理をＮ枚分終了したか否かを判定する。ＣＰＵ１９は、Ｎ枚分終了していないと判定するとステップＳ１０５に進み、Ｎ枚分終了したと判定すると、後述するステップＳ１０６に進む。なお、Ｎとは予め定められた撮影枚数（例えばＮ＝２０）である。この枚数は、固定のものであっても良いし、ＣＰＵ１９により自動で定められたものであっても良いし、操作部２０を介したユーザ操作により定められたものであっても良い。
　ステップＳ１０５において、ＣＰＵ１９は、ｎ＝ｎ＋１として、ステップＳ１０２に戻る。すなわち、ＣＰＵ１９は、Ｎ回の撮影を繰り返し（ステップＳ１０２）、Ｎ枚の画像を記録する（ステップＳ１０３）。
　ステップＳ１０６において、ＣＰＵ１９は、記憶媒体２２に記録されたＮ枚の画像のそれぞれについて、評価値Ｅ[ｎ]を算出する。なお、以下では、ｎ枚目の画像について算出された評価値を、評価値Ｅ[ｎ]と称する。例えば、１枚目の画像について算出された評価値は、評価値Ｅ[１]である。評価値の算出は、例えば、輝度情報、焦点情報、コントラスト情報、エッジ情報などに基づいて、公知技術と同様に行われる。
　ステップＳ１０７において、ＣＰＵ１９は、記憶媒体２２に記録されたＮ枚の画像のそれぞれについて、ステップＳ１０６で算出した評価値Ｅ[ｎ]に基づいて、画像の評価を行う。画像の評価は、例えば、評価値Ｅ[ｎ]を点数化するなど、公知技術と同様に行われる。点数化においては、例えば、露出、コントラスト、ボケ、笑顔、目瞑りなどのファクターにより、総合的な評価が行われるのが好ましい。
　ステップＳ１０８において、ＣＰＵ１９は、削除する画像を決定する。ＣＰＵ１９は、ステップＳ１０７で行った評価に基づき、評価の低い方から所定の枚数（例えば、１５枚）の画像を削除する画像として選択する。このような選択を行うことにより、評価の高い画像を選択的に残すことができる。なお、削除する画像の枚数は、固定のものであっても良いし、ＣＰＵ１９により自動で定められたものであっても良いし、操作部２０を介したユーザ操作により定められたものであっても良い。なお、削除する画像を決定する際に、評価値Ｅ[ｎ]と閾値との比較に基づいて決定を行う際には、選択的に残される画像（削除されない画像）が１枚以上になるように、上述した閾値を調整すると良い。
　ステップＳ１０９において、ＣＰＵ１９は、ステップＳ１０８で決定した画像を記録媒体２２から削除する。
　なお、ステップＳ１０３において、撮影により生成した画像を第１メモリ１６に記録した場合には、ＣＰＵ１９は、第１メモリから画像を削除し、残りの画像を記録Ｉ／Ｆ１８を介して記憶媒体２２に記録する。
　ステップＳ１１０において、ＣＰＵ１９は、シーン認識を行う。ＣＰＵ１９は、記憶媒体２２に記録された画像（ステップＳ１０９において削除されなかった画像）に基づいて、公知技術と同様にシーン認識を行う。例えば、ＣＰＵ１９は、画像の画像情報や、撮影情報（絞り値、シャッタースピード、ＩＳＯ感度、焦点距離など）を総合的に解析し、主要被写体がどのようなものであるかを認識する。
　このシーン認識は、被写体に動きの軌跡が含まれるか否かを推測するためのものである。例えば、ポートレートや集合写真のようなシーンにおいては、被写体に動きの軌跡は含まれない（含まれにくい）と推測できる。また、例えば、被写体がスポーツを行っている人物や乗り物などのようなシーンにおいては、被写体に動きの軌跡が含まる（含まれやすい）と推測できる。
　ステップＳ１１１において、ＣＰＵ１９は、ステップＳ１１０で行ったシーン認識の結果に基づいて、「被写体に動きの軌跡が含まれるか否か」を判定する。ＣＰＵ１９は、「被写体に動きの軌跡が含まれる」と判定するとステップＳ１１２に進み、「被写体に動きの軌跡が含まれない」と判定すると、後述するステップＳ１１３に進む。基本的には、「被写体に動きの軌跡が含まれる」場合には、時系列の再生順が好ましく、「被写体に動きの軌跡が含まれない」場合には、時系列の再生順でなくて良いと考えることができる。
　なお、撮影期間が長い場合で、かつ、記憶媒体２２に記録された画像（ステップＳ１０９において削除されなかった画像）の数が少ない場合など、「被写体に動きの軌跡が含まれるか否か」を判定できない場合がある。このような場合には、ＣＰＵ１９は、ステップＳ１１２およびステップＳ１１３のうち、予め定められた方（例えば、ステップＳ１１３）に進む構成としても良い。
　ステップＳ１１１において、「被写体に動きの軌跡が含まれる」と判定すると、ステップＳ１１２において、ＣＰＵ１９は、ステップＳ１０２で説明した撮影の撮像順に合わせて、記憶媒体２２に記録された画像（ステップＳ１０９において削除されなかった画像）の再生順を決定する。
　「被写体に動きの軌跡が含まれる」場合とは、主要被写体がゴルフスイングをしている人物である場合や、走行中の車である場合などである。このような場合には、主要被写体が連続的な動作を行っていたり、主要被写体が連続的に変化している可能性が高いため、再生順は時系列であることが好ましい。したがって、ＣＰＵ１９は、複数の画像の撮影の撮像順に合わせて、再生順を決定する。このように再生順を決定することにより、再生時に、ユーザは、時系列で変化する複数の画像を目視して動きの軌跡を確認することができる。そのため、ユーザは、違和感なく複数の画像を比較することができるとともに、何れの画像が最も好ましい画像であるかの判断を迅速に行うことができる。
　一方、ステップＳ１１１において、「被写体に動きの軌跡が含まれない」と判定すると、ステップＳ１１３において、ＣＰＵ１９は、ステップＳ１０７で説明した評価の結果に基づいて、評価の高い順に、記憶媒体２２に記録された画像（ステップＳ１０９において削除されなかった画像）の再生順を決定する。
　「被写体に動きの軌跡が含まれない」場合とは、被写体が集合写真や記念撮影の人物である場合や、風景などの場合である。このような場合には、主要被写体自身には大きな動きや変化はないが、笑顔や目瞑りなどのディテールが異なる可能性が高いため、再生順が時系列であることにメリットはない。したがって、ＣＰＵ１９は、評価の高い順に、再生順を決定する。このように再生順を決定することにより、再生時に、ユーザは、評価の高い方から順次複数の画像を目視して比較することができるとともに、何れの画像が最も好ましい画像であるかの判断を迅速に行うことができる。
　特に、被写体がいわゆるポートレートなどである場合には、「背景領域が目立つか否か」も重要なファクターとなる。そこで、顕著性マップなどにより「背景領域が目立つか否か」を評価に加味しても良い。顕著性マップとは、色、輝度、エッジ量、エッジの方向性などに基づき、周囲の領域に対する特異性を示すマップである。このようなマップを用いて評価を行うことにより、背景領域を基準として、画像の評価を行うことができる。なお、「背景領域が目立つか否か」の評価は、ステップＳ１０６で説明した評価値Ｅ[ｎ]の算出時およびステップＳ１０７で説明した評価時にあわせて行っても良いし、ステップＳ１１０で説明したシーン認識の結果に基づき、「背景領域が目立つか否か」の評価が効果的であると判断できる場合に行っても良いし、ステップＳ１１３において再生順を決定する際に行っても良い。
　また、ステップＳ１１３において、評価の高い順に、再生順を決定する際に、ステップＳ１１０で説明したシーン認識の結果に基づいて、再生順の決定方法を変えても良い。例えば、集合写真においては、全体的な評価の高い順に再生順を決定し、ポートレートにおいては、「背景領域が目立つか否か」の評価が高い順に再生順を決定しても良い。
　ステップＳ１１４において、ＣＰＵ１９は、ステップＳ１１２またはステップＳ１１３で決定した再生順に応じて、記憶媒体２２に記録された各画像（ステップＳ１０９において削除されなかった画像）の名称を決定する。通常、画像の生成時には、数字やアルファベットなどの昇順に応じて再生が行われる。そこで、ＣＰＵ１９は、上述した再生順に応じて、各画像の名称を決定する。
　ステップＳ１１５において、ＣＰＵ１９は、ステップＳ１１４で決定した各画像の名称を記録して、一連の処理を終了する。ＣＰＵ１９は、記憶媒体２２に記録された画像（ステップＳ１０９において削除されなかった画像）のそれぞれの名称を、ステップＳ１１４で決定した名称に変更する。
　なお、一連の処理による複数の画像（ステップＳ１０９において削除されなかった複数の画像）をグループ化して記録する場合には、再生順が１番である画像を代表画像（メイン画像）としても良い。
　以上説明したように、本実施形態によれば、被写体を撮像して、複数の画像を生成し、生成した複数の画像について、評価を行う。そして、評価結果に基づいて、撮像部により生成した複数の画像のうち、一部の画像を選択し、選択した複数の画像について、シーン認識を行う。さらに、認識結果に基づいて、シーン認識が行われた複数の画像の再生順を決定する。したがって、複数の画像の再生順を、被写体の特性に応じた最適なものとすることができる。
　特に、本実施形態によれば、シーン認識の結果に基づき、主要被写体に連続的な変化があるか否かを推測し、主要被写体に連続的な変化があるか否かに応じて、再生順を決定することにより、被写体の特性に応じた最適な再生順を決定することができる。そして、上述したように再生順を決定することにより、同じシーンで複数枚記録された画像を再生する際、常に人間の感覚にあった順序で再生を行うことができるので、ユーザは、違和感なく画像を鑑賞することができるとともに、何れの画像が最も好ましい画像であるかの判断を迅速に行うことができる。
　なお、本実施形態では、Ｎ枚の画像を撮影（ステップＳ１０２）および記録（ステップＳ１０３）した後に、評価値Ｅ[ｎ]の算出（ステップＳ１０６）を行う例を示したが、本発明はこの例に限定されない。例えば、Ｎ枚の画像を撮影（ステップＳ１０２）した後すぐに、評価値Ｅ[ｎ]の算出（ステップＳ１０６）を開始しても良い。
　また、本実施形態では、再生順を決定する因子として、評価および撮像順を例に挙げて説明したが、本発明はこの例に限定されない。例えば、電子カメラ１０が、予め登録された特定の人物を認証して撮影する機能を有する場合には、個人認証用の登録順に応じて再生順を決定しても良い。上述した機能は、例えば、運動会のかけっこにおけるゴールシーンなどで利用される。例えば、個人認証用の登録順が高い（優先順位が高い）人物の部分の評価がより高い、あるいは、人物がより大きく写っている画像の再生順を早くし、この人物の部分の評価がより低い、あるいは、人物がより小さく写っている画像の再生順を遅くしても良い。なお、このような再生順の決定は、上述された機能が有効になっている場合に常に実行しても良いし、ステップＳ１１０で説明したシーン認識の結果を加味して、実行するか否かを判断しても良い。
　また、本実施形態では、ステップＳ１１０で説明したシーン認識の結果に応じて、再生順を決定するための規則性を変更する例を示したが、本発明はこの例に限定されない。例えば、ポートレートや風景モードなどの撮影モードが設定された場合に、その撮影モードに応じて、再生順を決定するための規則性を変更する構成としても良い。さらに、ユーザが、所定の条件と再生順を決定するための規則性との関係を予め設定しておき、その条件を満たした場合には、上述した関係に基づいて再生順を決定するための規則性を変更しても良い。
　また、本実施形態では、再生順に応じて各画像の名称を決定する例を示したが、本発明はこの例に限定されない。例えば、各画像の名称は変更せずに、再生順を示す情報を、各画像と対応づけて記録する構成としても良い。例えば、画像の付帯情報（タグ情報）などに、再生順を示す情報や、再生順を決定するための規則性を示す情報などを記録しても良い。
　また、本実施形態では、ベストショットモード時に図２のフローチャートに示した一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、連写モードにおいて複数の画像を生成する場合にも本発明を同様に適用することができる。また、ユーザにより選択された複数の画像を対象として、ステップＳ１０６以降の処理を行っても良い。
　また、上述した実施形態では、本発明の技術を図１に示した電子カメラ１０において実現する例について説明した。しかしながら、本発明はこれに限定されない。例えば、図１に示した電子カメラ１０以外の構成の電子カメラにも本発明を同様に適用することができる。
　また、コンピュータと画像処理プログラムとにより、上記実施形態で説明した画像処理装置をソフトウェア的に実現しても良い。この場合、図２のフローチャートで説明したステップＳ１０６以降の処理の一部または全部をコンピュータで実現する構成とすれば良い。または、
　さらに、上述したコンピュータ以外にも、デジタルの画像の再生表示機能やレタッチ機能を有する電子機器（例えば、フォトビューアー、デジタルフォトフレーム、写真の印刷装置など）などに本発明を同様に適用することができる。また、上述した実施形態で説明した電子カメラ１０は、携帯電話端末などのカメラモジュールとして実装されるものであってもよい。
　また、上述した実施形態では、各処理をソフトウェア的に実現する例を説明したが、ＡＳＩＣ等によってこれらの各処理をハードウエア的に実現しても勿論かまわない。
１０…電子カメラ、１３…撮像素子、１４…ＡＦＥ、１６…第１メモリ、１７…第２メモリ、１９…ＣＰＵ、２２…記憶媒体
 

Claims (10)

  1. 　被写体を撮像して、複数の画像を生成する撮像部と、
    　前記撮像部により生成した前記複数の画像について、評価を行う評価部と、
    　前記評価部による評価結果に基づいて、前記撮像部により生成した前記複数の画像のうち、一部の画像を選択する選択部と、
    　前記選択部により選択された複数の画像について、シーン認識を行う認識部と、
    　前記認識部による認識結果に基づいて、前記シーン認識が行われた複数の画像の再生順を決定する決定部と
    　を備えたことを特徴とする電子カメラ。
  2. 　請求項１に記載の電子カメラにおいて、
    　前記決定部により決定した前記再生順に応じて、前記シーン認識が行われた複数の画像のそれぞれの名称を決定する命名部を備える
    　ことを特徴とした電子カメラ。
  3. 　請求項１に記載の電子カメラにおいて、
    　前記決定部は、前記認識部による認識結果に基づいて、前記評価部による評価が高い順に前記再生順を決定するか、または、前記撮像部による撮像順に合わせて再生順を決定する
    　ことを特徴とした電子カメラ。
  4. 　請求項３に記載の電子カメラにおいて、
    　前記決定部は、前記認識部による認識の結果、主要被写体に連続的な変化があるシーンである場合には、前記撮像部による撮像順に合わせて前記再生順を決定し、前記主要被写体に連続的な変化がない場合には、前記評価部による評価が高い順に前記再生順を決定する
    　ことを特徴とした電子カメラ。
  5. 　請求項４に記載の電子カメラにおいて、
    　前記評価部は、前記認識部による認識結果がポートレートのシーンである場合には、背景領域が目立つか否かをさらに評価し、
    　前記決定部は、前記認識部による認識結果が前記ポートレートのシーンである場合には、前記評価部による評価の結果、前記背景領域が目立たない順に前記再生順を決定する
    　ことを特徴とした電子カメラ。
  6. 　請求項１から請求項５の何れか1項に記載の電子カメラにおいて、
    　前記撮像部により生成した前記複数の画像を記録媒体に記録する記録部と、
    　前記評価部による評価結果に基づいて、前記記録媒体に記録された複数の画像のうち、前記選択部により選択された一部の画像を削除する削除部とを備え、
    　前記認識部は、前記削除部により削除されなかった複数の画像について、前記シーン認識を行う
    　ことを特徴とする電子カメラ。
  7. 　請求項６に記載の電子カメラにおいて、
    　前記記録部は、前記決定部により決定した前記再生順を示す情報を、前記削除部により削除されなかった前記複数の画像と関連づけて記録する
    　ことを特徴とした電子カメラ。
  8. 　処理対象の画像として、複数の画像を取得する取得部と、
    　前記取得部により取得した前記複数の画像について、評価を行う評価部と、
    　前記取得部により取得した前記複数の画像について、シーン認識を行う認識部と、
    　前記認識部による認識結果に基づいて、前記シーン認識が行われた複数の画像の再生順を決定する決定部と
    　を備えたことを特徴とする画像処理装置。
  9. 　請求項８に記載の画像処理装置において、
    　前取得部により取得した前記複数の画像を記録媒体に記録する記録部と、
    　前記評価部による評価結果に基づいて、前記記録媒体に記録された複数の画像のうち、一部の画像を削除する削除部とを備え、
    　前記取得部は、前記複数の画像として、撮像および生成された複数の画像を取得し、
    　前記認識部は、前記削除部により削除されなかった複数の画像について、前記シーン認識を行う
    　ことを特徴とする画像処理装置。
  10. 　処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムであって、
    　前記処理対象の画像として、複数の画像を取得する取得ステップと、
    　前記取得ステップにおいて取得した前記複数の画像について、評価を行う評価ステップと、
    　前記取得ステップにおいて取得した前記複数の画像について、シーン認識を行う認識ステップと、
    　前記認識ステップにおける認識結果に基づいて、前記シーン認識が行われた複数の画像の再生順を決定する決定ステップと
    　を備えたことを特徴とする画像処理プログラム。
     
PCT/JP2012/005543 2011-09-02 2012-08-31 電子カメラ、画像処理装置、および画像処理プログラム WO2013031241A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/238,659 US9792677B2 (en) 2011-09-02 2012-08-31 Electronic camera, image processing device, and image processing program
CN201280042306.2A CN103797786B (zh) 2011-09-02 2012-08-31 电子照相机、图像处理装置
US15/715,745 US10489898B2 (en) 2011-09-02 2017-09-26 Electronic camera, image-processing device, and image-processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-191542 2011-09-02
JP2011191542A JP5879831B2 (ja) 2011-09-02 2011-09-02 電子カメラおよび画像処理プログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/238,659 A-371-Of-International US9792677B2 (en) 2011-09-02 2012-08-31 Electronic camera, image processing device, and image processing program
US15/715,745 Continuation US10489898B2 (en) 2011-09-02 2017-09-26 Electronic camera, image-processing device, and image-processing program

Publications (1)

Publication Number Publication Date
WO2013031241A1 true WO2013031241A1 (ja) 2013-03-07

Family

ID=47755768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/005543 WO2013031241A1 (ja) 2011-09-02 2012-08-31 電子カメラ、画像処理装置、および画像処理プログラム

Country Status (4)

Country Link
US (2) US9792677B2 (ja)
JP (1) JP5879831B2 (ja)
CN (3) CN106961556B (ja)
WO (1) WO2013031241A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5879831B2 (ja) * 2011-09-02 2016-03-08 株式会社ニコン 電子カメラおよび画像処理プログラム
CN104574353B (zh) * 2014-09-12 2017-08-01 苏州大学 基于视觉显著性的表面缺陷判定方法
JP2017173252A (ja) * 2016-03-25 2017-09-28 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN107967339B (zh) * 2017-12-06 2021-01-26 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US12003850B2 (en) 2019-01-31 2024-06-04 Huawei Technologies Co., Ltd. Method for selecting image based on burst shooting and electronic device
US20220129653A1 (en) * 2019-02-15 2022-04-28 Ark Limited Dynamic two-dimensional code evaluation method, dynamic two-dimensional code evaluation system, and dynamic two-dimensional code evaluation program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285689A (ja) * 2000-03-31 2001-10-12 Olympus Optical Co Ltd 電子カメラ
JP2004046591A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
JP2008263425A (ja) * 2007-04-12 2008-10-30 Nikon Corp データ記録装置、およびデータ記録プログラム
JP2009272740A (ja) * 2008-05-01 2009-11-19 Nikon Corp 撮像装置、画像選択方法及び画像選択プログラム
JP2010166519A (ja) * 2009-01-19 2010-07-29 Sony Corp 表示制御装置、表示制御方法及びプログラム
JP2010178318A (ja) * 2009-02-02 2010-08-12 Olympus Imaging Corp 撮影装置および撮影方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005027159A (ja) * 2003-07-04 2005-01-27 Canon Inc 記録装置及び方法
JP4415188B2 (ja) 2004-08-09 2010-02-17 カシオ計算機株式会社 画像撮影装置
JP4748656B2 (ja) * 2005-06-14 2011-08-17 キヤノン株式会社 画像管理装置及びその制御方法、並びにプログラム及び記憶媒体
JP2007028555A (ja) * 2005-07-21 2007-02-01 Sony Corp カメラシステム，情報処理装置，情報処理方法，およびコンピュータプログラム
CN101300826A (zh) * 2005-11-02 2008-11-05 奥林巴斯株式会社 电子照相机
CN102759540B (zh) * 2006-02-17 2015-04-15 株式会社日立高新技术 扫描型电子显微镜装置以及使用它的摄影方法
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP5251215B2 (ja) * 2007-04-04 2013-07-31 株式会社ニコン デジタルカメラ
US20090324098A1 (en) * 2008-06-27 2009-12-31 Sony Ericsson Mobile Communications Ab Mobile phone with selective photographic system and method
KR20100076793A (ko) * 2008-12-26 2010-07-06 삼성전자주식회사 디지털 이미지 처리 장치 및 방법, 컴퓨터 판독가능 저장매체, 및 전자 장치 및 그 제어 방법
JP2011010275A (ja) * 2009-05-26 2011-01-13 Sanyo Electric Co Ltd 画像再生装置及び撮像装置
JP2011009976A (ja) * 2009-06-25 2011-01-13 Hitachi Ltd 画像再生装置
CN102742263A (zh) * 2010-02-01 2012-10-17 株式会社尼康 信息附加装置、电子相机、及信息附加程序
JP5879831B2 (ja) * 2011-09-02 2016-03-08 株式会社ニコン 電子カメラおよび画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285689A (ja) * 2000-03-31 2001-10-12 Olympus Optical Co Ltd 電子カメラ
JP2004046591A (ja) * 2002-07-12 2004-02-12 Konica Minolta Holdings Inc 画像評価装置
JP2008263425A (ja) * 2007-04-12 2008-10-30 Nikon Corp データ記録装置、およびデータ記録プログラム
JP2009272740A (ja) * 2008-05-01 2009-11-19 Nikon Corp 撮像装置、画像選択方法及び画像選択プログラム
JP2010166519A (ja) * 2009-01-19 2010-07-29 Sony Corp 表示制御装置、表示制御方法及びプログラム
JP2010178318A (ja) * 2009-02-02 2010-08-12 Olympus Imaging Corp 撮影装置および撮影方法

Also Published As

Publication number Publication date
US10489898B2 (en) 2019-11-26
CN103797786A (zh) 2014-05-14
JP2013055455A (ja) 2013-03-21
CN106961556B (zh) 2020-06-09
US20140240537A1 (en) 2014-08-28
CN103797786B (zh) 2017-06-09
US9792677B2 (en) 2017-10-17
CN106982331B (zh) 2020-06-09
CN106961556A (zh) 2017-07-18
JP5879831B2 (ja) 2016-03-08
US20180061035A1 (en) 2018-03-01
CN106982331A (zh) 2017-07-25

Similar Documents

Publication Publication Date Title
JP5879831B2 (ja) 電子カメラおよび画像処理プログラム
JP4748244B2 (ja) 画像選択装置、画像選択方法及びプログラム
JP5218508B2 (ja) 撮像装置
JP5631106B2 (ja) 画像処理装置、その制御方法、及びプログラム、並びに撮像装置
JP4888191B2 (ja) 撮像装置
KR101475427B1 (ko) 다수의 촬영 조건을 가지는 간격 촬영 방법 및 이를 적용한촬영 장치
US20110234838A1 (en) Image processor, electronic camera, and image processing program
JP2010226702A (ja) 撮像装置
CN105744179A (zh) 摄像装置、摄像控制方法
JP4894708B2 (ja) 撮像装置
JP2008092299A (ja) 電子カメラ
JP5338373B2 (ja) 撮像装置
CN104935804A (zh) 摄像装置以及摄像方法
JP2017192114A (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP5381498B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP2011023812A (ja) 画像記録装置及び画像表示装置
JP4534750B2 (ja) 画像処理装置および画像処理プログラム
JP4665731B2 (ja) カメラ、および画像管理プログラム
JP2007174015A (ja) 画像管理プログラム、および画像管理装置
JP6318535B2 (ja) 撮像装置
JP2018106763A (ja) 撮像装置
JP2009017368A (ja) デジタルカメラ
KR20160109603A (ko) 촬영 장치 및 촬영 방법
JP5754308B2 (ja) 電子カメラ、画像処理装置、および画像処理プログラム
JP2019050591A (ja) 電子機器、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12828336

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14238659

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12828336

Country of ref document: EP

Kind code of ref document: A1