WO2010007865A1 - 撮像装置、撮像方法及びプログラム - Google Patents

撮像装置、撮像方法及びプログラム Download PDF

Info

Publication number
WO2010007865A1
WO2010007865A1 PCT/JP2009/061646 JP2009061646W WO2010007865A1 WO 2010007865 A1 WO2010007865 A1 WO 2010007865A1 JP 2009061646 W JP2009061646 W JP 2009061646W WO 2010007865 A1 WO2010007865 A1 WO 2010007865A1
Authority
WO
WIPO (PCT)
Prior art keywords
facial expression
value
expression value
determination
priority
Prior art date
Application number
PCT/JP2009/061646
Other languages
English (en)
French (fr)
Inventor
加藤　聰
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2010520815A priority Critical patent/JP5482654B2/ja
Priority to CN2009801280276A priority patent/CN102100062A/zh
Priority to US13/003,845 priority patent/US20110109770A1/en
Priority to EP20090797793 priority patent/EP2309723A4/en
Publication of WO2010007865A1 publication Critical patent/WO2010007865A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00336—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing pattern recognition, e.g. of a face or a geographic feature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • H04N1/2141—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer
    • H04N1/2145—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer in a multi-frame buffer of a sequence of images for selection of a single frame before final recording, e.g. from a continuous sequence captured before and after shutter-release
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Definitions

  • the present invention relates to an image pickup apparatus, an image pickup method, and a program for picking up an image using an image pickup device, and in particular, an image pickup apparatus and an image pickup method for automatically storing an image obtained by image pickup by determining the state of a subject. And the program.
  • shooting refers to an operation of storing a video obtained by imaging in a storage unit included in the imaging apparatus.
  • a human face is detected from a video signal of a subject obtained by imaging, and the detected facial expression is evaluated based on a certain condition.
  • photographing is automatically performed.
  • a subject includes a plurality of persons
  • each person's facial expression is evaluated based on a certain condition, and each evaluated facial expression reaches a certain condition.
  • Shooting is performed automatically.
  • Patent Document 1 As described above, if the technique disclosed in Patent Document 1 is used, even when a subject includes a plurality of persons, the facial expressions of the persons become predetermined expressions (for example, smiles). It seems that it is possible to perform the shooting intended by the user because the shooting is automatically performed in the case of the camera.
  • predetermined expressions for example, smiles
  • the present invention provides: Storage means for storing the image of the subject; Detecting means for detecting a human face from a signal obtained by imaging an image of the subject; When the detection unit detects a plurality of human faces, the evaluation unit evaluates each facial expression of the detected plurality of human faces and calculates a plurality of facial expression values obtained by quantifying the evaluated facial expressions.
  • a facial expression value for determination for determining whether or not to store the video of the subject is calculated from the plurality of facial expression values.
  • the video of the subject is Control means for storing in the storage means.
  • An imaging method in an imaging apparatus having a storage means for storing a subject image A process of detecting a human face from a signal obtained by capturing an image of the subject; When detecting a plurality of human faces, a process of evaluating each facial expression of the detected plurality of human faces and calculating a plurality of facial expression values obtained by quantifying the evaluated facial expressions; A facial expression value for determination for determining whether to store an image of the subject is calculated from the plurality of facial expression values, and when the facial expression value for determination is equal to or greater than a predetermined threshold, the video of the subject is And storing it in the storage means.
  • an imaging apparatus having a storage means for storing a subject image, A function of detecting a human face from a signal obtained by capturing an image of the subject; When detecting a plurality of human faces, a function of evaluating each facial expression of the detected human faces, and calculating a plurality of facial expression values obtained by quantifying the evaluated facial expressions; A facial expression value for determination for determining whether or not to store the video of the subject is calculated from the plurality of facial expression values. When the facial expression value for determination is equal to or greater than a predetermined threshold, the video of the subject is A function to be stored in the storage means.
  • the present invention is configured as described above, it is possible to automatically perform shooting intended by the user without missing a photo opportunity in various shooting scenes.
  • FIG. 3 is a flowchart for explaining an example of an operation when a subject including a plurality of persons is photographed in the imaging apparatus shown in FIG. 1. It is a figure which shows the several face enclosed by the several face display frame currently displayed on the display part shown in FIG. It is a figure which shows the several face enclosed by the several face display frame currently displayed on the display part shown in FIG. It is a figure which shows the several face enclosed by the several face display frame currently displayed on the display part shown in FIG. It is a figure which shows the several face enclosed by the several face display frame currently displayed on the display part shown in FIG. It is a figure which shows the several face enclosed by the several face display frame currently displayed on the display part shown in FIG. It is a figure which shows the several face enclosed by the several face display frame currently displayed on the display part shown in FIG.
  • FIG. 9 is a flowchart for explaining an example of an operation when a subject including a plurality of persons is photographed in the imaging apparatus shown in FIG. 8. It is a figure which shows the several face enclosed by the several face display frame currently displayed on the display part shown in FIG. 6 is a flowchart for explaining another example of the operation when photographing an object including a plurality of persons in the imaging apparatus shown in FIG. 1. It is a figure which shows the several face enclosed by the several face display frame currently displayed on the display part shown in FIG.
  • FIG. 1 is a diagram showing a first embodiment of an imaging apparatus according to the present invention.
  • the imaging apparatus 100 includes a camera module 101, a control unit 110, a buffer memory 111, a display unit 112, and a recording memory 113 that is a storage unit.
  • the camera module 101 includes an optical lens unit 102, an image sensor unit 103, an AD (analog / digital) conversion unit 104, a video signal processing unit 105, an IF (interface) unit 106, A drive pulse supply unit 107 and a microcomputer 108 are provided.
  • the optical lens unit 102 collects the light reflected by the subject.
  • the image sensor unit 103 converts the light collected by the optical lens unit 102 into an analog video signal, and transmits the converted analog video signal to the AD conversion unit 104.
  • the AD conversion unit 104 Upon receiving the analog video signal transmitted from the image sensor unit 103, the AD conversion unit 104 converts the received analog video signal into a digital video signal and transmits the digital video signal to the video signal processing unit 105.
  • the video signal processing unit 105 includes a video processing unit 105a, a detection unit 105b, and an evaluation unit 105c.
  • the video processing unit 105a is a face in the human face detected by the detection unit 105b and video processing such as color interpolation, color correction, and image quality adjustment on the video based on the digital video signal transmitted from the AD conversion unit 104. Video processing is performed to display a face display frame that clearly indicates this.
  • the video processing unit 105 a receives a video storage instruction for storing the video based on the digital video signal received from the AD conversion unit 104 in the buffer memory 111 from the microcomputer 108, the digital video received from the AD conversion unit 104 is received.
  • the signal is transmitted to the buffer memory 111 via the IF unit 106 and the internal bus 109.
  • the detecting unit 105b detects a human face from a video based on the digital video signal transmitted from the AD converting unit 104.
  • the evaluation unit 105c evaluates the facial expression of the person detected by the detection unit 105b, and calculates a facial expression value obtained by quantifying the evaluated facial expression. Then, the calculated facial expression value is transmitted to the control unit 110 via the IF unit 106 and the internal bus 109.
  • the IF unit 106 mediates transmission / reception of control signals between the microcomputer 108 and the control unit 110.
  • the drive pulse supply unit 107 supplies a pulse for driving the image sensor unit 103.
  • the microcomputer 108 controls the video signal processing unit 105 and the drive pulse supply unit 107 based on a control signal that enters the camera module 101 via the IF unit 106.
  • a video storage instruction for storing a video based on the digital video signal in the buffer memory 111 is transmitted to the video signal processing unit 105.
  • the internal bus 109 mediates transmission / reception of digital video signals and control signals between the camera module 101 and the control unit 110, the buffer memory 111, the display unit 112, and the recording memory 113.
  • the control unit 110 controls the operation of the imaging apparatus 100, and typical operations include the following.
  • a threshold value that is a reference for determining whether or not to perform shooting is stored.
  • the facial expression value transmitted from the video signal processing unit 105 is received via the IF unit 106 and the internal bus 109.
  • a facial expression value for determination used to determine whether to perform photographing is calculated.
  • the calculated facial expression value for determination is compared with a threshold value to determine whether or not to perform shooting.
  • a photographing instruction for instructing photographing is transmitted to the microcomputer 108 via the internal bus 109 and the IF unit 106.
  • the buffer memory 111 receives the digital video signal transmitted from the video signal processing unit 105 via the IF unit 106 and the internal bus 109, and temporarily stores video based on the received digital video signal.
  • the display unit 112 receives the digital video signal transmitted from the video signal processing unit 105 via the IF unit 106, the internal bus 109, and the buffer memory 111, and displays a video based on the received digital video signal.
  • the recording memory 113 stores an image based on the digital image signal stored in the buffer memory 111 according to an instruction from the control unit 110.
  • FIG. 2 is a flowchart for explaining an example of the operation when the imaging apparatus 100 shown in FIG. 1 captures a subject including a plurality of persons.
  • the imaging device 100 is turned on by the user, and the imaging device 100 is activated (step S1).
  • the control unit 110 executes initialization.
  • initial values such as an operation clock, a shooting angle of view, and an image quality setting of the imaging device 100 are set, and shooting with the imaging device 100 becomes possible.
  • the optical lens unit 102 condenses the light reflected by the subject.
  • the image sensor unit 103 converts the light collected by the optical lens unit 102 into an analog video signal, and transmits the converted analog video signal to the AD conversion unit 104.
  • the AD conversion unit 104 that has received the analog video signal transmitted from the image sensor unit 103 converts the received analog video signal into a digital video signal and transmits the digital video signal to the video signal processing unit 105.
  • the video processing unit 105a of the video signal processing unit 105 that has received the digital video signal transmitted from the AD conversion unit 104 performs video processing such as color interpolation, color correction, and image quality adjustment on the video based on the received digital video signal. Transmit to buffer memory 111.
  • the display unit 112 that has received the video signal transmitted from the video signal processing unit 105 via the IF unit 106, the internal bus 109, and the buffer memory 111 displays a subject image based on the received video signal (step S2).
  • the user determines the composition of the subject while viewing the video of the subject output on the display unit 112.
  • the detection unit 105b of the video signal processing unit 105 detects a human face from the digital video signal received from the AD conversion unit 104, and notifies the video processing unit 105a to that effect.
  • the video processing unit 105a Upon receiving the notification from the detection unit 105b, the video processing unit 105a transmits to the buffer memory 111 a digital video signal subjected to video processing for displaying a face display frame on the detected face portion of the person.
  • the display unit 112 that has received the video signal transmitted from the video signal processing unit 105 via the IF unit 106, the internal bus 109, and the buffer memory 111 is a video in which a face display frame is superimposed on the video of the subject displayed in step S2. Is displayed (step S3).
  • FIG. 3 is a diagram showing an example of a plurality of faces surrounded by a plurality of face display frames displayed on the display unit 112 shown in FIG.
  • the description of portions other than the face surrounded by the face display frame is omitted for easy understanding.
  • the display unit 112 shown in FIG. 1 displays face display frames 31 to 33 on the face portions of a plurality of persons as subjects.
  • the evaluation unit 105c of the video signal processing unit 105 evaluates each facial expression detected by the detection unit 105b and calculates each facial expression value (step S4).
  • an expression value calculation method for example, there is a method in which a sample video of an expression is held in the video signal processing unit 105 and is calculated by comparing the sample video with the detected facial expression of a person.
  • the evaluation unit 105c transmits the calculated facial expression values to the control unit 110 via the IF unit 106 and the internal bus 109 (step S5).
  • the control unit 110 that has received the plurality of facial expression values transmitted from the video signal processing unit 105 calculates a facial expression value for determination from the received plurality of facial expression values using a predetermined method (step S6).
  • a predetermined method There are a plurality of methods for calculating the facial expression value for determination from a plurality of facial expression values, and the user can select the method according to the shooting scene. A method for calculating the facial expression value for determination will be described later.
  • control unit 110 compares the calculated facial expression value for determination with the threshold stored in itself (step S7).
  • the control unit 110 transmits a photographing instruction to the microcomputer 108 via the internal bus 109 and the IF unit 106. (Step S8).
  • the microcomputer 108 that has received the shooting instruction transmitted from the control unit 110 transmits a video storage instruction for storing the video based on the digital video signal received by the video signal processing unit 105 in the buffer memory 111 to the video signal processing unit 105. (Step S9).
  • the control unit 110 does not transmit a photographing instruction to the microcomputer 108. In this case, returning to the operation of step S4, the video signal processing unit 105 continues the operation of calculating the facial expression value and the operation of transmitting the calculated facial expression value to the control unit 110. Further, the control unit 110 calculates a facial expression value for determination from a plurality of facial expression values received from the video signal processing unit 105 using a predetermined method, and continues the operation of comparing with a threshold value.
  • the video processing unit 105 a of the video signal processing unit 105 that has received the video storage instruction transmitted from the microcomputer 108 transmits the digital video signal received from the AD conversion unit 104 to the buffer memory 111 via the IF unit 106 and the internal bus 109. To do.
  • the buffer memory 111 that has received the digital video signal transmitted from the video signal processing unit 105 via the IF unit 106 and the internal bus 109 temporarily stores a video based on the received digital video signal (step S10).
  • control unit 110 acquires the video stored in the buffer memory 111, performs video processing necessary to store the video in the recording memory 113, and displays the video subjected to the video processing as the recording memory 113. (Step S11). Note that shooting is completed by this operation.
  • the above is the operation when photographing an object including a plurality of persons in the imaging apparatus of the present embodiment.
  • control unit 110 calculates the facial expression value for determination in step S6 of the above-described operation flow and the comparison between the calculated facial expression value for determination and the threshold value performed by the control unit 110 in step S7 will be described. Will be described with reference to the drawings.
  • the facial expression value is calculated by comparing the detected facial expression with the sample video held by the video signal processing unit 105. Specifically, the video signal processing unit 105 calculates a ratio at which the detected facial expression deviates from the sample video, and sets a value indicating the ratio as a percentage as the expression value.
  • the threshold is set to 70%.
  • FIG. 4 is a diagram showing a plurality of faces surrounded by a plurality of face display frames displayed on the display unit 112 shown in FIG. 1, and FIG. 4A shows the highest facial expression value among the plurality of faces.
  • the figure which shows a case where a facial expression value is lower than a threshold value (b) is a figure which shows the case where the highest facial expression value is more than a threshold value among the facial expression values of several face.
  • FIG. 4 the description of portions other than the face surrounded by the face display frame is omitted for easy understanding. The same applies to FIGS. 5 to 7 referred to in the following description.
  • the control unit 110 determines that the determination facial expression value is lower than the threshold value, and does not transmit a shooting instruction to the microcomputer 108.
  • the control unit 110 determines that the determination facial expression value is equal to or greater than the threshold value, and transmits a shooting instruction to the microcomputer 108.
  • FIG. 5 is a diagram showing a plurality of faces surrounded by a plurality of face display frames displayed on the display unit 112 shown in FIG. 1, and (a) is the lowest of the expression values of the plurality of faces.
  • (b) is a figure which shows the case where the lowest expression value is more than a threshold value among the expression values of several faces.
  • the control unit 110 determines that the determination facial expression value is lower than the threshold value, and does not transmit a shooting instruction to the microcomputer 108.
  • the control unit 110 determines that the determination facial expression value is equal to or greater than the threshold value, and transmits a shooting instruction to the microcomputer 108.
  • FIG. 6 is a diagram showing a plurality of faces surrounded by a plurality of face display frames displayed on the display unit 112 shown in FIG. 1, and FIG. 6A shows an average value of expression values of a plurality of faces as a threshold value.
  • (B) is a figure which shows the case where the average value of the facial expression value of several faces is more than a threshold value.
  • step S ⁇ b> 7 of the above-described operation flow the control unit 110 determines that the determination facial expression value is lower than the threshold value, and does not transmit a shooting instruction to the microcomputer 108.
  • the control unit 110 determines that the determination facial expression value is equal to or greater than the threshold value, and transmits a shooting instruction to the microcomputer 108.
  • FIG. 7 is a diagram showing a plurality of faces surrounded by a plurality of face display frames displayed on the display unit 112 shown in FIG. 1, and FIG. 7A shows the highest facial expression value among the plurality of faces.
  • step S ⁇ b> 7 of the above-described operation flow the control unit 110 determines that the determination facial expression value is lower than the threshold value, and does not transmit a shooting instruction to the microcomputer 108.
  • the control unit 110 determines that the determination facial expression value is equal to or greater than the threshold value, and transmits a shooting instruction to the microcomputer 108.
  • the facial expression values to be excluded are not limited to two facial expression values, ie, the highest facial expression value and the lowest facial expression value, and a predetermined number of upper and lower facial expressions can be excluded from a plurality of facial expression values.
  • the threshold value that is a reference for photographing is described as 70%, but this threshold value can be arbitrarily set by the user.
  • the control unit 110 has only one threshold value that serves as a reference when determining whether to perform shooting.
  • a priority is added to an expression value, and a priority expression value threshold for an expression value to which priority is added and an expression value to which no priority is added are used. A case where a plurality of threshold values with the non-priority facial expression value threshold value are provided will be described.
  • FIG. 8 is a diagram showing a second embodiment of the imaging apparatus of the present invention.
  • the video signal processing unit 105 shown in FIG. 1 includes a priority face determination unit 105d in addition to the video processing unit 105a, the detection unit 105b, and the evaluation unit 105c.
  • This priority face determination unit 105d determines the priority of the facial expression value of the person detected by the detection unit 105b.
  • FIG. 9 is a flowchart for explaining an example of the operation when the imaging apparatus 100 shown in FIG. 8 photographs a subject including a plurality of persons.
  • step S51 to S54 are the same as the operations from step S1 to S4 in the flowchart shown in FIG.
  • the priority face determination unit 105d calculates the area of the face display frame displayed for each of the human faces detected by the detection unit 105b (step S55).
  • the priority face determination unit 105d determines the expression value of the face having the largest face display frame as the priority expression value that is an expression value with high priority (step S56). The determined priority facial expression value is notified to the evaluation unit 105c.
  • the evaluation unit 105 c transmits the calculated facial expression values to the control unit 110 via the IF unit 106 and the internal bus 109. At this time, the evaluation unit 105c adds the information indicating that to the priority facial expression value and transmits it (step S57).
  • the control unit 110 that has received the facial expression value transmitted from the video signal processing unit 105 extracts a priority facial expression value from the received facial expression value (step S58).
  • the control unit 110 that has extracted the priority facial expression value compares the extracted priority facial expression value with the threshold value for the priority facial expression value stored therein, and the non-priority facial expression value that is a facial expression value other than the priority facial expression value and itself. Is compared with the threshold value for non-priority facial expression value stored (step S59).
  • FIG. 10 is a diagram showing a plurality of faces surrounded by a plurality of face display frames displayed on the display unit 112 shown in FIG. 8, and (a) shows that the priority expression value is equal to or higher than the priority expression value threshold value.
  • FIG. 5B is a diagram illustrating a case where the non-priority facial expression value is equal to or greater than the threshold value for non-priority facial expression value; FIG. It is a figure which shows the case where it is lower.
  • the priority expression value threshold is set to 70%
  • the non-priority expression value threshold is set to 50%.
  • the description of parts other than the face surrounded by the face display frame is omitted for easy understanding.
  • the expression values of the three faces 81 to 83 are 50%, 80%, and 50%, respectively.
  • the face display frame displayed on the face 82 has a larger area than the face display frames displayed on the other faces 81 and 83. Therefore, 80%, which is the facial expression value of the face 82, becomes the priority facial expression value, and this value is equal to or greater than the priority facial expression value threshold.
  • the expression values of the face 81 and the face 83 are both 50%, and this value is equal to or greater than the non-priority expression value threshold. Therefore, the control unit 110 transmits a shooting instruction to the microcomputer 108. (Step S60).
  • the expression values of the three faces 84 to 86 are 0%, 80%, and 50%, respectively.
  • the face display frame displayed on the face 85 has a larger area than the face display frames displayed on the other faces 84 and 86. Therefore, 80%, which is the facial expression value of the face 85, becomes the priority facial expression value, and this value is equal to or greater than the priority facial expression value threshold.
  • the facial expression value of the face 84 is 0%, which is lower than the non-priority facial expression value threshold. Therefore, the control unit 110 does not transmit a shooting instruction to the microcomputer 108.
  • the video signal processing unit 105 continues the calculation of the expression value and the area of the face display frame and the operation of transmitting the calculated expression value to the control unit 110. Further, the control unit 110 continues the operation of extracting the priority facial expression value from the plurality of facial expression values received from the video signal processing unit 105 and comparing the extracted priority facial expression value with the priority facial expression value threshold.
  • Steps S61 to S63 which are subsequent operations, are the same as steps S9 to S11 in the flowchart shown in FIG.
  • the priority is determined by the area of the face display frame.
  • the value may be a priority facial expression value.
  • each non-priority facial expression value is compared with a threshold value for non-priority facial expression value.
  • An average value of facial expression values other than the priority facial expression value is set as a non-priority facial expression value. May be compared with a non-priority facial expression value threshold.
  • a priority facial expression value having a high priority is selected from a plurality of facial expression values, and photographing is performed based on the priority facial expression value. Therefore, it is possible to automatically perform photographing that captures the user's intention assumed in the photographing scene, in which it is desired to emphasize the facial expression of a specific person among a plurality of persons.
  • the threshold value serving as a reference when determining whether or not shooting is performed is a fixed value in one shooting.
  • the threshold is changed based on a plurality of facial expression values received by the control unit 110 will be described.
  • the initially set threshold is 70%.
  • the highest facial expression value is compared with the lowest facial expression value, and when the facial expression value difference that is the difference is equal to or larger than a certain value, the initially set threshold value is changed. Specifically, when the facial expression value difference is 80% or more, the threshold value is changed, and the changed threshold value is 50%.
  • the configuration of the imaging device is the same as that of the imaging device 100 shown in FIG.
  • FIG. 11 is a flowchart for explaining another example of the operation when the subject including a plurality of persons is photographed in the imaging apparatus shown in FIG.
  • step S101 to S105 are the same as the operations from step S1 to S5 in the flowchart shown in FIG.
  • the control unit 110 that has received the plurality of facial expression values transmitted from the video signal processing unit 105 compares the highest facial expression value with the lowest facial expression value among the received facial expression values (step S106).
  • FIG. 12 is a diagram showing a plurality of faces surrounded by a plurality of face display frames displayed on the display unit 112 shown in FIG. 1, and FIG. 12A is a diagram showing a case where a threshold value is changed. b) is a diagram showing a case where the threshold value is not changed. In FIG. 12, for the sake of easy understanding, description of portions other than the face surrounded by the face display frame is omitted.
  • the expression values of the three faces 91 to 93 are 80%, 50%, and 0%, respectively.
  • the face 91 (expression value 80%) shows the highest expression value
  • the face 93 (expression value 0%) shows the lowest expression value.
  • the difference in values is 80% or more.
  • control unit 110 changes the threshold value (step S107).
  • control part 110 calculates the facial expression value for a determination (step S108).
  • the average value of the facial expression values of the faces 91 to 93 is calculated in order to use the average value of the plurality of facial expression values as the determination facial expression value.
  • the expression values of the three faces 94 to 96 are 100%, 50%, and 70%, respectively.
  • the face 94 shows the highest expression value
  • the face 95 shows the lowest expression value.
  • the difference in facial expression values is less than 80%.
  • control unit 110 proceeds to the operation of step S108 without changing the threshold value, and calculates a facial expression value for determination.
  • Steps S109 to S113, which are subsequent operations, are the same as steps S7 to S11 of the flowchart shown in FIG.
  • the highest facial expression value is compared with the lowest facial expression value, and the case where the threshold is changed when the difference is equal to or greater than a certain value has been described.
  • the value is not limited to the highest facial expression value and the lowest facial expression value.
  • the threshold value can be changed when the difference between the lowest facial expression value and the second lowest facial expression value is equal to or greater than a certain value.
  • the threshold value is automatically changed when the difference between facial expression values of a plurality of facial expression values is large, so even if there are individual differences in the facial expressions of a plurality of persons on the subject. It is possible to automatically shoot.
  • the case where the number of detected human faces is three has been described as an example.
  • the number of faces is not limited to three and may be more or less than three. .
  • imaging device 100 can be applied to all imaging devices such as an electronic still camera and a camera-equipped mobile phone having a configuration using the camera module 101 shown in FIGS.
  • the detection unit, the evaluation unit, and the priority face determination unit have been described as being configured in the video signal processing unit 105, but the detection unit, the evaluation unit, and the priority face determination unit are the control unit. It is also possible to implement it by mounting it on 110.
  • the processing in the imaging apparatus is recorded on a recording medium that can be read by the imaging apparatus, in addition to what is realized by the dedicated hardware described above.
  • the program recorded on the recording medium may be read by the imaging apparatus and executed.
  • the recording medium that can be read by the imaging apparatus refers to a transfer medium such as a floppy disk, a magneto-optical disk, a DVD, and a CD, as well as an HDD built in the imaging apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)

Abstract

　被写体の映像を記憶ためのする記録用メモリ１１３と、被写体の映像の撮像による信号から人物の顔を検出する検出部１０５ｂと、検出部１０５ｂが複数の人物の顔を検出した場合、検出された複数の人物の顔それぞれの表情を評価し、評価されたそれぞれの表情を数値化した複数の表情値を算出する評価部１０５ｃと、複数の表情値から、被写体の映像を記憶するかどうかを判定するための判定用表情値を算出し、判定用表情値が予め決められた閾値以上である場合、被写体の映像を記憶用メモリ１１３に記憶させる制御部１１０とを有する。

Description

撮像装置、撮像方法及びプログラム
　本発明は、撮像素子を用いて映像を撮像する撮像装置、撮像方法及びプログラムに関し、特に、被写体の状態を判定することにより、撮像によって得られた映像を自動的に記憶する撮像装置、撮像方法及びプログラムに関する。
　近年、小型カメラモジュールを装備した携帯可能な撮像装置として電子スチルカメラやカメラ付き携帯電話の需要が増え続けている。それに伴って、カメラの性能及び機能に対するユーザーからの要求が、厳しくなってきていると同時に多様化してきている。
　携帯可能な撮像装置に対するユーザーの要求で多数を占めるのは、解像度、色再現、感度などの性能に関するものと、多機能化、各種処理時間の短縮、ユーザインタフェースの充実などの使い勝手の向上に関するものとに大別される。
　これまでの携帯可能な撮像装置の開発は、性能に関するものを重視して進められてきており、画素数などカタログ上での性能の優劣を競うことが多かった。最近では、携帯可能な撮像装置の性能や仕様が均衡してきており、ユーザーの要求も、必要十分な性能が満たされた上での使い勝手の向上に関するものに移行しつつある。
　そのため、最近では特に、手ぶれを補正する機能や、顔を検出してＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）及びＡＥ（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）を行う機能が搭載され、ユーザーが意図した撮影を行えるようにするための新技術開発が加速されている。なお、撮影とは、撮像によって得られた映像を撮像装置が有する記憶手段に記憶する動作のことをいう。
　ここで、ユーザーが、自身が意図した撮影を行えなかったと感じるのは、被写体の人物の顔の表情が良い表情（例えば、笑顔）でなかった場合が最も多いと考えられる。
　そこで、被写体の人物の顔の表情を認識し、顔の表情が所定の表情（例えば、笑顔）になった場合に撮影が行われる技術が求められ、それを可能にする技術が例えば、特許文献１に開示されている。
　特許文献１に開示されている技術では、撮像によって得られた被写体の映像信号から人物の顔を検出し、検出された顔の表情を一定の条件に基づいて評価する。そして、評価された顔の表情が一定の条件に達した場合に自動的に撮影が行われる。また、被写体に複数の人物が含まれる場合でも同様に、それぞれの人物の顔の表情を一定の条件に基づいてそれぞれ評価し、評価されたそれぞれの顔の表情が一定の条件に達した場合に自動的に撮影が行われる。
特開２００８－４２３１９号公報
　上述したように、特許文献１に開示されている技術を利用すれば、被写体に複数の人物が含まれている場合でも、それぞれの人物の顔の表情が所定の表情（例えば、笑顔）になった場合に自動的に撮影が行われるため、ユーザーが意図した撮影を行うことが可能となるように思える。
　しかしながら、撮影シーンによっては、複数の人物の顔の表情を同じ条件で評価した結果に基づいて撮影を行うべきではない場面が想定され、その場合、複数の人物の顔の表情に基づいた撮影が自動的に行われても、ユーザーが意図していない結果となってしまうという問題点がある。
　本発明は、被写体に複数の人物が含まれる場合でも、その撮影シーンに応じてユーザーが意図する撮影を自動的に行うことができる撮像装置、撮像方法及びプログラムを提供することを目的とする。
　上記目的を達成するために本発明は、
　被写体の映像を記憶するための記憶手段と、
　前記被写体の映像の撮像による信号から人物の顔を検出する検出手段と、
　前記検出手段が複数の人物の顔を検出した場合、前記検出された複数の人物の顔それぞれの表情を評価し、前記評価されたそれぞれの表情を数値化した複数の表情値を算出する評価手段と、
　前記複数の表情値から、前記被写体の映像を記憶するかどうかを判定するための判定用表情値を算出し、前記判定用表情値が予め決められた閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる制御手段と、を有する。
　また、被写体の映像を記憶するための記憶手段を有する撮像装置における撮像方法であって、
　前記被写体の映像の撮像による信号から人物の顔を検出する処理と、
　複数の人物の顔を検出した場合、前記検出された複数の人物の顔それぞれの表情を評価し、前記評価されたそれぞれの表情を数値化した複数の表情値を算出する処理と、
　前記複数の表情値から、前記被写体の映像を記憶するかどうかを判定するための判定用表情値を算出し、前記判定用表情値が予め決められた閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる処理と、を有する。
　また、被写体の映像を記憶するための記憶手段を有する撮像装置に、
　前記被写体の映像の撮像による信号から人物の顔を検出する機能と、
　複数の人物の顔を検出した場合、前記検出された複数の人物の顔それぞれの表情を評価し、前記評価されたそれぞれの表情を数値化した複数の表情値を算出する機能と、
　前記複数の表情値から、前記被写体の映像を記憶するかどうかを判定するための判定用表情値を算出し、前記判定用表情値が予め決められた閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる機能と、を実現させる。
　本発明は以上説明したように構成されているので、様々な撮影シーンにおいて、ユーザーが意図する撮影をシャッターチャンスを逃さずに自動的に行うことができる。
本発明の撮像装置の第１の実施の形態を示す図である。 図１に示した撮像装置において、複数の人物を含む被写体を撮影する場合の動作の一例を説明するためのフローチャートである。 図１に示した表示部に表示されている複数の顔表示枠に囲まれた複数の顔を示す図である。 図１に示した表示部に表示されている複数の顔表示枠に囲まれた複数の顔を示す図である。 図１に示した表示部に表示されている複数の顔表示枠に囲まれた複数の顔を示す図である。 図１に示した表示部に表示されている複数の顔表示枠に囲まれた複数の顔を示す図である。 図１に示した表示部に表示されている複数の顔表示枠に囲まれた複数の顔を示す図である。 本発明の撮像装置の第２の実施の形態を示す図である。 図８に示した撮像装置において、複数の人物を含む被写体を撮影する場合の動作の一例を説明するためのフローチャートである。 図８に示した表示部に表示されている複数の顔表示枠に囲まれた複数の顔を示す図である。 図１に示した撮像装置において、複数の人物を含む被写体を撮影する場合の動作の他の例を説明するためのフローチャートである。 図１に示した表示部に表示されている複数の顔表示枠に囲まれた複数の顔を示す図である。
　以下に、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）
　図１は、本発明の撮像装置の第１の実施の形態を示す図である。
　本形態の撮像装置１００は図１に示すように、カメラモジュール１０１と、制御部１１０と、バッファメモリ１１１と、表示部１１２と、記憶手段である記録用メモリ１１３とを備えている。
　また、図１に示すようにカメラモジュール１０１は、光学レンズ部１０２と、撮像素子部１０３と、ＡＤ（アナログデジタル）変換部１０４と、映像信号処理部１０５と、ＩＦ（インタフェース）部１０６と、駆動パルス供給部１０７と、マイコン１０８とを備えている。
　光学レンズ部１０２は、被写体にて反射した光を集光する。
　撮像素子部１０３は、光学レンズ部１０２が集光した光をアナログの映像信号に変換し、変換されたアナログ映像信号をＡＤ変換部１０４へ送信する。
　ＡＤ変換部１０４は、撮像素子部１０３から送信されたアナログ映像信号を受信すると、受信したアナログ映像信号をデジタルの映像信号に変換し、映像信号処理部１０５へ送信する。
　映像信号処理部１０５は、映像処理部１０５ａと、検出部１０５ｂと、評価部１０５ｃとを備えている。
　映像処理部１０５ａは、ＡＤ変換部１０４から送信されたデジタル映像信号に基づく映像に色補間や色補正、画質調整等の映像処理や、検出部１０５ｂが検出した人物の顔の部分に顔であることを明示する顔表示枠を表示させる映像処理を施す。そして、映像処理部１０５ａは、マイコン１０８から、ＡＤ変換部１０４から受信したデジタル映像信号に基づく映像をバッファメモリ１１１に記憶するための映像記憶指示を受信すると、ＡＤ変換部１０４から受信したデジタル映像信号をＩＦ部１０６及び内部バス１０９を介してバッファメモリ１１１へ送信する。
　検出部１０５ｂは、ＡＤ変換部１０４から送信されたデジタル映像信号に基づく映像から人物の顔を検出する。
　評価部１０５ｃは、検出部１０５ｂが検出した人物の顔の表情を評価し、評価された表情を数値化した表情値を算出する。そして、算出した表情値をＩＦ部１０６及び内部バス１０９を介して制御部１１０へ送信する。
　ＩＦ部１０６は、マイコン１０８と制御部１１０との間の制御信号の送受信を仲介する。
　駆動パルス供給部１０７は、撮像素子部１０３を駆動するためのパルスを供給する。
　マイコン１０８は、ＩＦ部１０６を介してカメラモジュール１０１に入ってくる制御信号に基づき、映像信号処理部１０５や駆動パルス供給部１０７を制御する。また、制御部１１０から送信される、撮影を指示するための撮影指示を受信すると、デジタル映像信号に基づく映像をバッファメモリ１１１に記憶するための映像記憶指示を映像信号処理部１０５へ送信する。
　内部バス１０９は、カメラモジュール１０１と制御部１１０、バッファメモリ１１１、表示部１１２及び記録用メモリ１１３との間のデジタル映像信号や制御信号の送受信を仲介する。
　制御部１１０は、撮像装置１００の動作を制御するものであり、代表的な動作としては以下が挙げられる。
（１）撮影を行うかどうかを判定する際の基準となる閾値を記憶する。
（２）映像信号処理部１０５から送信された表情値をＩＦ部１０６及び内部バス１０９を介して受信する。
（３）受信した表情値から、撮影を行うかどうかの判定をするために使用される判定用表情値を算出する。
（４）算出した判定用表情値と閾値とを比較し、撮影を行うかどうかの判定を行う。
（５）撮影を行う判定をした場合、撮影を指示するための撮影指示を内部バス１０９及びＩＦ部１０６を介してマイコン１０８へ送信する。
　バッファメモリ１１１は、映像信号処理部１０５から送信されたデジタル映像信号をＩＦ部１０６及び内部バス１０９を介して受信し、受信したデジタル映像信号に基づく映像を一時的に記憶する。
　表示部１１２は、映像信号処理部１０５から送信されたデジタル映像信号をＩＦ部１０６及び内部バス１０９、バッファメモリ１１１を介して受信し、受信したデジタル映像信号に基づく映像を表示する。
　記録用メモリ１１３は、バッファメモリ１１１に記憶されているデジタル映像信号に基づく映像を制御部１１０の指示によって記憶する。
　以下に、上記のように構成された撮像装置で複数の人物を含む被写体を撮影する場合の動作について説明する。
　図２は、図１に示した撮像装置１００において、複数の人物を含む被写体を撮影する場合の動作の一例を説明するためのフローチャートである。
　まず、ユーザーによって撮像装置１００の電源が投入され、撮像装置１００が起動する（ステップＳ１）。
　撮像装置１００が起動すると、制御部１１０はイニシャライズを実行する。このイニシャライズにより、撮像装置１００の動作クロック、撮影画角、画質設定等の初期値設定が行われ、撮像装置１００での撮影が可能となる。
　次に、光学レンズ部１０２は、被写体にて反射した光を集光する。
　そして、撮像素子部１０３は、光学レンズ部１０２が集光した光をアナログの映像信号に変換し、変換されたアナログ映像信号をＡＤ変換部１０４へ送信する。
　撮像素子部１０３から送信されたアナログ映像信号を受信したＡＤ変換部１０４は、受信したアナログ映像信号をデジタル映像信号に変換し、映像信号処理部１０５へ送信する。
　ＡＤ変換部１０４から送信されたデジタル映像信号を受信した映像信号処理部１０５の映像処理部１０５ａは、受信したデジタル映像信号に基づく映像に色補間や色補正、画質調整等の映像処理を施し、バッファメモリ１１１へ送信する。
　映像信号処理部１０５から送信された映像信号をＩＦ部１０６及び内部バス１０９、バッファメモリ１１１を介して受信した表示部１１２は、受信した映像信号に基づく被写体の映像を表示する（ステップＳ２）。
　ここで、ユーザーは、表示部１１２に出力された被写体の映像を見ながら被写体の構図を決定することになる。
　次に、映像信号処理部１０５の検出部１０５ｂは、ＡＤ変換部１０４から受信したデジタル映像信号から人物の顔を検出し、その旨を映像処理部１０５ａへ通知する。
　検出部１０５ｂから通知を受けた映像処理部１０５ａは、検出した人物の顔の部分に顔表示枠を表示させる映像処理を施したデジタル映像信号をバッファメモリ１１１へ送信する。
　映像信号処理部１０５から送信された映像信号をＩＦ部１０６及び内部バス１０９、バッファメモリ１１１を介して受信した表示部１１２は、ステップＳ２において表示した被写体の映像に顔表示枠が重畳された映像を表示する（ステップＳ３）。
　図３は、図１に示した表示部１１２に表示されている複数の顔表示枠に囲まれた複数の顔の一例を示す図である。なお、図３においては、説明をわかりやすくするため、顔表示枠で囲まれた顔以外の部分の記載は省略している。
　図３に示すように図１に示した表示部１１２には、被写体の複数の人物の顔の部分それぞれに顔表示枠３１～３３が表示されている。
　次に、映像信号処理部１０５の評価部１０５ｃは、検出部１０５ｂが検出した人物の顔それぞれの表情を評価し、それぞれの表情値を算出する（ステップＳ４）。表情値の算出方法としては、例えば、表情のサンプル映像を映像信号処理部１０５内に保持しておき、そのサンプル映像と検出した人物の顔の表情との比較によって算出する方法がある。
　そして、評価部１０５ｃは、算出したそれぞれの顔の表情値をＩＦ部１０６及び内部バス１０９を介して制御部１１０へ送信する（ステップＳ５）。
　映像信号処理部１０５から送信された複数の表情値を受信した制御部１１０は、受信した複数の表情値から所定の方法を用いて、判定用表情値を算出する（ステップＳ６）。なお、複数の表情値から判定用表情値を算出する方法は複数あり、ユーザーは、撮影シーンに応じ、その方法を選択することができる。判定用表情値を算出する方法については後述する。
　次に、制御部１１０は、算出した判定用表情値と、自身が記憶している閾値とを比較する（ステップＳ７）。
　算出した判定用表情値と閾値とを比較した結果、算出した判定用表情値が閾値以上であった場合、制御部１１０は、撮影指示を内部バス１０９及びＩＦ部１０６を介してマイコン１０８へ送信する（ステップＳ８）。
　制御部１１０から送信された撮影指示を受信したマイコン１０８は、映像信号処理部１０５が受信したデジタル映像信号に基づく映像をバッファメモリ１１１に記憶するための映像記憶指示を映像信号処理部１０５へ送信する（ステップＳ９）。
　一方、ステップＳ７において、算出した判定用表情値と閾値とを比較した結果、算出した判定用表情値が閾値よりも低い場合、制御部１１０は、撮影指示をマイコン１０８へ送信しない。この場合、ステップＳ４の動作に戻り、映像信号処理部１０５は、表情値を算出する動作と、算出した表情値を制御部１１０へ送信する動作とを継続する。また、制御部１１０は、映像信号処理部１０５から受信した複数の表情値から所定の方法を用いて判定用表情値を算出し、閾値と比較する動作を継続する。
　マイコン１０８から送信された映像記憶指示を受信した映像信号処理部１０５の映像処理部１０５ａは、ＡＤ変換部１０４から受信したデジタル映像信号をＩＦ部１０６及び内部バス１０９を介してバッファメモリ１１１へ送信する。
　映像信号処理部１０５から送信されたデジタル映像信号をＩＦ部１０６及び内部バス１０９を介して受信したバッファメモリ１１１は、受信したデジタル映像信号に基づく映像を一時的に記憶する（ステップＳ１０）。
　次に、制御部１１０は、バッファメモリ１１１に記憶されている映像を取得し、映像を記録用メモリ１１３に記憶するために必要な映像処理を施し、映像処理を施した映像を記録用メモリ１１３に記憶させる（ステップＳ１１）。なお、本動作によって撮影が完了したこととなる。
　以上が、本実施形態の撮像装置において、複数の人物を含む被写体を撮影する場合の動作である。
　以下に、上述した動作フローのステップＳ６において、制御部１１０が判定用表情値を算出する方法と、ステップＳ７において制御部１１０が行う、算出した判定用表情値と閾値との比較について、具体例を示しながら図面を参照して説明する。
　ここで、表情値は、検出した顔の表情と映像信号処理部１０５が保持しているサンプル映像とを比較することによって算出されることとする。具体的には、映像信号処理部１０５は、検出された顔の表情がサンプル映像から乖離している割合を算出し、その乖離している割合をパーセントで示した値を表情値とする。また、ここでは閾値を７０％とする。
　まず最初に、判定用表情値の算出方法として、複数の表情値のうち、最も高い表情値を判定用表情値とする場合について説明する。
　図４は、図１に示した表示部１１２に表示されている複数の顔表示枠に囲まれた複数の顔を示す図であり、（ａ）は複数の顔の表情値のうち、最も高い表情値が閾値よりも低い場合を示す図、（ｂ）は複数の顔の表情値のうち、最も高い表情値が閾値以上である場合を示す図である。なお、図４においては、説明をわかりやすくするため、顔表示枠で囲まれた顔以外の部分の記載は省略している。以降の説明で参照する図５～図７においても同様である。
　図４（ａ）に示す例で、３つの顔４１～４３の表情値が、それぞれ５０％、５％、０％であったとすると、最も高い表情値を示しているのは顔４１（表情値５０％）である。この顔４１の表情値である５０％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値よりも低いと判定し、撮影指示をマイコン１０８へ送信しない。
　一方、図４（ｂ）に示す例で、３つの顔４４～４６の表情値が、それぞれ８０％、５０％、０％であったとすると、最も高い表情値を示しているのは顔４４（表情値８０％）である。この顔４４の表情値である８０％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値以上であると判定し、撮影指示をマイコン１０８へ送信する。
　次に、判定用表情値の算出方法として、複数の表情値のうち、最も低い表情値を判定用表情値とする場合について説明する。
　図５は、図１に示した表示部１１２に表示されている複数の顔表示枠に囲まれた複数の顔を示す図であり、（ａ）は複数の顔の表情値のうち、最も低い表情値が閾値よりも低い場合を示す図、（ｂ）は複数の顔の表情値のうち、最も低い表情値が閾値以上である場合を示す図である。
　図５（ａ）に示す例で、３つの顔５１～５３の表情値が、それぞれ８０％、５０％、０％であったとすると、最も低い表情値を示しているのは顔５３（表情値０％）である。この顔５３の表情値である０％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値よりも低いと判定し、撮影指示をマイコン１０８へ送信しない。
　一方、図５（ｂ）に示す例で、３つの顔５４～５６の表情値が、それぞれ１００％、８０％、７０％であったとすると、最も低い表情値を示しているのは顔５６（表情値７０％）である。この顔５６の表情値である７０％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値以上であると判定し、撮影指示をマイコン１０８へ送信する。
　次に、判定用表情値の算出方法として、複数の表情値の平均値を判定用表情値とする場合について説明する。
　図６は、図１に示した表示部１１２に表示されている複数の顔表示枠に囲まれた複数の顔を示す図であり、（ａ）は複数の顔の表情値の平均値が閾値よりも低い場合を示す図、（ｂ）は複数の顔の表情値の平均値が閾値以上である場合を示す図である。
　図６（ａ）に示す例で、３つの顔６１～６３の表情値が、それぞれ８０％、５０％、０％であったとすると、平均値は４３％である。この平均値４３％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値よりも低いと判定し、撮影指示をマイコン１０８へ送信しない。
　一方、図６（ｂ）に示す例で、３つの顔６４～６６の表情値が、それぞれ１００％、１０％、１００％であったとすると、平均値は７０％である。この平均値７０％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値以上であると判定し、撮影指示をマイコン１０８へ送信する。
　次に、判定用表情値の算出方法として、複数の表情値のうち、最も高い表情値と最も低い表情値とを除外した残りの表情値の平均値を判定用表情値とする場合について説明する。
　図７は、図１に示した表示部１１２に表示されている複数の顔表示枠に囲まれた複数の顔を示す図であり、（ａ）は複数の顔の表情値のうち、最も高い表情値と最も低い表情値とを除外した残りの表情値の平均値が閾値よりも低い場合を示す図、（ｂ）は複数の顔の表情値のうち、最も高い表情値と最も低い表情値とを除外した残りの表情値の平均値が閾値以上である場合を示す図である。
　図７（ａ）に示す図で、３つの顔７１～７３の表情値が、それぞれ８０％、５０％、０％であったとすると、最も高い表情値を示しているのは顔７１（表情値８０％）であり、最も低い表情値を示しているのは顔７３（表情値０％）である。これら２つの表情値を除外した残りの表情値の平均値は５０％であり、この平均値５０％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値よりも低いと判定し、撮影指示をマイコン１０８へ送信しない。
　一方、図７（ｂ）に示す図で、３つの顔７４～７６の表情値が、それぞれ１００％、１０％、７０％であったとすると、最も高い表情値を示しているのは顔７４（表情値１００％）であり、最も低い表情値を示しているのは顔７５（表情値１０％）である。これら２つの表情値を除外した残りの表情値の平均値は７０％であり、この平均値７０％が判定用表情値となる。従って、上述した動作フローのステップＳ７において、制御部１１０は、判定用表情値が閾値以上であると判定し、撮影指示をマイコン１０８へ送信する。
　なお、この判定用表情値の算出方法では、複数の表情値のうち最も高い表情値と最も低い表情値とを除外して平均値を算出し、判定用表情値とする場合について説明した。しかし、除外する表情値は最も高い表情値と最も低い表情値との２つの表情値に限定されるものではなく、複数の表情値のうち、上下所定数を除外することが可能である。
　なお、上述した第１の実施の形態では、撮影が行われる基準となる閾値を７０％として説明したが、この閾値は、ユーザーが任意に設定することができる。
　このように、第１の実施の形態においては、被写体に複数の人物が含まれる場合でも、その撮影シーンに応じ、上述した複数の判定用表情値を使いわけることにより、ユーザーが意図する撮影を自動的に行うことが可能となる。
（第２の実施の形態）
　上述した第１の実施の形態では、制御部１１０が記憶している撮影を行うかどうかを判定する際の基準となる閾値は１つだけであった。以下に説明する第２に実施の形態では、表情値に優先度を付加し、優先度が付加された表情値のための優先表情値用閾値と、優先度が付加されていない表情値のための非優先表情値用閾値との複数の閾値を設ける場合について説明する。
　図８は、本発明の撮像装置の第２の実施の形態を示す図である。
　図８に示すように本形態では、図１に示した映像信号処理部１０５は、映像処理部１０５ａ、検出部１０５ｂ及び評価部１０５ｃに加え、優先顔決定部１０５ｄを備えている。
　この優先顔決定部１０５ｄが、検出部１０５ｂによって検出された人物の顔の表情値の優先度を決定する。
　図９は、図８に示した撮像装置１００において、複数の人物を含む被写体を撮影する場合の動作の一例を説明するためのフローチャートである。
　図９に示すフローチャートにおいて、ステップＳ５１～Ｓ５４までの動作は、図２に示したフローチャートのステップＳ１～Ｓ４までの動作と同じであるため、説明を省略する。
　優先顔決定部１０５ｄは、検出部１０５ｂが検出した人物の顔のそれぞれについて表示されている顔表示枠の面積を算出する（ステップＳ５５）。
　そして、優先顔決定部１０５ｄは、面積の最も大きな顔表示枠を持つ顔の表情値を優先度の高い表情値である優先表情値と決定する（ステップＳ５６）。決定された優先表情値は、評価部１０５ｃへ通知される。
　そして、評価部１０５ｃは、算出したそれぞれの顔の表情値をＩＦ部１０６及び内部バス１０９を介して制御部１１０へ送信する。その際、評価部１０５ｃは、優先表情値には、その旨を示す情報を付加して送信する（ステップＳ５７）。
　映像信号処理部１０５から送信された表情値を受信した制御部１１０は、受信した表情値の中から、優先表情値を抽出する（ステップＳ５８）。
　優先表情値を抽出した制御部１１０は、抽出した優先表情値と自身が記憶している優先表情値用閾値とを比較し、また、優先表情値以外の表情値である非優先表情値と自身が記憶している非優先表情値用閾値とを比較する（ステップＳ５９）。
　図１０は、図８に示した表示部１１２に表示されている複数の顔表示枠に囲まれた複数の顔を示す図であり、（ａ）は優先表情値が優先表情値用閾値以上であり、非優先表情値も非優先表情値用閾値以上である場合を示す図、（ｂ）は優先表情値が優先表情値用閾値以上であるが、非優先表情値は非優先表情値用閾値よりも低い場合を示す図である。ここでは、優先表情値用閾値を７０％とし、非優先表情値用閾値を５０％としている。なお、図１０においては、説明をわかりやすくするため、顔表示枠で囲まれた顔以外の部分の記載は省略している。
　図１０（ａ）に示す例では、３つの顔８１～８３の表情値は、それぞれ５０％、８０％、５０％である。この３つの顔に表示された顔表示枠のうち、顔８２に表示された顔表示枠は、他の顔８１，８３に表示された顔表示枠に比べて面積が大きい。よって、顔８２の表情値である８０％が優先表情値となり、この値は、優先表情値用閾値以上である。また、顔８１及び顔８３の表情値はともに５０％であり、この値は、非優先表情値用閾値以上である。従って、制御部１１０は、撮影指示をマイコン１０８へ送信する。（ステップＳ６０）。
　一方、図１０（ｂ）に示す例では、３つの顔８４～８６の表情値は、それぞれ０％、８０％、５０％である。この３つの顔に表示された顔表示枠のうち、顔８５に表示された顔表示枠は、他の顔８４，８６に表示された顔表示枠に比べて面積が大きい。よって、顔８５の表情値である８０％が優先表情値となり、この値は、優先表情値用閾値以上である。しかし、顔８４の表情値は０％であり、この値は、非優先表情値用閾値よりも低い。従って、制御部１１０は、撮影指示をマイコン１０８へ送信しない。この場合、ステップＳ５４の動作に戻り、映像信号処理部１０５は、表情値及び顔表示枠の面積の算出と、算出した表情値を制御部１１０へ送信する動作とを継続する。また、制御部１１０は、映像信号処理部１０５から受信した複数の表情値のうち、優先表情値を抽出し、抽出した優先表情値と優先表情値用閾値とを比較する動作を継続する。
　以降の動作であるステップＳ６１～Ｓ６３は、図２に示したフローチャートのステップＳ９～Ｓ１１と同じである。
　なお、上述した第２の実施の形態においては、優先度は顔表示枠の面積によって決定される場合を説明したが、表示部１１２に表示される画面においてより中心に近いところにある顔の表情値を優先表情値としてもよい。
　また、上述した第２の実施の形態においては、それぞれの非優先表情値を非優先表情値用閾値と比較をしたが、優先表情値以外の表情値の平均値を非優先表情値とし、これを非優先表情値用閾値と比較をするようにしてもよい。
　このように、第２の実施の形態においては、複数の表情値から優先度の高い優先表情値が選択され、その優先表情値に基づいて撮影が行われる。従って、複数の人物のうち、ある特定の人物の表情を重視したいという、撮影シーンにおいて想定されるユーザーの意図を汲み取った撮影を自動的に行うことが可能となる。
（第３の実施の形態）
　上述した第１の実施の形態及び第２の実施の形態では、撮影が行われるかどうかを判定する際の基準となる閾値は、1回の撮影において固定値であった。以下に説明する第３の実施の形態では、制御部１１０が受信する複数の表情値に基づき、閾値が変更される場合について説明する。
　ここでは、第１の実施の形態で説明した複数の表情値の平均値を判定用表情値とする方法を用いている場合について説明することとし、当初設定されている閾値を７０％とする。
　また、ここでは、最も高い表情値と最も低い表情値とを比較し、その差である表情値差が一定値以上の場合、当初設定されている閾値が変更されるものとする。具体的には、表情値差が８０％以上の場合、閾値が変更されることとし、変更後の閾値は５０％とする。
　また、第３の実施の形態において、撮像装置の構成は、図１に示した撮像装置１００と同じである。
　図１１は、図１に示した撮像装置において、複数の人物を含む被写体を撮影する場合の動作の他の例を説明するためのフローチャートである。
　図１１に示したフローチャートにおいて、ステップＳ１０１～Ｓ１０５までの動作は、図２に示したフローチャートのステップＳ１～Ｓ５までの動作と同じであるため、説明を省略する。
　映像信号処理部１０５から送信された複数の表情値を受信した制御部１１０は、受信した複数の表情値のうち、最も高い表情値と最も低い表情値とを比較する（ステップＳ１０６）。
　図１２は、図１に示した表示部１１２に表示されている複数の顔表示枠に囲まれた複数の顔を示す図であり、（ａ）は閾値が変更される場合を示す図、（ｂ）は閾値が変更されない場合を示す図である。なお、図１２においては、説明をわかりやすくするため、顔表示枠で囲まれた顔以外の部分の記載は省略している。
　図１２（ａ）に示す例では、３つの顔９１～９３の表情値は、それぞれ８０％、５０％、０％である。最も高い表情値を示しているのは顔９１（表情値８０％）であり、最も低い表情値を示しているのは顔９３（表情値０％）であるため、顔９１と顔９３と表情値の差は８０％以上である。
　従って、制御部１１０は、閾値を変更する（ステップＳ１０７）。
　そして、制御部１１０は、判定用表情値を算出する（ステップＳ１０８）。ここでは、上述したように、複数の表情値の平均値を判定用表情値とするため、顔９１～９３の表情値の平均値を算出する。
　一方、図１２（ｂ）に示す例では、３つの顔９４～９６の表情値は、それぞれ１００％、５０％、７０％である。最も高い表情値を示しているのは顔９４（表情値１００％）であり、最も低い表情値を示しているのは顔９５（表情値５０％）であるため、顔９４と顔９５との表情値の差は８０％よりも小さい。
　従って、制御部１１０は、閾値を変更せずにステップＳ１０８の動作に移行し、判定用表情値を算出する。
　以降の動作であるステップＳ１０９～Ｓ１１３は、図２に示したフローチャートのステップＳ７～Ｓ１１と同じである。
　なお、上述した第３の実施の形態においては、最も高い表情値と最も低い表情値とを比較し、その差が一定値以上の場合、閾値が変更される場合について説明したが、比較する表情値は最も高い表情値と最も低い表情値に限定されることはない。例えば、最も低い表情値と２番目に低い表情値との差が一定値以上の場合、閾値が変更されるようにすることも可能である。
　このように、第３の実施の形態においては、複数の表情値の表情値差が大きな場合、自動的に閾値を変更するため、被写体の複数の人物の表情に個人差があるような場合でも、自動的に撮影を行うことが可能となる。
　なお、上述した３つの形態では、検出された人物の顔が３つの場合を一例として説明したが、顔は３つに限定されるものではなく、３つよりも多くても、少なくてもよい。
　また、上述した撮像装置１００は、図１及び図８に示したカメラモジュール１０１を用いた構成をとる撮像装置、例えば、電子スチルカメラ、カメラ付き携帯電話などの全ての撮像装置に適用できる。
　また、上述した３つの形態では、検出部、評価部及び優先顔決定部は、映像信号処理部１０５に実装する場合の構成で説明したが、検出部、評価部及び優先顔決定部を制御部１１０に実装して実施することも可能である。
　また、本発明においては、撮像装置内の処理は上述の専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを撮像装置にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを撮像装置に読み込ませ、実行するものであっても良い。撮像装置にて読取可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＤＶＤ、ＣＤなどの移設可能な記録媒体の他、撮像装置に内蔵されたＨＤＤなどを指す。
　この出願は、２００８年７月１７日に出願された日本出願特願２００８－１８６１７９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (21)

  1. 　被写体の映像を記憶するための記憶手段と、
    　前記被写体の映像の撮像による信号から人物の顔を検出する検出手段と、
    　前記検出手段が複数の人物の顔を検出した場合、前記検出された複数の人物の顔それぞれの表情を評価し、前記評価されたそれぞれの表情を数値化した複数の表情値を算出する評価手段と、
    　前記複数の表情値から、前記被写体の映像を記憶するかどうかを判定するための判定用表情値を算出し、前記判定用表情値が予め決められた閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる制御手段と、を有する撮像装置。
  2. 　請求項１に記載の撮像装置において、
    　前記制御手段は、前記複数の表情値のうち最も高い表情値を前記判定用表情値とする撮像装置。
  3. 　請求項１に記載の撮像装置において、
    　前記制御手段は、前記複数の表情値のうち最も低い表情値を前記判定用表情値とする撮像装置。
  4. 　請求項１に記載の撮像装置において、
    　前記制御手段は、前記複数の表情値の平均値を前記判定用表情値とする撮像装置。
  5. 　請求項１に記載の撮像装置において、
    　前記制御手段は、前記複数の表情値から少なくとも１つの表情値を除外した残りの表情値の平均値を前記判定用表情値とする撮像装置。
  6. 　請求項１に記載の撮像装置において、
    　前記検出手段が検出した複数の人物の顔から優先的な顔を決定する優先顔決定手段を有し、
    　前記制御手段は、前記優先的な顔の表情値である優先表情値が予め決められた優先表情値用閾値以上であり、かつ、前記複数の表情値のうち前記優先表情値以外の表情値である非優先表情値が予め決められた非優先表情値用閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる撮像装置。
  7. 　請求項１に記載の撮像装置において、
    　前記制御手段は、前記複数の表情値から少なくとも２つの表情値を選択し、前記選択された表情値の差である表情値差を算出し、前記表情値差が一定値以上である場合、前記予め決められた閾値を変更する撮像装置。
  8. 　被写体の映像を記憶するための記憶手段を有する撮像装置における撮像方法であって、
    　前記被写体の映像の撮像による信号から人物の顔を検出する処理と、
    　複数の人物の顔を検出した場合、前記検出された複数の人物の顔それぞれの表情を評価し、前記評価されたそれぞれの表情を数値化した複数の表情値を算出する処理と、
    　前記複数の表情値から、前記被写体の映像を記憶するかどうかを判定するための判定用表情値を算出し、前記判定用表情値が予め決められた閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる処理と、を有する撮像方法。
  9. 　請求項８に記載の撮像方法において、
    　前記複数の表情値のうち最も高い表情値を前記判定用表情値とする処理を有する撮像方法。
  10. 　請求項８に記載の撮像方法において、
    　前記複数の表情値のうち最も低い表情値を前記判定用表情値とする処理を有する撮像方法。
  11. 　請求項８に記載の撮像方法において、
    　前記複数の表情値の平均値を前記判定用表情値とする処理を有する撮像方法。
  12. 　請求項８に記載の撮像方法において、
    　前記複数の表情値から少なくとも１つの表情値を除外した残りの表情値の平均値を前記判定用表情値とする処理を有する撮像方法。
  13. 　請求項８に記載の撮像方法において、
    　検出した複数の人物の顔から優先的な顔を決定する処理と、
    　前記優先的な顔の表情値である優先表情値が予め決められた優先表情値用閾値以上であり、かつ、前記複数の表情値のうち前記優先表情値以外の表情値である非優先表情値が予め決められた非優先表情値用閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる処理と、を有する撮像方法。
  14. 　請求項８に記載の撮像方法において、
    　前記複数の表情値から少なくとも２つの表情値を選択する処理と、
    　前記選択された表情値の差である表情値差を算出する処理と、
    　前記表情値差が一定値以上である場合、前記予め決められた閾値を変更する処理と、を有する撮像方法。
  15. 　被写体の映像を記憶するための記憶手段を有する撮像装置に、
    　前記被写体の映像の撮像による信号から人物の顔を検出する機能と、
    　複数の人物の顔を検出した場合、前記検出された複数の人物の顔それぞれの表情を評価し、前記評価されたそれぞれの表情を数値化した複数の表情値を算出する機能と、
    　前記複数の表情値から、前記被写体の映像を記憶するかどうかを判定するための判定用表情値を算出し、前記判定用表情値が予め決められた閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる機能と、を実現させるためのプログラム。
  16. 　請求項１５に記載のプログラムにおいて、
    　前記複数の表情値のうち最も高い表情値を前記判定用表情値とする機能を実現させるためのプログラム。
  17. 　請求項１５に記載のプログラムにおいて、
    　前記複数の表情値のうち最も低い表情値を前記判定用表情値とする機能を実現させるためのプログラム。
  18. 　請求項１５に記載のプログラムにおいて、
    　前記複数の表情値の平均値を前記判定用表情値とする機能を実現させるためのプログラム。
  19. 　請求項１５に記載のプログラムにおいて、
    　前記複数の表情値から少なくとも１つの表情値を除外した残りの表情値の平均値を前記判定用表情値とする機能を実現させるためのプログラム。
  20. 　請求項１５に記載のプログラムにおいて、
    　検出した複数の人物の顔から優先的な顔を決定する機能と、
    　前記優先的な顔の表情値である優先表情値が予め決められた優先表情値用閾値以上であり、かつ、前記複数の表情値のうち前記優先表情値以外の表情値である非優先表情値が予め決められた非優先表情値用閾値以上である場合、前記被写体の映像を前記記憶手段に記憶させる機能と、を実現させるためのプログラム。
  21. 　請求項１５に記載のプログラムにおいて、
    　前記複数の表情値から少なくとも２つの表情値を選択する機能と、
    　前記選択された表情値の差である表情値差を算出する機能と、
    　前記表情値差が一定値以上である場合、前記予め決められた閾値を変更する機能と、を実現させるためのプログラム。
PCT/JP2009/061646 2008-07-17 2009-06-25 撮像装置、撮像方法及びプログラム WO2010007865A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010520815A JP5482654B2 (ja) 2008-07-17 2009-06-25 撮像装置、撮像方法及びプログラム
CN2009801280276A CN102100062A (zh) 2008-07-17 2009-06-25 成像设备、成像方法和程序
US13/003,845 US20110109770A1 (en) 2008-07-17 2009-06-25 Imaging apparatus, imaging method, and program
EP20090797793 EP2309723A4 (en) 2008-07-17 2009-06-25 IMAGING DEVICE, IMAGING METHOD, AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-186179 2008-07-17
JP2008186179 2008-07-17

Publications (1)

Publication Number Publication Date
WO2010007865A1 true WO2010007865A1 (ja) 2010-01-21

Family

ID=41550273

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/061646 WO2010007865A1 (ja) 2008-07-17 2009-06-25 撮像装置、撮像方法及びプログラム

Country Status (5)

Country Link
US (1) US20110109770A1 (ja)
EP (1) EP2309723A4 (ja)
JP (2) JP5482654B2 (ja)
CN (1) CN102100062A (ja)
WO (1) WO2010007865A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159939A (ja) * 2018-03-14 2019-09-19 京セラドキュメントソリューションズ株式会社 電子機器及び画像形成装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013186512A (ja) * 2012-03-06 2013-09-19 Sony Corp 画像処理装置および方法、並びにプログラム
US9241102B2 (en) * 2012-12-05 2016-01-19 Xerox Corporation Video capture of multi-faceted documents
WO2015017868A1 (en) * 2013-08-02 2015-02-05 Emotient Filter and shutter based on image emotion content
US9247136B2 (en) 2013-08-21 2016-01-26 Xerox Corporation Automatic mobile photo capture using video analysis
KR102192704B1 (ko) 2013-10-22 2020-12-17 엘지전자 주식회사 영상 출력 장치
CN104899544B (zh) * 2014-03-04 2019-04-12 佳能株式会社 图像处理装置和图像处理方法
US9456123B2 (en) 2014-12-18 2016-09-27 Xerox Corporation Method and system to configure mobile electronic device settings using remote data store analytics
CN106203332A (zh) * 2016-07-08 2016-12-07 北京光年无限科技有限公司 基于智能机器人视觉识别人脸面部表情变化的方法及系统
CN107249100A (zh) * 2017-06-30 2017-10-13 北京金山安全软件有限公司 一种拍照方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005234686A (ja) * 2004-02-17 2005-09-02 Fuji Xerox Co Ltd 表情認識装置、表情認識方法、およびプログラム
JP2006237803A (ja) * 2005-02-23 2006-09-07 Konica Minolta Photo Imaging Inc 撮像システム、写真撮影スタジオ、撮像システムの制御方法
JP2008027086A (ja) * 2006-07-19 2008-02-07 Sony Computer Entertainment Inc 表情誘導装置および表情誘導方法、表情誘導システム
JP2008042319A (ja) 2006-08-02 2008-02-21 Sony Corp 撮像装置および方法、表情評価装置およびプログラム
JP2008186179A (ja) 2007-01-29 2008-08-14 Hitachi Ltd ストレージシステム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
JP4492273B2 (ja) * 2004-09-22 2010-06-30 株式会社ニコン 撮像装置およびプログラム
JP2006115406A (ja) * 2004-10-18 2006-04-27 Omron Corp 撮像装置
WO2007000685A1 (en) * 2005-06-28 2007-01-04 Koninklijke Philips Electronics N.V. Method of operating a camera for taking electronic images, camera for taking electronic images
JP5239126B2 (ja) * 2006-04-11 2013-07-17 株式会社ニコン 電子カメラ
JP2007282119A (ja) * 2006-04-11 2007-10-25 Nikon Corp 電子カメラおよび画像処理装置
JP4431547B2 (ja) * 2006-04-14 2010-03-17 富士フイルム株式会社 画像表示制御装置ならびにそれらの制御方法およびそれらの制御プログラム
JP4264660B2 (ja) * 2006-06-09 2009-05-20 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4218712B2 (ja) * 2006-08-04 2009-02-04 ソニー株式会社 顔検出装置、撮像装置および顔検出方法
JP4264663B2 (ja) * 2006-11-21 2009-05-20 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP4720880B2 (ja) * 2008-09-04 2011-07-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005234686A (ja) * 2004-02-17 2005-09-02 Fuji Xerox Co Ltd 表情認識装置、表情認識方法、およびプログラム
JP2006237803A (ja) * 2005-02-23 2006-09-07 Konica Minolta Photo Imaging Inc 撮像システム、写真撮影スタジオ、撮像システムの制御方法
JP2008027086A (ja) * 2006-07-19 2008-02-07 Sony Computer Entertainment Inc 表情誘導装置および表情誘導方法、表情誘導システム
JP2008042319A (ja) 2006-08-02 2008-02-21 Sony Corp 撮像装置および方法、表情評価装置およびプログラム
JP2008186179A (ja) 2007-01-29 2008-08-14 Hitachi Ltd ストレージシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2309723A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159939A (ja) * 2018-03-14 2019-09-19 京セラドキュメントソリューションズ株式会社 電子機器及び画像形成装置

Also Published As

Publication number Publication date
JP5482654B2 (ja) 2014-05-07
JPWO2010007865A1 (ja) 2012-01-05
EP2309723A4 (en) 2011-08-31
JP2014090420A (ja) 2014-05-15
CN102100062A (zh) 2011-06-15
US20110109770A1 (en) 2011-05-12
JP5681871B2 (ja) 2015-03-11
EP2309723A1 (en) 2011-04-13

Similar Documents

Publication Publication Date Title
JP5681871B2 (ja) 撮像装置、撮像方法及びプログラム
US7706674B2 (en) Device and method for controlling flash
JP5144422B2 (ja) 撮影装置及び撮影方法
JP4356778B2 (ja) 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
US8749687B2 (en) Apparatus and method of capturing jump image
US7787019B2 (en) Camera and shooting control method therefor
US20080181460A1 (en) Imaging apparatus and imaging method
US20080025710A1 (en) Image taking system
JP4657960B2 (ja) 撮像方法および装置
JP5623256B2 (ja) 撮像装置、その制御方法及びプログラム
JP2007311861A (ja) 撮影装置及び方法
TWI492618B (zh) 攝影裝置及電腦可讀取記錄媒體
JP5030022B2 (ja) 撮像装置及びそのプログラム
JP2008139683A (ja) 撮像装置及びオートフォーカス制御方法
JP4799501B2 (ja) 撮影装置、撮影装置の制御方法およびプログラム
JP2007049484A (ja) デジタルカメラ
KR101721226B1 (ko) 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법
KR101630304B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP4998122B2 (ja) 撮像装置及びそのプログラム
JP5328528B2 (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
JP2009017427A (ja) 撮像装置
JP2009182880A (ja) 撮像装置及びそのプログラム
JP2008172395A (ja) 撮像装置、画像処理装置、方法およびプログラム
US8073319B2 (en) Photographing method and photographing apparatus based on face detection and photography conditions
JP4208796B2 (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980128027.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09797793

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009797793

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010520815

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13003845

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE