WO2010073615A1 - 撮像装置および笑顔記録プログラム - Google Patents

撮像装置および笑顔記録プログラム Download PDF

Info

Publication number
WO2010073615A1
WO2010073615A1 PCT/JP2009/007112 JP2009007112W WO2010073615A1 WO 2010073615 A1 WO2010073615 A1 WO 2010073615A1 JP 2009007112 W JP2009007112 W JP 2009007112W WO 2010073615 A1 WO2010073615 A1 WO 2010073615A1
Authority
WO
WIPO (PCT)
Prior art keywords
smile
area
image
recording
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/007112
Other languages
English (en)
French (fr)
Inventor
畑和昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to US13/142,160 priority Critical patent/US20120092516A1/en
Priority to CN2009801524228A priority patent/CN102265601A/zh
Publication of WO2010073615A1 publication Critical patent/WO2010073615A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02—Viewfinders
    • G03B2213/025—Sightline detection

Definitions

  • the present invention relates to an imaging device and a smile recording program, and more particularly, to an imaging device and a smile recording program that, for example, repeatedly capture an image of a scene and record a scene image created after a smile is detected.
  • Patent Document 1 An example of this type of imaging apparatus is disclosed in Patent Document 1.
  • a face image is extracted from each object scene image, a time-series change of the face image is analyzed, a timing at which the face image matches a predetermined pattern is predicted, and main image shooting is performed. The time lag from smile detection to actual image shooting is shortened.
  • JP 2007-2105064 [H04N 5/232, G03B 15/00, G03B 17/38, H04N 101/00]
  • a main object of the present invention is to provide a novel imaging apparatus and smile recording program.
  • Another object of the present invention is to provide an imaging device and a smile recording program capable of recording a target smile with high probability.
  • This invention employs the following configuration in order to solve the above problems.
  • reference numerals in parentheses, supplementary explanations, and the like indicate correspondence with embodiments to be described later in order to help understanding of the present invention, and do not limit the present invention.
  • the first invention is an imaging means for repeatedly capturing an object scene image connected in an imaging area on an imaging surface, an assigning means for assigning a smile area in the imaging area in response to an area specifying operation via the operating means, When a smile area is assigned by the assigning means, a smile area is detected by detecting a smile image from each scene image created by the imaging means and recording a scene image including the smile image.
  • the image capturing apparatus includes smile recording means that is performed within the imaging area when the smile area is not allocated by the allocation means.
  • the object scene image connected within the imaging area (Ep) on the imaging surface (14f) is repeatedly captured by the imaging means (14, S231, S249).
  • the assignment means (S235) assigns a smile area (Es0 to Es4) within the imaging area.
  • the smile recording means (S241 to S247, S251) detects the smile image from each scene image created by the imaging means, and records the scene image including the smile image by the assignment means.
  • the smile area is allocated, the process is performed within the smile area.
  • the smile area is not allocated by the allocation unit, the process is performed within the imaging area.
  • the first invention by limiting the smile recording execution range to the smile area by the area designation operation, it is possible to avoid a situation where the recording process is executed by a smile other than the target before the target smile is detected. it can. As a result, the possibility of recording the target smile increases. If the area designation operation is not performed, or if the release operation is performed after the area designation operation, an arbitrary smile can be recorded over a wide range.
  • imaging means for repeatedly capturing a scene image connected on the imaging surface, detection means for detecting a face image from each scene image created by the imaging means, and each detected by the detection means.
  • the determination means for determining whether or not the face of the face image is a smile, the determination result of the determination means for at least one face image detected by the detection means has changed from a non-smile state to a smile state
  • Recording means for recording an object scene image created later by the image pickup means on a recording medium, assignment means for assigning an area to each object scene image in response to an area specifying operation via the operation means in a specific mode, and determination means
  • the execution of the recording process by the recording unit is restricted based at least on the positional relationship between the face image determined to be a smile by the allocation unit and the area allocated by the allocation unit
  • Comprises limit means is an imaging device.
  • the object scene image connected on the imaging surface (14f) is repeatedly captured by the imaging means (14, S25, S39, S105, S113).
  • the detection means (S161 to S177) detects a face image from each scene image created by the imaging means, and the determination means (S71 to S97, S121 to S135) detect the face of each face image detected by the detection means. Determine if you are smiling.
  • the recording means (36, S31, S41, S111, S115) captures an image after the determination result of the determining means for at least one face image detected by the detecting means has changed from a non-smiling state to a smiling state.
  • the object scene image created by the means is recorded on the recording medium (38).
  • the assignment means (S63) assigns an area to each scene image, and the restriction means (S33 to S37) are smiling by the determination means.
  • the execution of the recording process by the recording unit is restricted based at least on the positional relationship between the face image determined to be and the area allocated by the allocation unit.
  • the restricting means restricts the recording operation of the recording means based on the positional relationship between the area designated by the user and the smile detected by the detecting means and the determining means.
  • the imaging unit initially performs through shooting, interrupts through shooting in response to a change from a non-smiling state to a smiling state, and performs main shooting. Record the field image.
  • the imaging means initially takes a moving image and stores a plurality of scene images in the memory (30c), and the memory (30c) according to the change from the non-smiling state to the smiling state. ), And the recording means records the read scene image.
  • the restriction unit restricts execution of the recording process by the recording unit, so that the target smile can be recorded with high probability.
  • a third invention is an imaging apparatus according to the second invention, wherein the restricting means records when the face image determined to be a smile by the determining means is located within the area assigned by the assigning means. While the execution of the recording process by the means is allowed, the execution of the recording process by the recording means is prohibited when the face image determined to be a smile by the determining means is located outside the area assigned by the assigning means (S33). .
  • the recording process is not executed even when a smile is detected outside the area, but is executed only when a smile is detected within the area.
  • the restricting unit restricts the execution of the recording process by the recording unit by pausing the recording unit itself in one embodiment, but may limit the execution of the determining unit in other embodiments. This reduces the amount of processing. Alternatively, the limitation can be made by invalidating the determination result of the determination means.
  • a fourth invention is an imaging apparatus according to the third invention, wherein focus adjustment means (12, 16, S155) performs focus adjustment so that one of the face images detected by the detection means is in focus.
  • the restricting means pays attention to the face image in focus when the face image in focus and the face image not in focus exist within the area assigned by the assigning means (S35). , S37).
  • the limiting means pays attention to the face image in focus, that is, in focus.
  • the restriction is performed based on the determination result of the in-focus face image, not the determination result of the non-face image.
  • the possibility of recording the target smile is further increased.
  • a fifth aspect of the invention is an imaging apparatus according to the fourth aspect of the invention, wherein one of the face images detected by the detection means is focused on one of the face images located within the area assigned by the assignment means.
  • control means S221, S223 for controlling the position of the focus evaluation area (Efcs) referred to by the focus adjustment means is further provided.
  • the restricting means sets the focus evaluation area to the designated smile area when the focus evaluation area (Efcs) referred to by the focus adjusting means is located outside the area (designated smile area) assigned by the assigning means. Force to move inside.
  • the possibility of focusing on the target face increases, and the possibility that the target smile can be recorded is further increased.
  • the sixth invention is an imaging apparatus according to any one of the first to sixth inventions, and the area specifying operation is an operation of specifying one from a plurality of fixed areas (Es0 to Es4).
  • the seventh invention is an imaging apparatus according to the sixth invention, wherein a plurality of fixed areas partially overlap each other.
  • the area designation operation when the target face is located near the boundary of the area is facilitated.
  • the area specifying operation may be an operation for specifying at least one of position, size, and shape with respect to the variable area.
  • An eighth invention is an imaging apparatus according to any one of the first to seventh inventions, wherein a through image based on each scene image created by the imaging means is displayed on the display (34). Means (32) and drawing means (42, S57) for drawing a frame image indicating the area designated by the area designation operation on the through image of the display are further provided.
  • the frame image indicating the area is displayed on the through image on the screen, thereby facilitating the operation for adjusting the angle of view and the operation for designating the area.
  • the drawing means starts drawing the frame image in response to the start of the area specifying operation and ends drawing the frame image in response to the completion of the area specifying operation.
  • the drawing means always draws a frame image, and changes the mode (color, brightness, line thickness, etc.) of the frame image in response to the start and / or completion of the area designation operation. Also good.
  • the ninth invention comprises an image sensor (14) having an imaging surface (14f), a recording means (36) for recording an image based on the output of the image sensor on a recording medium (38), and an operating means (26) operated by a user.
  • the processor (24) of the imaging device (10) having the above-mentioned image is repeatedly captured by controlling the image sensor in the imaging area (Ep) on the imaging surface by controlling the image sensor.
  • the smile recording process for recording the scene image including the smile image is performed when the smile area is assigned by the assigning means. It was performed in a smile area, when the allocation unit is not assigned smile area is carried out in the imaging area, for executing a smile recording step (S241 ⁇ S247,251), a smiling recording program.
  • the possibility that the target smile can be recorded by the area designating operation is increased. If the area designation operation is not performed, or if the release operation is performed after the area designation operation, an arbitrary smile can be recorded over a wide range.
  • the tenth invention comprises an image sensor (14) having an imaging surface (14f), a recording means (36) for recording an image based on the output of the image sensor on a recording medium (38), and an operating means (26) operated by a user.
  • the determination result of the determination step for at least one face image detected by the detection step indicates a smile from a state indicating non-smile Smile recording step (S31 and S41) for controlling the recording means to record the scene image created by the imaging step after changing to the state on the recording medium (38), responding to the area specifying operation via the operating means Then, an assignment step (S63) for assigning an area to each scene image and a smile recording step based at least on the positional relationship between the face image determined to be a smile by the determination step and the area assigned by the assignment step.
  • the possibility that the target smile can be recorded increases in the specific mode, and any smile can be recorded in a wide range in the other modes.
  • the eleventh invention is a storage medium (40) storing a smile recording program corresponding to the ninth invention.
  • the twelfth invention is a storage medium (40) storing a smile recording program corresponding to the tenth invention.
  • the thirteenth invention is a smile recording method executed by the imaging device (10) corresponding to the first invention.
  • the fourteenth invention is a smile recording method executed by the imaging apparatus (10) corresponding to the second invention.
  • FIG. 1 is a block diagram showing the configuration of an embodiment of the present invention.
  • FIG. 2 is an illustrative view showing one example of a mode selection screen applied to the embodiment in FIG.
  • FIG. 3 is an illustrative view showing one example of face detection processing applied to the embodiment in FIG.
  • FIG. 4 is an illustrative view showing one example of a smile area applied to the embodiment in FIG. 1.
  • FIG. 5 is an example of a monitor screen applied to the embodiment of FIG. 1 and is an illustrative view showing changes in the face frame and the focus evaluation area.
  • FIG. 5 (A) is an initial state
  • FIG. ) Shows how the face frame and the focus evaluation area follow the movement of the face
  • FIG. 5C shows how the main face face frame is duplicated when the number of faces is plural.
  • FIG. 6 is another example of the monitor screen applied to the embodiment of FIG. 1 and is an illustration when the smile area has only a leading role.
  • FIG. 6 (A) shows an initial state
  • FIG. B) shows a state where a smile is detected outside the smile area
  • FIG. 6C shows a state where a smile is detected within the smile area.
  • FIG. 7 is another example of the monitor screen applied to the embodiment of FIG. 1 and is an illustrative view in the case where there is only a main role in the smile area.
  • FIG. 7A shows an initial state
  • FIG. (B) shows a state where a smile is detected outside the smile area
  • FIG. 7 (C) shows a state where a smile is detected within the smile area.
  • FIG. 8 is still another example of the monitor screen applied to the embodiment in FIG. 1, and is an illustrative view in the case where both the main role and other than the main role exist in the smile area, and FIG. 8 (A) is the initial state.
  • 8B shows a state in which a smile other than the main character is detected in the smile area
  • FIG. 8C shows a state in which a smile of the main character is detected in the smile area.
  • FIG. 9 is another example of the monitor screen applied to the embodiment of FIG. 1, and is an illustrative view showing a self-timer photographing method using a smile area
  • FIG. 9 (A) shows an initial state.
  • FIG. 10 is an illustrative view showing a memory map applied to the embodiment of FIG. 1, FIG. 10 (A) shows the configuration of the SDRAM, and FIG. 10 (B) shows the configuration of the flash memory.
  • FIG. 11 is an illustrative view showing one example of a face information table applied to the embodiment in FIG.
  • FIG. 12 is an illustrative view showing one example of a face state flag applied to the embodiment in FIG. 1, and FIGS. 10 (A) to 10 (C) correspond to FIGS. 6 (A) to 6 (C), respectively. To do.
  • FIG. 10 is an illustrative view showing a memory map applied to the embodiment of FIG. 1
  • FIG. 10 (A) shows the configuration of the SDRAM
  • FIG. 10 (B) shows the configuration of the flash memory.
  • FIG. 11 is an illustrative view showing one example of a face information table applied to the embodiment in FIG.
  • FIG. 12 is an illustrative view showing one example of a face state flag applied to
  • FIG. 13 is a flowchart showing a part of the CPU operation applied to the embodiment in FIG.
  • FIG. 14 is a flowchart showing another part of the CPU operation applied to the embodiment in FIG.
  • FIG. 15 is a flowchart showing another part of the CPU operation applied to the embodiment in FIG.
  • FIG. 16 is a flowchart showing still another part of the CPU operation applied to the embodiment in FIG.
  • FIG. 17 is a flowchart showing another part of the CPU operation applied to the embodiment in FIG.
  • FIG. 18 is a flowchart showing another part of the CPU operation applied to the embodiment in FIG.
  • FIG. 19 is a flowchart showing still another part of the CPU operation applied to the embodiment in FIG.
  • FIG. 20 is a flowchart showing another part of the CPU operation applied to the embodiment in FIG. FIG.
  • FIG. 21 is a flowchart showing another part of the CPU operation applied to the embodiment in FIG.
  • FIG. 22 is a flowchart showing still another part of the CPU operation applied to the embodiment in FIG.
  • FIG. 23 is a flowchart showing another part of the CPU operation applied to the embodiment in FIG.
  • FIG. 24 is a flowchart showing another part of the CPU operation applied to the embodiment in FIG.
  • FIG. 25 is an illustrative view showing an example of a monitor screen applied to another embodiment, in which a focus evaluation area is forcibly moved into a smile area.
  • FIG. 26 is a flowchart showing a part of the CPU operation applied to the embodiment in FIG.
  • FIG. 27 is a flowchart showing a part of the CPU operation applied to another embodiment.
  • a digital camera 10 of this embodiment includes a focus lens 12.
  • the optical image of the object scene is focused on the imaging surface 14f of the image sensor 14 through the focus lens 12, and is subjected to photoelectric conversion.
  • a charge representing the object scene image that is, a raw image signal is generated.
  • the CPU 24 instructs the TG 18 to repeat exposure for through shooting and charge readout.
  • the TG 18 gives a plurality of timing signals to the image sensor 14 in order to execute the exposure operation of the imaging surface 14f and the thinning-out readout operation of the charges obtained thereby.
  • a part of the electric charge generated on the imaging surface 14f is read in the order according to the raster scanning in response to the vertical synchronization signal Vsync generated at a rate of once every 1/30 seconds.
  • a raw image signal with a low resolution (for example, 320 * 240) is output from the image sensor 14 at a frame rate of 30 fps.
  • the raw image signal output from the image sensor 14 is subjected to processing such as A / D by the camera processing circuit 20 and converted into raw image data which is a digital signal.
  • the raw image data is written to 30a (see FIG. 10A) in the raw image area of the SDRAM 30 through the memory control circuit 28.
  • the camera processing circuit 20 reads the raw image data stored in the raw image area 30a through the memory control circuit 28, and performs processing such as color separation and YUV conversion.
  • the YUV image data obtained in this way is written into the YUV image area 30b (see FIG. 10A) of the SDRAM 30 through the memory control circuit 28.
  • the LCD drive circuit 32 reads the image data stored in the YUV image area 30b every 1/30 seconds through the memory control circuit 28, and drives the LCD monitor 34 with the read image data. As a result, a real-time moving image (through image) of the object scene is displayed on the LCD monitor 34.
  • a process of evaluating the brightness (luminance) of the object scene every 1/30 seconds based on the Y data generated by the camera processing circuit 20 is performed. It is executed by the luminance evaluation circuit.
  • the CPU 24 adjusts the exposure amount of the image sensor 14 based on the luminance evaluation value obtained by the luminance evaluation circuit, and thereby the brightness of the through image displayed on the LCD monitor 34 is adjusted appropriately.
  • the focus evaluation circuit 22 takes in the Y data belonging to the focus evaluation area Efcs shown in FIG. 5A among the Y data generated by the camera processing circuit 20, and integrates the high frequency components of the fetched Y data. , And the integration result, that is, the focus evaluation value is output. This series of processing is executed every 1/30 seconds in response to Vsync. Based on the focus evaluation value thus obtained, the CPU 24 executes a so-called continuous AF process (hereinafter simply referred to as “AF process”: see FIG. 21). The position of the focus lens 12 in the optical axis direction is continuously changed by the driver 16 under the control of the CPU 24.
  • AF process continuous AF process
  • the CPU 24 also executes face recognition processing focusing on YUV data stored in the SDRAM 30.
  • the face recognition process is a kind of pattern recognition process for collating face dictionary data 72 (see FIG. 10B) corresponding to a person's eyes, nose, mouth, and the like with the focused YUV data. A face image of a person is detected.
  • a face detection frame FD of a predetermined size (for example, 80 * 80) is arranged at the start position (upper left) in the image frame, and this is moved by a predetermined amount in a raster scanning manner. Meanwhile, the collation process is performed on the image in the face detection frame FD. When the face detection frame FD reaches the end position (lower right of the screen), this is returned to the start position and the same operation is repeated.
  • a plurality of face detection frames having different sizes are prepared, and a plurality of detection processes using these face detection frames are sequentially or in parallel performed on each image, thereby detecting accuracy. May be improved.
  • the CPU 24 When the face image is detected, the CPU 24 further calculates the size and position of the face image, and registers the calculation results in the face information table 70 together with the identifier (ID) as “face size” and “face position” (FIG. 10 (B), see FIG. 11). Specifically, the vertical and horizontal lengths (number of pixels) of the rectangular face frame Fr (see FIG. 5A, etc.) surrounding the face image are set as the size of the face image, and the position of the face frame Fr is set as the face image position. Each barycentric coordinate can be used. As the ID, for example, serial numbers 1, 2,... Are used. FIG. 11 shows numerical values when the size of the through image is 320 * 240.
  • the CPU 24 moves the focus evaluation area Efcs based on the position of the face image (see FIG. 5B). Therefore, in the focus adjustment process described above, when a face is included in the object scene, the result is that the face image is mainly referred to.
  • the CPU 24 also controls the LCD drive circuit 32 through the character generator (CG) 42 to draw the face frame Fr on the through image of the LCD monitor 34 (on-screen display).
  • CG character generator
  • the CPU 24 instructs the TG 18 to perform exposure and charge reading for the main shooting.
  • the TG 18 gives one timing signal to the image sensor 14 in order to execute the exposure operation of the imaging surface 14f and the all-pixel readout operation of the charges obtained thereby. All charges generated on the imaging surface 14f are read out in an order according to raster scanning. In this way, a high-resolution raw image signal is output from the image sensor 14.
  • the raw image signal output from the image sensor 14 is converted into raw image data by the camera processing circuit 20, and the raw image data is written in the raw image area 30 a of the SDRAM 30 through the memory control circuit 28. Thereafter, the camera processing circuit 20 reads the raw image data stored in the raw image area 30a through the memory control circuit 28, and converts it into image data in the YUV format. The image data in the YUV format is written into the recorded image area 30c (see FIG. 10A) of the SDRAM 30 through the memory control circuit 28. The I / F 36 reads out the image data thus written in the recording image area 30c through the memory control circuit 28 and records it in the recording medium 38 in a file format.
  • a mode selection start operation pressing of the set button 26st
  • the CPU 24 controls the LCD drive circuit 32 through the CG 42, so that a mode selection screen as shown in FIG. indicate.
  • the mode selection screen includes characters indicating selectable modes such as normal recording, smile recording I, and smile recording II (in other embodiments, it may be a symbol mark). Of these, the cursor (underline) is placed on the character indicating the currently selected mode.
  • a mode selection operation depressing the cursor key 26c
  • the cursor (underline) on the screen moves to a character position indicating another mode.
  • a determination operation pressing the set button 26st
  • the currently selected mode is validated.
  • the CPU 24 assigns a smile area arbitrarily designated by the user (hereinafter, “designated smile area”) to the frame corresponding to each image.
  • designated smile area a smile area arbitrarily designated by the user
  • one designated from the five smile areas Es0 to Es4 shown in FIG. 4 is assigned.
  • the default for the designated smile area is the central smile area Es0.
  • a smile area including the focus evaluation area Efcs at the present time may be the default.
  • the smile areas Es0 to Es4 in this embodiment partially overlap each other.
  • the five smile areas Es0 to Es4 may be arranged without a gap in the frame or may be arranged at intervals.
  • the number of areas is not necessarily five. The larger the number of areas, the higher the possibility that the target smile can be recorded. For example, when the display color is changed for each area, the number of areas may be 4 or less due to limitations on the number of colors that can be used. . In another embodiment, only the four smile areas Es1 to Es4 excluding the central one from the smile areas Es0 to Es4 in FIG. 4 may be used. In other embodiments, only one smile area Es0 may be used.
  • each area is not limited to a rectangle, and may be another shape such as a circle or a regular polygon. Areas of different shapes and / or different sizes may be mixed in the frame.
  • Specified smile area is changed as follows during through shooting in smile recording mode I.
  • an area designation start operation (depressing the set button 26st) is performed by the key input device 26, the CPU 24 controls the LCD drive circuit 32 through the CG 42 to display the currently designated smile area on the screen. If the current designated smile area is the smile area Es0 at the center of the screen, the smile area Es0 is displayed (see FIG. 6A, etc.). Subsequently, when an area designation operation (depressing the cursor key 26c) is performed by the key input device 26, the on-screen display is updated to a new designated smile area.
  • the smile areas Es0 to Es4 are drawn with different line types for convenience, but may be drawn with different colors. Furthermore, each area may be identified by a combination of line type and color.
  • the CPU 24 also controls the LCD drive circuit 32 through the CG 42 to display a smile mark Sm as shown in FIG.
  • a pause mark Wm is further displayed next to the smile mark Sm, which indicates that the smile recording process is paused, and the process is resumed. Is erased from the screen (see FIG. 24).
  • the smile mark Sm is also displayed in smile recording mode II described later.
  • the smile mark Sm may have different modes (color, shape, etc.) in smile recording modes I and II.
  • the CPU 24 pays attention to a specific portion of the face image, for example, the corner of the mouth, and repeatedly determines whether or not there is a smile feature.
  • the CPU 24 also repeatedly determines whether each face image has a feature of smile when a plurality of face images are detected. If it is determined that there is a feature of smile in any face image, it is further determined whether or not the face position is inside the designated smile area. If the smile is in the area, it is determined whether or not it is the leading role. Further, if it is determined that the main character, the main photographing process and the recording process are executed. If the smile is not the main character, it is further determined whether or not there is a main character in the designated smile area. If there is no main character in the area, the main photographing process and the recording process are executed. On the other hand, if the smiling face position is outside the area, the issuance of the main shooting command is postponed. Further, even if the face position of the smile is in the area, if it is other than the main character and there is a main character in the area, the issuance of the main photographing command is postponed.
  • the recording process is not executed unless someone's smile is detected within the designated smile area.
  • the smile of the main character is given priority.
  • the recording process is executed only when the main character laughs in the designated smile area, or when someone in the designated smile area laughs with only the main character laughing.
  • FIG. 6 shows an example of a screen change when the number of faces is 2, the designated smile area is the center smile area Es0, and the smile face Es0 has only the main face Fc1.
  • the face Fc1 is located in the middle of the screen, and the face Fc2 is located in the lower left of the screen.
  • the face Fc1 closer to the center of the screen is selected as the main character.
  • a double face frame Frd is drawn around the main face Fc1, and a single face frame frs is drawn around the non-main face Fc2.
  • FIG. 7 shows an example of a screen change when the number of faces is 2, the designated smile area is the lower left smile area Es3, and the smile area Es3 has only the face Fc2 other than the main role.
  • the positional relationship between the two smiles Fs1 and Fs2 and the arrangement of the double face frame Frd and the single face frame Frs are the same as in FIG.
  • FIG. 8 shows a screen when the number of faces is 2, the designated smile area is the central smile area Es0, and the main face Fc1 and the non-main face Fc2 are both inside the smile area Es0.
  • An example of the change is shown.
  • both the face Fc1 and the face Fc2 are located near the center of the screen, but since the former is closer to the center of the screen, the double face frame Frd is on the face Fc1 side, and the single face frame Frs is the face Fc2. Arranged on each side.
  • “Self-timer shooting” is a characteristic usage of smile recording mode I.
  • the photographer can record his / her smile by moving to the assumed position and laughing after designating a smile area where only his / her face is present inside assuming his / her standing position. .
  • a specific example is shown in FIG.
  • FIG. 9A there is a face Fc1 other than yourself on the right side of the center of the screen, and the photographer designates the smile area Es2 in the upper left, assuming his / her standing position.
  • the face Fc1 is outside the smile area Es2, and is not a smile. Thereafter, when the photographer moves to the assumed position, the photographer's own face Fc2 appears in the smile area Es2.
  • Face Fc2 is also not a smile. In the two faces Fc1 and Fc2, since the former is closer to the center of the screen, the face Fc1 is the leading role.
  • the recording process may be executed with a smile other than yourself (face Fc1 in FIG. 9).
  • the smile recording mode II When the smile recording mode II is activated, the same through shooting process as described above is started. In a state where one or more face images are detected, the CPU 24 pays attention to a specific portion of each face image, for example, the corner of the mouth, and repeatedly determines whether or not there is a smile feature. If it is determined that there is a feature of smile in any face image, a main photographing command is issued and a recording process is executed.
  • smile recording mode II differs from smile recording mode I in that smile recording is performed on the full screen without being restricted to the designated smile area, and each process of face detection and smile determination is performed for smile recording. It may be the same as in mode I.
  • the CPU 24 controls each hardware element shown in FIG. 1, and the mode selection task shown in FIG. 13 and the main task dedicated to the smile recording I mode shown in FIG. Task (I) ”(sometimes abbreviated as other tasks), smile area control task dedicated to smile record I mode shown in FIG. 15, and smile record I mode dedicated to smile record I mode shown in FIGS.
  • the I / II mode shared face frame control task shown in FIG. 23, and the I / II mode shared face frame shown in FIG. ⁇ II It is implemented by executing the mark control tasks de shared.
  • the CPU 24 can process two or more of these ten tasks in parallel under the control of the multitask OS.
  • 10 programs 50 to 68 corresponding to these 10 tasks are stored in the program area 40a of the flash memory 40 (see FIG. 10B).
  • a designated smile area identifier 74 indicating a current designated smile area (any of Es0 to Es4)
  • a smile area control task See FIG. 15
  • a standby flag (W) 76 that is turned on / off by a pause task (see FIG. 20)
  • a face state flag (A1) that is turned on / off by a flag control task (see FIGS. 16 and 19) , A2,..., P1, P2,..., S1, S2,.
  • A which is a kind of face state flag is a flag indicating whether the position of the face image is inside or outside the designated smile area, and ON corresponds to the inside and OFF corresponds to the outside.
  • P which is another type of the face state flag, is a flag indicating whether the face image is a main character or a non-main character, and ON corresponds to the main character and OFF corresponds to other than the main character.
  • S which is another type of the face state flag, is a flag indicating whether the face image is a smile or other than a smile (the latter state is referred to as “non-smile” as appropriate).
  • Off corresponds to non-smile.
  • Each flag subscript 1, 2,... is an ID for identifying a face image.
  • the states of the two face images Fc1 and Fc2 in FIG. 6A are described by these face state flags as shown in FIG.
  • the states of the two face images Fc1 and Fc2 in FIG. 6B are described as in FIG. 12B, and the states of the two face images Fc1 and Fc2 in FIG. ).
  • step S3 it is determined whether or not “smile recording I” has been selected by operating the cursor key 26c and the SET key 26st. If YES, the smile recording I mode is validated. If “NO” in the step S3, it is determined whether or not “smile recording II” is selected in a step S5, and if “YES”, the smile recording II mode is validated.
  • step S5 it is determined whether or not another recording mode, for example, “normal recording mode” is selected in a step S7, and if “YES”, the recording mode is validated. If “NO” in the step S7, it is determined whether or not a cancel operation is performed in a step S9. If “YES”, the mode returns to the mode immediately before the menu key is pressed. If “NO” in the step S9, the process returns to the step S3 and the same process is repeated.
  • another recording mode for example, “normal recording mode” is selected in a step S7
  • YES the recording mode is validated. If “NO” in the step S7, it is determined whether or not a cancel operation is performed in a step S9. If “YES”, the mode returns to the mode immediately before the menu key is pressed. If “NO” in the step S9, the process returns to the step S3 and the same process is repeated.
  • the smile recording I mode will be described.
  • the main task (I) is first activated, and the CPU 24 starts executing the flow corresponding to this (see FIG. 14).
  • step S21 “0” is set in flag W.
  • step S23 a smile area control task (I), a flag control task (I), a pause task, an AF task, a face detection task, a face frame control task, and a mark control task are activated, and the CPU 24 further corresponds to these.
  • the execution of the flow is started.
  • step S25 a through shooting command is issued, and the through shooting process described above is started in response to this.
  • step S27 it is determined whether or not Vsync is generated by a signal generator (not shown). If NO, the process waits. If “YES” in the step S27, it is determined whether or not the flag W is “0” in a step S29, and if “NO”, the process returns to the step S27. If “YES” in the step S29, the process shifts to a step S31 to determine whether or not someone has laughed based on the state change of the flags S1, S2,... Among the face state flags 78. Return to.
  • step S31 When any of the flags S1, S2,... Changes from the off state to the on state, YES is determined in the step S31, and the process proceeds to the step S33.
  • step S33 whether or not this new smile (with face ID “m”) is located within the designated smile area is determined based on the position of the face m registered in the face state table 70 (see FIG. 11) and A determination is made based on the designated smile area identifier 74. If NO, the process returns to step S27.
  • the CPU 24 recognizes the positions on the screen of the smile areas Es0 to Es4 shown in FIG.
  • step S33 the process shifts to a step S35 to determine whether or not the smile is the main character based on the flag Pm in the face state flag 78. If “YES” in the step S35, the main photographing instruction is issued in a step S39, and then the recording process is executed by controlling the I / F 36 in a step S41. Therefore, if the smile is in the designated smile area and is the main character, a still image including the smile is recorded on the recording medium 38.
  • step S35 it is determined in step S37 whether or not there is a protagonist face in the designated smile area based on the face state flag 78. If NO, steps S39 and S41 described above are executed. If there is a face in which flag A is on, flag P is on, and flag S is off with reference to face state flag 78, YES is determined in step S37, and the process returns to step S27. Therefore, if the smile is in the designated smile area and is not the main character, the recording process is executed only when there is no main character's face in the designated smile area. At that time, if the face of the leading role is in the designated smile area, the recording process is executed later when the face of the leading role becomes a smile.
  • a default (smile area “Es0” in this embodiment) is set to the designated smile area identifier 74 in step S51.
  • a smile area including the face image may be set as a default after waiting for any face image to be focused by the AF task (see FIG. 21).
  • step S53 it is determined whether or not the set button 26st has been pressed. If “YES” in the step S53, the process proceeds to a step S55 to set “1” in the flag W, and then the designated smile area is displayed on the LCD monitor 34 by controlling the CG 42 and the like in a step S57. For example, if the designated smile area identifier 74 is “Es0”, the smile area Es0 is displayed (see FIG. 6A), and if it is “Es3”, the smile area Es3 is displayed (see FIG. 7A). .
  • step S59 it is determined whether or not the cursor key 26c has been operated. If NO here, it is further determined in step S61 whether or not the set button 26st has been pressed. If NO in this case, the process returns to step S57. Repeat the same process. If “YES” in the step S59, the process proceeds to a step S63 to update the value of the designated smile area identifier 74, and then returns to the step S57 to repeat the same processing. If “YES” in the step S61, the process proceeds to a step S65 to delete the designated smile area from the monitor screen, and further, “0” is set to the flag W in a step S67, and then the process returns to the step S53 to repeat the same processing.
  • step S71 when the flag control task (I) is activated, “1” is set to variable i in step S71, and then the generation of Vsync is awaited in step S73.
  • Vsync occurs, the process proceeds to step S75, and it is determined based on the face information table 70 and the designated smile area identifier 74 whether or not the face i is in the designated smile area. If the determination result is YES, the flag Ai is turned on in step S77, and if NO, the flag Ai is turned off in step S79. In step S81, it is further determined whether or not the face i is the leading role.
  • step S81 If the face i is in focus as a result of the AF task (that is, if the face i is surrounded by a double face frame), YES is determined in step S81, the flag Pi is turned on in step S83, and then step Proceed to S87. If “NO” in the step S81, the flag Pi is turned off in a step S85, and then the process proceeds to a step S87.
  • step S87 an image of a specific portion (for example, a corner of a mouth or a corner) is cut out from the image of the face i. Then, it is determined in step S89 whether or not the cut out image has a smile feature (for example, whether the mouth corner is raised or wrinkles appear in the eyes).
  • step S91 If YES, the flag Si is turned on in step S91. On the other hand, if NO, the flag Si is turned off in step S93. Then, after linking the variable i in step S95, it is determined in step S97 whether the variable i exceeds the number of faces. If YES, the process returns to step S71, and if NO, the process returns to step S75. Repeat the process. Note that the determination in step S89 can be performed based on, for example, whether the mouth shape on the face matches the face dictionary data 72 or not.
  • step S141 when the pause task is activated, it is determined in step S141 whether or not the shutter button 26st has been pressed. If “YES” in the step S141, the flag W is set to “1” in a step S143. Thereafter, the process proceeds to step S145, where it is determined whether or not the shutter button 26st has been pressed. If “YES” in the step S145, the flag W is set to “0” in a step S147, and then the process returns to the step S141 to repeat the same processing.
  • step S153 when the AF task is activated, after waiting for the occurrence of Vsync in step S151, it is determined in step S153 whether or not the current focus evaluation value satisfies the AF activation condition. If “NO” here, the process returns to the step S151 to repeat the same processing. If “YES” in the step S153, the process proceeds to a step S155 to execute the AF process.
  • focus adjustment is performed focusing on the face of the leading role determined in step S187 of the face frame control task (see FIG. 23: described later), and the face of the leading role is focused. Result. When the adjustment is completed, the process returns to step S151 and the same processing is repeated.
  • step S161 when the face detection task is activated, the face information table 70 (see FIG. 11) is initialized in step S161.
  • the process waits for generation of Vsync in step S165, and when Vsync occurs, the process proceeds to step S167, and the object scene image The image of the face detection frame FD is cut out from the image.
  • step S169 collation processing between the cut-out image and the face dictionary data 72 is executed, and it is determined in step S171 whether or not the collation result indicates conformity.
  • step S171 If “NO” in the step S171, the process returns to the step S167 to repeat the same processing, and if “YES”, the face information (ID, position and size) regarding the face is described in the face information table 70 in a step S173. Thereafter, the presence / absence of an unmatched portion is determined in step S175. If YES, the face detection frame FD is moved one step in the manner shown in FIG. 3 in step S177, and then the process returns to step S167 and the same processing is repeated. If the face detection frame FD has reached the lower right of the screen, NO is determined in the step S175, and the process returns to the step S163 to repeat the same.
  • step S181 when the face frame control task is activated, after waiting for the occurrence of Vsync in step S181, it is determined whether or not a face is detected based on face information table 70 in step S183, and NO. If there is, the process returns to step S181 and the same processing is repeated. If at least one face is registered in the face information table 70, “YES” is determined in the step S183, and the process proceeds to a step S185 to further determine whether or not the number of faces is plural. If “YES” in the step S185, the process proceeds to the step S189 through the step S187, while if “NO”, the process skips the step S187 and proceeds to the step S189.
  • step S187 the leading role is determined based on the positional relationship of each face.
  • the distance from the center point to each face image in the screen is calculated, and the face image with the smallest calculation result is the main character.
  • the distance from the digital camera 10 to each face is further measured, and the leading role may be determined in consideration of the measurement result, for example, the farthest face and the closest face are excluded from the leading role candidates.
  • the CG 42 and the like are controlled to display the face frame Fr along the outline of each face (see FIG. 5A, etc.). When there are a plurality of faces, a double face frame Frd is assigned to the face of the leading role, and a single face frame Frs is assigned to faces other than the leading role (see FIG. 5C, etc.). After the face frame is displayed, the process returns to step S181 and the same processing is repeated.
  • step S205 it is determined whether or not the flag W is “1”. If YES in step S205, an interruption mark Wm is further displayed in step S207, and if NO in step S205, the interruption mark Wm is deleted from the monitor screen in step S209. After executing step S205 or S207, the process returns to step S201 and the same processing is repeated.
  • step S101 “0” is set in flag W.
  • step S103 a flag control task (II), a pause task, an AF task, a face detection task, a face frame control task, and a mark control task are activated, and the CPU 24 further performs a flow corresponding to these (FIGS. 19, 20 to 20). (See FIG. 24).
  • step S105 a through shooting command is issued, and through shooting processing is started accordingly.
  • step S107 it is determined whether or not Vsync has been generated. If “YES” in the step S107, it is determined whether or not the flag W is “0” in a step S109, and if “NO”, the process returns to the step S107. If “YES” in the step S109, the process shifts to a step S111 to determine whether or not someone has laughed based on the state change of the flags S1, S2,..., And if “NO” here, the process returns to the step S107.
  • step S111 When any of the flags S1, S2,... Changes from the off state to the on state, YES is determined in step S111, and the process proceeds to step S113 to issue a main photographing command. Thereafter, the process proceeds to step S41, and the recording process is executed by controlling the I / F 36. Therefore, if someone laughs on the screen, a still image including the smile is recorded on the recording medium 38. After recording, the process returns to step S105 and the same processing is repeated.
  • the leading role may be given priority as in the smile recording mode I. That is, even if a person other than the main character laughs, the main shooting command is not issued, but is issued when the main character laughs.
  • step S121 when the flag control task (II) is activated, “1” is set to variable i in step S121, and then the generation of Vsync is awaited in step S123.
  • Vsync occurs, the process proceeds to step S125, and an image of a specific portion is cut out from the image of the face i.
  • step S127 it is determined whether or not the cut image has a smile feature. If YES, the flag Si is turned on in step S129, and if NO, the flag Si is turned off in step S131. Then, after linking the variable i in step S133, it is determined in step S135 whether or not the variable i exceeds the number of faces.
  • step S127 can be performed based on, for example, whether the mouth shape on the face matches the face dictionary data 72 or not.
  • still image recording may be performed not only during through shooting but also during moving image recording.
  • the recording size (resolution) of the still image is the same as that of the moving image.
  • the image data in the YUV image area 30b is duplicated in the recorded image area 30c.
  • the recorded image area 30c has a capacity corresponding to 60 frames, for example.
  • the image data of the oldest frame is overwritten with the latest image data from the YUV image area 30b. To go. Therefore, the image data of the latest 60 frames is always stored in the moving image area.
  • the CPU 24 instructs the I / F 36 to perform moving image recording processing, and the I / F 36 periodically reads out from the moving image area through the memory control circuit 28, A moving image file including the processed image data is created on the recording medium 38.
  • Such a moving image recording process is ended in response to an end operation by the key input device 26.
  • the CPU 24 When a still image recording operation (pressing the shutter button 26sh) is performed during the moving image recording process, the CPU 24 causes the I / F 36 to select the frame closest to the shutter pressing point in the image data stored in the recording image area 30c. Are read out through the memory control circuit 28 and recorded on the recording medium 38 in a file format.
  • the smile recording I mode and smile recording II mode can be applied to still image recording during moving image recording.
  • the CPU 24 transmits the image data of the frame including the smile through the I / F 36 among the image data stored in the recorded image area 30c. What is necessary is just to record on the recording medium 38.
  • smile recording mode II when someone laughs somewhere in the frame, the image data of the frame including the smile among the image data stored in the recorded image area 30c may be recorded on the recording medium 38 through the I / F 36. .
  • the focus evaluation area Efcs may be forcibly moved into the designated smile area as shown in FIG. .
  • the CPU 24 further executes an AF area restriction task as shown in FIG. 26 in the smile recording mode I described above.
  • step S221 it is determined whether or not the focus evaluation area Efcs is located outside the designated smile area. If NO, the process waits. If YES, the focus evaluation area Efcs is moved into the designated smile area in step S223. And forcibly move. Thereafter, the process returns to step S221 and the same processing is repeated. Accordingly, it is possible to increase the possibility of focusing on the smile recording target.
  • the focus matches the main role.
  • an appropriate smile determination is not performed for other than the leading role, or even if an appropriate smile determination is performed, the target smile may be out of focus in the recorded image.
  • the focus evaluation area Efcs follows the movement of the face
  • the face Fc2 that is the target of smile recording is once arranged in the center of the screen, and the double face frame Frd is displayed on the face Fc2.
  • Such a possibility is reduced if the user performs a camera operation with the composition shown in FIG.
  • the digital camera 10 of this embodiment includes a CPU 24.
  • the CPU 24 repeatedly captures the scene image connected on the imaging surface 14f by controlling the image sensor 14 (S25, S39, S105, S113), and detects a face image from each scene image created thereby. (S161 to S177), it is determined whether the face of each detected face image is a smile (S71 to S97, S121 to S135), and the determination result for at least one detected face image is not smile
  • the scene image created after changing from the state indicating the state to the state indicating the smile is recorded on the recording medium 38 by controlling the I / F 36 (S31, S41, S111, S115).
  • the CPU 24 assigns an area to each scene image in response to the area designation operation via the key input device 26 (S63), and is assigned to the face image determined to be a smile. Execution of the recording process is restricted based on at least the positional relationship with the area (S33 to S37). Thereby, the target smile can be recorded with high probability. On the other hand, since there is no such restriction in smile recording II mode, any smile can be recorded over a wide range.
  • smile determination is performed over the entire imaging area Ep (that is, outside the designated smile area), but smile determination may be performed only within the designated smile area. Thereby, the processing load of the CPU 24 is reduced.
  • smile determination is performed based on a change in a specific part of the face (such as an increase in mouth angle), but this is merely an example, and various determination methods can be used.
  • the degree of smile may be digitized by paying attention to the entire face (distribution of contour lines, wrinkles, etc.) and each part (mouth corners, eyes, etc.), and determination may be made based on the obtained numerical values.
  • step S233 determines whether or not an area designation operation is performed by the key input device 26. If “YES” in the step S233, the designated smile area is assigned in a step S235, and then the process returns to the step S233 to repeat the same processing. If “NO” in the step S233, the designated smile area is canceled in a step S239, and then the process returns to the step S233 to repeat the same processing. If the through display is interrupted during the area designation or release operation, it is necessary to return from step S235 or S239 to step S231.
  • step S237 If “NO” in the step S237, the process shifts to a step S241 to determine whether or not the designated smile area is assigned. If “YES” here, smile detection is performed in the designated smile area, and if “NO”, the imaging area Ep is determined. Smile detection is performed in the whole area. Note that smile detection here corresponds to processing that combines the face detection and smile determination described above. Then, based on the detection result, it is determined in step S247 whether or not someone has laughed. If YES, the main imaging command is issued in step S249, and then the recording process is executed in step S251. If “NO” in the step S247, the process returns to the step S233 to repeat the same processing.
  • the digital camera 10 has been described as an example.
  • an image sensor for example, CCD or CMOS
  • an image based on the output of the image sensor are recorded on a recording medium (for example, a memory card, hard disk, optical disk, etc.)
  • the present invention can be applied to an image pickup apparatus (for example, a digital still camera, a digital movie camera, or the like) including a recording means for recording, an operation means (for example, a key input device or a touch panel) operated by a user, and a processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

　ディジタルカメラ(10)はＣＰＵ(24)を含む。ＣＰＵ(24)は、撮像面(14f)上の被写界像をイメージセンサ(14)を制御して繰り返し捉え、これにより作成された各被写界画像から顔画像を検出し、検出された各顔画像の顔が笑顔であるか否かを判定し、検出された少なくとも１つの顔画像についての判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に作成された被写界画像をＩ／Ｆ(36)を制御して記録媒体(38)に記録する。また、あるモードでキー入力装置(26)を介したエリア指定操作に応答して各被写界画像にエリアを割り当て、笑顔であると判定された顔画像と割り当てられたエリアとの位置関係に少なくとも基づいて記録処理の実行を制限する。別のモードでは、このような制限を行わない。

Description

撮像装置および笑顔記録プログラム
　この発明は、撮像装置および笑顔記録プログラムに関し、特にたとえば、被写界を繰り返し撮像して、笑顔が検知された後に作成された被写界画像を記録する、撮像装置および笑顔記録プログラムに関する。
　この種の撮像装置の一例が、特許文献１に開示されている。この背景技術では、各被写界画像から顔画像を抽出して、顔画像の時系列変化を分析し、顔画像が所定のパターンと一致するタイミングを予測して本画像撮影を行うことで、笑顔検知から本画像撮影までのタイムラグの短縮を図っている。
特開２００７－２１５０６４号公報［H04N 5/232, G03B 15/00, G03B 17/38, H04N 101/00］
　この種の撮像装置では、被写界内に複数の顔が存在する状況では、ユーザが目標とする笑顔とは異なる笑顔に応答して記録処理が実行されてしまい、目標の笑顔を記録できないことがあった。しかし、背景技術は、この課題を何ら解決するものではない。
　それゆえに、この発明の主たる目的は、新規な、撮像装置および笑顔記録プログラムを提供することである。
　この発明の他の目的は、目標の笑顔を高い確率で記録できる、撮像装置および笑顔記録プログラムを提供することである。
　この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
　第１の発明は、撮像面上の撮像エリア内に結ばれた被写界像を繰り返し捉える撮像手段、操作手段を介したエリア指定操作に応答して撮像エリア内にスマイルエリアを割り当てる割り当て手段、撮像手段によって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、割り当て手段によってスマイルエリアが割り当てられている場合にはスマイルエリア内で行い、割り当て手段によってスマイルエリアが割り当てられていない場合には撮像エリア内で行う、笑顔記録手段を備える、撮像装置である。
　第１の発明である撮像装置（１０）では、撮像面（１４ｆ）上の撮像エリア（Ｅｐ）内に結ばれた被写界像が撮像手段（１４，Ｓ２３１，Ｓ２４９）によって繰り返し捉えられる。操作手段（２６）を介したエリア指定操作が行われると、割り当て手段（Ｓ２３５）は撮像エリア内にスマイルエリア（Ｅｓ０～Ｅｓ４）を割り当てる。笑顔記録手段（Ｓ２４１～Ｓ２４７，Ｓ２５１）は、撮像手段によって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、割り当て手段によってスマイルエリアが割り当てられている場合にはスマイルエリア内で行い、割り当て手段によってスマイルエリアが割り当てられていない場合には撮像エリア内で行う。
　第１の発明によれば、エリア指定操作によって笑顔記録の実行範囲をスマイルエリア内に制限することで、目標の笑顔が検知される前に目標以外の笑顔によって記録処理が実行される事態を回避できる。この結果、目標の笑顔を記録できる可能性が高まる。エリア指定操作を行わなければ、またはエリア指定操作後に解除操作を行えば、任意の笑顔を広範囲で記録できる。
　第２の発明は、撮像面上に結ばれた被写界像を繰り返し捉える撮像手段、撮像手段によって作成された各被写界画像から顔画像を検出する検出手段、検出手段によって検出された各顔画像の顔が笑顔であるか否かを判定する判定手段、検出手段によって検出された少なくとも１つの顔画像についての判定手段の判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に撮像手段によって作成された被写界画像を記録媒体に記録する記録手段、特定モードで操作手段を介したエリア指定操作に応答して各被写界画像にエリアを割り当てる割り当て手段、および判定手段によって笑顔であると判定された顔画像と割り当て手段によって割り当てられたエリアとの位置関係に少なくとも基づいて記録手段による記録処理の実行を制限する制限手段を備える、撮像装置である。
　第２の発明である撮像装置（１０）では、撮像面（１４ｆ）上に結ばれた被写界像が撮像手段（１４，Ｓ２５，Ｓ３９，Ｓ１０５，Ｓ１１３）によって繰り返し捉えられる。検出手段（Ｓ１６１～Ｓ１７７）は撮像手段によって作成された各被写界画像から顔画像を検出し、判定手段（Ｓ７１～Ｓ９７，Ｓ１２１～Ｓ１３５）は検出手段によって検出された各顔画像の顔が笑顔であるか否かを判定する。記録手段（３６，Ｓ３１，Ｓ４１，Ｓ１１１，Ｓ１１５）は、検出手段によって検出された少なくとも１つの顔画像についての判定手段の判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に撮像手段によって作成された被写界画像を記録媒体（３８）に記録する。
　特定モードで操作手段（２６）を介したエリア指定操作が行われると、割り当て手段（Ｓ６３）が各被写界画像にエリアを割り当て、制限手段（Ｓ３３～Ｓ３７）は、判定手段によって笑顔であると判定された顔画像と割り当て手段によって割り当てられたエリアとの位置関係に少なくとも基づいて、記録手段による記録処理の実行を制限する。
　第２の発明によれば、特定モードでは、ユーザによって指定されたエリアと検出手段および判定手段によって検知された笑顔との位置関係に基づいて、制限手段が記録手段の記録動作を制限することで、目標の笑顔が検知される前に目標以外の笑顔によって記録処理が実行される事態を回避できる。この結果、目標の笑顔を記録できる可能性が高まる。他のモードでは、このような制限がないので、任意の笑顔を広範囲で記録できる。
　なお、ある実施例では、撮像手段は、当初スルー撮影を行っており、非笑顔状態から笑顔状態への変化に応じてスルー撮影を中断して本撮影を行い、記録手段は本撮影による被写界画像を記録する。他の実施例では、撮像手段は、当初動画撮影を行ってこれによる複数の被写界画像をメモリ（３０ｃ）に記憶しており、非笑顔状態から笑顔状態への変化に応じてメモリ（３０ｃ）からいずれかの被写界画像を読み出し、記録手段は読み出された被写界像を記録する。いずれの実施例でも、制限手段が記録手段による記録処理の実行を制限することで、目標の笑顔を高い確率で記録できる。
　第３の発明は、第２の発明に従属する撮像装置であって、制限手段は、判定手段によって笑顔であると判定された顔画像が割り当て手段によって割り当てられたエリアの内部に位置するとき記録手段による記録処理の実行を許容する一方、判定手段によって笑顔であると判定された顔画像が割り当て手段によって割り当てられたエリアの外部に位置するとき記録手段による記録処理の実行を禁止する（Ｓ３３）。
　第３の発明では、記録処理は、エリア外で笑顔が検知されても実行されず、エリア内で笑顔が検知されてはじめて実行される。
　なお、制限手段は、記録手段による記録処理の実行を、ある実施例では当該記録手段自体を休止させることによって制限するが、他の実施例では判定手段を休止させることによって制限してもよく、これにより処理量が軽減される。または、判定手段の判定結果を無効化することによっても、制限は可能である。
　第４の発明は、第３の発明に従属する撮像装置であって、検出手段によって検出された顔画像の１つにピントが合うようにフォーカス調整を行うフォーカス調整手段（１２，１６，Ｓ１５５）をさらに備え、制限手段は、割り当て手段によって割り当てられたエリアの内部にピントの合った顔画像とピントの合っていない顔画像とが存在する場合にはピントの合った顔画像に注目する（Ｓ３５，Ｓ３７）。
　第４の発明では、エリア内にピントの合った顔画像とピントの合っていない顔画像とが混在する場合には、制限手段は、ピントの合った顔画像に注目する、すなわちピントの合っていない顔画像についての判定結果ではなくピントの合った顔画像についての判定結果に基づいて制限を行う。
　第４の発明によれば、ピントの合った顔画像に注目することで、適正な笑顔判定が行えるので、目標の笑顔を記録できる可能性がいっそう高まる。
　第５の発明は、第４の発明に従属する撮像装置であって、検出手段によって検出された顔画像のうち割り当て手段によって割り当てられたエリアの内部に位置する顔画像の１つにピントが合うようにフォーカス調整手段が参照するフォーカス評価エリア（Ｅｆｃｓ）の位置を制御する制御手段（Ｓ２２１，Ｓ２２３）をさらに備える。
　ある実施例では、制限手段は、フォーカス調整手段によって参照されるフォーカス評価エリア（Ｅｆｃｓ）が割り当て手段によって割り当てられたエリア（指定スマイルエリア）の外部に位置するとき、フォーカス評価エリアを指定スマイルエリアの内部へと強制移動させる。
　第５の発明によれば、目標の顔にピントが合う可能性が高まり、ひいては目標の笑顔を記録できる可能性がよりいっそう高まる。
　第６の発明は、第１ないし第６のいずれかの発明に従属する撮像装置であって、エリア指定操作は複数の固定エリア（Ｅｓ０～Ｅｓ４）から１つを指定する操作である。
　第７の発明は、第６の発明に従属する撮像装置であって、複数の固定エリアは一部が互いに重複している。
　第７の発明によれば、目標の顔がエリアの境界付近に位置するときのエリア指定操作が容易になる。
　なお、エリア指定操作は、可変エリアに関して位置，大きさおよび形状の少なくとも１つを指定する操作でもよい。
　第８の発明は、第１ないし第７のいずれかの発明に従属する撮像装置であって、撮像手段によって作成された各被写界画像に基づくスルー画像をディスプレイ（３４）に表示するスルー表示手段（３２）、およびエリア指定操作によって指定されたエリアを示す枠画像をディスプレイのスルー画像上に描画する描画手段（４２，Ｓ５７）をさらに備える。
　第８の発明によれば、エリアを示す枠画像をスルー画像上にオンスクリーン表示することで、画角を調整する操作やエリアを指定する操作が容易になる。
　なお、ある実施例では、描画手段は、エリア指定操作の開始に応答して枠画像の描画を開始し、エリア指定操作の完了に応答して枠画像の描画を終了する。他の実施例では、描画手段は、枠画像を常時描画し、エリア指定操作の開始および／または完了に応答して枠画像の態様（色，明るさ、線の太さなど）を変化させてもよい。
　第９の発明は、撮像面（１４ｆ）を有するイメージセンサ（１４）とイメージセンサの出力に基づく画像を記録媒体（３８）に記録する記録手段（３６）とユーザによって操作される操作手段（２６）とを備える撮像装置（１０）のプロセッサ（２４）に、撮像面上の撮像エリア（Ｅｐ）内に結ばれた被写界像をイメージセンサを制御して繰り返し捉える撮像ステップ（Ｓ２３１、Ｓ２４９）、操作手段を介したエリア指定操作に応答して撮像エリア内にスマイルエリア（Ｅｓ０～Ｅｓ４）を割り当てる割り当てステップ（Ｓ２３５）、および撮像ステップによって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、割り当て手段によってスマイルエリアが割り当てられている場合にはスマイルエリア内で行い、割り当て手段によってスマイルエリアが割り当てられていない場合には撮像エリア内で行う、笑顔記録ステップ（Ｓ２４１～Ｓ２４７，２５１）を実行させるための、笑顔記録プログラムである。
　第９の発明でも、第１の発明と同様に、エリア指定操作によって目標の笑顔を記録できる可能性が高まる。エリア指定操作を行わなければ、またはエリア指定操作後に解除操作を行えば、任意の笑顔を広範囲で記録できる。
　第１０の発明は、撮像面（１４ｆ）を有するイメージセンサ（１４）とイメージセンサの出力に基づく画像を記録媒体（３８）に記録する記録手段（３６）とユーザによって操作される操作手段（２６）とを備える撮像装置（１０）のプロセッサ（２４）に、撮像面上に結ばれた被写界像をイメージセンサを制御して繰り返し捉える撮像ステップ（Ｓ２５，Ｓ３９）、撮像ステップによって作成された各被写界画像から顔画像を検出する検出ステップ（Ｓ１６１～Ｓ１７７）、検出ステップによって検出された各顔画像の顔が笑顔であるか否かを判定する判定ステップ（Ｓ８７～Ｓ９７，Ｓ１２５～Ｓ１３５）、検出ステップによって検出された少なくとも１つの顔画像についての判定ステップの判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に撮像ステップによって作成された被写界画像を記録手段を制御して記録媒体（３８）に記録する笑顔記録ステップ（Ｓ３１およびＳ４１）、操作手段を介したエリア指定操作に応答して各被写界画像にエリアを割り当てる割り当てステップ（Ｓ６３）、および判定ステップによって笑顔であると判定された顔画像と割り当てステップによって割り当てられたエリアとの位置関係に少なくとも基づいて笑顔記録ステップによる記録処理の実行を制限する制限ステップ（Ｓ３３～Ｓ３７）を実行させるための、笑顔記録プログラムである。
　第１０の発明でも、第２の発明と同様に、特定モードでは目標の笑顔を記録できる可能性が高まり、他のモードでは任意の笑顔を広範囲で記録できる。
　第１１の発明は、第９の発明に対応する笑顔記録プログラムを記憶した記憶媒体（４０）である。
　第１２の発明は、第１０の発明に対応する笑顔記録プログラムを記憶した記憶媒体（４０）である。
　第１３の発明は、第１の発明に対応する撮像装置（１０）によって実行される笑顔記録方法である。
　第１４の発明は、第２の発明に対応する撮像装置（１０）によって実行される笑顔記録方法である。
　この発明の上述の目的，その他の目的，特徴，および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
図１はこの発明の一実施例の構成を示すブロック図である。 図２は図１実施例に適用されるモード選択画面の一例を示す図解図である。 図３は図１実施例に適用される顔検出処理の一例を示す図解図である。 図４は図１実施例に適用されるスマイルエリアの一例を示す図解図である。 図５は、図１実施例に適用されるモニタ画面の一例であって、顔枠およびフォーカス評価エリアの変化を示す図解図であり、図５（Ａ）は初期状態であり、図５（Ｂ）は顔枠およびフォーカス評価エリアが顔の移動に追従する様子を示し、そして図５（Ｃ）は顔数が複数の場合に主役の顔枠が二重化される様子を示す。 図６は、図１実施例に適用されるモニタ画面の他の一例であって、スマイルエリア内に主役しかいない場合の図解図であり、図６（Ａ）は初期状態を示し、図６（Ｂ）はスマイルエリア外で笑顔が検知された状態を示し、そして図６（Ｃ）はスマイルエリア内で笑顔が検知された状態を示す。 図７は、図１実施例に適用されるモニタ画面のその他の一例であって、スマイルエリア内に主役以外しかいない場合の図解図であり、図７（Ａ）は初期状態を示し、図７（Ｂ）はスマイルエリア外で笑顔が検知された状態を示し、そして図７（Ｃ）はスマイルエリア内で笑顔が検知された状態を示す。 図８は、図１実施例に適用されるモニタ画面のさらにその他の一例であって、スマイルエリア内に主役および主役以外の両方がいる場合の図解図であり、図８（Ａ）は初期状態を示し、図８（Ｂ）はスマイルエリア内で主役以外の笑顔が検知された状態を示し、そして図８（Ｃ）はスマイルエリア内で主役の笑顔が検知された状態を示す。 図９は、図１実施例に適用されるモニタ画面の他の一例であって、スマイルエリアを利用したセルフタイマ的な撮影方法を示す図解図であり、図９（Ａ）は初期状態を示し、図９（Ｂ）はスマイルエリア外で笑顔が検知された状態を示し、そして図９（Ｃ）はスマイルエリア内で笑顔が検知された状態を示す。 図１０は、図１実施例に適用されるメモリマップを示す図解図であり、図１０（Ａ）はＳＤＲＡＭの構成を示し、図１０（Ｂ）はフラッシュメモリの構成を示す。 図１１は図１実施例に適用される顔情報テーブルの一例を示す図解図である。 図１２は、図１実施例に適用される顔状態フラグの一例を示す図解図であり、図１０（Ａ）～図１０（Ｃ）は図６（Ａ）～図６（Ｃ）にそれぞれ対応する。 図１３は図１実施例に適用されるＣＰＵ動作の一部を示すフロー図である。 図１４は図１実施例に適用されるＣＰＵ動作の他の一部を示すフロー図である。 図１５は図１実施例に適用されるＣＰＵ動作のその他の一部を示すフロー図である。 図１６は図１実施例に適用されるＣＰＵ動作のさらにその他の一部を示すフロー図である。 図１７は図１実施例に適用されるＣＰＵ動作の他の一部を示すフロー図である。 図１８は図１実施例に適用されるＣＰＵ動作のその他の一部を示すフロー図である。 図１９は図１実施例に適用されるＣＰＵ動作のさらにその他の一部を示すフロー図である。 図２０は図１実施例に適用されるＣＰＵ動作の他の一部を示すフロー図である。 図２１は図１実施例に適用されるＣＰＵ動作のその他の一部を示すフロー図である。 図２２は図１実施例に適用されるＣＰＵ動作のさらにその他の一部を示すフロー図である。 図２３は図１実施例に適用されるＣＰＵ動作の他の一部を示すフロー図である。 図２４は図１実施例に適用されるＣＰＵ動作のその他の一部を示すフロー図である。 図２５は、他の実施例に適用されるモニタ画面の一例であって、フォーカス評価エリアをスマイルエリア内に強制移動する様を示す図解図である。 図２６は図２５実施例に適用されるＣＰＵ動作の一部を示すフロー図である。 図２７は別の実施例に適用されるＣＰＵ動作の一部を示すフロー図である。
　図１を参照して、この実施例のディジタルカメラ１０は、フォーカスレンズ１２を含む。被写界の光学像は、フォーカスレンズ１２を経てイメージセンサ１４の撮像面１４ｆに結像し、ここで光電変換を施される。これによって、被写界像を表す電荷つまり生画像信号が生成される。
　電源が投入されると、スルー撮影処理が開始される。このとき、ＣＰＵ２４は、スルー撮影用の露光および電荷読み出しの繰り返しをＴＧ１８に命令する。ＴＧ１８は、撮像面１４ｆの露光動作と、これによって得られた電荷の間引き読み出し動作とを実行するべく、複数のタイミング信号をイメージセンサ１４に与える。撮像面１４ｆで生成された電荷の一部は、１／３０秒に１回の割合で発生する垂直同期信号Ｖｓｙｎｃに応答して、ラスタ走査に従う順序で読み出される。こうして、低解像度（たとえば３２０＊２４０）の生画像信号が、３０ｆｐｓのフレームレートでイメージセンサ１４から出力される。
　イメージセンサ１４から出力された生画像信号は、カメラ処理回路２０によってＡ／Ｄなどの処理を施され、ディジタル信号である生画像データに変換される。生画像データは、メモリ制御回路２８を通してＳＤＲＡＭ３０の生画像エリアに３０ａ（図１０（Ａ）参照）に書き込まれる。カメラ処理回路２０はその後、生画像エリアに３０ａに格納された生画像データをメモリ制御回路２８を通して読み出し、色分離，ＹＵＶ変換などの処理を施す。こうして得られたＹＵＶ形式の画像データは、メモリ制御回路２８を通してＳＤＲＡＭ３０のＹＵＶ画像エリア３０ｂ（図１０（Ａ）参照）に書き込まれる。
　ＬＣＤ駆動回路３２は、ＹＵＶ画像エリア３０ｂに格納された画像データをメモリ制御回路２８通して１／３０秒毎に読み出し、読み出された画像データでＬＣＤモニタ３４を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がＬＣＤモニタ３４に表示される。
　なお、図示は省略しているが、このようなスルー撮影中、カメラ処理回路２０によって生成されたＹデータに基づいて被写界の明るさ（輝度）を１／３０秒毎に評価する処理が輝度評価回路によって実行されている。ＣＰＵ２４は、輝度評価回路によって求められた輝度評価値に基づいてイメージセンサ１４の露光量を調整し、これによってＬＣＤモニタ３４に表示されるスルー画像の明るさが適度に調整される。
　フォーカス評価回路２２は、カメラ処理回路２０によって生成されたＹデータのうち図５（Ａ）等に示すフォーカス評価エリアＥｆｃｓに属するＹデータを取り込み、取り込まれたＹデータの高域周波数成分を積分し、そして積分結果つまりフォーカス評価値を出力する。この一連の処理は、Ｖｓｙｎｃに応答して１／３０秒毎に実行される。ＣＰＵ２４は、こうして求められたフォーカス評価値に基づいて、いわゆるコンティニュアスＡＦ処理（以下単に「ＡＦ処理」と呼ぶ：図２１参照）を実行する。フォーカスレンズ１２の光軸方向の位置は、ＣＰＵ２４の制御の下でドライバ１６によって継続的に変更される。
　ＣＰＵ２４はまた、ＳＤＲＡＭ３０に格納されたＹＵＶデータに注目した顔認識処理を実行する。顔認識処理は、人物の目，鼻，口などに相当する顔辞書データ７２（図１０（Ｂ）参照）を注目するＹＵＶデータと照合する一種のパターン認識処理であり、これによって被写界像から人物の顔画像が検出される。
　詳しくは、図２に示すように、所定サイズ（たとえば８０＊８０）の顔検出枠ＦＤを画像フレーム内の開始位置（左上）に配置して、これをラスタ走査の態様で既定量ずつ移動させつつ、顔検出枠ＦＤ内の画像に対して照合処理を施していく。顔検出枠ＦＤが終了位置（画面の右下）に到達すると、これを開始位置に戻して同様の動作を繰り返す。
　なお、他の実施例では、サイズの異なる複数の顔検出枠を準備して、各画像に対してこれらの顔検出枠による複数の検出処理を順次的または並列的に実行することで、検出精度を向上させてもよい。
　顔画像が検出されると、ＣＰＵ２４はさらに、その顔画像についてサイズおよび位置を算出し、算出結果を“顔サイズ”および“顔位置”として識別子（ＩＤ）と共に顔情報テーブル７０に登録する（図１０（Ｂ），図１１参照）。具体的には、顔画像のサイズとして、顔画像を取り囲む矩形の顔枠Ｆｒ（図５（Ａ）等参照）の縦横の長さ（画素数）を、顔画像の位置としては顔枠Ｆｒの重心座標を、それぞれ用いることができる。ＩＤとしては、たとえば連続番号１，２，…が用いられる。なお、図１１には、スルー画像のサイズを３２０＊２４０とした場合の数値が示されている。
　検出された顔画像がフォーカス評価エリアＥｆｃｓの外部に移動した場合には、ＣＰＵ２４は、フォーカス評価エリアＥｆｃｓを顔画像の位置を基準に移動させる（図５（Ｂ）参照）。したがって、前述したフォーカス調整処理では、被写界に顔が含まれている場合、主として顔画像が参照される結果となる。
　ＣＰＵ２４はまた、キャラクタジェネレータ（ＣＧ）４２を通してＬＣＤ駆動回路３２を制御することにより、顔枠ＦｒをＬＣＤモニタ３４のスルー画像上に描画（オンスクリーン表示）する。現在検出中の顔の数つまり顔情報テーブル７０に登録されている顔の数（以下単に「顔数」と呼ぶ）が複数の場合、前述したＡＦ処理によってピントの合った顔画像つまりフォーカス評価エリアＥｆｃｓ内の顔画像（以下「主役」の顔画像と呼ぶ）については二重の顔枠Ｆｒｄが、主役以外の顔画像（ピントが合っているとは限らない）については一重の顔枠Ｆｒｓが、それぞれ描画される（図５（Ｃ）参照）。
　以上のようなスルー撮影中に静止画記録操作（シャッタボタン２６ｓｈの押下）が行われると、ＣＰＵ２４は、本撮影用の露光および電荷読み出しをＴＧ１８に命令する。ＴＧ１８は、撮像面１４ｆの露光動作と、これによって得られた電荷の全画素読み出し動作とをそれぞれ１回実行するべく、１つのタイミング信号をイメージセンサ１４に与える。撮像面１４ｆで生成された全電荷が、ラスタ走査に従う順序で読み出される。こうして、高解像度の生画像信号がイメージセンサ１４から出力される。
　イメージセンサ１４から出力された生画像信号は、カメラ処理回路２０によって生画像データに変換され、生画像データは、メモリ制御回路２８を通してＳＤＲＡＭ３０の生画像エリアに３０ａに書き込まれる。カメラ処理回路２０はその後、生画像エリアに３０ａに格納された生画像データをメモリ制御回路２８を通して読み出し、ＹＵＶ形式の画像データに変換する。ＹＵＶ形式の画像データは、メモリ制御回路２８を通してＳＤＲＡＭ３０の記録画像エリア３０ｃ（図１０（Ａ）参照）に書き込まれる。Ｉ／Ｆ３６は、こうして記録画像エリア３０ｃに書き込まれた画像データをメモリ制御回路２８を通して読み出し、ファイル形式で記録媒体３８に記録する。
　キー入力装置２６によってモード選択開始操作（セットボタン２６ｓｔの押下）が行われると、ＣＰＵ２４は、ＣＧ４２を通してＬＣＤ駆動回路３２を制御することにより、たとえば図２のようなモード選択画面をＬＣＤモニタ３４に表示する。モード選択画面は、通常記録，笑顔記録Iおよび笑顔記録IIといった選択可能なモードを示す文字（他の実施例ではシンボルマークでもよい）を含む。このうち現在選択されているモードを示す文字には、カーソル（下線）が当てられている。キー入力装置２６によってモード選択操作（カーソルキー２６ｃの押下）が行われると、画面上のカーソル（下線）が別のモードを示す文字の位置に移動する。所望のモードが選択された状態で決定操作（セットボタン２６ｓｔの再押下）が行われると、現在選択されているモードが有効化される。
　笑顔記録モードIが有効化されると、前述と同様のスルー撮影処理が開始される。これに先立って、ＣＰＵ２４は、各画像に対応するフレームに、ユーザが任意に指定したスマイルエリア（以下「指定スマイルエリア」）を割り当てる。この実施例では、図４に示す５つのスマイルエリアＥｓ０～Ｅｓ４から指定された１つが割り当てられる。指定スマイルエリアのデフォルトは、中央のスマイルエリアＥｓ０である。なお、他の実施例では、現時点でフォーカス評価エリアＥｆｃｓを含むようなスマイルエリアをデフォルトとしてもよい。
　図４のスマイルエリアＥｓ０～Ｅｓ４は、イメージセンサ１４（撮像面１４ｆ）の撮像エリアＥｐ内に、次の要領で配置される。すなわち、ＣＰＵ２４は、フレームを１６＊１６＝２５６分割して、（４，４）～（１１，１１）で示される中央の矩形領域にスマイルエリアＥｓ０を、（７，１）～（８，１４）で示される右上の矩形領域にスマイルエリアＥｓ１を、（１，１）～（８，８）で示される左上の矩形領域にスマイルエリアＥｓ２を、（１，７）～（８，１４）で示される左下の矩形領域にスマイルエリアＥｓ３を、そして（７，７）～（１４，１４）で示される右下の矩形領域にスマイルエリアＥｓ４を、それぞれ配置する。
　したがって、この実施例のスマイルエリアＥｓ０～Ｅｓ４は、互いに一部が重複している。他の実施例では、５つのスマイルエリアＥｓ０～Ｅｓ４をフレーム内に隙間なく配置しも、間隔を置いて配置してもよい。
　また、エリア数も５とは限らない。エリア数が多いほど目標の笑顔を記録できる可能性は高まるが、たとえば、エリア毎に表示色を変える場合、利用可能な色数の制限などのために、エリア数は４以下となることもある。他の実施例では、図４のスマイルエリアＥｓ０～Ｅｓ４から中央のものを除いた４つのスマイルエリアＥｓ１～Ｅｓ４だけを用いてもよい。その他の実施例では、ただ１つのスマイルエリアＥｓ０を用いてもよい。
　また、各エリアの形状も矩形とは限らず、円形や正多角形といった他の形状でもよい。異なる形状および／または異なるサイズのエリアがフレーム内に混在してもよい。
　指定スマイルエリアは、笑顔記録モードIでスルー撮影中に次の要領で変更される。キー入力装置２６によってエリア指定開始操作（セットボタン２６ｓｔの押下）が行われると、ＣＰＵ２４は、ＣＧ４２を通してＬＣＤ駆動回路３２を制御することにより、現時点の指定スマイルエリアをオンスクリーン表示する。現時点の指定スマイルエリアが画面中央のスマイルエリアＥｓ０であれば、スマイルエリアＥｓ０が表示される（図６（Ａ）等参照）。続いて、キー入力装置２６によってエリア指定操作（カーソルキー２６ｃの押下）が行われると、オンスクリーン表示は新たな指定スマイルエリアに更新される。
　なお、図６（Ａ）等の画面では、指定スマイルエリアの輪郭線を表示しているが、有色半透明のエリア画像を表示しても、エリア内の被写界画像に対して色調や輝度を変化させる処理を施しても、ユーザに指定スマイルエリアを視認させることができる。また、スマイルエリアＥｓ０～Ｅｓ４は、便宜上互いに異なる線種で描画されているが、互いに異なる色で描画してもよい。さらには、線種および色の組み合わせで各エリアを識別してもよい。
　また、この実施例では、指定スマイルエリアだけを表示しているが、他の実施例では、セットボタン２６ｓｔの押下に応答して、５つのスマイルエリアＥｓ０～Ｅｓ４をそれぞれ示す５つの輪郭線を互いに異なる色で同時に表示し、そのうち指定スマイルエリアに該当する輪郭線だけを強調してもよい。
　ＣＰＵ２４はまた、ＣＧ４２を通してＬＣＤ駆動回路３２を制御することにより、図６（Ａ）等に示されるようなスマイルマークＳｍを画面の一隅にオンスクリーン表示する。図６（Ａ）の画面では、スマイルマークＳｍの横に一時停止マークＷｍがさらに表示されているが、これは笑顔記録処理が一時停止されていることを示すもので、同処理が再開されると画面から消去される（図２４参照）。
　なお、スマイルマークＳｍは、後述する笑顔記録モードIIでも表示される。他の実施例では、笑顔記録モードIおよびIIでスマイルマークＳｍの態様（色や形状など）を互いに異ならせてもよい。
　ＣＰＵ２４はまた、ただ１つの顔画像が検出されている状態では、この顔画像の特定部分たとえば口角に注目して、そこに笑顔の特徴があるか否かを繰り返し判別する。そして、笑顔の特徴ありと判別すると、その顔位置が指定スマイルエリアの内部であるか否かをさらに判別し、顔位置がエリア内であれば本撮影命令を発行して記録処理を実行する一方、顔位置がエリア外であれば本撮影命令の発行を見合わせる。したがって、指定スマイルエリア内で笑顔が検知されなければ、記録処理は実行されない。
　ＣＰＵ２４はまた、複数の顔画像が検出されている状態では、各顔画像について笑顔の特徴があるか否かを繰り返し判別する。いずれかの顔画像で笑顔の特徴ありと判別すると、その顔位置が指定スマイルエリアの内部であるか否かをさらに判別し、笑顔がエリア内にあれば、それが主役であるか否かをさらに判別して、主役であれば本撮影処理および記録処理を実行する。笑顔が主役でなければ、指定スマイルエリアの内部に主役が存在するか否かをさらに判別し、エリア内に主役が存在しなければ本撮影処理および記録処理を実行する。一方、笑顔の顔位置がエリア外であれば、本撮影命令の発行を見合わせる。また、笑顔の顔位置がエリア内にあっても、それが主役以外でかつエリア内に主役が存在していれば、本撮影命令の発行を見合わせる。
　したがって、指定スマイルエリア内で誰かの笑顔が検知されなければ、記録処理は実行されない。そして、指定スマイルエリア内に主役と主役以外とが混在する場合には、主役の笑顔が優先される。言い換えると、記録処理は、指定スマイルエリア内で主役が笑ったときか、指定スマイルエリア内に主役以外しかいない状態でその中の誰かが笑ったときに限って実行される。以下、顔数が２の場合について、図６～図８により説明する。
　図６には、顔数が２であり、指定スマイルエリアが中央のスマイルエリアＥｓ０であり、そしてこのスマイルエリアＥｓ０の内部に主役の顔Ｆｃ１しかない場合の、画面変化の一例が示される。顔Ｆｃ１は画面の中ほどに、顔Ｆｃ２は画面左下にそれぞれ位置しており、画面の中心に近い方の顔Ｆｃ１が主役に選ばれる。主役の顔Ｆｃ１の周りには二重の顔枠Ｆｒｄが、主役以外の顔Ｆｃ２の周りには一重の顔枠ｆｒｓが、それぞれ描画される。
　図６（Ａ）の時点では、２つの顔Ｆｃ１およびＦｃ２のどちらも笑っていない。この後、図６（Ｂ）のように顔Ｆｃ２が笑ったとすると、この笑顔はスマイルエリアＥｓ０の外部に位置するので、このタイミングで記録処理が実行されることはない。一方、図６（Ｃ）のように顔Ｆｃ１が笑ったとすると、この笑顔はスマイルエリアＥｓ０の内部に位置するので、このタイミングで記録処理が実行される。
　図７には、顔数が２であり、指定スマイルエリアが左下のスマイルエリアＥｓ３であり、そしてこのスマイルエリアＥｓ３の内部に主役以外の顔Ｆｃ２しかない場合の、画面変化の一例が示される。２つの笑顔Ｆｓ１およびＦｓ２の位置関係ならびに二重の顔枠Ｆｒｄおよび一重の顔枠Ｆｒｓの配置は、図６と同様である。
　図７（Ａ）の時点では、２つの顔Ｆｃ１およびＦｃ２のどちらも笑っていない。この後、図７（Ｂ）のように顔Ｆｃ１が笑ったとすると、この笑顔はスマイルエリアＥｓ３の外部に位置するので、このタイミングで記録処理が実行されることはない。一方、図７（Ｃ）のように顔Ｆｃ２が笑ったとすると、この笑顔はスマイルエリアＥｓ３の内部に位置するので、このタイミングで記録処理が実行される。
　図８には、顔数が２であり、指定スマイルエリアが中央のスマイルエリアＥｓ０であり、そしてこのスマイルエリアＥｓ０の内部に主役の顔Ｆｃ１および主役以外の顔Ｆｃ２がどちらもある場合の、画面変化の一例が示される。この画面では、顔Ｆｃ１および顔Ｆｃ２のどちらも画面中央付近に位置するが、前者の方が画面中央により近いので、二重の顔枠Ｆｒｄは顔Ｆｃ１側に、一重の顔枠Ｆｒｓは顔Ｆｃ２側にそれぞれ配される。
　図８（Ａ）の時点では、２つの顔Ｆｃ１およびＦｃ２のどちらも笑っていない。この後、図８（Ｂ）のように顔Ｆｃ２が笑ったとすると、この笑顔は主役以外なので、このタイミングで記録処理が実行されることはない。一方、図８（Ｃ）のように顔Ｆｃ２が笑ったとすると、この笑顔は主役なので、このタイミングで記録処理が実行される。
　このような笑顔記録モードIの特徴的な利用方法として「セルフタイマ的な撮影」がある。撮影者は、自分の立ち位置を想定して、その内部に自分の顔しか存在しないようなスマイルエリアを指定した後、想定位置へと移動して笑うことにより、自分の笑顔を確実に記録できる。具体例を図９に示す。
　図９（Ａ）では、画面中央の右寄りに自分以外の顔Ｆｃ１があり、撮影者は自分の立ち位置を想定して左上のスマイルエリアＥｓ２を指定する。顔Ｆｃ１は、このスマイルエリアＥｓ２の外部にあり、笑顔ではない。この後、撮影者が想定位置へと移動すると、スマイルエリアＥｓ２内に撮影者自身の顔Ｆｃ２が登場する。顔Ｆｃ２もまた、笑顔ではない。２つの顔Ｆｃ１およびＦｃ２では、前者の方が画面中央により近いので、顔Ｆｃ１の方が主役となる。
　この後、図９（Ｂ）に示すように、顔Ｆｃ１が笑ったとする。しかし、顔Ｆｃ１はスマイルエリアＥｓ２の外部にあるので、記録処理は実行されない。一方、図９（Ｃ）のように顔Ｆｃ２が笑えば、これはスマイルエリアＥｓ２の内部にあるので、記録処理が実行される。こうして、撮影者は、自分自身が被写界内に入って、記録処理の実行タイミングを任意に決定できる。
　なお、上記と同様の撮影を次に説明する笑顔記録モードIIで行えば、自分以外（図９では顔Ｆｃ１）の笑顔で記録処理が実行される場合がある。
　笑顔記録モードIIが有効化されると、前述と同様のスルー撮影処理が開始される。ＣＰＵ２４は、１つまたは複数の顔画像が検出されている状態では、各顔画像の特定部分たとえば口角に注目して、そこに笑顔の特徴があるか否かを繰り返し判別する。そして、いずれかの顔画像で笑顔の特徴ありと判別すると、本撮影命令を発行して記録処理を実行する。
　このように、笑顔記録モードIIが笑顔記録モードIと異なるのは、笑顔記録を指定スマイルエリア内に制限せずに全画面で実行する点であり、顔検出および笑顔判定の各処理は笑顔記録モードIの場合と同様でよい。
　以上のような笑顔記録動作は、ＣＰＵ２４が図１に示される各ハードウェア要素を制御して、図１３に示すモード選択タスクと、図１４に示す笑顔記録Iモード専用のメインタスク（以下「メインタスク（I）」のように略記することがある：他のタスクでも同様）と、図１５に示す笑顔記録Iモード専用のスマイルエリア制御タスクと、図１６および図１７に示す笑顔記録Iモード専用のフラグ制御タスクと、図１８に示す笑顔記録IIモード専用のメインタスクと、図１９に示す笑顔記録IIモード専用のフラグ制御タスクと、図２０に示すI・IIモード共用の一時停止タスクと、図２１に示すI・IIモード共用のＡＦタスクと、図２２に示すI・IIモード共用の顔検出タスクと、図２３に示すI・IIモード共用の顔枠制御タスクと、図２４に示すI・IIモード共用のマーク制御タスクとを実行することによって実現される。なお、ＣＰＵ２４は、マルチタスクＯＳの制御下で、これら１０個のタスクのうち２つまたは３つ以上を並列的に処理することができる。
　これら１０個のタスクに対応する１０個のプログラム５０～６８は、フラッシュメモリ４０のプログラムエリア４０ａ（図１０（Ｂ）参照）に格納される。フラッシュメモリ４０のデータエリア４０ｂには、前述の顔情報テーブル７０および顔辞書データ７２に加え、現時点の指定スマイルエリア（Ｅｓ０～Ｅｓ４のいずれか）を示す指定スマイルエリア識別子７４と、スマイルエリア制御タスク（図１５参照）および一時停止タスク（図２０参照）によってオン／オフされる待機フラグ（Ｗ）７６と、フラグ制御タスク（図１６および図１９参照）によってオン／オフされる顔状態フラグ（Ａ１，Ａ２，…，Ｐ１，Ｐ２，…，Ｓ１，Ｓ２，…）７８とがさらに記憶される。
　ここで、顔状態フラグの一種である“Ａ”は、その顔画像の位置が指定スマイルエリアの内部にあるか外部にあるかを示すフラグであり、オンが内部に、オフが外部に対応する。顔状態フラグの他の一種である“Ｐ”は、その顔画像が主役であるか主役以外であるかを示すフラグであり、オンが主役に、オフが主役以外に対応する。顔状態フラグのその他の一種である“Ｓ”は、その顔画像が笑顔であるか笑顔以外であるか（後者の状態を適宜「非笑顔」と呼ぶ）を示すフラグであり、オンが笑顔に、オフが非笑顔に対応する。各種フラグの添え字１，２，…は、顔画像を識別するＩＤである。
　たとえば、図６（Ａ）の２つの顔画像Ｆｃ１およびＦｃ２の状態は、これらの顔状態フラグによって図１２（Ａ）のように記述される。同様に、図６（Ｂ）の２つの顔画像Ｆｃ１およびＦｃ２の状態は図１２（Ｂ）のように記述され、図６（Ｃ）の２つの顔画像Ｆｃ１およびＦｃ２の状態は図１２（Ｃ）のように記述される。
　まず図１３を参照して、キー入力装置２６のメニューキー（図示せず）が押下されると、ＣＰＵ２４は、ステップＳ１でＣＧ４２およびＬＣＤ駆動回路３２を制御して、図２のようなメニュー画面をＬＣＤモニタ３４に表示する。次に、ステップＳ３でカーソルキー２６ｃおよびＳＥＴキー２６ｓｔの操作によって“笑顔記録I”が選択されたか否かを判別し、ＹＥＳであれば笑顔記録Iモードを有効化する。ステップＳ３でＮＯであれば、ステップＳ５で“笑顔記録II”が選択されたか否かを判別し、ＹＥＳであれば笑顔記録IIモードを有効化する。ステップＳ５でＮＯであれば、ステップＳ７で他の記録モードたとえば“通常記録モード”が選択されたか否かを判別し、ＹＥＳであれば当該記録モードを有効化する。ステップＳ７でＮＯであれば、ステップＳ９でキャンセル操作が行われたか否かを判別し、ＹＥＳであればメニューキー押下直前のモードに戻る。ステップＳ９でＮＯであれば、ステップＳ３に戻って同様の処理を繰り返す。
　まず、笑顔記録Iモードについて説明する。笑顔記録Iモードが有効化されると、まずメインタスク（I）が起動され、ＣＰＵ２４はこれに対応するフロー（図１４参照）の実行を開始する。図１４を参照して、ステップＳ２１では、フラグＷに“０”がセットされる。ステップＳ２３では、スマイルエリア制御タスク（I），フラグ制御タスク（I），一時停止タスク，ＡＦタスク，顔検出タスク，顔枠制御タスクおよびマーク制御タスクが起動され、ＣＰＵ２４はさらに、これらに対応するフロー（図１５～図１７，図２０～図２４参照）の実行を開始する。
　ステップＳ２５では、スルー撮影命令を発行し、これに応じて前述のスルー撮影処理が開始される。ステップＳ２７では図示しないシグナルジェネレータによってＶｓｙｎｃが発生されたか否かを判別し、ＮＯであれば待機する。ステップＳ２７でＹＥＳであれば、ステップＳ２９でフラグＷが“０”であるか否かを判別し、ＮＯであればステップＳ２７に戻る。ステップＳ２９でＹＥＳであれば、ステップＳ３１に移って、誰かが笑ったか否かを顔状態フラグ７８のうちフラグＳ１，Ｓ２，…の状態変化に基づいて判別し、ここでＮＯであればステップＳ２７に戻る。
　フラグＳ１，Ｓ２，…のいずれかがオフ状態からオン状態に変化すると、ステップＳ３１でＹＥＳと判別し、ステップＳ３３に進む。ステップＳ３３では、この新たな笑顔（顔ＩＤを“ｍ”とする）は指定スマイルエリアの内部に位置するか否かを、顔状態テーブル７０（図１１参照）に登録された顔ｍの位置および指定スマイルエリア識別子７４に基づいて判別し、ＮＯであればステップＳ２７に戻る。なお、ＣＰＵ２４は、図４に示された各スマイルエリアＥｓ０～Ｅｓ４の画面上での位置を認識している。
　ステップＳ３３でＹＥＳであれば、ステップＳ３５に移って、当該笑顔は主役のものであるか否かを顔状態フラグ７８のうちフラグＰｍに基づいて判別する。ステップＳ３５でＹＥＳであれば、ステップＳ３９で本撮影命令を発行した後、ステップＳ４１でＩ／Ｆ３６を制御して記録処理を実行する。したがって、当該笑顔が指定スマイルエリア内にあってかつ主役のものであれば、当該笑顔を含む静止画像が記録媒体３８に記録される。
　ステップＳ３５でＮＯであれば、ステップＳ３７で指定スマイルエリア内に主役の顔があるか否かを顔状態フラグ７８に基づいて判別し、ＮＯであれば上述のステップＳ３９およびＳ４１が実行される。顔状態フラグ７８を参照してフラグＡがオンかつフラグＰがオンかつフラグＳがオフの顔があれば、ステップＳ３７でＹＥＳと判別し、ステップＳ２７に戻る。したがって、当該笑顔が指定スマイルエリア内にあってかつ主役以外のものであれば、そのとき指定スマイルエリア内に主役の顔がない場合に限って記録処理が実行される。そのとき指定スマイルエリア内に主役の顔がある場合には、記録処理は、後に主役の顔が笑顔となった時点で実行される。
　図１５を参照して、スマイルエリア制御タスク（I）が起動されると、ステップＳ５１で指定スマイルエリア識別子７４にデフォルト（この実施例ではスマイルエリア“Ｅｓ０”）をセットする。なお、他の実施例では、ＡＦタスク（図２１参照）によっていずれかの顔画像にピントが合うのを待って、当該顔画像を含むスマイルエリアをデフォルトとしてもよい。
　ステップＳ５３では、セットボタン２６ｓｔが押されたか否かを判別し、ＮＯであれば待機する。ステップＳ５３でＹＥＳであれば、ステップＳ５５に進んでフラグＷに“１”をセットした後、ステップＳ５７でＣＧ４２等を制御して指定スマイルエリアをＬＣＤモニタ３４に表示する。たとえば、指定スマイルエリア識別子７４が“Ｅｓ０”であればスマイルエリアＥｓ０が表示され（図６（Ａ）参照）、“Ｅｓ３”であればスマイルエリアＥｓ３が表示される（図７（Ａ）参照）。
　ステップＳ５９では、カーソルキー２６ｃが操作されたか否かを判別し、ここでＮＯであればステップＳ６１でセットボタン２６ｓｔが押下されたか否かをさらに判別し、ここでもＮＯであればステップＳ５７に戻って同様の処理を繰り返す。ステップＳ５９でＹＥＳであれば、ステップＳ６３に進んで指定スマイルエリア識別子７４の値を更新し、その後ステップＳ５７に戻って同様の処理を繰り返す。ステップＳ６１でＹＥＳであれば、ステップＳ６５に進んで指定スマイルエリアをモニタ画面から消去し、さらにステップＳ６７でフラグＷに“０”をセットした後、ステップＳ５３に戻って同様の処理を繰り返す。
　図１６および図１７を参照して、フラグ制御タスク（I）が起動されると、ステップＳ７１で変数ｉに“１”をセットした後、ステップＳ７３でＶｓｙｎｃの発生を待つ。Ｖｓｙｎｃが発生すると、ステップＳ７５に進んで、顔ｉが指定スマイルエリア内であるか否かを顔情報テーブル７０および指定スマイルエリア識別子７４に基づいて判別する。この判別結果がＹＥＳであればステップＳ７７でフラグＡｉをオンし、ＮＯであればステップＳ７９でフラグＡｉをオフする。そしてステップＳ８１で、顔ｉが主役であるか否かをさらに判別する。
　ＡＦタスクの結果として顔ｉにピントが合っていれば（すなわち顔ｉが二重顔枠で囲まれていれば）、ステップＳ８１でＹＥＳと判別し、ステップＳ８３でフラグＰｉをオンした後、ステップＳ８７に進む。ステップＳ８１でＮＯであれば、ステップＳ８５でフラグＰｉをオフした後ステップＳ８７に進む。ステップＳ８７では、顔ｉの画像から特定部分（たとえば口角や目じりなど）の画像を切り出す。そして、切り出した画像に笑顔の特徴があるか否か（たとえば口角が上がったか否か，目じりにしわが現れたか否かなど）をステップＳ８９で判別し、ＹＥＳであればステップＳ９１でフラグＳｉをオンする一方、ＮＯであればステップＳ９３でフラグＳｉをオフする。そして、ステップＳ９５で変数ｉをリンクリメントした後、変数ｉが顔数を上回ったか否かをステップＳ９７で判別し、ＹＥＳであればステップＳ７１に、ＮＯであればステップＳ７５にそれぞれ戻って同様の処理を繰り返す。なお、ステップＳ８９の判別は、特にたとえば、顔上の口形が顔辞書データ７２とマッチングするか否かに基づいて行うことができる。
　図２０を参照して、一時停止タスクが起動されると、ステップＳ１４１でシャッタボタン２６ｓｔが押下されたか否かを判別し、ＮＯであれば待機する。ステップＳ１４１でＹＥＳであれば、ステップＳ１４３でフラグＷに“１”をセットする。その後ステップＳ１４５に進み、シャッタボタン２６ｓｔが押下されたか否かを判別して、ＮＯであれば待機する。ステップＳ１４５でＹＥＳであれば、ステップＳ１４７でフラグＷに“０”をセットした後、ステップＳ１４１に戻って同様の処理を繰り返す。
　図２１を参照して、ＡＦタスクが起動されると、ステップＳ１５１でＶｓｙｎｃの発生を待った後、現時点のフォーカス評価値がＡＦ起動条件を満足したか否かをステップＳ１５３で判別する。ここでＮＯであればステップＳ１５１に戻って同様の処理を繰り返す。ステップＳ１５３でＹＥＳであれば、ステップＳ１５５に進んでＡＦ処理を実行する。なお、ＡＦ処理では、顔数が複数の場合、顔枠制御タスクのステップＳ１８７（図２３参照：後述）で決定された主役の顔に注目したフォーカス調整が行われ、主役の顔にピントが合う結果となる。調整が完了すると、ステップＳ１５１に戻って同様の処理を繰り返す。
　図２２を参照して、顔検出タスクが起動されると、ステップＳ１６１で顔情報テーブル７０（図１１参照）を初期化する。次に、ステップＳ１６３で顔検出枠ＦＤを開始位置（たとえば画面左上：図３参照）に配置した後、ステップＳ１６５でＶｓｙｎｃの発生を待ち、Ｖｓｙｎｃが発生するとステップＳ１６７に進んで、被写界画像から顔検出枠内ＦＤの画像を切り出す。そしてステップＳ１６９で、切り出した画像と顔辞書データ７２との照合処理を実行し、照合結果が適合を示すか否かをステップＳ１７１で判別する。ステップＳ１７１でＮＯであればステップＳ１６７に戻って同様の処理を繰り返し、ＹＥＳであればステップＳ１７３で当該顔に関する顔情報（ＩＤ，位置およびサイズ）を顔情報テーブル７０に記述する。その後、未照合部分の有無をステップＳ１７５で判別し、ＹＥＳであればステップＳ１７７で顔検出枠ＦＤを図３の要領で１ステップ移動させた後、ステップＳ１６７に戻って同様の処理を繰り返す。顔検出枠ＦＤが画面の右下に到達していれば、ステップＳ１７５でＮＯと判別し、ステップＳ１６３に戻って同様を繰り返す。
　図２３を参照して、顔枠制御タスクが起動されると、ステップＳ１８１でＶｓｙｎｃの発生を待った後、顔が検出されたか否かをステップＳ１８３で顔情報テーブル７０に基づいて判別し、ＮＯであればステップＳ１８１に戻って同様の処理を繰り返す。顔情報テーブル７０に少なくとも１つの顔が登録されていれば、ステップＳ１８３でＹＥＳと判別し、ステップＳ１８５に進んで顔数が複数であるか否かをさらに判別する。ステップＳ１８５でＹＥＳであればステップＳ１８７を経てステップＳ１８９に進む一方、ＮＯであればステップＳ１８７をスキップしてステップＳ１８９に進む。
　ステップＳ１８７では、各顔の位置関係に基づいて主役を決定する。ここでは、画面内でその中心点から各顔画像までの距離を計算し、計算結果が最小の顔画像を主役とする。他の実施例では、さらにディジタルカメラ１０から各顔までの距離を計測し、たとえば最も遠い顔および最も近い顔を主役候補から除外するなど、計測結果も考慮して主役を決定してよい。ステップＳ１８９では、ＣＧ４２等を制御して各顔の輪郭に沿う顔枠Ｆｒを表示する（図５（Ａ）等参照）。顔数が複数の場合には、主役の顔に二重の顔枠Ｆｒｄが、主役以外の顔には一重の顔枠Ｆｒｓが割り当てられる（図５（Ｃ）等参照）。顔枠表示後、ステップＳ１８１に戻って同様の処理を繰り返す。
　図２４を参照して、マーク制御タスクが起動されると、ステップＳ２０１でＶｓｙｎｃの発生を待った後、ＣＧ４２等を制御して笑顔マークＳｍ（図６（Ａ）等参照）を表示する。そしてステップＳ２０５に進み、フラグＷが“１”であるか否かを判別する。ステップＳ２０５でＹＥＳであれば、ステップＳ２０７でさらに中断マークＷｍを表示し、ステップＳ２０５でＮＯであれば、ステップＳ２０９で中断マークＷｍをモニタ画面から消去する。ステップＳ２０５またはＳ２０７の実行後、ステップＳ２０１に戻って同様の処理を繰り返す。
　次に、笑顔記録IIモードについて説明する。笑顔記録IIモードが有効化されると、まずメインタスク（II）が起動され、ＣＰＵ２４はこれに対応するフロー（図１８参照）の実行を開始する。図１８を参照して、ステップＳ１０１では、フラグＷに“０”がセットされる。ステップＳ１０３では、フラグ制御タスク（II），一時停止タスク，ＡＦタスク，顔検出タスク，顔枠制御タスクおよびマーク制御タスクが起動され、ＣＰＵ２４はさらに、これらに対応するフロー（図１９，図２０～図２４参照）の実行を開始する。
　ステップＳ１０５では、スルー撮影命令を発行し、これに応じてスルー撮影処理が開始される。ステップＳ１０７ではＶｓｙｎｃが発生されたか否かを判別し、ＮＯであれば待機する。ステップＳ１０７でＹＥＳであれば、ステップＳ１０９でフラグＷが“０”であるか否かを判別し、ＮＯであればステップＳ１０７に戻る。ステップＳ１０９でＹＥＳであれば、ステップＳ１１１に移って、誰かが笑ったか否かをフラグＳ１，Ｓ２，…の状態変化に基づいて判別し、ここでＮＯであればステップＳ１０７に戻る。
　フラグＳ１，Ｓ２，…のいずれかがオフ状態からオン状態に変化すると、ステップＳ１１１でＹＥＳと判別し、ステップＳ１１３に進んで本撮影命令を発行する。その後、ステップＳ４１に進み、Ｉ／Ｆ３６を制御して記録処理を実行する。したがって、画面内で誰かが笑えば、当該笑顔を含む静止画像が記録媒体３８に記録される。記録後、ステップＳ１０５に戻って同様の処理を繰り返す。
なお、他の実施例では、笑顔記録モードIの場合と同様に主役を優先してもよい。すなわち、主役以外が笑っても本撮影命令を発行せず、主役が笑ったタイミングでこれを発行する。
　図１９を参照して、フラグ制御タスク（II）が起動されると、ステップＳ１２１で変数ｉに“１”をセットした後、ステップＳ１２３でＶｓｙｎｃの発生を待つ。Ｖｓｙｎｃが発生すると、ステップＳ１２５に進んで、顔ｉの画像から特定部分の画像を切り出す。そして、切り出した画像に笑顔の特徴があるか否かをステップＳ１２７で判別し、ＹＥＳであればステップＳ１２９でフラグＳｉをオンする一方、ＮＯであればステップＳ１３１でフラグＳｉをオフする。そして、ステップＳ１３３で変数ｉをリンクリメントした後、変数ｉが顔数を上回ったか否かをステップＳ１３５で判別し、ＹＥＳであればステップＳ１２１に、ＮＯであればステップＳ１２５にそれぞれ戻って同様の処理を繰り返す。なお、ステップＳ１２７の判別は、特にたとえば、顔上の口形が顔辞書データ７２とマッチングするか否かに基づいて行うことができる。
　図２０～図２４の各処理は、笑顔記録Iモードの場合と同様であり、説明を省略する。
　なお、他の実施例では、静止画記録は、スルー撮影中に限らず、動画記録中に行ってもよい。ただしこの場合、静止画の記録サイズ（解像度）は、動画のそれと同一となる。たとえば、動画をスルー画と同じサイズで記録するモードでは、ＹＵＶ画像エリア３０ｂの画像データが記録画像エリア３０ｃに複製される。記録画像エリア３０ｃはたとえば６０フレーム相当の容量を有しており、記録画像エリア３０ｃが満杯になると、その中で最古のフレームの画像データがＹＵＶ画像エリア３０ｂからの最新の画像データで上書きされていく。したがって動画像エリアには常時、直近６０フレームの画像データが格納されている。
　キー入力装置２６によって動画記録開始操作が行われると、ＣＰＵ２４は、Ｉ／Ｆ３６に動画記録処理を命令し、Ｉ／Ｆ３６はメモリ制御回路２８を通して動画像エリアから周期的に読み出しを行い、読み出された画像データを含む動画ファイルを記録媒体３８に作成する。このような動画記録処理は、キー入力装置２６による終了操作に応答して終了される。
　動画記録処理の実行中に静止画記録操作（シャッタボタン２６ｓｈの押下）が行われると、ＣＰＵ２４は、Ｉ／Ｆ３６は、記録画像エリア３０ｃに格納された画像データのうちシャッタ押下時点に最も近いフレームの画像データをメモリ制御回路２８を通して読み出し、ファイル形式で記録媒体３８に記録する。
　そして、このような動画記録中の静止画記録にも、前述の笑顔記録Iモードおよび笑顔記録IIモードを適用することが可能である。この場合、笑顔記録モードIでは、ＣＰＵ２４は、フレームの指定スマイルエリア内で誰かが笑ったとき、記録画像エリア３０ｃに格納された画像データのうち当該笑顔を含むフレームの画像データをＩ／Ｆ３６を通して記録媒体３８に記録すればよい。笑顔記録モードIIでは、フレームのどこかで誰かが笑ったとき、記録画像エリア３０ｃに格納された画像データのうち当該笑顔を含むフレームの画像データをＩ／Ｆ３６を通して記録媒体３８に記録すればよい。
　また、その他の実施例では、主役および主役以外が図７（Ａ）のような配置になったとき、図２５に示すようにフォーカス評価エリアＥｆｃｓを指定スマイルエリア内へと強制移動してもよい。この場合、ＣＰＵ２４は、前述した笑顔記録モードIにおいて、図２６のようなＡＦエリア制限タスクをさらに実行する。ステップＳ２２１では、フォーカス評価エリアＥｆｃｓが指定スマイルエリアの外部に位置するか否かを判別し、ＮＯであれば待機する一方、ＹＥＳであればステップＳ２２３でフォーカス評価エリアＥｆｃｓを指定スマイルエリアの内部へと強制移動する。その後ステップＳ２２１に戻って同様の処理を繰り返す。これにより、笑顔記録の目標にピントが合う可能性を高めることができる。
　この点、前述した笑顔記録モードIでは、主役および主役以外が図７（Ａ）のような配置であって、かつ主役および主役以外の遠近差が大きい場合、ピントは主役に合っているので、主役以外については適正な笑顔判定が行われないか、たとえ適正な笑顔判定が行われても記録画像において目標の笑顔がピンボケとなる可能性がある。しかし、フォーカス評価エリアＥｆｃｓが顔の動きに追従することを利用して、笑顔記録の目標である顔Ｆｃ２をいったん画面中央に配して二重顔枠Ｆｒｄを顔Ｆｃ２上に表示させた後にアングルを変えて図７の構図にもって行くカメラ操作をユーザが行えば、このような可能性は低減される。
　以上から明らかなように、この実施例のディジタルカメラ１０はＣＰＵ２４を含む。ＣＰＵ２４は、撮像面１４ｆ上に結ばれた被写界像をイメージセンサ１４を制御して繰り返し捉え（Ｓ２５，Ｓ３９，Ｓ１０５，Ｓ１１３）、これにより作成された各被写界画像から顔画像を検出し（Ｓ１６１～Ｓ１７７）、検出された各顔画像の顔が笑顔であるか否かを判定し（Ｓ７１～Ｓ９７，Ｓ１２１～Ｓ１３５）、検出された少なくとも１つの顔画像についての判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に作成された被写界画像をＩ／Ｆ３６を制御して記録媒体３８に記録する（Ｓ３１，Ｓ４１，Ｓ１１１，Ｓ１１５）。
　そしてＣＰＵ２４は、笑顔記録Iモードでは、キー入力装置２６を介したエリア指定操作に応答して各被写界画像にエリアを割り当て（Ｓ６３）、笑顔であると判定された顔画像と割り当てられたエリアとの位置関係に少なくとも基づいて記録処理の実行を制限する（Ｓ３３～Ｓ３７）。これにより、目標の笑顔を高い確率で記録できる。一方、笑顔記録IIモードでは、このような制限がないので、任意の笑顔を広範囲で記録できる。
　なお、この実施例では、撮像エリアＥｐの全域で（すなわち指定スマイルエリアの外部でも）笑顔判定を行っているが、笑顔判定は指定スマイルエリア内だけで行うようにしてもよい。これにより、ＣＰＵ２４の処理負荷が軽減される。
　また、この実施例では、笑顔判定は、顔の特定部位の変化（口角の上昇など）に基づいて行ったが、これは一例過ぎず、様々な判定方法を用いることができる。たとえば、顔の全体（輪郭線やしわの分布など）および各部位（口角や目じりなど）に注目して笑顔の程度を数値化し、得られた数値に基づいて判定してもよい。
　なお、この実施例では、笑顔記録IおよびIIの２つの笑顔記録モードを準備したが、単一のモード内で、スマイルエリアを指定した笑顔記録と、スマイルエリアを指定しない（つまり撮像エリアＥｐ全体での）笑顔記録とを使い分けてもよい。以下、このような実施例について説明する。この実施例のハード構成は図１と同様であり、ＣＰＵ２４は、笑顔記録モードが有効化されると図２７のような処理を実行する。
　最初のステップＳ３２１でスルー撮影命令を発行した後、ステップＳ２３３に進んでキー入力装置２６によるエリア指定操作の有無を判別する。ステップＳ２３３でＹＥＳであれば、ステップＳ２３５で指定スマイルエリアの割り当てを行い、その後ステップＳ２３３に戻って同様の処理を繰り返す。ステップＳ２３３でＮＯであれば、ステップＳ２３９で指定スマイルエリアの解除を行い、その後ステップＳ２３３に戻って同様の処理を繰り返す。なお、エリア指定ないし解除操作時にスルー表示を中断する場合には、ステップＳ２３５またはＳ２３９からステップＳ２３１に戻る必要がある。
　ステップＳ２３７でＮＯであればステップＳ２４１に移って、指定スマイルエリアが割り当てられているか否かを判別し、ここでＹＥＳであれば指定スマイルエリア内で笑顔検知を行い、ＮＯであれば撮像エリアＥｐの全域で笑顔検知を行う。なお、ここでいう笑顔検知は、前述した顔検出および笑顔判定を組み合わせた処理に相当する。そして検知結果に基づいて、誰かが笑ったか否かをステップＳ２４７で判別し、ＹＥＳでればステップＳ２４９で本撮影命令を発行した後テップＳ２５１で記録処理を実行する。ステップＳ２４７でＮＯであればステップＳ２３３に戻って同様の処理を繰り返す。
　以上では、一例として、ディジタルカメラ１０について説明したが、この発明は、イメージセンサ（たとえばＣＣＤやＣＭＯＳなど）と、イメージセンサの出力に基づく画像を記録媒体（たとえばメモリカード，ハードディスク，光ディスクなど）に記録する記録手段と、ユーザによって操作される操作手段（たとえばキー入力装置やタッチパネルなど）とプロセッサとを備える撮像装置（たとえばディジタルスチルカメラ，ディジタルムービーカメラなど）に適用できる。
　この発明が詳細に説明され図示されたが、それは単なる図解および一例として用いたものであり、限定であると解されるべきではないことは明らかであり、この発明の精神および範囲は添付されたクレームの文言によってのみ限定される。
　１０　…ディジタルカメラ
　１２　…フォーカスレンズ
　１４　…イメージセンサ
　１４ｆ　…撮像面
　２０　…カメラ処理回路
　２２　…フォーカス評価回路
　２４　…ＣＰＵ
　２６　…キー入力装置
　４２　…キャラクタジェネレータ

Claims (14)

  1. 　撮像面上の撮像エリア内に結ばれた被写界像を繰り返し捉える撮像手段、
    　操作手段を介したエリア指定操作に応答して前記撮像エリア内にスマイルエリアを割り当てる割り当て手段、
    　前記撮像手段によって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、前記割り当て手段によって前記スマイルエリアが割り当てられている場合には前記スマイルエリア内で行い、前記割り当て手段によって前記スマイルエリアが割り当てられていない場合には前記撮像エリア内で行う、笑顔記録手段を備える、撮像装置。
  2. 　撮像面上に結ばれた被写界像を繰り返し捉える撮像手段、
    　前記撮像手段によって作成された各被写界画像から顔画像を検出する検出手段、
    　前記検出手段によって検出された各顔画像の顔が笑顔であるか否かを判定する判定手段、
    　前記検出手段によって検出された少なくとも１つの顔画像についての前記判定手段の判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に前記撮像手段によって作成された被写界画像を記録媒体に記録する記録手段、
    　特定モードで操作手段を介したエリア指定操作に応答して前記各被写界画像にエリアを割り当てる割り当て手段、および
    　前記判定手段によって笑顔であると判定された顔画像と前記割り当て手段によって割り当てられたエリアとの位置関係に少なくとも基づいて前記記録手段による記録処理の実行を制限する制限手段を備える、撮像装置。
  3. 　前記制限手段は、前記判定手段によって笑顔であると判定された顔画像が前記割り当て手段によって割り当てられたエリアの内部に位置する場合には前記記録手段による記録処理の実行を許容する一方、前記判定手段によって笑顔であると判定された顔画像が前記割り当て手段によって割り当てられたエリアの外部に位置する場合には前記記録手段による記録処理の実行を制限する、請求項２記載の撮像装置。
  4. 　前記検出手段によって検出された顔画像の１つにピントが合うようにフォーカス調整を行うフォーカス調整手段をさらに備え、
    　前記制限手段は、前記割り当て手段によって割り当てられたエリアの内部にピントの合った顔画像とピントの合っていない顔画像とが存在する場合にはピントの合った顔画像に注目する、請求項３記載の撮像装置。
  5. 　前記検出手段によって検出された顔画像のうち前記割り当て手段によって割り当てられたエリアの内部に位置する顔画像の１つにピントが合うように前記フォーカス調整手段が参照するフォーカス評価エリアの位置を制御する制御手段をさらに備える、請求項４記載の撮像装置。
  6. 　前記エリア指定操作は複数の固定エリアから１つを指定する操作である、請求項１ないし５のいずれかに記載の撮像装置。
  7. 　前記複数の固定エリアは一部が互いに重複している、請求項６記載の撮像装置。
  8. 　前記撮像手段によって作成された各被写界画像に基づくスルー画像をディスプレイに表示するスルー表示手段、および
    　前記エリア指定操作によって指定されたエリアを示す枠画像を前記ディスプレイのスルー画像上に描画する描画手段をさらに備える、請求項１ないし７のいずれかに記載の撮像装置。
  9. 　撮像面を有するイメージセンサと前記イメージセンサの出力に基づく画像を記録媒体に記録する記録手段とユーザによって操作される操作手段とを備える撮像装置のプロセッサに、
    　前記撮像面上の撮像エリア内に結ばれた被写界像を前記イメージセンサを制御して繰り返し捉える撮像ステップ、
    　前記操作手段を介したエリア指定操作に応答して前記撮像エリア内にスマイルエリアを割り当てる割り当てステップ、および
    　前記撮像ステップによって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、前記割り当て手段によって前記スマイルエリアが割り当てられている場合には前記スマイルエリア内で行い、前記割り当て手段によって前記スマイルエリアが割り当てられていない場合には前記撮像エリア内で行う、笑顔記録ステップを実行させるための、笑顔記録プログラム。
  10. 　撮像面を有するイメージセンサと前記イメージセンサの出力に基づく画像を記録媒体に記録する記録手段とユーザによって操作される操作手段とを備える撮像装置のプロセッサに、
    　前記撮像面上に結ばれた被写界像を前記イメージセンサを制御して繰り返し捉える撮像ステップ、
    　前記撮像ステップによって作成された各被写界画像から顔画像を検出する検出ステップ、
    　前記検出ステップによって検出された各顔画像の顔が笑顔であるか否かを判定する判定ステップ、
    　前記検出ステップによって検出された少なくとも１つの顔画像についての前記判定ステップの判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に前記撮像ステップによって作成された被写界画像を前記記録手段を制御して記録媒体に記録する笑顔記録ステップ、
    　特定モードで前記操作手段を介したエリア指定操作に応答して前記各被写界画像にエリアを割り当てる割り当てステップ、および
    　前記判定ステップによって笑顔であると判定された顔画像と前記割り当てステップによって割り当てられたエリアとの位置関係に少なくとも基づいて前記笑顔記録ステップによる記録処理の実行を制限する制限ステップを実行させるための、笑顔記録プログラム。
  11. 　撮像面を有するイメージセンサと前記イメージセンサの出力に基づく画像を記録媒体に記録する記録手段とユーザによって操作される操作手段とを備える撮像装置のプロセッサに、
    　前記撮像面上の撮像エリア内に結ばれた被写界像を前記イメージセンサを制御して繰り返し捉える撮像ステップ、
    　前記操作手段を介したエリア指定操作に応答して前記撮像エリア内にスマイルエリアを割り当てる割り当てステップ、および
    　前記撮像ステップによって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、前記割り当て手段によって前記スマイルエリアが割り当てられている場合には前記スマイルエリア内で行い、前記割り当て手段によって前記スマイルエリアが割り当てられていない場合には前記撮像エリア内で行う、笑顔記録ステップを実行させるための、笑顔記録プログラムを記憶した記憶媒体。
  12. 　撮像面を有するイメージセンサと前記イメージセンサの出力に基づく画像を記録媒体に記録する記録手段とユーザによって操作される操作手段とを備える撮像装置のプロセッサに、
    　前記撮像面上に結ばれた被写界像を前記イメージセンサを制御して繰り返し捉える撮像ステップ、
    　前記撮像ステップによって作成された各被写界画像から顔画像を検出する検出ステップ、
    　前記検出ステップによって検出された各顔画像の顔が笑顔であるか否かを判定する判定ステップ、
    　前記検出ステップによって検出された少なくとも１つの顔画像についての前記判定ステップの判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に前記撮像ステップによって作成された被写界画像を前記記録手段を制御して記録媒体に記録する笑顔記録ステップ、
    　特定モードで前記操作手段を介したエリア指定操作に応答して前記各被写界画像にエリアを割り当てる割り当てステップ、および
    　前記判定ステップによって笑顔であると判定された顔画像と前記割り当てステップによって割り当てられたエリアとの位置関係に少なくとも基づいて前記笑顔記録ステップによる記録処理の実行を制限する制限ステップを実行させるための、笑顔記録プログラムを記憶した記憶媒体。
  13. 　撮像面を有するイメージセンサと前記イメージセンサの出力に基づく画像を記録媒体に記録する記録手段とユーザによって操作される操作手段とを備える撮像装置によって実行される笑顔記録方法であって、
    　前記撮像面上の撮像エリア内に結ばれた被写界像を前記イメージセンサを制御して繰り返し捉える撮像ステップ、
    　前記操作手段を介したエリア指定操作に応答して前記撮像エリア内にスマイルエリアを割り当てる割り当てステップ、および
    　前記撮像ステップによって作成された各被写界画像から笑顔画像を検知して当該笑顔画像を含む被写界像を記録する笑顔記録処理を、前記割り当て手段によって前記スマイルエリアが割り当てられている場合には前記スマイルエリア内で行い、前記割り当て手段によって前記スマイルエリアが割り当てられていない場合には前記撮像エリア内で行う、笑顔記録ステップを備える、笑顔記録方法。
  14. 　撮像面を有するイメージセンサと前記イメージセンサの出力に基づく画像を記録媒体に記録する記録手段とユーザによって操作される操作手段とを備える撮像装置のプロセッサによって実行される笑顔記録方法であって、
    　前記撮像面上に結ばれた被写界像を前記イメージセンサを制御して繰り返し捉える撮像ステップ、
    　前記撮像ステップによって作成された各被写界画像から顔画像を検出する検出ステップ、
    　前記検出ステップによって検出された各顔画像の顔が笑顔であるか否かを判定する判定ステップ、
    　前記検出ステップによって検出された少なくとも１つの顔画像についての前記判定ステップの判定結果が非笑顔を示す状態から笑顔を示す状態へと変化した後に前記撮像ステップによって作成された被写界画像を前記記録手段を制御して記録媒体に記録する笑顔記録ステップ、
    　特定モードで前記操作手段を介したエリア指定操作に応答して前記各被写界画像にエリアを割り当てる割り当てステップ、および
    　前記判定ステップによって笑顔であると判定された顔画像と前記割り当てステップによって割り当てられたエリアとの位置関係に少なくとも基づいて前記笑顔記録ステップによる記録処理の実行を制限する制限ステップを備える、笑顔記録方法。
     
PCT/JP2009/007112 2008-12-24 2009-12-22 撮像装置および笑顔記録プログラム Ceased WO2010073615A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/142,160 US20120092516A1 (en) 2008-12-24 2009-12-22 Imaging device and smile recording program
CN2009801524228A CN102265601A (zh) 2008-12-24 2009-12-22 摄像装置和笑脸记录程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-326785 2008-12-24
JP2008326785A JP5116652B2 (ja) 2008-12-24 2008-12-24 撮像装置および笑顔記録プログラム

Publications (1)

Publication Number Publication Date
WO2010073615A1 true WO2010073615A1 (ja) 2010-07-01

Family

ID=42287262

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/007112 Ceased WO2010073615A1 (ja) 2008-12-24 2009-12-22 撮像装置および笑顔記録プログラム

Country Status (4)

Country Link
US (1) US20120092516A1 (ja)
JP (1) JP5116652B2 (ja)
CN (1) CN102265601A (ja)
WO (1) WO2010073615A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130108164A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
US8811747B2 (en) 2011-10-28 2014-08-19 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8938100B2 (en) 2011-10-28 2015-01-20 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025835B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025836B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5827491B2 (ja) * 2011-04-28 2015-12-02 キヤノン株式会社 撮像装置、及び撮像装置の制御方法
US8965046B2 (en) * 2012-03-16 2015-02-24 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for smiling face detection
CN103685926B (zh) * 2012-09-21 2017-05-10 宏达国际电子股份有限公司 面部区域的影像处理方法以及使用此方法的电子装置
US9049355B2 (en) * 2012-09-21 2015-06-02 Htc Corporation Methods for image processing of face regions and electronic devices using the same
EP2966854B1 (en) 2013-03-06 2020-08-26 Nec Corporation Imaging device, imaging method and program
US9729865B1 (en) 2014-06-18 2017-08-08 Amazon Technologies, Inc. Object detection and tracking
US10027883B1 (en) * 2014-06-18 2018-07-17 Amazon Technologies, Inc. Primary user selection for head tracking
JP6107844B2 (ja) * 2015-01-28 2017-04-05 カシオ計算機株式会社 検出装置、検出制御方法、及びプログラム
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
US12229895B1 (en) * 2016-12-08 2025-02-18 Out of Sight Vision Systems LLC Virtual reality detection and projection system for use with a head mounted display
JP2019086775A (ja) * 2017-11-06 2019-06-06 キヤノン株式会社 画像処理装置、その制御方法、プログラム及び記憶媒体
CN108366199A (zh) * 2018-02-01 2018-08-03 海尔优家智能科技（北京）有限公司 一种图像采集方法、装置、设备及计算机可读存储介质
US20230098161A1 (en) * 2020-02-14 2023-03-30 Sony Group Corporation Content processing apparatus, content processing method, and content processing program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000196934A (ja) * 1998-12-25 2000-07-14 Casio Comput Co Ltd 撮像方法および撮像装置
JP2004343401A (ja) * 2003-05-15 2004-12-02 Fme:Kk 監視用デジタルスチルカメラ
JP2007215064A (ja) * 2006-02-13 2007-08-23 Nec Corp 自動撮影方法及び自動撮影装置並びに自動撮影プログラム
JP2008160701A (ja) * 2006-12-26 2008-07-10 Sky Kk カメラ及びカメラ用撮影制御プログラム
JP2008252713A (ja) * 2007-03-30 2008-10-16 Nikon Corp 撮像装置
JP2008281733A (ja) * 2007-05-10 2008-11-20 Fujifilm Corp 合焦装置および方法並びにプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4121026B2 (ja) * 2004-01-21 2008-07-16 富士フイルム株式会社 撮像装置および方法並びにプログラム
US8169484B2 (en) * 2005-07-05 2012-05-01 Shai Silberstein Photography-specific digital camera apparatus and methods useful in conjunction therewith
JP4453721B2 (ja) * 2007-06-13 2010-04-21 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP4356778B2 (ja) * 2007-06-25 2009-11-04 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP4930302B2 (ja) * 2007-09-14 2012-05-16 ソニー株式会社 撮像装置、その制御方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000196934A (ja) * 1998-12-25 2000-07-14 Casio Comput Co Ltd 撮像方法および撮像装置
JP2004343401A (ja) * 2003-05-15 2004-12-02 Fme:Kk 監視用デジタルスチルカメラ
JP2007215064A (ja) * 2006-02-13 2007-08-23 Nec Corp 自動撮影方法及び自動撮影装置並びに自動撮影プログラム
JP2008160701A (ja) * 2006-12-26 2008-07-10 Sky Kk カメラ及びカメラ用撮影制御プログラム
JP2008252713A (ja) * 2007-03-30 2008-10-16 Nikon Corp 撮像装置
JP2008281733A (ja) * 2007-05-10 2008-11-20 Fujifilm Corp 合焦装置および方法並びにプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130108164A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
US8811747B2 (en) 2011-10-28 2014-08-19 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8938100B2 (en) 2011-10-28 2015-01-20 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9008436B2 (en) * 2011-10-28 2015-04-14 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025835B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025836B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features

Also Published As

Publication number Publication date
US20120092516A1 (en) 2012-04-19
CN102265601A (zh) 2011-11-30
JP5116652B2 (ja) 2013-01-09
JP2010153954A (ja) 2010-07-08

Similar Documents

Publication Publication Date Title
JP5116652B2 (ja) 撮像装置および笑顔記録プログラム
US10469737B2 (en) Display control device and display control method
US8831282B2 (en) Imaging device including a face detector
KR101231469B1 (ko) 이미지 처리 지원 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US8823864B2 (en) Image capturing apparatus and associated methodology for auto-focus and facial detection
US20160170585A1 (en) Display control device, method and computer program product
JP4413235B2 (ja) 電子カメラ
JP5036612B2 (ja) 撮像装置
TWI466008B (zh) 顯示控制裝置、顯示控制方法及電腦程式產品
US8902344B2 (en) Display control apparatus, image capture apparatus, display control method, and image capture apparatus control method
CN102223476A (zh) 图像拍摄设备，检测框调整方法和程序
JP2012185630A (ja) 投影装置
CN113923350A (zh) 视频拍摄方法、装置、电子设备和可读存储介质
JP2011071573A (ja) 画像処理装置
KR101599871B1 (ko) 촬상 장치 및 촬상 방법
JP6061715B2 (ja) 撮像装置、その制御方法及びプログラム
US8866934B2 (en) Image pickup apparatus capable of deleting video effect superimposed on moving image, method of controlling the apparatus, and moving image-recording apparatus, as well as storage medium
JP5261769B2 (ja) 撮像装置および集合写真撮影支援プログラム
JP2018085570A (ja) 撮像装置、撮像方法及びプログラム
KR101216094B1 (ko) 포커스 영역 설정 기능을 갖는 이동통신 단말기 및 이를이용한 방법
JP6289107B2 (ja) 画像再生装置、その制御方法、および制御プログラム
JP5188633B2 (ja) 電子機器
JP2021089644A (ja) 電子機器
JP5356162B2 (ja) 物体像探索装置
JP6119380B2 (ja) 画像取込装置、画像取込方法、画像取込プログラムおよび移動通信端末

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980152422.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09834423

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13142160

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09834423

Country of ref document: EP

Kind code of ref document: A1