WO2010073619A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2010073619A1
WO2010073619A1 PCT/JP2009/007116 JP2009007116W WO2010073619A1 WO 2010073619 A1 WO2010073619 A1 WO 2010073619A1 JP 2009007116 W JP2009007116 W JP 2009007116W WO 2010073619 A1 WO2010073619 A1 WO 2010073619A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
detection unit
image
unit
detected
Prior art date
Application number
PCT/JP2009/007116
Other languages
English (en)
French (fr)
Inventor
大川圭介
酒井武則
高田尚賢
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP09834427A priority Critical patent/EP2373002A4/en
Priority to CN2009801525790A priority patent/CN102265602A/zh
Priority to US13/142,080 priority patent/US8830374B2/en
Priority to JP2010543854A priority patent/JP5331128B2/ja
Publication of WO2010073619A1 publication Critical patent/WO2010073619A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a technique for recognizing a subject in an imaging apparatus.
  • Some conventional imaging devices have a function of recognizing a subject.
  • Such an image pickup apparatus performs various controls, and continuously recognizes a subject by performing automatic exposure (AE), autofocus (AF), and the like, and can shoot under optimum conditions.
  • AE automatic exposure
  • AF autofocus
  • Patent Document 1 discloses an imaging apparatus having a screen for displaying an image of a subject.
  • this imaging apparatus when there are a plurality of subjects within the same screen, the subject intended by the photographer can be selected. Thereby, it is possible to perform optimal AE and AF control for the selected subject.
  • Patent Document 1 discloses an imaging device.
  • the imaging apparatus includes an area setting unit 3 that sets an area in a screen using an image signal from the image sensor 2, line-of-sight detection units 8, 9, and 11 that detect a photographer's line of sight, and an area setting unit.
  • an area selection unit 12 that selects an intended area based on line-of-sight information from the line-of-sight detection unit is provided.
  • the imaging apparatus automatically selects an intended area among them based on line-of-sight information.
  • Patent Document 1 has a limit in detecting a region intended by the user with high accuracy.
  • Patent Document 1 does not particularly disclose increasing accuracy.
  • An object of the present invention is to provide an imaging apparatus that can detect a subject intended by a photographer with higher accuracy.
  • An imaging apparatus receives a light from a subject, generates an image signal corresponding to the image of the subject, and includes a first predetermined feature included in the generated image.
  • a first detection unit for detecting by a method
  • a second detection unit for detecting a feature included in the generated image by a second method different from the first method
  • An operation unit that receives an operation for designating a position of the device, and a relationship between the position of the feature detected by the first detection unit and the position received by the operation unit at the time when the operation unit receives the operation.
  • a controller that determines which of the first detection unit and the second detection unit is used to detect a feature included in an image generated after the time point.
  • the imaging device detects the feature in the image using the first detection unit
  • the image generated by the imaging unit and the feature detected by the first detection unit You may further provide the display part which displays these positions.
  • the first detection unit detects a feature in the generated image based on a predetermined pattern
  • the second detection unit detects the position received by the operation unit and the generated A feature included in the generated image may be detected based on the color information of the image.
  • the first detection unit may detect a feature in the generated image based on a pattern representing at least one of a shape and an arrangement relationship of a plurality of parts constituting a human face.
  • the controller determines whether the position received by the operation unit is within an area where the feature is detected. When the position is within the region where the feature is detected, the controller may cause the display unit to display a visible mark at the detected position of the feature.
  • the controller determines whether the position received by the operation unit is within an area where the feature is detected. When the position does not exist in the region where the feature is detected, the controller determines to detect the feature included in the image using the second detection unit, and the second The detection unit causes the image feature to be detected based on the position and the color information of the image, and the controller causes the controller to detect the position of the image feature detected by the second detection unit. A visually recognizable mark may be displayed.
  • the controller detects the feature included in the image using the second detection unit.
  • the second detection unit detects the feature of the image based on the position and the color information of the image, and the controller causes the controller to detect the second detection unit.
  • a visually recognizable mark may be displayed at the position of the feature of the detected image.
  • the controller detects the feature detected by the first feature detection unit with respect to the display unit.
  • a visible mark may be displayed at the position.
  • At least two of the first detection unit, the second detection unit, and the controller may be formed on one chip circuit.
  • the imaging apparatus includes first and second feature detection units that detect features included in the generated image by different methods. Then, according to the relationship between the position of the feature detected by the first feature detection unit and the position received by the operation unit at the time when the operation unit receives a position designation operation on the image, the first and second features. It is determined which of the detection units is used to detect a feature included in an image generated after that time.
  • the imaging apparatus according to the present invention can detect the subject intended by the photographer with higher accuracy by properly using the first and second feature detection units.
  • FIG. 5 is a flowchart illustrating an operation of the imaging apparatus 100 when a user selects a subject. It is a figure which shows the marker 50 used as a tracking area
  • FIGS. 1A and 1B show the appearance of a digital still camera 100a and a video camera 100b, which are examples of the imaging device.
  • the digital still camera 100a is mainly used for shooting a still image, but also has a function of shooting a moving image.
  • the video camera 100b mainly has a function of shooting a moving image.
  • FIGS. 2A to 2C are three views showing the appearance of the digital still camera 100a according to the present embodiment.
  • 2A is a front view
  • FIG. 2B is a rear view
  • FIG. 2C is a top view.
  • a lens barrel 21, a flash 28, and an auxiliary light flash 29 for operating the AF function in a dark place are arranged in front of the digital still camera 100a.
  • a display device 13 a dial 16a for selecting a photographing mode, and a plurality of operation buttons 16b are arranged on the back of the digital still camera 100a.
  • a shutter button 22, a power button 23, and a zoom lever 30 for changing the angle of view are arranged on the upper surface of the digital still camera 100a.
  • the video camera 100b is provided with buttons and functions having the same functions, but the description thereof is omitted.
  • the digital still camera 100a and the video camera 100b are collectively referred to as an “imaging device 100”.
  • FIG. 3 is a block diagram showing a configuration of the imaging apparatus 100 having a subject recognition function according to the present embodiment.
  • the imaging apparatus 100 includes an imaging unit 10, a signal processing unit 11, an image recording unit 12, a display unit 13, a face detection unit 14, a characteristic color detection unit 15, an operation unit 16, and a specific area display unit 17. And a controller 18.
  • an imaging unit 10 includes an imaging unit 10, a signal processing unit 11, an image recording unit 12, a display unit 13, a face detection unit 14, a characteristic color detection unit 15, an operation unit 16, and a specific area display unit 17. And a controller 18.
  • the components of the imaging apparatus 100 will be described in detail.
  • illustration of a well-known hardware structure is abbreviate
  • the imaging unit 10 receives light from a subject and generates an image signal corresponding to the image of the subject.
  • the imaging unit 10 includes an optical system and an imaging element.
  • the optical system includes, for example, an objective lens, a zoom lens, a diaphragm, an OIS (Optical Image Stabilizer) unit, and a focus lens (all not shown).
  • the optical system receives light from the subject, condenses them, and forms a subject image.
  • the imaging device captures a subject image formed by the optical system and generates an analog signal of an image corresponding to the subject image.
  • the image sensor is, for example, a CMOS image sensor or a CCD image sensor.
  • the signal processing unit 11 receives an analog signal of the image generated by the imaging unit 10 and executes a predetermined process.
  • the signal processing unit 11 is mounted as one chip circuit.
  • the signal processing unit 11 includes, for example, an AD converter, an image processing unit, a system encoder, and a system decoder (all not shown).
  • the AD converter converts an analog signal of an image generated by the image sensor into a digital signal.
  • the image processing unit performs various types of image processing on the digital signal image converted by the AD converter.
  • the image processing unit generates image data to be input to the system encoder, and generates image data to be displayed on the display unit 13.
  • the image processing unit performs image processing on the digital signal image processed and output by the system decoder, generates image data to be displayed on the display unit 13, and re-inputs the image to the system encoder. Generate data.
  • the image processing unit in the signal processing unit 11 includes an image preprocessing unit, an image compression unit, and an image expansion unit (all not shown).
  • the image preprocessing unit performs various image processing such as gamma correction and white balance correction on the digital signal image converted by the AD converter.
  • the image compression unit compresses image data by performing DCT (Discrete Cosine Transform), Huffman coding, and the like.
  • the image compression unit is, for example, MPEG-2 or H.264.
  • the image data is compressed by a compression format conforming to the H.264 standard. However, these compression standards are examples.
  • the compression format is arbitrary, and may be a format that does not perform inter-image compression.
  • the image expansion unit decodes the image data into an uncompressed state.
  • This processing is performed, for example, when the compressed image data output from the system decoder of the signal processing unit 11 is reproduced on the display unit 13.
  • the system decoder decodes the AV data recorded in the image recording unit 12 and generates compressed image data.
  • the system decoder outputs the generated compressed image data to the image expansion unit.
  • the image recording unit 12 records the image data output by the signal processing unit 11.
  • the image recording unit 12 includes a media controller that performs recording control on the recording medium and a recording medium.
  • the recording medium is a flash memory card, a hard disk, a DVD (Digital Versatile Disc), a BD (Blu-ray Disc), or the like.
  • the recording medium may be detachable from the imaging apparatus 100, or may be built in the imaging apparatus 100.
  • the display unit 13 is a display device such as a liquid crystal monitor or an electronic viewfinder.
  • the display unit 13 can display image data captured by the imaging unit 10 and image data in AV data read from the image recording unit 12.
  • the display unit 13 can display various setting information of the imaging apparatus 100, shooting time, and the like.
  • the display unit 13 displays the image output from the signal processing unit 11 and the detected specific target. For example, the display unit 13 detects an image generated by the imaging unit 10 and a face detection unit when a feature (for example, a human face) in the image is detected using the face detection unit 14 described below. The position of the feature detected at 14 is displayed.
  • the face detection unit 14 detects a human face from the image output by the signal processing unit 11 in accordance with a predetermined detection method. More specifically, the face detection unit 14 analyzes the image data generated by the signal processing unit 11 and identifies a portion having a predetermined pattern from the image. This pattern is prepared in advance as representing one or both of the shapes and arrangement relationships of a plurality of parts (for example, eyes, nose, mouth) constituting a human face. The face detection unit 14 detects a portion matching the pattern as a human face. By continuously performing the above processing, the face detection unit 14 can continue to detect the face of the subject as long as there is no significant change in the state of the subject, such as a person who is the subject facing sideways. is there. Further, the face detection unit 14 detects the position and size of the face and calculates a reliability indicating the certainty of the face corresponding to the specific.
  • the characteristic color detection unit 15 detects a specific subject by using the selection position and color information of an area centered on the selection position in the signal-processed image.
  • the “subject” here is not limited to a person, but refers to any object (including not only solids but also liquids and gases) displayed on the image. Even a person photographed at an angle at which facial features are difficult to detect can be a subject. A more detailed operation of the feature color detection unit 15 will be described later.
  • the feature color detection unit 15 cuts out a specific area in the image data based on the specified position information from the image data generated by the signal processing unit 11 and the position information from the operation unit 16, and the color information in this area A specific subject is detected based on the above. That is, the feature color detection unit 15 detects the color in the image as the feature of the subject. This is clearly different from the method in which the face detection unit 14 detects a person's face using a pattern corresponding to a facial feature.
  • the operation unit 16 accepts a user operation for specifying a position on an image displayed on the display unit 13 and other various operations.
  • the operation unit 16 may be, for example, a hardware key arranged in the shape shown in FIG. 2B or arranged in a cross shape, or may be a touch screen.
  • the operation unit 16 is a hardware key, for example, the user moves the cursor or marker (frame) displayed superimposed on the image displayed on the display unit 13 by operating the hardware key, Specify the position of.
  • the operation unit 16 is a touch screen, the user designates a position on the image by pressing down the touch screen superimposed on the display device of the display unit 13.
  • the operation unit 16 transmits information (position information) indicating the designated position to the controller 18.
  • the operation unit 16 accepts various user operations (instructions) other than the position designation, and transmits the instructions to the controller 18.
  • the specific area display unit 17 displays the selected area.
  • the specific area display unit 17 receives position information corresponding to the areas detected by the face detection unit 14 and the feature color detection unit 15 and position information selected by the photographer (user) via the controller 18. Then, the specific area display unit 17 generates a marker signal for displaying an area (for example, a marker) that clearly indicates the position specified by the position information. This marker signal is sent to the display unit 13 displaying the image data, and the area is displayed on the display unit 13.
  • the controller 18 controls the entire imaging apparatus 100.
  • the controller 18 is a circuit using a semiconductor element, for example, a microcomputer.
  • the controller 18 may be configured only by hardware, or may be realized by combining hardware and software.
  • the microcomputer executes a computer program describing the processing of the flowchart shown in FIG.
  • the microcomputer or each component that receives an instruction from the microcomputer performs various processes shown in the flowcharts.
  • the controller 18 detects the position of the facial feature of the person detected by the face detection unit 14 at the time when the operation unit 16 receives an operation for designating a position on the image from the user, and on the image received by the operation unit 16. The relationship with the position is determined. Based on the result, the controller 18 determines which of the face detection unit 14 and the feature color detection unit 15 is used to detect a feature in an image included in an image generated thereafter. Details of this process will be described later.
  • the above-mentioned computer program is recorded on a recording medium such as a CD-ROM and distributed as a product to the market, or transmitted through an electric communication line such as the Internet.
  • the controller 18 may be realized by a general-purpose microcomputer that executes a computer program, or may be realized as a dedicated processor in which such a computer program and a processor are integrated.
  • the face detection unit 14 and the characteristic color detection unit 15 are provided separately from the signal processing unit 11 and the controller 18 .
  • this configuration is an example.
  • all of the signal processing unit 11, the face detection unit 14, the characteristic color detection unit 15, and the controller 18 may be realized by a one-chip circuit.
  • the signal processing unit 11, the face detection unit 14, and the feature color detection unit 15 may be realized by one chip circuit 27, and the controller may be realized by another microcomputer.
  • the face detection unit 14, the feature color detection unit 15, and the controller 18 may be realized by a single chip circuit.
  • any two of these may be realized on a single chip.
  • the signal processing unit 11 performs various corrections on the image data input from the imaging unit 10.
  • the corrected signal is recorded in the image recording unit 12.
  • the signal processing unit 11 generates a signal for detecting a specific target.
  • the face detection unit 14 detects a face in the signal from the signal processing unit 11.
  • Various methods are known as a face detection method, such as a detection method based on skin color and a detection method based on the shape and arrangement relationship of a plurality of parts (for example, eyes, nose, mouth). In this embodiment, any method may be used as long as it is a method for detecting a face in image data.
  • the controller 18 causes the display unit 13 to display the detected specific area or a marker indicating the position of the area.
  • the controller 18 monitors the operation unit 16 and detects whether or not the subject on the display unit 13 has been selected by an operation from the user. A subject is selected by inputting position information.
  • the controller 18 determines whether or not the position information is within the detection area of the specific target that has already been detected. And in the detection area of a specific object, the controller 18 extracts the area
  • the controller 18 inputs the selected position to the feature color detection unit 15.
  • the characteristic color detection unit 15 newly extracts a specific target from the signal from the signal processing unit 11 and the selected position information. Usually, it is difficult to select a specific object only with color information in an image.
  • the feature color detection unit 15 extracts a specific subject by extracting a target of substantially the same color existing around the selected position using the selected position information.
  • the controller 18 controls the imaging unit 10, the signal processing unit 11, and the like, and adjusts the extracted region so as to be optimal, such as AF and AE.
  • FIG. 4A it is assumed that the faces of the subjects 101 and 102 have been detected by the face detection unit 14 in advance.
  • markers 104 and 105 indicating that face detection is completed are displayed.
  • the subject 103 is the target that the user intends to shoot.
  • the user first selects the icon 40 displayed as “tracking mode”. Then, the controller 18 instructs the specific area display unit 17 to delete the markers 104 and 105 displayed so far.
  • the user can select the subject 103 by pressing a confirmation button (not shown) of the operation unit 16 or touching the screen using the operation unit 16. In this way, the position on the subject 103 can be designated.
  • the characteristic color detection unit 15 determines a range having substantially the same color as the designated position and notifies the controller 18 of the range.
  • the controller 18 controls the specific area display unit 17 to generate a signal for displaying the marker 108 around the almost same color range.
  • the characteristic color detection unit 15 acquires color information of a pixel having a color range substantially the same as the designated position, and uses the color of the pixel near the center as a reference for a range in which colors included in the predetermined range are distributed. Extract. That is, an area including the subject 103 is extracted. The specific area display unit 17 selects and displays the area as the marker 108. Details of the method of detecting “a range that is substantially the same color” will be described later.
  • 5A and 5B select the subject 102 when the subject 102 to be selected is not detected by the face detection unit 14 according to the state of the subject even though the subject 102 is a human face portion.
  • the operation is shown. The user intends to select the subject 102.
  • the face detection unit 14 may not be detected depending on the state of the subject 102.
  • the face detection unit 14 cannot detect the subject 102.
  • the specific area display unit 17 displays the marker 109.
  • the feature color detection unit 15 can extract a region including the subject 102, and is selected and displayed as the marker 109.
  • the controller 18 can detect an object such as an animal or a car that cannot be extracted by the face detection unit 14 by using the characteristic color detection unit 15 and can select it as a specific target. .
  • FIG. 6 is a flowchart showing the operation of the imaging apparatus 100 when the user selects a subject.
  • the imaging apparatus 100 displays an image being captured by the imaging unit 10 on the display unit 13 (S401).
  • the face detection unit 14 analyzes the image data generated by the signal processing unit 11 and detects a human face from the image data (S402).
  • the controller 18 controls the specific area display unit 17 so that the marker indicating the detected face is superimposed on the image data being captured and displayed on the display unit 13. (S404).
  • the controller 18 detects whether or not a change operation to a mode (subject selection mode) in which the user can select the subject displayed on the display unit 13 has been performed (S405).
  • a mode subject selection mode
  • the controller 18 waits for the change to the subject selection mode.
  • the controller 18 determines whether or not an operation for selecting a subject to be recognized has been performed on the screen displayed on the display unit 13 by the user (S406).
  • a method of selecting a subject when the display unit 13 corresponds to a touch panel, the subject is selected by touching the subject displayed on the display unit 13 by the user.
  • the user operates the cross key or the like of the operation unit 16 to move the pointer displayed on the display unit 13 and the pointer is on the subject to be selected.
  • a subject is selected by pressing a determination button or the like on the operation unit 16.
  • the controller 18 waits for the selection operation to be performed.
  • the controller 18 determines whether or not there is an area where the face is detected by the face detection unit 15 (S407).
  • the controller 18 When there is no region indicating the face detected in advance by the face detection unit 15 (NO in S407), the controller 18 inputs the selected position to the feature color detection unit 15, and the feature color detection unit 15 determines the region. Processing is performed (S410). When there is an area indicating the face detected in advance by the face detection unit 15 (YES in S407), the controller 18 determines whether or not the selected position is within the area indicating the face detected at least one or more. Is determined (S408).
  • the controller 18 inputs the selected position to the feature color detection unit 15 and performs the area determination process in the feature color detection unit 15 ( S410).
  • the controller 18 displays a marker indicating that the selected position is included in the face detection area including the selected position in the specific area display unit 17. Is displayed on the display unit 13 (S409). Even when the feature color detection unit 15 performs the feature color detection process (S410), the controller 18 controls the specific region display unit 17 to display a marker in the region surrounding the feature color in the determined region. 13 is displayed (S411).
  • the marker indicating the selected area is displayed differently from the marker indicating the face area detected by the face detection unit 14 displayed in S404. As shown in FIGS. 4 and 5, the marker indicating the selected area may change the display shape with the marker indicating the face area, or may change the color of the marker frame in the same shape.
  • step S410 the area determination process by the characteristic color detection unit 15 in step S410 will be described.
  • FIG. 7 shows a subject to which the marker 50 is set.
  • the characteristic color detection unit 15 performs a region determination operation on the subject for which the marker 50 is set in the image data.
  • the characteristic color detection unit 15 performs color storage processing, search region acquisition processing, and color information search processing. This will be specifically described below.
  • the color storage process is a process for storing the color information of the image data in the marker 50 in the recording medium.
  • the storage medium a buffer memory, a flash memory, a memory card, etc. (not shown) are conceivable, but are not limited thereto.
  • Color information may be stored in a recording medium included in the image recording unit 12.
  • the characteristic color detection unit 15 acquires the image data in the marker 50 (FIG. 8A). Then, the characteristic color detection unit 15 acquires color information of the image data in the marker 50.
  • the color information is expressed in a hue color space. That is, the hue can be expressed by an angle as a phase angle of 0 to 360 degrees.
  • the angle of the corresponding color is ⁇ .
  • the image data in the marker 50 in FIG. 8A can be expressed by the histogram in FIG. 8B.
  • the horizontal axis of the histogram represents an angle (degree)
  • the vertical axis represents the number of pixels of each hue existing in the region shown in FIG.
  • Min is 0 degrees
  • Max is 359 degrees.
  • the characteristic color detection unit 15 stores the color information of the marker 50 thus acquired in a storage medium such as a buffer memory, a flash memory, or a memory card.
  • a storage medium such as a buffer memory, a flash memory, or a memory card.
  • the color information of the tracking area is stored in a storage medium built in the digital camera 1. In this way, the time for reading color information in the tracking area can be shortened.
  • the hue can also be represented by the position of the color on the spectrum. In this case, this can be achieved by expressing the wavelength of light between 300 nm and 780 nm.
  • the characteristic color detection unit 15 detects an area having a hue within a predetermined range (for example, a range of ⁇ 5% of the hue) based on the hue at a position selected by the user as the above-mentioned “substantially the same color range”. To do. This process is a search area acquisition process. Then, the characteristic color detection unit 15 continues to detect a range having the same color information as the “substantially the same color range” obtained as a result of the search region acquisition process as the selected region.
  • a predetermined range for example, a range of ⁇ 5% of the hue
  • the characteristic color detection unit 15 may specify the above-described range from the entire area of the screen, but may specify the above-described range from a partial area of the screen.
  • a plurality of (for example, four) partial areas having different sizes including the position selected by the user are set, and the range is selected from one partial area including a “substantially the same color range” at a predetermined ratio. May be specified.
  • the range may be searched from the largest partial area among the partial areas in which the hue of “almost the same color range” occupies 20% or more and less than 30%.
  • step S406 determineation process of whether or not a subject is selected
  • it may be performed immediately after displaying the captured image in step S401 and before the face detection process.
  • the controller 18 When the selected position is included in the face detection area later, the controller 18 performs imaging so as to switch to the face detection process by the face detection unit 14 instead of the color detection process by the feature color detection unit 15.
  • the operation of the apparatus 100 may be controlled. Conversely, the face detection process was initially performed, but when the face detection process becomes impossible due to circumstances such as the subject facing sideways, the imaging apparatus 100 is switched to the color detection process by the feature color detection unit 15. The operation may be controlled.
  • the area detected by the face detection unit 14 that is often selected normally can be quickly determined by always operating the face detection unit 14.
  • the feature color detection unit 14 starts the region detection after selecting the region, it takes time until the selected region is determined. .
  • the feature color detection unit 15 that detects a specific subject based on the color information at the selected position is used as the second feature detection unit.
  • this process is an example.
  • the movement of the subject at the selected position may be detected, and the detection and tracking of the subject may be performed based on the amount of movement and the movement direction (also referred to as “motion vector”).
  • the information on the brightness (luminance) of the subject at the selected position may be extracted from the digital signal, and the subject may be detected and tracked based on the information.
  • the image pickup apparatus of the present invention can optimize AE, AF, and the like for a subject intended by the user by using a method that can select a subject other than a specific subject that has been detected in advance. Useful for video cameras and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　撮影者が意図する被写体の撮影を可能にすることにより、自由度の高い撮影環境を提供する。　撮像装置は、被写体からの光を受けて、被写体の像に対応する画像の信号を生成する撮像部と、生成された画像に含まれる特徴を、予め定められた第１の方法で検出する第１の検出部と、生成された画像に含まれる特徴を、第１の方法とは異なる第２の方法で検出する第２の検出部と、生成された画像上の位置を指定する操作を受け付ける操作部と、操作部が操作を受け付けた時点における、第１の検出部が検出した特徴の位置と操作部が受け付けた位置との関係に応じて、第１の検出部および第２の検出部のいずれを用いて時点以降に生成される画像に含まれる特徴を検出するかを決定するコントローラとを備えている。

Description

撮像装置
　本発明は、撮像装置において被写体を認識する技術に関する。
　従来の撮像装置（たとえばデジタルカメラ）の中には、被写体を認識する機能を有するものが存在する。そのような撮像装置は各種の制御を行い、自動露光（ＡＥ）、オートフォーカス（ＡＦ）等を継続して被写体を認識し、最適な条件で撮影することを可能としている。
　特許文献１は、被写体の画像を表示するための画面を有する撮像装置を開示している。この撮像装置では、被写体が同一画面内に複数存在する場合には、撮影者が意図する被写体を選択することが可能である。これにより、選択されたその被写体に対して最適なＡＥ、ＡＦ制御を可能とする。
　特許文献１は、撮像装置を開示する。この撮像装置は、撮像素子２からの画像信号を利用して画面内に領域を設定する領域設定手段３と、撮影者の視線を検知する視線検知手段８，９，１１と、領域設定手段によって設定された領域が複数の場合、そのうちの意図する領域を、前記視線検知手段からの視線情報に基づいて選択する領域選択手段１２とを備えている。画面内に複数の領域が設定されている場合、この撮像装置は、そのうちの意図する領域を、視線情報に基づいて自動的に選択する。
特開平５－３２８１９７号公報
　しかしながら、上記特許文献１に開示されている撮像装置では、使用者が意図する領域を高い精度で検出するには限界がある。特許文献１は、精度を高くすることについて特に開示をしていない。
　本発明の目的は、撮影者が意図する被写体の検出をより高精度に行う撮像装置を提供することにある。
　本発明による撮像装置は、被写体からの光を受けて、前記被写体の像に対応する画像の信号を生成する撮像部と、生成された前記画像に含まれる特徴を、予め定められた第１の方法で検出する第１の検出部と、生成された前記画像に含まれる特徴を、前記第１の方法とは異なる第２の方法で検出する第２の検出部と、生成された前記画像上の位置を指定する操作を受け付ける操作部と、前記操作部が前記操作を受け付けた時点における、前記第１の検出部が検出した特徴の位置と前記操作部が受け付けた位置との関係に応じて、前記第１の検出部および前記第２の検出部のいずれを用いて前記時点以降に生成される画像に含まれる特徴を検出するかを決定するコントローラとを備えている。
　前記撮像装置は、前記第１の検出部を用いて前記画像の中の特徴を検出しているときにおいて、前記撮像部で生成された画像、および、前記第１の検出部で検出された特徴の位置を表示する表示部をさらに備えていてもよい。
　前記第１の検出部は、予め定められたパターンに基づいて、生成された前記画像の中の特徴を検出し、前記第２の検出部は、前記操作部が受け付けた位置および生成された前記画像の色情報に基づいて、生成された前記画像に含まれる特徴を検出してもよい。
　前記第１の検出部は、人の顔を構成する複数の部位の形状および配置関係の少なくとも一方を表すパターンに基づいて、生成された前記画像の中の特徴を検出してもよい。
　前記第１の特徴検出部が前記特徴の位置を検出しているときにおいて、前記コントローラは、前記操作部が受け付けた前記位置が前記特徴が検出された領域内に存在するか否かを判定し、前記位置が、前記特徴が検出された領域内に存在するときは、前記表示部に対し、前記コントローラは、検出された前記特徴の位置に視認可能なマークを表示させてもよい。
　前記第１の特徴検出部が前記特徴の位置を検出しているときにおいて、前記コントローラは、前記操作部が受け付けた前記位置が前記特徴が検出された領域内に存在するか否かを判定し、前記位置が、前記特徴が検出された領域内に存在しないときは、前記コントローラは、前記第２の検出部を用いて前記画像に含まれる特徴を検出することを決定し、前記第２の検出部に対し、前記位置および前記画像の色情報に基づいて前記画像の特徴を検出させ、前記表示部に対し、前記コントローラは、前記第２の検出部に検出させた前記画像の特徴の位置に視認可能なマークを表示させてもよい。
　前記位置が、前記特徴が検出された領域内に存在していた状態から、存在しない状態に変化したときは、前記コントローラは、前記第２の検出部を用いて前記画像に含まれる特徴を検出することを決定し、前記第２の検出部に対し、前記位置および前記画像の色情報に基づいて前記画像の特徴を検出させ、前記表示部に対し、前記コントローラは、前記第２の検出部に検出させた前記画像の特徴の位置に視認可能なマークを表示させてもよい。
　前記位置が、前記特徴が検出された領域内に存在しない状態から、存在する状態に変化したときは、前記表示部に対し、前記コントローラは、前記第１の特徴検出部で検出された前記特徴の位置に視認可能なマークを表示させてもよい。
　前記第１検出部、前記第２検出部、および、前記コントローラの少なくとも２つが１つのチップ回路上に形成されていてもよい。
　本発明にかかる撮像装置には、生成された画像に含まれる特徴を、異なる方法で検出する第１および第２の特徴検出部が設けられている。そして、操作部が画像上の位置指定操作を受け付けた時点における、第１の特徴検出部が検出した特徴の位置と操作部が受け付けた位置との関係に応じて、第１および第２の特徴検出部のいずれを用いて、その時点以降に生成される画像に含まれる特徴を検出するかを決定する。本発明にかかる撮像装置は、第１および第２の特徴検出部を使い分けることにより、撮影者が意図する被写体の検出をより高精度に行うことができる。
（ａ）および（ｂ）は、撮像装置の一例であるデジタルスチルカメラ１００ａおよびビデオカメラ１００ｂの外観を示す図である。 （ａ）～（ｃ）は、本実施形態によるデジタルスチルカメラ１００ａの外観を示す三面図である。 本実施形態に係る被写体認識機能を備えた撮像装置１００の構成を示すブロック図である。 （ａ）および（ｂ）は、表示部１３上に表示される画面例を示す図である。 （ａ）および（ｂ）は、表示部１３上に表示される画面例を示す図である。 ユーザによる被写体選択時の撮像装置１００の動作を示すフローチャートである。 追尾領域となるマーカ５０を示す図である。 追尾領域内の画像データの色情報を示す図である。 色相空間を示す図である。
　以下、添付の図面を参照しながら、本発明による撮像装置の実施形態を説明する。
１．撮像装置の構成
　図１（ａ）および（ｂ）は、撮像装置の一例であるデジタルスチルカメラ１００ａおよびビデオカメラ１００ｂの外観を示している。デジタルスチルカメラ１００ａは主として静止画を撮影するために利用されるが、動画を撮影する機能も有している。一方、ビデオカメラ１００ｂは、主として動画を撮影する機能を有している。
　図２（ａ）～（ｃ）は、本実施形態によるデジタルスチルカメラ１００ａの外観を示す三面図である。図２（ａ）は正面図、（ｂ）は背面図、（ｃ）は上面図である。
　図２（ａ）に示すように、デジタルスチルカメラ１００ａの正面には、レンズ鏡筒２１、フラッシュ２８、および、暗所でＡＦ機能を動作させるための補助光フラッシュ２９が配される。
　一方、図２（ｂ）に示すように、デジタルスチルカメラ１００ａの背面には、表示デバイス１３、および、撮影モードを選択するダイヤル１６ａおよび複数の操作ボタン１６ｂが配される。
　また図２（ｃ）に示すように、デジタルスチルカメラ１００ａの上面には、シャッタボタン２２、電源ボタン２３、および、画角を変えるためのズームレバー３０が配される。
　なお、レンズ鏡筒やフラッシュを除き、ビデオカメラ１００ｂにも同等の機能を有するボタンや機能が備えられているが、それらの説明は省略する。
　以下、本明細書では、デジタルスチルカメラ１００ａおよびビデオカメラ１００ｂを、「撮像装置１００」と総称する。
　図３は、本実施形態に係る被写体認識機能を備えた撮像装置１００の構成を示すブロック図である。
　撮像装置１００は、撮像部１０と、信号処理部１１と、画像記録部１２と、表示部１３と、顔検出部１４と、特徴色検出部１５と、操作部１６と、特定領域表示部１７と、コントローラ１８とを備えている。以下、撮像装置１００の構成要素を詳細に説明する。なお、各構成要素の説明に関連して、周知なハードウェア構成の図示は省略する。
　撮像部１０は、被写体からの光を受け、その被写体の像に対応する画像の信号を生成する。撮像部１０は、光学系と撮像素子とを含んでいる。光学系は、たとえば対物レンズ、ズームレンズ、絞り、ＯＩＳ（Ｏｐｔｉｃａｌ　Ｉｍａｇｅ　Ｓｔａｂｉｌｉｚｅｒ）ユニット、フォーカスレンズを含む（いずれも図示せず）。光学系は、被写体からの光を受け、それらを集光し、被写体像を形成する。撮像素子は、光学系で形成された被写体像を撮像して、その被写体の像に対応する画像のアナログ信号を生成する。撮像素子は、たとえばＣＭＯＳイメージセンサー、ＣＣＤイメージセンサーである。
　信号処理部１１は、撮像部１０において生成された画像のアナログ信号を受け取って予め定められた処理を実行する。信号処理部１１は、１つのチップ回路として実装される。信号処理部１１は、たとえばＡＤコンバータ、画像処理部、システムエンコーダ、システムデコーダを含む（いずれも図示せず）。ＡＤコンバータは、撮像素子で生成された画像のアナログ信号をデジタル信号に変換する。画像処理部は、ＡＤコンバータで変換されたデジタル信号の画像に対して各種画像処理を施す。また画像処理部は、システムエンコーダへ入力するための画像データを生成し、表示部１３に表示するための画像データを生成する。また、画像処理部は、システムデコーダが処理して出力したデジタル信号の画像に対して画像処理を施し、表示部１３に表示するための画像データを生成し、システムエンコーダへ再入力するための画像データを生成する。
　信号処理部１１内の画像処理部は、画像前処理部、画像圧縮部、画像伸張部を含む（いずれも図示せず）。画像前処理部は、ＡＤコンバータで変換されたデジタル信号の画像に対して、ガンマ補正やホワイトバランス補正などの各種画像処理を行う。画像圧縮部は、ＤＣＴ（離散コサイン変換）、ハフマン符号化などをおこなうことにより、画像データを圧縮する。画像圧縮部は、例えば、ＭＰＥＧ－２や、Ｈ．２６４の規格に準拠した圧縮形式により画像データを圧縮する。但し、これらの圧縮規格は一例である。圧縮形式は任意であるし、画像間圧縮などを行わない形式であってもよい。画像伸張部は、画像データを非圧縮の状態に復号化する。この処理は、たとえば信号処理部１１のシステムデコーダから出力された圧縮済みの画像データを表示部１３で再生する場合などに行われる。システムデコーダは、画像記録部１２に記録されたＡＶデータを復号化し、圧縮画像データを生成する。システムデコーダは、生成した圧縮画像データを画像伸張部へ出力する。
　画像記録部１２は、信号処理部１１が出力した画像のデータを記録する。画像記録部１２は、記録媒体に対する記録制御を行うメディアコントローラおよび記録媒体を有している。記録媒体は、フラッシュメモリカード、ハードディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）等である。記録媒体は、撮像装置１００に着脱自在であってもよいし、撮像装置１００に内蔵されていてもよい。
　表示部１３は、液晶モニタや電子ビューファインダなどの表示デバイスである。表示部１３は、撮像部１０で撮像された画像データや、画像記録部１２から読み出したＡＶデータ中の画像データを表示可能である。また、表示部１３は、撮像装置１００の各種の設定情報や、撮影時間などを表示可能である。表示部１３は、信号処理部１１が出力した画像及び検出された特定の対象を表示する。たとえば表示部１３は、以下に説明する顔検出部１４を用いて画像の中の特徴（たとえば人物の顔）を検出しているときにおいて、撮像部１０で生成された画像、および、顔検出部１４で検出された特徴の位置を表示する。
　顔検出部１４は、予め定められた検出方法にしたがって、信号処理部１１が出力した画像の中から人物の顔を検出する。より具体的には、顔検出部１４は、信号処理部１１で生成された画像データを解析し、画像の中から予め定められたパターンを有する箇所を特定する。このパターンは、人の顔を構成する複数の部位（たとえば目、鼻、口）の形状および配置関係の一方または両方の特徴を表すものとして予め用意されている。顔検出部１４は、そのパターンに合致する箇所を人物の顔として検出する。上記処理を継続的に行うことにより、被写体となっている人物が横を向く等の、被写体の状態に大きな変化が生じない限り、顔検出部１４は被写体の顔を検出し続けることが可能である。また顔検出部１４は、顔の位置や大きさを検出するとともに、その特定対応の顔の確からしさを示す信頼度を算出する。
　特徴色検出部１５は、選択位置と信号処理された画像における選択位置を中心とする領域の色情報とを利用して、特定の被写体を検出する。ここでいう「被写体」は、人物に限られず、当該画像上に表示されている任意の対象物（固体のみならず、液体や気体も含む）をいう。また、顔の特徴が検出されにくい角度で撮影された人物であっても被写体になり得る。特徴色検出部１５のより詳細な動作は、後に説明する。
　特徴色検出部１５は、信号処理部１１で生成された画像データと操作部１６からの位置情報より、指定された位置情報を元に画像データ内の特定領域を切り出し、この領域内の色情報を基に特定の被写体を検出する。すなわち特徴色検出部１５は、画像中の色を被写体の特徴として検出している。これは、顔検出部１４が顔の特徴に対応するパターンを利用して人物の顔を検出する方法とは明らかに異なっている。
　操作部１６は、表示部１３上に表示された画像上の位置を指定するユーザの操作やその他各種操作を受け付ける。操作部１６は、たとえば図２（ｂ）に示す形状で配された、または十字に配されたハードウェアキーであってもよいし、タッチスクリーンであってもよい。操作部１６がハードウェアキーのときは、たとえばユーザは、表示部１３に表示されている画像に重畳して表示されたカーソルやマーカ（枠）をハードウェアキーを操作して移動させ、画像上の位置を指定する。また、操作部１６がタッチスクリーンのときは、ユーザは、表示部１３の表示デバイス上に重ねられたタッチスクリーンを押下することで、画像上の位置を指定する。操作部１６は、指定された位置を示す情報（位置情報）をコントローラ１８に伝える。また操作部１６は、位置指定以外の様々なユーザの操作（指示）を受け付け、その指示をコントローラ１８に伝える。
　特定領域表示部１７は、選択された領域を表示する。特定領域表示部１７は、顔検出部１４及び特徴色検出部１５で検出された領域に対応する位置情報や、撮影者（ユーザ）により選択された位置情報をコントローラ１８経由で受け取る。そして、特定領域表示部１７は、その位置情報で特定される位置を明示する領域（たとえばマーカ）を表示するためのマーカ信号を生成する。このマーカ信号は画像データを表示している表示部１３に送られ、その領域が表示部１３上に表示される。
　コントローラ１８は、撮像装置１００全体を制御する。コントローラ１８は、半導体素子を用いた回路、たとえばマイクロコンピュータである。コントローラ１８は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアを組み合わせることにより実現してもよい。本実施形態では、後述する図６に示されたフローチャートの処理を記述したコンピュータプログラムをマイクロコンピュータが実行する。これにより、マイクロコンピュータが、または、マイクロコンピュータから指示を受けた各構成要素が、フローチャートに示される種々の処理を行う。
　たとえばコントローラ１８は、操作部１６がユーザから画像上の位置を指定する操作を受け付けた時点における、顔検出部１４が検出した人物の顔の特徴の位置と、操作部１６が受け付けた画像上の位置との関係を判定する。そしてその結果に応じて、コントローラ１８は、顔検出部１４および特徴色検出部１５のいずれを用いて、それ以降に生成される画像に含まれる画像中の特徴を検出するかを決定する。この処理の詳細は後に詳述する。
　上述のコンピュータプログラムは、ＣＤ－ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。コントローラ１８は、コンピュータプログラムを実行する汎用のマイクロコンピュータによって実現され、または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現されてもよい。
　なお、本実施形態では、顔検出部１４および特徴色検出部１５を、信号処理部１１やコントローラ１８とは別に設けた構成を採用した。しかしながら、この構成は一例である。たとえば信号処理部１１、顔検出部１４、特徴色検出部１５およびコントローラ１８の全てを１チップ回路で実現してもよい。または、図３に示すように、信号処理部１１、顔検出部１４および特徴色検出部１５を１つのチップ回路２７で実現し、コントローラは別のマイクロコンピュータで実現してもよい。または、顔検出部１４、特徴色検出部１５およびコントローラ１８を１つのチップ回路で実現してもよい。あるいは、これらのいずれか２つ（信号処理部１１および顔検出部１４、信号処理部１１および特徴色検出部１５、顔検出部１４および特徴色検出部１５、コントローラ１８および顔検出部１４、コントローラ１８および特徴色検出部１５、信号処理部１１およびコントローラ１８）の組み合わせを１チップで実現してもよい。
２．動作
　上述のように構成された被写体認識機能を備えた撮像装置１００について、その動作を説明する。
　信号処理部１１は、撮像部１０から入力された画像データに対して各種の補正を行う。補正された信号は、画像記録部１２に記録される。また信号処理部１１は、特定対象を検出するための信号を生成する。顔検出部１４は、信号処理部１１からの信号中にある顔を検出する。顔の検出方法として、肌の色を基に検出する方法、複数の部位（たとえば目、鼻、口）の形状および配置関係を基に検出する方法等、様々な方法が知られている。本実施形態では、画像データ中の顔を検出する方法であればどのような方法を用いてもよい。コントローラ１８は、特定領域表示部１７を用いて、検出した特定領域またはその領域の位置を示すマーカを表示部１３に表示させる。
　同時に、コントローラ１８は操作部１６を監視し、ユーザからの操作により表示部１３上の被写体が選択されたか否かを検出する。被写体の選択は、位置情報の入力によって行われる。位置情報が入力されると、コントローラ１８は、その位置情報が、既に検出されている特定対象の検出領域内であるか否かを判断する。そして、特定対象の検出領域内の場合には、コントローラ１８は選択位置を含む領域を抽出する。
　一方、被写体の位置情報が、いずれの特定対象検出領域にも含まれない場合は、コントローラ１８は選択位置を特徴色検出部１５に入力する。特徴色検出部１５は、信号処理部１１からの信号と選択位置情報より特定対象を新たに抽出する。通常、画像中で色情報のみで特定対象を選択するのは、困難である。特徴色検出部１５は、選択位置情報を用いて、その選択位置周辺に存在するほぼ同色の対象を抽出することにより、特定の被写体を抽出する。
　コントローラ１８は、撮像部１０、信号処理部１１等を制御して、抽出された領域に対してＡＦ、ＡＥ等最適となるよう調整する。
　以下、図４および図５を参照しながら、ユーザが顔検出部１４で検出されない被写体を選択するときの撮像装置１００の動作を説明する。
　図４および図５は、表示部１３上に表示される画面例を示す。
　図４（ａ）において、被写体１０１、１０２は、あらかじめ顔検出部１４によって顔検出がされているとする。図４（ａ）には、顔検出が完了したことを示すマーカ１０４、１０５が表示されている。
　この状態において、ユーザが撮影を意図した対象が被写体１０３であるとする。このときユーザは、まず「追尾モード」と表示されたアイコン４０を選択する。すると、コントローラ１８は、特定領域表示部１７に対し、それまで表示されていたマーカ１０４および１０５を消去するよう指示する。
　ユーザは、操作部１６を利用して操作部１６の確定ボタン（図示せず）の押下または画面へのタッチを行うことにより、被写体１０３を選択できる。このように、被写体１０３上の位置を指定することが可能である。位置が指定されると、特徴色検出部１５は、指定された位置とほぼ同色の範囲を決定し、コントローラ１８に通知する。ほぼ同色の範囲に関する情報を取得すると、コントローラ１８は、ほぼ同色の範囲の周囲にマーカー１０８を表示する信号を生成するよう特定領域表示部１７を制御する。
　次に、特徴色検出部１５は、指定された位置とほぼ同色の範囲の画素の色情報を取得し、その中心付近の画素の色を基準として、所定範囲に含まれる色が分布する範囲を抽出する。すなわち、被写体１０３を含む領域を抽出する。特定領域表示部１７は、その領域をマーカ１０８として選択、表示する。なお、「ほぼ同色である範囲」の検出方法の詳細は後述する。
　図５（ａ）および（ｂ）は、選択すべき被写体１０２が人の顔部分であるにも関わらず、被写体の状態に応じて顔検出部１４で検出されない場合に、その被写体１０２を選択する動作を示す。ユーザは、被写体１０２を選択することを意図している。しかしながら、被写体１０２の状態によっては顔検出部１４が検出できない場合がある。
　例えば、図５（ａ）に示すように、横向きの顔の場合や、又は顔が後ろを向いている場合には、顔を構成する目等の要素を検出できない。よって、顔検出部１４は、被写体１０２を検出できない。
　しかしながら本実施形態によれば、ユーザがアイコン４０を押下することにより、画像上の任意の位置を指定することができる。ユーザが、被写体１０２の中心付近を選択することによって位置を指定すると、特定領域表示部１７は、マーカ１０９を表示する。
　特徴色検出部１５は、被写体１０２を含む領域を抽出することができ、マーカ１０９として選択し、表示される。
　以上のように、コントローラ１８は、特徴色検出部１５を用いることにより、顔検出部１４では抽出できない、動物や、車等の物も、検出することができ、特定対象として選択することができる。
　図６は、ユーザによる被写体選択時の撮像装置１００の動作を示すフローチャートである。
　撮像装置１００は、表示部１３上に撮像部１０で撮像中の画像を表示する（Ｓ４０１）。顔検出部１４は、信号処理部１１で生成された画像データを解析し、画像データの中から人物の顔を検出する（Ｓ４０２）。顔検出領域が存在する場合（Ｓ４０３でＹＥＳ）には、コントローラ１８は、特定領域表示部１７を制御して、検出した顔を示すマーカを撮像中の画像データに重畳して表示部１３に表示する（Ｓ４０４）。
　次に、コントローラ１８は、表示部１３に表示された被写体をユーザが選択可能なモード（被写体選択モード）への変更操作が行われた否かを検出する（Ｓ４０５）。撮像装置１００が被写体選択モードに変更された場合（Ｓ４０５でＹＥＳ）には、ユーザは被写体の選択が可能になる。コントローラ１８は、被写体選択モードでない場合（Ｓ４０５でＮＯ）には、被写体選択モードに変更されるのを待つ。
　コントローラ１８は、ユーザによって表示部１３に表示される画面上で、認識させたい被写体を選択する操作が行われた否かを判定する（Ｓ４０６）。ここで、被写体を選択する方法として、表示部１３がタッチパネルに対応する場合には、ユーザが表示部１３に表示されている被写体をタッチすることにより、被写体が選択される。表示部１３がタッチパネルに対応していない場合には、ユーザが操作部１６の十字キー等を操作し、表示部１３上に表示されたポインタを移動させ、ポインタが選択したい被写体上にあるときに操作部１６の決定ボタン等を押下することにより、被写体が選択される。
　コントローラ１８は、被写体の選択操作が行われていない場合（Ｓ４０６でＮＯ）は、選択操作が行われるのを待つ。コントローラ１８は、被写体の選択操作がされた場合（Ｓ４０６でＹＥＳ）は、顔検出部１５で顔検出された領域が存在するか否かを判定する（Ｓ４０７）。
　コントローラ１８は、顔検出部１５で予め検出された顔を示す領域が存在しない場合（Ｓ４０７でＮＯ）は、選択された位置を特徴色検出部１５に入力し、特徴色検出部１５で領域判定処理を行う（Ｓ４１０）。コントローラ１８は、顔検出部１５で予め検出された顔を示す領域が存在する場合（Ｓ４０７でＹＥＳ）は、選択された位置が、少なくともひとつ以上検出されている顔を示す領域内であるか否かを判定する（Ｓ４０８）。
　コントローラ１８は、選択位置がいずれの顔検出領域内にも含まれない場合（Ｓ４０８でＮＯ）は、選択位置を特徴色検出部１５に入力し、特徴色検出部１５で領域判定処理を行う（Ｓ４１０）。コントローラ１８は、選択位置が予め検出されている顔領域のいずれかに含まれる場合（Ｓ４０８でＹＥＳ）は、選択位置を含む顔検出領域に選択されたことを示すマーカを、特定領域表示部１７を制御して表示部１３に表示させる（Ｓ４０９）。コントローラ１８は、特徴色検出部１５で特徴色検出処理を行った（Ｓ４１０）際についても、判定された領域内の特徴色を囲む領域にマーカを、特定領域表示部１７を制御して表示部１３に表示させる（Ｓ４１１）。ここで、選択された領域を示すマーカは、Ｓ４０４において表示する顔検出部１４で検出された顔領域を示すマーカとは異なる表示を行う。選択された領域を示すマーカは、図４および図５に示すように、顔領域を示すマーカと表示の形状を変えてもよいし、同じ形状でマーカの枠の色を変化させてもよい。
　次に、ステップＳ４１０の特徴色検出部１５による領域判定処理を説明する。
　たとえば図７は、マーカ５０が設定された被写体を示す。特徴色検出部１５は、画像データにおいてマーカ５０が設定された被写体に対し、領域判定動作を行う。領域判定動作を可能にするため、特徴色検出部１５は、色記憶処理、検索領域取得処理、および、色情報検索処理を行う。以下具体的に説明する。
　色記憶処理は、マーカ５０内の画像データの色情報を記録媒体に記憶する処理である。ここで記憶媒体としては、図示されないバッファメモリ、フラッシュメモリ、メモリカードなどが考えられるが、これに限らない。画像記録部１２が有する記録媒体に色情報を記憶してもよい。
　特徴色検出部１５は、マーカ５０内の画像データを取得する（図８（Ａ））。そして特徴色検出部１５は、マーカ５０内の画像データの色情報を取得する。ここで色情報は、色相の色空間で表現する。すなわち、色相は、０～３６０度の位相角として角度により表すことができる。ここで色空間がＨＳＶ色空間の場合、図９のように、Ｒ＝０／Ｇ＝１２０／Ｂ＝２４０の位置関係で表現できる。例えば、該当色が図９のように位置する場合、該当色の角度は、θとなる。これによって、例えば、図８（Ａ）のマーカ５０内の画像データでは、図８（Ｂ）のヒストグラムで表現できる。ここでヒストグラムの横軸は、角度（度）を表しており、縦軸は、図８（Ａ）に示す領域内に存在する各色相の画素の数を表している。横軸は、Ｍｉｎが０度であり、Ｍａｘが３５９度である。
　特徴色検出部１５はこのようにして取得されたマーカ５０の色情報を、バッファメモリまたはフラッシュメモリ、メモリカードなどの記憶媒体に記憶する。好ましくは、追尾領域の色情報をデジタルカメラ１に内蔵された記憶媒体に記憶する。このようにすれば、追尾領域の色情報の読み出し時間を短くすることができる。なお、色相はスペクトル上での色の位置で表すことも可能である。この場合、光の波長を３００ｎｍ～７８０ｎｍで表現することで可能となる。
　特徴色検出部１５は、ユーザによって選択された位置における色相を基準とした所定範囲内（たとえば色相の±５％の範囲）の色相を有する領域を、上述の「ほぼ同色である範囲」として検出する。この処理が検索領域取得処理である。そして、特徴色検出部１５は、検索領域取得処理の結果得られた「ほぼ同色である範囲」と同じ色情報を有する範囲を以後も選択された領域として検出し続ける。
　なお、特徴色検出部１５は、画面全体の領域から上述の範囲を特定してもよいが、画面の一部の領域から上述の範囲を特定してもよい。
　たとえば、ユーザによって選択された位置を含む、大きさの異なる複数（たとえば４つ）の部分領域を設定し、「ほぼ同色である範囲」を所定の割合で含む１つの部分領域の中からその範囲を特定してもよい。たとえば、「ほぼ同色である範囲」の色相が２０％以上３０％未満を占める部分領域のうち、最大の部分領域の中から、その範囲を検索すればよい。
　以上、特徴色検出部１５の処理を説明した。
　なお、上述したステップＳ４０６の処理（被写体が選択されているか否かの判断処理）を行うタイミングは、一例である。他には、たとえばステップＳ４０１の撮像画像の表示を行った直後、かつ、顔検出処理の前に行ってもよい。
　また、選択位置が後に顔検出領域に含まれることになった場合には、コントローラ１８は、特徴色検出部１５による色検出処理に代えて、顔検出部１４による顔検出処理に切り換えるよう、撮像装置１００の動作を制御してもよい。逆に、当初は顔検出処理を行っていたが、被写体が横を向いてしまった等の事情によって顔検出処理ができなくなったときには、特徴色検出部１５による色検出処理に切り換えるよう撮像装置１００の動作を制御してもよい。
　以上のように、ユーザが望む被写体を選択することにより、顔検出部１４で検出される人の顔以外にも、顔検出部１４で検出されない動物や、横向きの顔も選択することができ、被写体選択の自由度が高くなり、ユーザの意図する被写体を指定することができる。
　さらに、通常選択されることが多い顔検出部１４で検出される領域は、顔検出部１４を常に動作させることにより、選択領域を迅速に確定させることができる。一方、特徴色検出部１４は、領域選択後に領域検出を開始するため、選択領域を確定するまでに時間を要するが、常に動作させる必要がなく、撮像装置１００の処理負荷を軽減することができる。
　本実施形態では、第２の特徴検出部として、選択された位置における色情報を基に特定被写体を検出する特徴色検出部１５を用いる形態について説明した。しかしながら、この処理は一例である。選択された位置における被写体の動きを検出し、動き量および動き方向（「動きベクトル」ともいう。）に基づいて、被写体の検出および追従を行ってもよい。または、選択された位置における被写体の明るさ（輝度）の情報をデジタル信号から抽出し、その情報に基づいて被写体の検出および追従を行ってもよい。
　本発明の撮像装置は、予め検出されている特定被写体以外の被写体についても選択可能な方式を用いることによりＡＥ，ＡＦ等がユーザの意図する被写体に最適化されることが可能となり、デジタルカメラ、ビデオカメラ等で有用である。
　１０　撮像部
　１１　信号処理部
　１２　画像記録部
　１３　表示部
　１４　顔検出部
　１５　特徴色検出部
　１６　操作部
　１７　特定領域表示部
　１８　コントローラ
　１００　撮像装置

Claims (9)

  1. 　被写体からの光を受けて、前記被写体の像に対応する画像の信号を生成する撮像部と、
    　生成された前記画像に含まれる特徴を、予め定められた第１の方法で検出する第１の検出部と、
    　生成された前記画像に含まれる特徴を、前記第１の方法とは異なる第２の方法で検出する第２の検出部と、
    　生成された前記画像上の位置を指定する操作を受け付ける操作部と、
    　前記操作部が前記操作を受け付けた時点における、前記第１の検出部が検出した特徴の位置と前記操作部が受け付けた位置との関係に応じて、前記第１の検出部および前記第２の検出部のいずれを用いて前記時点以降に生成される画像に含まれる特徴を検出するかを決定するコントローラと
    　を備えた撮像装置。
  2. 　前記第１の検出部を用いて前記画像の中の特徴を検出しているときにおいて、前記撮像部で生成された画像、および、前記第１の検出部で検出された特徴の位置を表示する表示部をさらに備えた、請求項１に記載の撮像装置。
  3. 　前記第１の検出部は、予め定められたパターンに基づいて、生成された前記画像の中の特徴を検出し、
    　前記第２の検出部は、前記操作部が受け付けた位置および生成された前記画像の色情報に基づいて、生成された前記画像に含まれる特徴を検出する、請求項１又は２に記載の撮像装置。
  4. 　前記第１の検出部は、人の顔を構成する複数の部位の形状および配置関係の少なくとも一方を表すパターンに基づいて、生成された前記画像の中の特徴を検出する、請求項３に記載の撮像装置。
  5. 　前記第１の特徴検出部が前記特徴の位置を検出しているときにおいて、
    　前記コントローラは、前記操作部が受け付けた前記位置が前記特徴が検出された領域内に存在するか否かを判定し、
    　前記位置が、前記特徴が検出された領域内に存在するときは、前記表示部に対し、前記コントローラは、検出された前記特徴の位置に視認可能なマークを表示させる、請求項２に記載の撮像装置。
  6. 　前記第１の特徴検出部が前記特徴の位置を検出しているときにおいて、
    　前記コントローラは、前記操作部が受け付けた前記位置が前記特徴が検出された領域内に存在するか否かを判定し、
    　前記位置が、前記特徴が検出された領域内に存在しないときは、前記コントローラは、前記第２の検出部を用いて前記画像に含まれる特徴を検出することを決定し、前記第２の検出部に対し、前記位置および前記画像の色情報に基づいて前記画像の特徴を検出させ、前記表示部に対し、前記コントローラは、前記第２の検出部に検出させた前記画像の特徴の位置に視認可能なマークを表示させる、請求項２に記載の撮像装置。
  7. 　前記位置が、前記特徴が検出された領域内に存在していた状態から、存在しない状態に変化したときは、前記コントローラは、前記第２の検出部を用いて前記画像に含まれる特徴を検出することを決定し、前記第２の検出部に対し、前記位置および前記画像の色情報に基づいて前記画像の特徴を検出させ、前記表示部に対し、前記コントローラは、前記第２の検出部に検出させた前記画像の特徴の位置に視認可能なマークを表示させる、請求項５に記載の撮像装置。
  8. 　前記位置が、前記特徴が検出された領域内に存在しない状態から、存在する状態に変化したときは、前記表示部に対し、前記コントローラは、前記第１の特徴検出部で検出された前記特徴の位置に視認可能なマークを表示させる、請求項６に記載の撮像装置。
  9. 　前記第１検出部、前記第２検出部、および、前記コントローラの少なくとも２つが１つのチップ回路上に形成されている、請求項１に記載の撮像装置。
PCT/JP2009/007116 2008-12-26 2009-12-22 撮像装置 WO2010073619A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP09834427A EP2373002A4 (en) 2008-12-26 2009-12-22 IMAGE CAPTURE DEVICE
CN2009801525790A CN102265602A (zh) 2008-12-26 2009-12-22 图像拍摄装置
US13/142,080 US8830374B2 (en) 2008-12-26 2009-12-22 Image capture device with first and second detecting sections for detecting features
JP2010543854A JP5331128B2 (ja) 2008-12-26 2009-12-22 撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008332551 2008-12-26
JP2008-332551 2008-12-26

Publications (1)

Publication Number Publication Date
WO2010073619A1 true WO2010073619A1 (ja) 2010-07-01

Family

ID=42287266

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/007116 WO2010073619A1 (ja) 2008-12-26 2009-12-22 撮像装置

Country Status (5)

Country Link
US (1) US8830374B2 (ja)
EP (1) EP2373002A4 (ja)
JP (1) JP5331128B2 (ja)
CN (1) CN102265602A (ja)
WO (1) WO2010073619A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012137675A (ja) * 2010-12-27 2012-07-19 Canon Inc 画像処理装置及びその制御方法、プログラム並びに記憶媒体
WO2012144195A1 (ja) * 2011-04-18 2012-10-26 パナソニック株式会社 撮像装置、撮像装置の合焦制御方法、及び集積回路
WO2013001940A1 (ja) * 2011-06-29 2013-01-03 オリンパスイメージング株式会社 追尾装置及び追尾方法
CN110059530A (zh) * 2017-12-11 2019-07-26 欧姆龙株式会社 面部位置检测装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9845427B2 (en) 2009-10-20 2017-12-19 Self-Suspending Proppant Llc Proppants for hydraulic fracturing technologies
JP5731083B1 (ja) * 2014-06-13 2015-06-10 株式会社日立システムズ 作業記録装置、作業記録システム、作業記録プログラムおよび作業記録方法
US9111164B1 (en) 2015-01-19 2015-08-18 Snapchat, Inc. Custom functional patterns for optical barcodes
CN107736009A (zh) * 2015-06-16 2018-02-23 奥林巴斯株式会社 运算方法、运算程序和拍摄装置
US9911073B1 (en) 2016-03-18 2018-03-06 Snap Inc. Facial patterns for optical barcodes
US10009536B2 (en) * 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
US10146971B1 (en) 2017-03-14 2018-12-04 Snap Inc. Optical barcodes without orientation
US11223802B2 (en) * 2019-07-31 2022-01-11 Ricoh Company, Ltd. Image-based determination apparatus and image-based determination system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328197A (ja) 1992-05-22 1993-12-10 Canon Inc 撮影装置
JPH11136568A (ja) * 1997-10-31 1999-05-21 Fuji Photo Film Co Ltd タッチパネル操作式カメラ
JP2002369215A (ja) * 2001-06-04 2002-12-20 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2005117530A (ja) * 2003-10-10 2005-04-28 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2008182662A (ja) * 2006-09-14 2008-08-07 Olympus Imaging Corp カメラ
JP2008271132A (ja) * 2007-04-19 2008-11-06 Matsushita Electric Ind Co Ltd 撮像装置及び撮像方法
JP2008311817A (ja) * 2007-06-13 2008-12-25 Sony Corp 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118484A (en) 1992-05-22 2000-09-12 Canon Kabushiki Kaisha Imaging apparatus
JP3222091B2 (ja) * 1997-05-27 2001-10-22 シャープ株式会社 画像処理装置及び画像処理装置制御プログラムを記憶した媒体
JP2003219225A (ja) * 2002-01-25 2003-07-31 Nippon Micro Systems Kk 動体画像監視装置
US8159561B2 (en) 2003-10-10 2012-04-17 Nikon Corporation Digital camera with feature extraction device
JP2007279601A (ja) * 2006-04-11 2007-10-25 Nikon Corp カメラ
US8599251B2 (en) 2006-09-14 2013-12-03 Olympus Imaging Corp. Camera
CN101146178A (zh) * 2006-09-14 2008-03-19 奥林巴斯映像株式会社 摄像机
JP5056061B2 (ja) 2007-02-22 2012-10-24 株式会社ニコン 撮像装置
US20080284900A1 (en) 2007-04-04 2008-11-20 Nikon Corporation Digital camera
JP5251215B2 (ja) * 2007-04-04 2013-07-31 株式会社ニコン デジタルカメラ
JP2008301355A (ja) * 2007-06-01 2008-12-11 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP5046788B2 (ja) * 2007-08-10 2012-10-10 キヤノン株式会社 撮像装置及びその制御方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328197A (ja) 1992-05-22 1993-12-10 Canon Inc 撮影装置
JPH11136568A (ja) * 1997-10-31 1999-05-21 Fuji Photo Film Co Ltd タッチパネル操作式カメラ
JP2002369215A (ja) * 2001-06-04 2002-12-20 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2005117530A (ja) * 2003-10-10 2005-04-28 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2008182662A (ja) * 2006-09-14 2008-08-07 Olympus Imaging Corp カメラ
JP2008271132A (ja) * 2007-04-19 2008-11-06 Matsushita Electric Ind Co Ltd 撮像装置及び撮像方法
JP2008311817A (ja) * 2007-06-13 2008-12-25 Sony Corp 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012137675A (ja) * 2010-12-27 2012-07-19 Canon Inc 画像処理装置及びその制御方法、プログラム並びに記憶媒体
WO2012144195A1 (ja) * 2011-04-18 2012-10-26 パナソニック株式会社 撮像装置、撮像装置の合焦制御方法、及び集積回路
US8842213B2 (en) 2011-04-18 2014-09-23 Panasonic Corporation Image capture device, image capture device focus control method, and integrated circuit
JP5829679B2 (ja) * 2011-04-18 2015-12-09 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 撮像装置、撮像装置の合焦制御方法、及び集積回路
WO2013001940A1 (ja) * 2011-06-29 2013-01-03 オリンパスイメージング株式会社 追尾装置及び追尾方法
CN103004179A (zh) * 2011-06-29 2013-03-27 奥林巴斯映像株式会社 跟踪装置和跟踪方法
JP5226903B1 (ja) * 2011-06-29 2013-07-03 オリンパスイメージング株式会社 追尾装置及び追尾方法
US8878940B2 (en) 2011-06-29 2014-11-04 Olympus Imaging Corp. Tracking apparatus for tracking target subject in input image
CN110059530A (zh) * 2017-12-11 2019-07-26 欧姆龙株式会社 面部位置检测装置
CN110059530B (zh) * 2017-12-11 2023-07-04 欧姆龙株式会社 面部位置检测装置

Also Published As

Publication number Publication date
US20110298941A1 (en) 2011-12-08
EP2373002A4 (en) 2012-07-25
JP5331128B2 (ja) 2013-10-30
US8830374B2 (en) 2014-09-09
CN102265602A (zh) 2011-11-30
EP2373002A1 (en) 2011-10-05
JPWO2010073619A1 (ja) 2012-06-07

Similar Documents

Publication Publication Date Title
JP5331128B2 (ja) 撮像装置
JP4457358B2 (ja) 顔検出枠の表示方法、文字情報の表示方法及び撮像装置
US7868917B2 (en) Imaging device with moving object prediction notification
US7881601B2 (en) Electronic camera
JP5867424B2 (ja) 画像処理装置、画像処理方法、プログラム
JP6157242B2 (ja) 画像処理装置及び画像処理方法
JP5623915B2 (ja) 撮像装置
JP2013013050A (ja) 撮像装置及びこの撮像装置を用いた表示方法
US20080309785A1 (en) Photographing apparatus
JP4509081B2 (ja) デジタルカメラ及びデジタルカメラのプログラム
US8243180B2 (en) Imaging apparatus
US7885527B2 (en) Focusing apparatus and method
JP5409483B2 (ja) 撮像装置
JP2008288797A (ja) 撮像装置
JP4842919B2 (ja) 表示装置、撮影装置、および表示方法
JP2011066827A (ja) 画像処理装置、画像処理方法及びプログラム
JP4632417B2 (ja) 撮像装置、及びその制御方法
JP4877186B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2009169884A (ja) 撮影装置および撮影装置の制御方法、画像再生装置および方法並びにプログラム
JP5644180B2 (ja) 撮像装置、撮像方法及びプログラム
JP2011248156A (ja) 撮像装置、撮像方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980152579.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09834427

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010543854

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009834427

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13142080

Country of ref document: US