WO2011141991A1 - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
WO2011141991A1
WO2011141991A1 PCT/JP2010/057904 JP2010057904W WO2011141991A1 WO 2011141991 A1 WO2011141991 A1 WO 2011141991A1 JP 2010057904 W JP2010057904 W JP 2010057904W WO 2011141991 A1 WO2011141991 A1 WO 2011141991A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image frame
size
unit
interest
Prior art date
Application number
PCT/JP2010/057904
Other languages
English (en)
French (fr)
Inventor
牛嶋悟
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2012514623A priority Critical patent/JP5553109B2/ja
Priority to PCT/JP2010/057904 priority patent/WO2011141991A1/ja
Publication of WO2011141991A1 publication Critical patent/WO2011141991A1/ja
Priority to US13/666,369 priority patent/US8970723B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Definitions

  • the present invention relates to an image processing apparatus and an image processing program for processing image data obtained by a digital camera.
  • a digital camera (or an electronic camera) having a function of tracking a moving subject is known.
  • Such a digital camera can keep the focus by tracking the subject even when the subject desired by the user moves, for example.
  • the automatic tracking device includes a first object detection unit, a first zoom control unit, a second object detection unit, a template matching unit, and a second zoom control unit.
  • the first object detection unit detects an object from an image captured and input by a camera.
  • the first zoom control unit changes the zoom magnification of the camera when the size of the detected object is smaller than a predetermined size on the image.
  • the second object detection unit detects the object from the image captured by the camera again after the zoom magnification is changed.
  • the template matching unit compares the object detected by the second object detection unit with the image captured by the camera, identifies the position of the object, and tracks the object on the image.
  • the second zoom control unit controls the zoom magnification of the camera so that the tracked object has a predetermined size on an image captured by the camera.
  • a moving object tracking device including a camera, a first memory, a second memory, and a correlator.
  • the camera includes a zoom mechanism.
  • the first memory stores an image signal input from the camera every moment.
  • the second memory extracts and stores a predetermined tracking target object image from the first memory.
  • the correlator extracts from the image in the first memory the image that most closely approximates the image from the second memory.
  • the moving object tracking device stores the image extracted by the correlator as a new image of the tracking target object in the second memory, and controls the camera angle and the zoom mechanism based on the deviation between this storage and the previous storage.
  • Patent Document 2 For example, Patent Document 2
  • an image transmission system that can easily display a continuous image or a moving image obtained by cutting a part from a captured image captured by a video camera on a mobile terminal.
  • This image transmission system includes a video camera provided with a control drive device, and a camera control unit that detects a face of the target animal from the captured image data and generates a control signal for the video camera to track the face of the target animal
  • An image data editing unit that corrects and edits the captured image data, and a transmission system that transmits continuous images or moving image data obtained by cutting out a part of the captured image data by the image data editing unit to a mobile terminal. It has. Then, the image data editing unit converts an image obtained by cutting out the face portion of the target animal from the captured image data into an image having a substantially constant number of pixels or a fixed size and transmits the image.
  • digital cameras that perform automatic focus control using the results of moving object tracking require tracking in real time. That is, it is preferable to shorten the processing time for extracting a region corresponding to the target subject in each image frame.
  • the processing amount for extracting an area corresponding to the target subject increases. That is, depending on the state of the target subject on the image frame, the processing time required for moving object tracking becomes long.
  • An object of the present invention is to reduce the data processing amount of moving object tracking using image data.
  • An image processing apparatus includes an extraction unit that extracts a region of interest that satisfies a predetermined condition in a first image frame, and an image size based on the size of the region of interest extracted by the extraction unit. And a size conversion unit that converts the processing target image frame to the image size determined by the size determination unit. Then, the extraction unit extracts a region of interest that satisfies the predetermined condition in the processing target image frame converted by the image conversion unit.
  • the amount of data processing is reduced in moving object tracking using image data.
  • FIG. 1 is a diagram illustrating a configuration of a digital camera 1 including an image processing apparatus according to an embodiment.
  • the digital camera (electronic camera) 1 includes an image input unit 11, a control unit 12, a moving object tracking unit 13, and an output unit 14.
  • the image input unit 11 includes an image sensor such as a CCD sensor or a CMOS sensor, and generates image data by photographing. At this time, the image input unit 11 generates image data at a predetermined time interval. That is, the image input unit 11 generates and outputs image data with different shooting times one after another.
  • the time interval is not particularly limited, but is about 30 frames / second, for example.
  • the image input unit 11 also includes a focus control unit 21 that adjusts the focal length in accordance with a focus instruction from the control unit 12.
  • the image input unit 11 also includes an image memory 22 that temporarily stores image data.
  • the control unit 12 controls the operation of the digital camera 1. That is, the control unit 12 activates the moving body tracking unit 13 and transfers the image data output from the image input unit 11 to the moving body tracking unit 13 to request a moving body tracking process. Then, the control unit 12 sends a focus instruction to the image input unit 11 based on the tracking result by the moving object tracking unit 13. Further, the control unit 12 transmits the image data obtained by the image input unit 11 and the tracking result by the moving body tracking unit 13 to the output unit 14.
  • control unit 12 also performs other control operations.
  • control unit 12 provides a user interface and controls the operation of the digital camera 1 in accordance with an instruction from the user.
  • control unit 12 may control the operation of the digital camera 1 using various sensors provided in the digital camera 1.
  • the output unit 14 is a liquid crystal display, for example, and displays image data obtained by the image input unit 11. At this time, the output unit 14 can display the tracking result by the moving body tracking unit 13 superimposed on the image data obtained by the image input unit 11.
  • the process of combining the image data representing the tracking result with the image data obtained by the image input unit 11 may be executed by the control unit 12 or may be executed by the output unit 14. Further, the output unit 14 may provide a function of receiving a user instruction using a touch panel element.
  • the image data displayed on the output unit 14 is image data obtained by the image input unit 11, but this image data may not be stored as actually captured image data. That is, the output unit 14 can display the image data obtained by the image input unit 11 as a finder image.
  • the moving object tracking unit 13 uses the image data output from the image input unit 11 to execute a moving object tracking process. That is, the moving body tracking unit 13 is realized by an image processing apparatus.
  • the image processing apparatus is realized by, for example, one or a plurality of semiconductor chips including a processor that executes an image processing program describing a moving object tracking procedure.
  • the image processing apparatus may be realized by a hardware circuit that realizes a moving object tracking procedure.
  • the image processing apparatus may include hardware and software.
  • FIG. 2 is a diagram for explaining moving object tracking by the digital camera 1.
  • shooting is performed at times T, T + 1, and T + 2 by the image input unit 11, and image frames n, n + 1, and n + 2 are generated.
  • the output unit 14 displays the image frames n, n + 1, and n + 2 in order.
  • an image area corresponding to the subject A and the object B is formed.
  • the subject A is a moving object
  • the object B is a non-moving object.
  • the control unit 12 gives a focus instruction to the image input unit 11 in response to the user instruction.
  • the focus control unit 21 controls a focus adjustment mechanism (for example, an optical system including one or more lenses) so that the subject A is focused.
  • the image input unit 11 performs the next shooting while the focal length is controlled. Note that image data obtained by shooting in a state where the focal length is controlled is stored in the image memory 22.
  • the control unit 12 instructs the output unit 14 to display a focus mark. As a result, the focus mark 41 is displayed over the subject A in the image displayed by the output unit 14.
  • the moving object tracking unit 13 uses the image data output from the image input unit 11 to track the subject A specified by the user. At this time, the moving body tracking unit 13 detects an image area corresponding to the subject A in each of the image frames n, n + 1, and n + 2. Then, the tracking result by the moving body tracking unit 13 is sent to the control unit 12.
  • control unit 12 sends a focus instruction to the image input unit 11 according to the tracking result by the moving body tracking unit 13 and notifies the output unit 14 of the tracking result.
  • the image input unit 11 can continue the photographing operation while maintaining the focus on the subject A.
  • the display position of the focus mark 41 is controlled according to the movement of the subject A. That is, as shown in FIG. 2, the state in which the focus mark 41 is displayed superimposed on the image area corresponding to the subject A is maintained.
  • image frames 51 ⁇ / b> A, 51 ⁇ / b> B, and 51 ⁇ / b> C are image frames generated by the image input unit 11 and input to the moving object tracking unit 13.
  • the subject 52 is shown in the image frames 51A, 51B, and 51C.
  • the subject 52 is a tracking target object designated by the user.
  • the moving object tracking unit 13 includes an image memory 31, an extracting unit 32, a size determining unit 33, and an image converting unit 34 in order to provide an image processing method for realizing moving object tracking.
  • the image memory 31 temporarily stores image frames.
  • the moving body tracking unit 13 includes a memory used by the extraction unit 32, the size determination unit 33, and the image conversion unit 34 as a work area for image processing.
  • Each image frame output from the image input unit 11 is sequentially transferred to the moving body tracking unit 13 by the control unit 12.
  • the moving object tracking unit 13 stores each input image frame in the image memory 31.
  • the extraction unit 32 extracts a region of interest that satisfies a predetermined condition in each input image frame. At this time, the extraction unit 32 extracts an attention area that includes the attention point and satisfies a predetermined condition in the input image frame.
  • the attention point is a pixel (or coordinates) designated in the immediately preceding image frame.
  • the initial value of the attention point is specified by the user, for example. The user can specify the subject to be focused while viewing the image displayed on the output unit 14. In this case, the center (or centroid) of the image area corresponding to the subject designated by the user is used as the initial value of the attention point.
  • Predetermined conditions are represented by pixel feature quantities in this example.
  • the feature amount of the pixel for example, a luminance component and / or a color difference component is used.
  • the extraction unit 32 extracts pixels having the same or similar feature amount as the pixel of interest.
  • the luminance component of the pixel of interest is “210” when the luminance component of the pixel is represented by 0 to 255.
  • the extraction unit 32 extracts pixels whose luminance component values are in the range of 200 to 220 in the input image frame.
  • the extraction unit 21 is a pixel that satisfies the three conditions of an R component value ranging from 90 to 110, a G component ranging from 130 to 150, and a B component ranging from 75 to 95.
  • the range of each component may be determined in the same manner, and pixels that satisfy the range condition may be extracted. .
  • the extraction unit 32 extracts continuous image regions including the target point. Therefore, the extraction unit 32 extracts a region of interest by the following procedure, for example.
  • the same extraction process as in the procedure (2) is performed on the adjacent pixels extracted by the procedure (2).
  • the above-described procedures (2) to (3) are executed until an adjacent pixel whose difference from the feature amount of the pixel of interest is smaller than the threshold is not detected.
  • a continuous pixel region that is, a target region
  • the extraction of the attention area is not particularly limited, but can be realized by a known method.
  • the extraction unit 32 extracts the attention area in the converted image frame obtained by changing the image size of the input image frame, instead of extracting the attention area from the input image frame as necessary. For example, the extraction unit 32 extracts the attention area in the converted image frame obtained by reducing the input image frame.
  • the moving body tracking unit 13 extracts a region of interest in each image frame, and outputs information indicating the position of the region of interest (that is, coordinates in the image frame) as a tracking result. At this time, if the area of the attention area is large on the image frame, the number of pixels forming the attention area increases, and therefore the execution time of the above-described procedures (1) to (4) becomes longer. Therefore, the moving object tracking unit 13 reduces the size of the image frame according to the size of the attention area on the image frame. Then, the attention area is extracted in the reduced image frame.
  • the moving body tracking unit 13 determines that it is not necessary to reduce the input image frame 51A. That is, the moving body tracking unit 13 extracts the subject 52 in the input image frame 51A without changing the size of the input image frame 51A.
  • the moving body tracking unit 13 determines that the input image frame 51B needs to be reduced.
  • the reduction rate is 50%.
  • the reduction rate of 50 percent means that the area is reduced to a quarter. Then, the moving body tracking unit 13 extracts the subject 52 in the converted image frame 53B obtained by reducing the input image frame 51B at this reduction rate.
  • the moving body tracking unit 13 determines that the input image frame 51C needs to be further reduced.
  • the reduction ratio is 25%.
  • the reduction rate of 25% means that the area is reduced to 1/16. Then, the moving body tracking unit 13 extracts the subject 52 in the converted image frame 53C obtained by reducing the input image frame 51C at this reduction rate.
  • the reduction ratio is determined so that, for example, the area of the image region corresponding to the tracking target object in each image frame is substantially constant.
  • the reduction ratio is determined so that the image areas of the subject 52 are substantially the same in the input image frame 51A and the converted image frames 53B and 53C.
  • the digital camera 1 of the embodiment repeatedly captures images at short time intervals.
  • An example is 30 frames / second.
  • the position, shape, and size of the subject region usually do not change significantly between two consecutive image frames. That is, the size of the attention area extracted as the tracking target area in the input image frame is substantially the same as the attention area extracted in the immediately preceding image frame.
  • the moving body tracking unit 13 determines the size of the input image frame based on the size of the attention area of the immediately preceding image frame.
  • the image size can be determined. Therefore, the tracking unit 13 determines an image size (that is, a reduction ratio) based on the size of the attention area in each image frame, and reduces the next image frame according to the image size.
  • the moving object tracking unit 13 reduces the new input image frame at a reduction rate determined based on the size of the attention area of the immediately preceding image frame.
  • a “reduction ratio of 100%” is obtained for the image frame 51A based on the size of the attention area of the immediately preceding image frame. For this reason, the image frame 51A is not reduced.
  • a “reduction rate of 50%” is obtained based on the size of the attention area of the immediately preceding image frame.
  • a converted image frame 53B is generated from the image frame 51B.
  • a “reduction ratio of 25%” is obtained for the image frame 51C based on the size of the attention area of the immediately preceding image frame. Therefore, a converted image frame 53C is generated from the image frame 51C.
  • the above-described image conversion processing is executed by the size determination unit 33 and the image conversion unit 34. That is, the size determination unit 33 determines the image size based on the size of the attention area extracted by the extraction unit 32. At this time, the size determination unit 33 may determine the image size based on the ratio of the area occupied by the region of interest to the entire image frame.
  • the image size is represented by a reduction ratio in the above example.
  • the size of the attention area is represented by, for example, the number of pixels that form the attention area.
  • the image conversion unit 34 converts the processing target image frame according to the image size determined by the size determination unit 33.
  • the processing target image frame is an image frame next to the image frame referred to by the size determination unit 33 to determine the image size (that is, the reduction ratio).
  • the image conversion unit 34 converts the input image frame according to the image size determined by the size determination unit 33 based on the attention area of the immediately preceding image frame.
  • the extraction unit 32 extracts a region of interest in the converted image frame generated by the image conversion unit 34. However, when image conversion is not performed by the image conversion unit 34 (that is, when the reduction ratio is 100%), the extraction unit 32 extracts a region of interest in the input image frame. And the extraction part 32 outputs the information showing the position of the attention area extracted in each image frame (input image frame or conversion image frame) as a tracking result.
  • the size of the image frame is controlled in accordance with the size of the attention area on the image frame. For example, when the subject 52 approaches the digital camera 1 and the image area corresponding to the subject 52 increases on the image frame, the image frame is reduced. At this time, as the image frame is reduced, the image area corresponding to the subject 52 is reduced, and the number of pixels forming the image area corresponding to the subject 52 is also reduced. Therefore, the time required to extract the image area (that is, the attention area) corresponding to the subject 52 is shortened. Therefore, even if the subject becomes large on the image frame, the time required for extracting the attention area does not become so long, and real-time moving body tracking is easily realized.
  • FIG. 4 is a diagram illustrating an example of image processing performed by the moving object tracking unit 13.
  • image frames N, N + 1, and N + 2 are input image frames to the moving object tracking unit 13.
  • the image frame N + 1 is the next image frame after the image frame N
  • the image frame N + 2 is the next image frame after the image frame N + 1.
  • the size of the input image frame (N, N + 1, N + 2) is 40 ⁇ 32 pixels. That is, the width of the input image frame is 40 pixels and the height is 32 pixels.
  • hatched areas on the image frames N, N + 1, and N + 2 are image areas corresponding to the subject to be tracked. In this example, the subject is gradually approaching the digital camera 1 and is moving to the right as viewed from the digital camera 1.
  • the moving object tracking unit 13 includes an image conversion table shown in FIG. 5 in order to control the size of the image frame.
  • a reduction level 1 represents an operation mode in which the size of the input image frame is not changed. Therefore, when the reduction level 1 is set, the attention area is extracted from the input image frame.
  • a reduction level 2 represents an operation mode for converting an input image frame into a 20 ⁇ 16 image frame. Therefore, when the reduction level 2 is set, the input image frame is converted into a converted image frame of 20 ⁇ 16 pixels, and a region of interest is extracted from the converted image frame.
  • the reduction level 3 represents an operation mode for converting an input image frame into a 10 ⁇ 8 image frame. Therefore, when the reduction level 3 is set, the input image frame is converted into a converted image frame of 10 ⁇ 8 pixels, and a region of interest is extracted from the converted image frame.
  • Threshold 1 and threshold 2 are registered for each reduction level in the image conversion table.
  • the threshold value 1 and the threshold value 2 are represented by the number of pixels in this example.
  • the threshold 1 is used to determine whether to maintain or reduce the reduction level. For example, it is assumed that the moving object tracking unit 13 is operating at the reduction level 2.
  • the threshold 1 of the reduction level 2 is “25”. In this case, if the number of pixels of the attention area extracted from the converted image frame is 25 or more, the reduction level 2 is maintained. On the other hand, if the number of pixels of the attention area extracted from the converted image frame is less than 25, the change from the reduction level 2 to the reduction level 1 is performed.
  • Threshold value 2 is used to determine whether to maintain or raise the reduction level. For example, it is assumed that the moving object tracking unit 13 operates at the reduction level 2 as in the above example. Here, the threshold 2 of the reduction level 2 is “100”. In this case, if the number of pixels in the attention area extracted from the converted image frame is 100 or less, the reduction level 2 is maintained. On the other hand, if the number of pixels of the attention area extracted from the converted image frame exceeds 100, the reduction level 2 is changed to the reduction level 3.
  • Threshold 1 of reduction level 1 is “ ⁇ 1”. Therefore, when the moving body tracking unit 13 is operating at the reduction level 1, it is not determined that “the reduction level is lowered”. Further, the threshold 2 of the reduction level 3 is infinite. Therefore, when the moving body tracking unit 13 is operating at the reduction level 3, it is not determined that “the reduction level is increased”.
  • the image conversion table shown in FIG. 5 is one example. That is, the number of reduction levels may be 2 or 4 or more. Further, the width and height of the converted image frame and the values of the threshold value 1 and the threshold value 2 are not limited to the values shown in FIG.
  • the moving body tracking unit 13 operates at the reduction level 2 when the image frame N is input.
  • the image conversion unit 34 reduces the image frame N to an image frame of 20 ⁇ 16 pixels. As a result, a converted image frame n is generated.
  • the extraction unit 32 extracts a region of interest in the converted image frame n.
  • the extraction unit 32 extracts a region of interest including a point of interest represented by ⁇ .
  • the point of interest represents a position or a pixel at which processing for extracting a region of interest is started. Note that the coordinates of the point of interest are calculated in the previous image frame.
  • the extraction unit 32 detects the size (or area) of the attention area extracted in the converted image frame n. In this embodiment, the size of the attention area is “56”.
  • the extraction unit 32 calculates the center coordinates (or centroid) of the attention area extracted in the converted image frame n.
  • the calculated center coordinates are used as a point of interest for extracting a region of interest in the next image frame.
  • the moving body tracking unit 13 outputs tracking target position information indicating the position of the region of interest extracted by the extraction unit 32 as a tracking result.
  • this attention area is extracted from the converted image frame n obtained by converting the image frame N at a reduction ratio of 50%. Accordingly, the coordinates of the attention area extracted from the converted image frame n are mapped onto an image frame of 40 ⁇ 32 pixels when output as tracking target position information.
  • the attention area extracted from the converted image frame n is a rectangle, and the coordinates of the four corners are (2, 2) (9, 2) (2, 8) (9, 8).
  • the moving body tracking unit 13 outputs coordinates (4, 4) (18, 4) (4, 16) (18, 16) as tracking target position information.
  • the size determination unit 33 determines the reduction level of the image frame N + 1 based on the size of the attention area extracted in the previous frame (that is, the converted image frame n). In this example, the size of the attention area of the converted image frame n is “56”.
  • the moving object tracking unit 13 operates at the reduction level 2.
  • the threshold values 1 and 2 at the reduction level 2 are “25” and “100”, respectively. That is, threshold 1 ⁇ size of attention area ⁇ threshold 2. Therefore, the size determination unit 33 maintains the reduction level as it is. That is, the reduction level of the image frame N + 1 is “2”.
  • the image conversion unit 34 converts the input image frame at the reduction level determined by the size determination unit 33. Therefore, the image conversion unit 34 reduces the image frame N + 1 to an image frame of 20 ⁇ 16 pixels. As a result, a converted image frame n + 1 is generated.
  • the extraction unit 32 extracts a region of interest in the converted image frame n + 1. At this time, the extraction unit 32 extracts the attention area including the attention point calculated in the previous frame. Further, the extraction unit 32 detects the size of the attention area extracted in the converted image frame n + 1. In this embodiment, the size of the attention area is “110”. Further, the extraction unit 32 calculates the center coordinates of the attention area extracted in the converted image frame n + 1 as the attention point used in the next frame.
  • the moving body tracking unit 13 outputs tracking target position information indicating the position of the region of interest extracted by the extraction unit 32 as a tracking result. At this time, the coordinates of the attention area extracted from the converted image frame n + 1 are mapped onto the 40 ⁇ 32 pixel image frame as described above.
  • the size determination unit 33 determines the reduction level of the image frame N + 2 based on the size of the attention area extracted in the previous frame (that is, the converted image frame n + 1). In this example, the size of the attention area of the converted image frame n + 1 is “110”.
  • the moving object tracking unit 13 operates at the reduction level 2.
  • the threshold value 2 at the reduction level 2 is “100” as described above. That is, the size of the attention area is larger than the threshold value 2. Therefore, the size determination unit 33 increases the reduction level. That is, the reduction level of the image frame N + 2 is determined to be “3”.
  • the image conversion unit 34 converts the input image frame at the reduction level determined by the size determination unit 33. Therefore, the image conversion unit 34 reduces the image frame N + 2 to an image frame of 10 ⁇ 8 pixels. As a result, a converted image frame n + 2 is generated.
  • the extraction unit 32 extracts a region of interest in the converted image frame n + 2. At this time, the extraction unit 32 extracts the attention area including the attention point calculated in the previous frame. However, the reduction rate of the image frame N + 2 is different from that of the previous frame. Specifically, the image frame N + 1 is processed at the reduction level 2, while the image frame N + 2 is processed at the reduction level 3. Therefore, the attention point (center coordinates of the attention area) calculated in the previous frame is mapped by the size determination unit 33 according to the change in the reduction ratio.
  • the reduction rate of reduction level 2 is 50%
  • the reduction rate of reduction level 3 is 25%. Therefore, for example, if the center coordinates of the attention area extracted from the converted image frame n + 1 are (10, 8), the coordinates of the attention point used in the converted image frame n + 2 are (5, 4).
  • the extraction unit 32 detects the size of the attention area extracted in the converted image frame n + 2.
  • the size of the attention area is “30”. Further, the extraction unit 32 calculates the center coordinates of the attention area extracted in the converted image frame n + 2 as the attention point used in the next frame.
  • the moving body tracking unit 13 outputs tracking target position information indicating the position of the region of interest extracted by the extraction unit 32 as a tracking result. At this time, the coordinates of the attention area extracted from the converted image frame n + 2 are mapped onto the 40 ⁇ 32 pixel image frame.
  • the moving body tracking unit 13 extracts a region of interest in each input image frame. Specifically, the moving body tracking unit 13 extracts a region of interest in each converted image frame, and maps the extracted region of interest on the input image format.
  • the attention area is an image area corresponding to the subject to be tracked. Therefore, moving object tracking is realized by the above-described image processing.
  • the reduction level of the image frame is determined based on the size of the attention area on the image frame. For example, in the example shown in FIG. 4, when the size of the attention area exceeds the threshold value 2 in the image frame N + 1, the reduction level of the subsequent image frames becomes high. As a result, the number of pixels of the attention area extracted in the subsequent image frames is suppressed. That is, even if the attention area representing the subject in the input image frame becomes larger, the processing time required to extract the attention area does not increase.
  • FIG. 6 is a diagram illustrating another example of image processing by the moving object tracking unit 13.
  • the attention area representing the subject is gradually reduced in the input image frame.
  • the size of the attention area is smaller than the threshold in the image frame N + 1. That is, the size of the attention area extracted from the converted image frame n + 1 is “20”. This size is smaller than the threshold value 1 at the reduction level 3. Therefore, the reduction level is changed from “3” to “2”. As a result, the image frame N + 2 and the subsequent image frames are reduced and processed at the reduction level 2.
  • the size of the attention area is smaller than the threshold value, the size of the converted image frame is increased in the subsequent frames.
  • the size of the attention area corresponding to the subject to be tracked is small, in general, there is a possibility that the tracking target may be lost. Therefore, as in the embodiment shown in FIG. 6, when the reduction level is set according to the size of the region of interest, the possibility of losing the tracking target on the image frame is reduced.
  • FIG. 7 is a flowchart showing the processing of the moving object tracking unit 13. The process of this flowchart is executed, for example, when a tracking target is designated by the user of the digital camera 1.
  • step S1 the moving body tracking unit 13 sets a point of interest as a region extraction start coordinate.
  • This attention point is determined based on, for example, coordinates on the image frame to be tracked designated by the user.
  • step S2 the moving body tracking unit 13 sets “1” as the initial value of the reduction level, and sets thresholds 1 and 2 corresponding to the reduction level 1.
  • the moving object tracking unit 13 initializes the previous area size data.
  • the previous area size data represents the size of the attention area extracted in the previous frame.
  • the previous area size data is recorded in a memory included in the moving object tracking unit 13.
  • step S3 the extraction unit 32 reads an image frame stored in the image memory 31.
  • the image memory 31 stores an image frame output from the image input unit 11. Further, the size determination unit 33 acquires the previous area size data from the memory.
  • step S4 the size determination unit 33 compares the previous area size data with the threshold value 1. If the previous area size data is smaller than the threshold value 1, the size determination unit 33 lowers the reduction level by one step in step S6. In step S5, the size determination unit 33 compares the previous region size data with the threshold value 2. If the previous area size data is larger than the threshold value 2, the size determination unit 33 increases the reduction level by one step in step S7.
  • step S8 the size determining unit 33 changes the threshold values 1 and 2 in accordance with the change of the reduction level in step S6 or S7. For example, when the reduction level is increased from “2” to “3” in step S7, the threshold value 2 is changed from “100” to “ ⁇ ”. Further, in step S9, the size determining unit 33 performs mapping of the attention point according to the change of the reduction level in step S6 or S7. Note that the coordinates of the target point mapped in step S9 are calculated in step S12 for the previous frame.
  • step S4 If the previous area size data is greater than or equal to threshold 1 and less than or equal to threshold 2 (step S4: No, step S5: No), steps S6 to S9 are skipped. In this case, the reduction level is maintained. Further, the mapping of the attention point calculated in the previous frame is not executed.
  • step S10 the image conversion unit 34 generates a converted image frame from the input image frame according to the reduction level. That is, the image conversion unit 34 converts the image size of the processing target image frame according to the reduction level determined by the size determination unit 33. However, in this embodiment, when the moving object tracking unit 13 is operating at the reduction level 1, the image size is not changed.
  • step S11 the extraction unit 32 extracts a region of interest based on the point of interest in the converted image frame generated in step S10.
  • the coordinates of the point of interest are calculated in the previous frame.
  • the coordinates of the attention point are obtained by mapping the coordinates calculated in the previous frame in step S9.
  • step S12 the extraction unit 32 calculates the coordinates of the target point for the next frame based on the extracted target region.
  • the coordinates of the attention point of the next frame can be obtained, for example, by calculating the center coordinates of the extracted attention area.
  • step S13 the extraction unit 32 detects the size of the attention area extracted in step S11. Then, the extraction unit 32 sets the size of the detected attention area as the previous area size data for the next frame. The size of the attention area is detected by counting the number of pixels in the attention area. Then, the process of the moving body tracking part 13 returns to step S3.
  • step S10 a converted image frame n + 1 is generated from the image frame N + 1.
  • step S11 the attention area is extracted in the converted image frame n + 1.
  • step S12 the attention point of the next image frame is determined by calculating the center coordinates of the extracted attention area.
  • step S13 the size of the extracted attention area is detected.
  • the size of the attention area is “20”. This value is stored as the previous area size data.
  • steps S3 to S13 are executed for the image frame N + 2.
  • the reduction level when the image frame N + 2 is input is “3”.
  • the previous area size data indicating the size of the attention area of the converted image frame n + 1 is “20”. That is, the previous area size data is smaller than the threshold 1 of the reduction level 3. Accordingly, “Yes” is determined in step S4, and the reduction level is lowered from “3” to “2” in step S6. Further, the coordinates of the attention point calculated in the previous frame (that is, the converted image frame n + 1) are mapped according to the change from the reduction level 3 to the reduction level 2 in step S9. Thereafter, in steps S10 to S13, the attention area is extracted from the converted image frame n + 2, the coordinates of the attention point for the next image frame are calculated, and the size of the attention area is detected.
  • the moving object tracking unit 13 performs the processing of steps S3 to S13 for each image frame. Then, the attention area extracted in step S11 for each image frame is output as a tracking target area. Thereby, moving body tracking is realized.
  • the reduction level of the input image frame is determined based on the size of the attention area of the previous frame.
  • the image processing method of the embodiment is not limited to this procedure. That is, for example, when an attention area is extracted from an input image frame, the reduction level of the next image frame may be determined based on the size of the attention area.
  • the reduction level of the input image frame is determined based on the size of the attention area of the previous frame.
  • the reduction level of the input image frame is determined based on the size of the attention area of the input image frame.
  • the size determination unit 33 for example, the size of the attention region exceeds the threshold size during the extraction process in which the extraction unit 32 extracts the attention region in the input image frame (or the converted image frame). Is determined, a new image size is determined before the extraction process by the extraction unit 32 ends.
  • the image conversion unit 34 converts the input image frame (or the converted image frame) described above into a new image size determined by the size determination unit 33. Then, the extraction unit 32 extracts a region of interest in the image frame converted by the image conversion unit 34.
  • FIG. 8 is a diagram illustrating an example of image processing according to another embodiment.
  • image frames N and N + 1 are input to the moving object tracking unit 13.
  • the image frame N + 1 is the next image frame after the image frame N.
  • the subject is rapidly approaching the digital camera 1.
  • the moving object tracking unit 13 performs image processing similar to the procedure described with reference to FIGS. That is, the image conversion unit 34 generates a converted image frame n by reducing the image frame N. At this time, it is assumed that the reduction level is “2”. Further, the extraction unit 32 extracts the attention area in the converted image frame n and detects the size of the attention area. In this example, the size of the attention area is “56”. Further, the extraction unit 32 calculates the coordinates of the point of interest for the next frame.
  • the moving body tracking unit 13 performs image processing similar to the procedure described with reference to FIGS. That is, the size detection unit 33 determines the reduction level based on the size of the attention area of the previous frame (that is, the converted image frame n). In this example, since the size of the attention area is not less than the threshold value 1 and not more than the threshold value 2, the reduction level 2 is maintained. Then, the image conversion unit 34 generates a converted image frame n + 1 by reducing the image frame N + 1.
  • the extraction unit 32 starts extracting the attention area based on the attention point calculated in the previous frame.
  • the attention area is detected by extracting adjacent pixels having a feature amount (for example, a color component) close to the attention point pixel in order from the pixel close to the attention point.
  • the extraction unit 32 counts up the area counter every time an adjacent pixel having a feature amount (for example, a color component) close to the target pixel is extracted.
  • the attention area in the converted image frame n + 1 extends over 13 ⁇ 11 pixels. That is, the number of pixels in the attention area is 143.
  • the extraction part 32 is extracting the pixel which belongs to an attention area in an order from the pixel near an attention point. At this time, the extraction unit 32 counts the number of extracted pixels using an area counter.
  • the size determination unit 33 monitors whether or not the area counter reaches the threshold value 2.
  • the extraction unit 32 stops the process of extracting the attention area in response to the notification from the size determination unit 33.
  • the size determination unit 33 increases the reduction level.
  • the threshold 2 of the reduction level 2 is “100”. Therefore, as shown in FIG. 8, when the number of pixels extracted by the extraction unit 32 reaches 100, the extraction unit 32 stops the extraction process. Further, the size determination unit 33 changes the reduction level from “2” to “3”.
  • the image conversion unit 34 further converts the converted image frame n + 1 at the reduction level determined by the size determination unit 33. Thereby, an image frame X of 10 ⁇ 8 pixels is generated. Note that the image conversion unit 34 may generate an image frame X of 10 ⁇ 8 pixels from the input image frame N + 1.
  • the moving object tracking unit 13 performs the following image processing on the image frame X.
  • the extraction unit 32 extracts a region of interest from the image frame X. This attention area is mapped onto an image frame of 40 ⁇ 32 pixels when it is output as a tracking result. Further, the extraction unit 32 uses the attention area extracted from the image frame X to calculate the coordinates of the attention point for the next image frame.
  • the extraction process is temporarily stopped and the image frame is further reduced. The Then, a process of extracting the attention area in the reduced image frame is executed. For this reason, the processing time for extracting an attention area is shortened.
  • the image processing for the converted image frame n + 1 ends when 100 pixels are extracted from the attention area in the converted image frame n + 1. That is, the time required for extracting the remaining 43 pixels is saved. Thereafter, 30 pixels belonging to the attention area in the image frame X are extracted. At this time, if the processing time for extracting 30 pixels belonging to the region of interest in the image frame X is shorter than the processing time for extracting the remaining 43 pixels in the image frame n + 1, The processing time for extracting the attention area of the image frame N + 1 is shortened.
  • FIG. 9A to FIG. 9B are flowcharts showing processing of the moving object tracking unit in another embodiment.
  • the process of this flowchart is executed, for example, when the tracking target is designated by the user of the digital camera 1, similarly to the procedure shown in FIG.
  • step S20 is executed instead of step S11 shown in FIG.
  • a region of interest is extracted.
  • steps S21 to S28 shown in FIG. 9B are executed.
  • step S20 is implement
  • step S21 the extraction unit 32 initializes an area counter. That is, zero is written to the area counter.
  • the area counter counts the number of pixels detected by the extraction unit 32.
  • step S22 the extraction unit 32 determines whether extraction of the attention area is completed.
  • the extraction unit 32 extracts adjacent pixels by the above-described procedures (1) to (4). Therefore, in step S22, as an example, it is determined whether there is an adjacent pixel whose difference from the feature amount of the pixel of interest is smaller than a threshold. Then, if the extraction of the attention area has been completed, the process of step S20 ends.
  • step S24 the extraction unit 32 determines whether or not the area counter is equal to or greater than the threshold value 2. If the area counter is equal to or greater than the threshold value 2, the process proceeds to step S25. On the other hand, if the area counter is smaller than the threshold value 2, the process returns to step S22. In this manner, the extraction unit 32 extracts pixels in the attention area one by one until the area counter reaches the threshold value 2. However, when all the pixels in the attention area have been extracted without the area counter reaching the threshold value 2, the process of step S20 ends.
  • step S25 the size determining unit 33 increases the reduction level by one step.
  • Steps S26 to S27 are the same as steps S8 to S9. That is, the threshold values 1 and 2 are updated according to the change in the reduction level, and the coordinates of the attention point are mapped.
  • step S28 the image conversion unit 34 further reduces the image frame in accordance with the reduction level newly determined in step S25. Then, the process of the moving body tracking part 13 returns to step S21. Therefore, the moving body tracking unit 13 starts a process of extracting a region of interest from the reduced image frame newly generated in step S28.
  • the moving body tracking unit 13 operates at the reduction level 2 when the image frame N + 1 is input.
  • the size of the attention area of the previous frame that is, the converted image frame n
  • the previous area size data is “56”.
  • step S3 image data N + 1 is read.
  • step S6 is executed without executing steps S6, S8, and S9.
  • step S10 the image frame N + 1 is converted according to the reduction level 2, and a converted image frame n + 1 is generated. Subsequently, the process of step S20 is performed on the converted image frame n + 1. That is, steps S21 to S28 shown in FIG. 9B are executed.
  • steps S22 to S24 pixels forming the attention area in the converted image frame n + 1 are extracted, and the area counter is counted up. When the area counter reaches “100”, the reduction level is increased from “2” to “3” in step S25. Furthermore, using the attention point mapped in step S27, an image frame X is generated from the image frame N + 1 or the converted image frame n + 1 in step S28.
  • steps S22 to S24 are executed for the image frame X.
  • the number of pixels in the attention area of the image frame X is “30”, which is smaller than the threshold 2 of the reduction level 3. Therefore, when Steps S22 to S24 are repeatedly executed, all the pixels in the attention area are extracted without being determined as “Yes” in Step S24, and the process of Step S20 is ended. Further, steps S12 to S13 in FIG. 9A are executed, and the image processing for the image frame N + 1 is completed.
  • the attention area is extracted from the beginning in the reduced image frame.
  • the state information when the area counter reaches the threshold value 2 may be taken over by the reduced image frame.
  • 100 pixels are extracted as pixels in the attention area in the converted image frame N + 1.
  • an area corresponding to 100 pixels extracted in the converted image frame N + 1 is mapped to the image frame X.
  • an area mapped from the converted image frame N + 1 is set as a part of the attention area.
  • the remaining attention area is extracted in the image frame X.
  • the processing time for extracting a region of interest is further shortened by the method shown in FIGS. 8 to 9B.
  • the image size of the next image frame is determined based on the size of the attention area of a certain image frame.
  • the image size of the image frame is determined based on the size of the attention area of the image frame.
  • the image processing method according to the invention is not limited to these. That is, the image size of an image frame two or more frames after the image frame may be determined based on the size of the attention area of a certain image frame. Alternatively, when real-time processing is not required, the image size of an image frame before the image frame may be determined based on the size of the attention area of a certain image frame.
  • the attention area is extracted using the feature amount (for example, color component) of the pixel.
  • the attention area may be extracted by other methods.
  • the image processing method of the invention can also be applied to a case where a region of interest is detected from each image frame using the shape of the contour to be tracked.
  • the image processing apparatus is provided in the digital camera, but may be provided outside the digital camera. That is, the image processing apparatus according to the embodiment is provided in a server computer, for example.
  • image data output from the digital camera is transmitted to the server computer. If it does so, a server computer will perform a moving body tracking process, and will return the result to a digital camera.
  • the digital camera controls the focal length, for example, according to the tracking result received from the server computer.
  • FIG. 10 is a diagram illustrating a hardware configuration of the image processing apparatus according to each embodiment.
  • the CPU 101 executes an image processing program using the memory 103.
  • the storage device 102 stores an image processing program.
  • the storage device 102 may be an external storage device.
  • the memory 103 is a semiconductor memory, for example, and includes a RAM area and a ROM area. Further, the memory 103 may be used for temporarily storing image frames, for example.
  • the image processing apparatus according to the embodiment is realized by a computer (or a processor system) including a processor and a memory.
  • the reading device 104 accesses the portable recording medium 105 in accordance with an instruction from the CPU 101.
  • the portable recording medium 105 includes, for example, a semiconductor device, a medium in which information is input / output by a magnetic action, and a medium in which information is input / output by an optical action.
  • the communication interface 106 transmits / receives data via a network in accordance with instructions from the CPU 101.
  • the input / output device 107 corresponds to a display device, a device that receives an instruction from the user, or the like.
  • the image processing apparatus according to the embodiment may not include the communication interface 106 and / or the input / output device 107.
  • the image processing program according to the embodiment is provided in the following form, for example. (1) Installed in advance in the storage device 102. (2) Provided by the portable recording medium 105. (3) Download from the program server 110. Then, by executing the image processing program on the computer having the above configuration, at least a part of the moving object tracking unit 13 (that is, the extraction unit 32, the size determination unit 33, and the image conversion unit 34) according to the embodiment is realized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

　画像処理装置は、抽出部、サイズ決定部、画像変換部を備える。抽出部は、第１の画像フレームにおいて所定の条件を満たす注目領域を抽出する。サイズ決定部は、抽出部により抽出された注目領域の大きさに基づいて画像サイズを決定する。画像変換部は、処理対象画像フレームをサイズ決定部により決定された画像サイズに変換する。さらに、抽出部は、画像変換部により変換された処理対象画像フレームにおいて前記所定の条件を満たす注目領域を抽出する。

Description

画像処理装置および画像処理プログラム
　本発明は、デジタルカメラにより得られる画像データを処理する画像処理装置および画像処理プログラムに係わる。
　従来より、移動する被写体を追尾する機能を備えるデジタルカメラ（または、電子カメラ）が知られている。このようなデジタルカメラは、例えば、ユーザが所望する被写体が動く場合であっても、その被写体を追尾してフォーカスを保持することができる。
　従来技術の１つとして、高速でズームアップまたはズームダウンを行いつつ、ズームに伴う自動追尾の失敗を解消し、物体を安定して追尾できる自動追尾装置が知られている。この自動追尾装置は、第１物体検出部、第１ズーム制御部、第２物体検出部、テンプレートマッチング部、第２ズーム制御部を備える。第１物体検出部は、カメラによって撮影され入力された画像から物体を検出する。第１ズーム制御部は、検出された物体の大きさが画像上で所定より小さい場合、カメラのズーム倍率を変更する。第２物体検出部は、ズーム倍率が変更された後、再びカメラによって撮影された画像から物体を検出する。テンプレートマッチング部は、第２物体検出部によって検出された物体とカメラによって撮影された画像とを比較して物体の位置を特定し、画像上で物体を追跡する。第２ズーム制御部は、追跡される物体がカメラによって撮影される画像上で所定の大きさになるように、カメラのズーム倍率を制御する。（例えば、特許文献１）
　また、他の従来技術として、カメラ、第１のメモリ、第２のメモリ、相関器を備える移動物体追跡装置が知られている。カメラは、ズーム機構を含む。第１のメモリは、カメラから時々刻々入力する画像信号を記憶する。第２のメモリは、第１のメモリから予め定められた追跡目標物体の画像を抽出して記憶する。相関器は、第２のメモリからの画像に最も近似する画像を第１のメモリの画像から抽出する。そして、移動物体追跡装置は、この相関器で抽出された画像を第２のメモリに追跡目標物体の新たな画像として記憶し、この記憶と前回の記憶の偏差によりカメラの角度およびズーム機構を制御する。（例えば、特許文献２）
　さらに他の従来技術として、ビデオカメラで撮影された撮影画像から一部を切り出した連続画像、又は動画像をモバイル端末機に容易に表示できる画像伝送システムが知られている。この画像伝送システムは、制御用駆動装置を備えたビデオカメラと、該撮影画像データから対象動物の顔を検出して該ビデオカメラが該対象動物の顔を追跡する制御信号を生成するカメラ制御部と、該撮影画像データを補正及び編集する画像データ編集部と、該画像データ編集部によって撮影画像データの一部を切り出した連続画像又は動画像データをモバイル端末機に伝送する伝送するシステムとを具備する。そして、画像データ編集部は、該撮影画像データから該対象動物の顔部分を切り出した画像を略一定の画素数又は一定のサイズを有する画像に変換して伝送する。（例えば、特許文献３）
特開２００７－２０８４５３号公報 特開昭５９－７９８６８号公報 特開２００３－３１９３８６号公報
　デジタルカメラの画像を利用して被写体を追尾する動体追尾においては、例えば、各画像フレーム上で被写体に対応する色領域が抽出される。このとき、画像フレーム上で色成分に基づいて目標被写体を抽出するためには、注目画素を基準として、隣接する画素の画素値が注目画素と同じとみなせるか否かの判定を繰り返す手順が必要となる。
　他方、動体追尾の結果を利用して自動焦点制御を行うデジタルカメラにおいては、リアルタイムでの追尾が要求される。すなわち、各画像フレームにおいて目標被写体に対応する領域を抽出するための処理時間が短縮化されることが好ましい。
　ところが、画像フレーム上で目標被写体が大きいときは、その目標被写体に対応する領域を抽出するための処理量が多くなる。すなわち、画像フレーム上での目標被写体の状態によっては、動体追尾に要する処理時間が長くなってしまう。
　本発明の課題は、画像データを利用する動体追尾のデータ処理量を少なくすることである。
　本発明の１つの態様に係る画像処理装置は、第１の画像フレームにおいて所定の条件を満たす注目領域を抽出する抽出部と、前記抽出部により抽出された注目領域の大きさに基づいて画像サイズを決定するサイズ決定部と、処理対象画像フレームを前記サイズ決定部により決定された画像サイズに変換する画像変換部、を備える。そして、前記抽出部は、前記画像変換部により変換された処理対象画像フレームにおいて前記所定の条件を満たす注目領域を抽出する。
　開示の装置または方法によれば、画像データを利用する動体追尾においてデータ処理量が少なくなる。
実施形態の画像処理装置を含むデジタルカメラの構成を示す図である。 デジタルカメラによる動体追尾について説明する図である。 動体追尾部の動作の概要を説明する図である。 動体追尾部による画像処理の実施例を示す図である。 画像変換テーブルの実施例である。 動体追尾部による画像処理の他の実施例を示す図である。 動体追尾部の処理を示すフローチャートである。 他の実施形態における動体追尾部による画像処理の実施例を示す図である。 他の実施形態における動体追尾部の処理を示すフローチャート（その１）である。 他の実施形態における動体追尾部の処理を示すフローチャート（その２）である。 実施形態の画像処理装置のハードウェア構成を示す図である。
　図１は、実施形態の画像処理装置を含むデジタルカメラ１の構成を示す図である。デジタルカメラ（電子カメラ）１は、画像入力部１１、制御部１２、動体追尾部１３、出力部１４を備える。
　画像入力部１１は、例えば、ＣＣＤセンサまたはＣＭＯＳセンサ等の撮像素子を含み、撮影によって画像データを生成する。このとき、画像入力部１１は、所定の時間間隔で画像データを生成する。すなわち、画像入力部１１は、撮影時刻の異なる画像データを次々と生成して出力する。この時間間隔は、特に限定されるものではないが、例えば、３０フレーム／秒程度である。また、画像入力部１１は、制御部１２からのフォーカス指示に従って焦点距離を調節するフォーカス制御部２１を備えている。また、画像入力部１１は、画像データを一時的に保存する画像メモリ２２を備えている。
　制御部１２は、デジタルカメラ１の動作を制御する。すなわち、制御部１２は、動体追尾部１３を起動すると共に、画像入力部１１から出力される画像データを動体追尾部１３に転送して動体追尾処理を依頼する。そして、制御部１２は、動体追尾部１３による追尾結果に基づいて、画像入力部１１に対してフォーカス指示を送る。また、制御部１２は、画像入力部１１により得られる画像データおよび動体追尾部１３による追尾結果を出力部１４に送信する。
　なお、制御部１２は、他の制御動作も実行する。例えば、制御部１２は、ユーザインタフェースを提供し、ユーザからの指示に従ってデジタルカメラ１の動作を制御する。さらに、制御部１２は、デジタルカメラ１が備える各種センサを利用して、デジタルカメラ１の動作を制御するようにしてもよい。
　出力部１４は、例えば液晶ディスプレイであり、画像入力部１１により得られる画像データを表示する。このとき、出力部１４は、画像入力部１１により得られる画像データに動体追尾部１３による追尾結果を重ねて表示することができる。なお、画像入力部１１により得られる画像データに追尾結果を表す画像データを合成する処理は、制御部１２により実行されてもよいし、出力部１４により実行されてもよい。また、出力部１４は、タッチパネル素子を利用して、ユーザの指示を受け付ける機能を提供するようにしてもよい。出力部１４に表示される画像データは、画像入力部１１により得られた画像データであるが、この画像データが実際に撮影された画像データとして記憶されなくても良い。すなわち、出力部１４は、画像入力部１１により得られた画像データをファインダ画像として表示できる。
　動体追尾部１３は、画像入力部１１から出力される画像データを利用して、動体追尾処理を実行する。すなわち、動体追尾部１３は、画像処理装置により実現される。ここで、画像処理装置は、例えば、動体追尾手順を記述した画像処理プログラムを実行するプロセッサを含む１または複数の半導体チップにより実現される。或いは、画像処理装置は、動体追尾手順を実現するハードウェア回路により実現されてもよい。さらに、画像処理装置は、ハードウェアおよびソフトウェアを含んでもよい。
　図２は、デジタルカメラ１による動体追尾について説明する図である。ここでは、画像入力部１１により時刻Ｔ、Ｔ＋１、Ｔ＋２において撮影が行われ、画像フレームｎ、ｎ＋１、ｎ＋２が生成される。このとき、出力部１４は、画像フレームｎ、ｎ＋１、ｎ＋２を順番に表示する。また、各画像フレームには、被写体Ａおよび物体Ｂに対応する画像領域が形成されている。この例では、被写体Ａは動体であり、物体Ｂは非動体である。
　ユーザは、例えば、出力部１４に表示される画像を見ながら、フォーカスしたい被写体を指定するものとする。ここでは、ユーザは、被写体Ａを選択するものとする。そして、被写体Ａを選択するユーザ指示は、制御部１２により受け付けられる。そうすると、制御部１２は、このユーザ指示に応じて、画像入力部１１に対してフォーカス指示を与える。これにより、フォーカス制御部２１は、被写体Ａに焦点が合うように、焦点調整メカニズム（例えば、１または複数のレンズを含む光学系）を制御する。そして、画像入力部１１は、焦点距離が制御された状態で次の撮影を行う。なお、焦点距離が制御された状態での撮影により得られる画像データは、画像メモリ２２に格納される。また、制御部１２は、出力部１４に対して、フォーカスマークの表示を指示する。これにより、出力部１４により表示される画像において、被写体Ａに重ねてフォーカスマーク４１が表示される。
　動体追尾部１３は、画像入力部１１から出力される画像データを利用して、ユーザにより指定された被写体Ａを追尾する。このとき、動体追尾部１３は、各画像フレームｎ、ｎ＋１、ｎ＋２において、それぞれ被写体Ａに対応する画像領域を検出する。そして、動体追尾部１３による追尾結果は、制御部１２に送られる。
　制御部１２は、上述したように、動体追尾部１３による追尾結果に応じて画像入力部１１へフォーカス指示を送ると共に、その追尾結果を出力部１４に通知する。これにより、画像入力部１１は、被写体Ａが動いている場合であっても、被写体Ａに対するフォーカスを維持しながら撮影動作を継続することができる。また、出力部１４により表示される画像において、フォーカスマーク４１の表示位置は、被写体Ａの動きに応じて制御される。すなわち、図２に示すように、被写体Ａに対応する画像領域にフォーカスマーク４１が重ねて表示される状態が維持される。
　次に、図３を参照しながら、動体追尾部１３の動作の概要を説明する。図３において、画像フレーム５１Ａ、５１Ｂ、５１Ｃは、それぞれ、画像入力部１１により生成され動体追尾部１３に入力される画像フレームである。また、画像フレーム５１Ａ、５１Ｂ、５１Ｃには、被写体５２が写っている。被写体５２は、ユーザにより指定された追尾対象物体である。
　動体追尾部１３は、動体追尾を実現する画像処理方法を提供するために、画像メモリ３１、抽出部３２、サイズ決定部３３、画像変換部３４を備えている。画像メモリ３１は、画像フレームを一時的に格納する。また、動体追尾部１３は、特に図示しないが、抽出部３２、サイズ決定部３３、画像変換部３４が画像処理のための作業領域として使用するメモリを備えている。
　画像入力部１１から出力される各画像フレームは、順番に、制御部１２により動体追尾部１３へ転送される。動体追尾部１３は、各入力画像フレームを画像メモリ３１に格納する。
　抽出部３２は、各入力画像フレームにおいて所定の条件を満たす注目領域を抽出する。このとき、抽出部３２は、入力画像フレームにおいて、注目点を含み且つ所定の条件を満たす注目領域を抽出する。注目点は、後で詳しく説明するが、直前の画像フレームにおいて指定された画素（または、座標）である。ただし、注目点の初期値は、例えば、ユーザにより指定される。ユーザは、出力部１４に表示される画像を見ながら、フォーカスしたい被写体を指定することができる。この場合、注目点の初期値として、ユーザにより指定された被写体に対応する画像領域の中心（または、重心）が使用される。
　「所定の条件」は、この例では、画素の特徴量により表わされる。画素の特長量としては、例えば、輝度成分および／または色差成分が使用される。そして、抽出部３２は、注目点の画素と同じまたは類似する特徴量を有する画素を抽出する。一例として、画素の輝度成分が０～２５５で表わされるときに、注目点の画素の輝度成分が「２１０」であるものとする。この場合、抽出部３２は、例えば、入力画像フレームにおいて、輝度成分の値が２００から２２０の範囲にある画素を抽出する。また一例として、画素の色成分がＲＧＢのそれぞれについて０～２５５で表わされるときに、注目点の画素のＲ成分が「１００」、Ｇ成分が「１４０」、Ｂ成分が「８５」であるものとする。この場合、抽出部２１は、例えば、入力画像フレームにおいて、Ｒ成分の値が９０から１１０の範囲、Ｇ成分が１３０から１５０の範囲、Ｂ成分が７５から９５の範囲の３つの条件を満たす画素を抽出する。また一例として、画素の色成分が輝度、彩度、色相の３成分から表されるときに、同様に各成分の範囲を決めて、その範囲の条件を満たす画素を抽出するようにしてもよい。
　このとき、抽出部３２は、注目点を含む連続する画像領域を抽出する。したがって、抽出部３２は、例えば、以下の手順により注目領域を抽出する。
（１）注目点画素の特徴量を検出する。
（２）注目点の隣接画素（上、下、右、左）の特徴量と、注目点画素の特徴量との差分が閾値よりも小さければ、その隣接画素を注目領域に属する画素として抽出する。
（３）上記手順（２）により抽出された画素の隣接画素について、上記手順（２）と同様の抽出処理を行う。
（４）注目点画素の特徴量との差分が閾値よりも小さい隣接画素が検出されなくなるまで上記手順（２）～（３）の処理を実行する。
　上記手順（１）～（４）により、入力画像フレームにおいて、注目点画素と類似する特徴量を有する連続した画素領域（すなわち、注目領域）が抽出される。ここで、注目領域の抽出は、特に限定されるものではないが、公知の方法により実現することができる。
　なお、抽出部３２は、必要に応じて、入力画像フレームから注目領域を抽出する代わりに、入力画像フレームの画像サイズを変更することにより得られる変換画像フレームにおいて注目領域を抽出する。例えば、抽出部３２は、入力画像フレームを縮小することにより得られる変換画像フレームにおいて注目領域を抽出する。
　動体追尾部１３は、各画像フレームにおいてそれぞれ注目領域を抽出し、追尾結果としてその注目領域の位置（すなわち、画像フレーム内の座標）を表す情報を出力する。このとき、画像フレーム上で注目領域の面積が大きいと、注目領域を形成する画素の個数が多くなるので、上述した手順（１）～（４）の実行時間が長くなる。そこで、動体追尾部１３は、画像フレーム上での注目領域の大きさに応じて画像フレームのサイズを縮小する。そして、縮小された画像フレームにおいて注目領域が抽出される。
　例えば、図３に示す画像フレーム５１Ａが動体追尾部１３に入力されたものとする。画像フレーム５１Ａにおいては、追尾対象物体である被写体５２に対応する画像領域は小さい。この場合、動体追尾部１３は、入力画像フレーム５１Ａを縮小する必要がないと判定する。すなわち、動体追尾部１３は、入力画像フレーム５１Ａのサイズを変更することなく、その入力画像フレーム５１Ａにおいて被写体５２を抽出する。
　画像フレーム５１Ｂにおいては、画像フレーム５１Ａと比較すると、被写体５２に対応する画像領域は大きい。この場合、動体追尾部１３は、入力画像フレーム５１Ｂを縮小する必要があると判定する。図３に示す例では、縮小率は５０パーセントである。ここで、縮小率５０パーセントは、面積が４分の１に縮小することを意味する。そして、動体追尾部１３は、この縮小率で入力画像フレーム５１Ｂを縮小することにより得られる変換画像フレーム５３Ｂにおいて被写体５２を抽出する。
　画像フレーム５１Ｃにおいては、画像フレーム５１Ｂと比較すると、被写体５２に対応する画像領域はさらに大きい。この場合、動体追尾部１３は、入力画像フレーム５１Ｃをさらに縮小する必要があると判定する。図３に示す例では、縮小率は２５パーセントである。ここで、縮小率２５パーセントは、面積が１６分の１に縮小することを意味する。そして、動体追尾部１３は、この縮小率で入力画像フレーム５１Ｃを縮小することにより得られる変換画像フレーム５３Ｃにおいて被写体５２を抽出する。
　このとき、縮小率は、例えば、各画像フレームにおいて追尾対象物体に対応する画像領域の面積がほぼ一定となるように決定される。図３に示す例では、入力画像フレーム５１Ａ、変換画像フレーム５３Ｂ、５３Ｃにおいて被写体５２の画像領域が互いにほぼ同じになるように、縮小率が決定されている。
　ところで、実施形態のデジタルカメラ１は、上述したように、短い時間間隔で繰り返し画像の取り込みを行う。一例としては、３０フレーム／秒である。このため、被写体が動いている場合であっても、通常、連続する２枚の画像フレーム間で、被写体領域の位置、形状、大きさが大きく変わることはない。すなわち、入力画像フレームにおいて追尾対象領域として抽出される注目領域の大きさは、直前の画像フレームにおいて抽出される注目領域とほぼ同じである。
　したがって、動体追尾部１３は、入力画像フレームの注目領域の大きさに基づいてその入力画像フレームの画像サイズを決定する代わりに、直前の画像フレームの注目領域の大きさに基づいて入力画像フレームの画像サイズを決定することができる。そこで、追尾部１３は、各画像フレームにおいて注目領域の大きさに基づいて画像サイズ（すなわち、縮小率）を決定し、その画像サイズに従ってそれぞれ次の画像フレームを縮小する。あるいは、動体追尾部１３は、直前の画像フレームの注目領域の大きさに基づいて決定された縮小率で、新たな入力画像フレームを縮小する。
　図３に示す例では、画像フレーム５１Ａに対して、その直前の画像フレームの注目領域の大きさに基づいて「縮小率１００％」が得られている。このため、画像フレーム５１Ａは縮小されていない。また、画像フレーム５１Ｂに対しては、その直前の画像フレームの注目領域の大きさに基づいて「縮小率５０％」が得られている。この結果、画像フレーム５１Ｂから変換画像フレーム５３Ｂが生成されている。同様に、画像フレーム５１Ｃに対しては、その直前の画像フレームの注目領域の大きさに基づいて「縮小率２５％」が得られている。したがって、画像フレーム５１Ｃから変換画像フレーム５３Ｃが生成されている。
　上述の画像変換処理は、サイズ決定部３３および画像変換部３４により実行される。すなわち、サイズ決定部３３は、抽出部３２により抽出された注目領域の大きさに基づいて画像サイズを決定する。このとき、サイズ決定部３３は、画像フレーム全体に対して注目領域が占有する面積の比率に基づいて画像サイズを決定するようにしてもよい。画像サイズは、上述の例では、縮小率で表わされる。また、注目領域の大きさは、例えば、注目領域を形成する画素の個数で表わされる。
　画像変換部３４は、サイズ決定部３３により決定された画像サイズに従って、処理対象画像フレームを変換する。ここで、処理対象画像フレームは、上述の例では、サイズ決定部３３が画像サイズ（すなわち、縮小率）を決定するために参照した画像フレームの次の画像フレームである。この場合、画像変換部３４は、直前の画像フレームの注目領域に基づいてサイズ決定部３３により決定された画像サイズに従って、入力画像フレームを変換する。
　抽出部３２は、画像変換部３４により生成される変換画像フレームにおいて注目領域を抽出する。ただし、画像変換部３４により画像変換が行われない場合（すなわち、縮小率１００％のとき）は、抽出部３２は、入力画像フレームにおいて注目領域を抽出する。そして、抽出部３２は、追尾結果として、各画像フレーム（入力画像フレームまたは変換画像フレーム）において抽出される注目領域の位置を表す情報を出力する。
　このように、実施形態の画像処理方法においては、画像フレーム上での注目領域の大きさに応じて画像フレームのサイズが制御される。例えば、被写体５２がデジタルカメラ１に接近し、画像フレーム上で被写体５２に対応する画像領域が大きくなると、画像フレームは縮小される。このとき、画像フレームの縮小に伴って、被写体５２に対応する画像領域が小さくなり、被写体５２に対応する画像領域を形成する画素数も少なくなる。したがって、被写体５２に対応する画像領域（すなわち、注目領域）を抽出するために要する時間は短縮される。よって、画像フレーム上で被写体が大きくなっても、注目領域の抽出のために要する時間はさほど長くなることはなく、リアルタイム動体追尾の実現が容易になる。
　図４は、動体追尾部１３による画像処理の実施例を示す図である。図４において、画像フレームＮ、Ｎ＋１、Ｎ＋２は、動体追尾部１３への入力画像フレームである。ここで、画像フレームＮ＋１は、画像フレームＮの次の画像フレームであり、画像フレームＮ＋２は、画像フレームＮ＋１の次の画像フレームである。また、入力画像フレーム（Ｎ、Ｎ＋１、Ｎ＋２）のサイズは、４０×３２画素である。すなわち、入力画像フレームの幅は４０画素であり、その高さは３２画素である。さらに、画像フレームＮ、Ｎ＋１、Ｎ＋２上の斜線領域は、追尾対象の被写体に対応する画像領域である。この例では、被写体が、デジタルカメラ１に徐々に近づいてきており、また、デジタルカメラ１から見て右方向に移動している。
　動体追尾部１３は、画像フレームのサイズを制御するために、図５に示す画像変換テーブルを備える。この実施例では、画像変換テーブルにおいて３つの縮小レベルが定義されている。縮小レベル１は、入力画像フレームのサイズを変更しない動作モードを表す。よって、縮小レベル１が設定されているときは、入力画像フレームから注目領域が抽出される。また、縮小レベル２は、入力画像フレームを２０×１６画像フレームに変換する動作モードを表す。よって、縮小レベル２が設定されているときは、入力画像フレームは２０×１６画素の変換画像フレームに変換され、その変換画像フレームから注目領域が抽出される。さらに、縮小レベル３は、入力画像フレームを１０×８画像フレームに変換する動作モードを表す。よって、縮小レベル３が設定されているときは、入力画像フレームは１０×８画素の変換画像フレームに変換され、その変換画像フレームから注目領域が抽出される。
　画像変換テーブルにおいて、各縮小レベルに対して閾値１および閾値２が登録されている。閾値１および閾値２は、この例では、画素数で表わされる。閾値１は、縮小レベルを維持するか下げるかを判定するために使用される。例えば、動体追尾部１３が縮小レベル２で動作しているものとする。ここで、縮小レベル２の閾値１は「２５」である。この場合、変換画像フレームから抽出される注目領域の画素数が２５以上であれば、縮小レベル２が維持される。一方、変換画像フレームから抽出される注目領域の画素数が２５よりも少なければ、縮小レベル２から縮小レベル１への変更が行われる。
　閾値２は、縮小レベルを維持するか上げるかを判定するために使用される。例えば、上述の例と同様に、動体追尾部１３が縮小レベル２で動作しているものとする。ここで、縮小レベル２の閾値２は「１００」である。この場合、変換画像フレームから抽出される注目領域の画素数が１００以下であれば、縮小レベル２が維持される。一方、変換画像フレームから抽出される注目領域の画素数が１００を超えていれば、縮小レベル２から縮小レベル３への変更が行われる。
　縮小レベル１の閾値１は、「－１」である。したがって、動体追尾部１３が縮小レベル１で動作しているときは、「縮小レベルを下げる」と判定されることはない。また、縮小レベル３の閾値２は、無限大である。したがって、動体追尾部１３が縮小レベル３で動作しているときは、「縮小レベルを上げる」と判定されることはない。
　なお、図５に示す画像変換テーブルは、１つの実施例である。すなわち、縮小レベルの数は、２であってもよいし、４以上であってもよい。また、変換画像フレームの幅および高さ、閾値１および閾値２の値は、図５に示す値に限定されるものではない。
　図４に戻る。ここでは、画像フレームＮが入力されたときに、動体追尾部１３は縮小レベル２で動作しているものとする。この場合、画像変換部３４は、画像フレームＮを２０×１６画素の画像フレームに縮小する。これにより、変換画像フレームｎが生成される。
　そうすると、抽出部３２は、変換画像フレームｎにおいて注目領域を抽出する。このとき、抽出部３２は、★印で表わされる注目点を含む注目領域を抽出する。注目点は、注目領域を抽出する処理を開始する位置または画素を表す。なお、注目点の座標は、前回の画像フレームにおいて算出されているものとする。また、抽出部３２は、変換画像フレームｎにおいて抽出した注目領域の大きさ（または、面積）を検出する。この実施例では、注目領域の大きさは「５６」である。
　さらに、抽出部３２は、変換画像フレームｎにおいて抽出した注目領域の中心座標（または、重心）を算出する。算出した中心座標は、次の画像フレームにおいて注目領域を抽出するための注目点として使用される。
　動体追尾部１３は、追尾結果として、抽出部３２により抽出された注目領域の位置を表す追尾対象位置情報を出力する。ただし、この注目領域は、画像フレームＮを縮小率５０％で変換することにより得られた変換画像フレームｎから抽出されている。したがって、変換画像フレームｎから抽出された注目領域の座標は、追尾対象位置情報として出力されるときは、４０×３２画素の画像フレーム上にマッピングされる。例えば、変換画像フレームｎから抽出された注目領域は長方形であり、その４角の座標が（２，２）（９，２）（２，８）（９，８）であるものとする。この場合、動体追尾部１３は、追尾対象位置情報として、座標（４，４）（１８，４）（４，１６）（１８，１６）を出力する。
　続いて、動体追尾部１３に画像フレームＮ＋１が入力される。そうすると、サイズ決定部３３は、前回フレーム（すなわち、変換画像フレームｎ）において抽出された注目領域の大きさに基づいて、画像フレームＮ＋１の縮小レベルを決定する。この例では、変換画像フレームｎの注目領域の大きさは「５６」である。また、動体追尾部１３は、縮小レベル２で動作している。ここで、縮小レベル２における閾値１、２は、それぞれ「２５」「１００」である。すなわち、閾値１≦注目領域の大きさ≦閾値２である。したがって、サイズ決定部３３は、縮小レベルをそのまま維持する。すなわち、画像フレームＮ＋１の縮小レベルは「２」である。
　画像変換部３４は、サイズ決定部３３により決定された縮小レベルで入力画像フレームを変換する。よって、画像変換部３４は、画像フレームＮ＋１を２０×１６画素の画像フレームに縮小する。これにより、変換画像フレームｎ＋１が生成される。
　抽出部３２は、変換画像フレームｎ＋１において注目領域を抽出する。このとき、抽出部３２は、前回フレームにおいて算出された注目点を含む注目領域を抽出する。また、抽出部３２は、変換画像フレームｎ＋１において抽出した注目領域の大きさを検出する。この実施例では、注目領域の大きさは「１１０」である。さらに、抽出部３２は、次のフレームで使用する注目点として、変換画像フレームｎ＋１において抽出した注目領域の中心座標を算出する。
　動体追尾部１３は、追尾結果として、抽出部３２により抽出された注目領域の位置を表す追尾対象位置情報を出力する。このとき、変換画像フレームｎ＋１から抽出された注目領域の座標は、上述のように、４０×３２画素の画像フレーム上にマッピングされる。
　続いて、動体追尾部１３に画像フレームＮ＋２が入力される。そうすると、サイズ決定部３３は、前回フレーム（すなわち、変換画像フレームｎ＋１）において抽出された注目領域の大きさに基づいて、画像フレームＮ＋２の縮小レベルを決定する。この例では、変換画像フレームｎ＋１の注目領域の大きさは「１１０」である。また、動体追尾部１３は、縮小レベル２で動作している。ここで、縮小レベル２における閾値２は、上述したように「１００」である。すなわち、注目領域の大きさは閾値２よりも大きい。したがって、サイズ決定部３３は、縮小レベルを高くする。すなわち、画像フレームＮ＋２の縮小レベルは「３」と判定される。
　画像変換部３４は、サイズ決定部３３により決定された縮小レベルで入力画像フレームを変換する。よって、画像変換部３４は、画像フレームＮ＋２を１０×８画素の画像フレームに縮小する。これにより、変換画像フレームｎ＋２が生成される。
　抽出部３２は、変換画像フレームｎ＋２において注目領域を抽出する。このとき、抽出部３２は、前回フレームにおいて算出された注目点を含む注目領域を抽出する。ただし、画像フレームＮ＋２の縮小率は、前回フレームとは異なっている。具体的には、画像フレームＮ＋１は縮小レベル２で処理されたが、画像フレームＮ＋２は縮小レベル３で処理される。したがって、前回フレームにおいて算出された注目点（注目領域の中心座標）は、縮小率の変更に応じてサイズ決定部３３によりマッピングされる。ここで、縮小レベル２の縮小率は５０％であり、縮小レベル３の縮小率は２５％である。よって、例えば、変換画像フレームｎ＋１から抽出された注目領域の中心座標が（１０，８）であるものとすると、変換画像フレームｎ＋２で使用される注目点の座標は（５，４）となる。
　また、抽出部３２は、変換画像フレームｎ＋２において抽出した注目領域の大きさを検出する。この実施例では、注目領域の大きさは「３０」である。さらに、抽出部３２は、次のフレームで使用する注目点として、変換画像フレームｎ＋２において抽出した注目領域の中心座標を算出する。
　動体追尾部１３は、追尾結果として、抽出部３２により抽出された注目領域の位置を表す追尾対象位置情報を出力する。このとき、変換画像フレームｎ＋２から抽出された注目領域の座標は、４０×３２画素の画像フレーム上にマッピングされる。
　このように、動体追尾部１３は、各入力画像フレームにおいて注目領域を抽出する。具体的には、動体追尾部１３は、各変換画像フレームにおいて注目領域を抽出し、抽出した注目領域を入力画像フォーマット上にマッピングしている。ここで、注目領域は、追尾対象の被写体に対応する画像領域である。したがって、上述の画像処理により、動体追尾が実現される。
　また、上述の画像処理においては、画像フレーム上の注目領域の大きさに基づいて画像フレームの縮小レベルが決定される。例えば、図４に示す例では、画像フレームＮ＋１において注目領域の大きさが閾値２を超えると、以降の画像フレームの縮小レベルが高くなる。この結果、以降の画像フレームにおいて抽出される注目領域の画素数は抑制される。すなわち、入力画像フレームにおいて被写体を表す注目領域が大きくなっても、注目領域を抽出するために要する処理時間が長くなることはない。
　図６は、動体追尾部１３による画像処理の他の実施例を示す図である。図６に示す実施例では、入力画像フレームにおいて、被写体を表す注目領域が徐々に小さくなっている。
　この例では、画像フレームＮ＋１において、注目領域の大きさが閾値よりも小さくなっている。すなわち、変換画像フレームｎ＋１から抽出される注目領域の大きさは「２０」である。そして、このサイズは、縮小レベル３における閾値１よりも小さい。よって、縮小レベルは「３」から「２」に変更される。この結果、画像フレームＮ＋２および以降の画像フレームは、縮小レベル２で縮小されて処理される。
　このように、注目領域の大きさが閾値よりも小さくなると、以降のフレームでは、変換画像フレームのサイズが大きくなる。ここで、追尾対象の被写体に対応する注目領域の大きさが小さいときは、一般に、追尾対象を見失うおそれがある。したがって、図６に示す実施例のように、注目領域の大きさに応じて縮小レベルが設定されると、画像フレーム上で追尾対象を見失う可能性が低くなる。
　図７は、動体追尾部１３の処理を示すフローチャートである。このフローチャートの処理は、たとえば、デジタルカメラ１のユーザにより追尾対象が指定されたときに実行される。
　ステップＳ１において、動体追尾部１３は、領域抽出開始座標としての注目点を設定する。この注目点は、例えば、ユーザにより指定された追尾対象の画像フレーム上の座標に基づいて決定される。
　ステップＳ２において、動体追尾部１３は、縮小レベルの初期値として「１」を設定すると共に、縮小レベル１に対応する閾値１、２を設定する。また、動体追尾部１３は、前回領域サイズデータを初期化する。前回領域サイズデータは、前回フレームにおいて抽出された注目領域のサイズを表す。なお、前回領域サイズデータは、動体追尾部１３が備えるメモリに記録される。
　ステップＳ３において、抽出部３２は、画像メモリ３１に格納されている画像フレームを読み込む。なお、画像メモリ３１には、画像入力部１１から出力される画像フレームが格納されている。また、サイズ決定部３３は、上記メモリから前回領域サイズデータを取得する。
　ステップＳ４において、サイズ決定部３３は、前回領域サイズデータと閾値１とを比較する。前回領域サイズデータが閾値１よりも小さければ、サイズ決定部３３は、ステップＳ６において縮小レベルを１段階引き下げる。また、ステップＳ５において、サイズ決定部３３は、前回領域サイズデータと閾値２とを比較する。前回領域サイズデータが閾値２よりも大きければ、サイズ決定部３３は、ステップＳ７において縮小レベルを１段階引き上げる。
　ステップＳ８において、サイズ決定部３３は、ステップＳ６またはＳ７における縮小レベルの変更に応じて、閾値１、２を変更する。例えば、ステップＳ７において縮小レベルが「２」から「３」に引き上げられたときは、閾値２は「１００」から「∞」に変更される。さらに、ステップＳ９においてサイズ決定部３３は、ステップＳ６またはＳ７における縮小レベルの変更に応じて、注目点のマッピングを行う。なお、ステップＳ９でマッピングされる注目点の座標は、前回フレームに対するステップＳ１２で算出されているものとする。
　前回領域サイズデータが閾値１以上かつ閾値２以下であれば（ステップＳ４：Ｎｏ、ステップＳ５：Ｎｏ）、ステップＳ６～Ｓ９はスキップされる。この場合、縮小レベルは維持される。また、前回フレームで算出された注目点のマッピングも実行されない。
　ステップＳ１０において、画像変換部３４は、縮小レベルに従って、入力画像フレームから変換画像フレームを生成する。すなわち、画像変換部３４は、サイズ決定部３３により決定された縮小レベルに従って、処理対象画像フレームの画像サイズを変換する。ただし、この実施例では、動体追尾部１３が縮小レベル１で動作しているときは、画像サイズの変更は実行されない。
　ステップＳ１１において、抽出部３２は、ステップＳ１０で生成される変換画像フレームにおいて、注目点を基準として注目領域を抽出する。注目点の座標は、前回フレームにおいて算出されている。なお、ステップＳ６またはＳ７において縮小サイズが変更されたときは、注目点の座標は、前回フレームにおいて算出され座標をステップＳ９でマッピングすることにより得られている。
　ステップＳ１２において、抽出部３２は、抽出した注目領域に基づいて、次のフレームのための注目点の座標を算出する。次のフレームの注目点の座標は、例えば、抽出した注目領域の中心座標を算出することにより得られる。
　ステップＳ１３において、抽出部３２は、ステップＳ１１で抽出した注目領域のサイズを検出する。そして、抽出部３２は、検出した注目領域のサイズを、次のフレームのための前回領域サイズデータとして設定する。注目領域のサイズは、注目領域内の画素数をカウントすることにより検出される。この後、動体追尾部１３の処理は、ステップＳ３に戻る。
　図７に示すフローチャートにおいて、例えば、図６の画像フレームＮ＋１、Ｎ＋２が入力されると、以下の処理が行われる。ここで、画像フレームＮ＋１に対してステップＳ１０～Ｓ１３が実行されるものとする。すなわち、ステップＳ１０において、画像フレームＮ＋１から変換画像フレームｎ＋１が生成される。ステップＳ１１において、変換画像フレームｎ＋１において注目領域が抽出される。ステップＳ１２において、抽出された注目領域の中心座標を算出することにより、次の画像フレームの注目点が決定される。ステップＳ１３において、抽出された注目領域のサイズが検出される。ここでは、注目領域のサイズは「２０」である。そして、この値が、前回領域サイズデータとして保存される。
　続いて、画像フレームＮ＋２に対してステップＳ３～Ｓ１３の処理が実行される。ここで、画像フレームＮ＋２が入力されたときの縮小レベルは「３」である。また、変換画像フレームｎ＋１の注目領域のサイズを表す前回領域サイズデータは「２０」である。すなわち、前回領域サイズデータは、縮小レベル３の閾値１よりも小さい。したがって、ステップＳ４において「Ｙｅｓ」と判定され、ステップＳ６において縮小レベルが「３」から「２」に引き下げられる。さらに、前回フレーム（すなわち、変換画像フレームｎ＋１）で算出された注目点の座標は、ステップＳ９において、縮小レベル３から縮小レベル２への変更に応じてマッピングされる。この後、ステップＳ１０～Ｓ１３において、変換画像フレームｎ＋２から注目領域が抽出され、次の画像フレームのための注目点の座標が算出され、注目領域のサイズが検出される。
　このように、動体追尾部１３は、各画像フレームに対してステップＳ３～Ｓ１３の処理を実行する。そして、各画像フレームについてステップＳ１１で抽出される注目領域が、追尾対象領域として出力される。これにより、動体追尾が実現される。
　なお、図７のフローチャートに示す手順では、入力画像フレームの処理時に、前回フレームの注目領域のサイズに基づいて、その入力画像フレームの縮小レベルが決定される。しかし、実施形態の画像処理方法は、この手順に限定されるものではない。すなわち、例えば、入力画像フレームにおいて注目領域を抽出したときに、その注目領域のサイズに基づいて次の画像フレームの縮小レベルを決定するようにしてもよい。
　＜他の実施形態＞
　上述のように、図４～図７に示す実施形態においては、前回フレームの注目領域の大きさに基づいて、入力画像フレームの縮小レベルが決定される。これに対して、以下に説明する他の実施形態では、入力画像フレームの注目領域の大きさに基づいて、その入力画像フレームの縮小レベルが決定される。
　他の実施形態においては、サイズ決定部３３は、例えば、抽出部３２が入力画像フレーム（または、変換画像フレーム）において注目領域を抽出する抽出処理の途中で注目領域の大きさが閾値サイズを超えると判定したときは、抽出部３２による抽出処理が終了する前に、新たな画像サイズを決定する。また、画像変換部３４は、上述の入力画像フレーム（または、変換画像フレーム）を、サイズ決定部３３により決定された新たな画像サイズに変換する。そして、抽出部３２は、画像変換部３４により変換された画像フレームにおいて注目領域を抽出する。
　図８は、他の実施形態における画像処理の実施例を示す図である。ここでは、動体追尾部１３に画像フレームＮ、Ｎ＋１が入力されるものとする。画像フレームＮ＋１は、画像フレームＮの次の画像フレームである。そして、この例では、被写体が、デジタルカメラ１に急速に近づいてきている。
　画像フレームＮが入力されると、動体追尾部１３は、図４～図７を参照しながら説明した手順と同様の画像処理を行う。すなわち、画像変換部３４は、画像フレームＮを縮小することにより変換画像フレームｎを生成する。このとき、縮小レベルは「２」であるものとする。また、抽出部３２は、変換画像フレームｎにおいて注目領域を抽出し、その注目領域の大きさを検出する。この例では、注目領域の大きさは「５６」である。さらに、抽出部３２は、次のフレームのための注目点の座標を算出する。
　続いて、画像フレームＮ＋１が入力されると、動体追尾部１３は、図４～図７を参照しながら説明した手順と同様の画像処理を行う。すなわち、サイズ検出部３３は、前回フレーム（すなわち、変換画像フレームｎ）の注目領域の大きさに基づいて縮小レベルを判定する。この例では、注目領域の大きさが閾値１以上かつ閾値２以下であるので、縮小レベル２が維持される。そうすると、画像変換部３４は、画像フレームＮ＋１を縮小することにより変換画像フレームｎ＋１を生成する。
　抽出部３２は、前回フレームにおいて算出された注目点を基準として、注目領域の抽出を開始する。注目領域は、上述したように、注目点に近い画素から順番に、注目点画素と近い特徴量（例えば、色成分）を有する隣接画素を抽出することで検出される。このとき、抽出部３２は、注目点画素と近い特徴量（例えば、色成分）を有する隣接画素を抽出する毎に、領域カウンタをカウントアップしてゆく。
　図８に示す例では、変換画像フレームｎ＋１における注目領域は、１３×１１画素に渡って広がっている。すなわち、注目領域の画素数は、１４３である。そして、抽出部３２は、注目点に近い画素から順番に、注目領域に属する画素を抽出している。このとき、抽出部３２は、領域カウンタを利用して、抽出した画素の数をカウントしている。
　サイズ決定部３３は、領域カウンタが閾値２に達するか否かをモニタする。そして、領域カウンタが閾値２に達すると、抽出部３２は、サイズ決定部３３からの通知に応じて、注目領域を抽出する処理を停止する。また、サイズ決定部３３は、縮小レベルを引き上げる。ここで、縮小レベル２の閾値２は「１００」である。よって、図８に示すように、抽出部３２により抽出される画素の数が１００に達すると、抽出部３２は抽出処理を停止する。また、サイズ決定部３３により、縮小レベルは「２」から「３」に変更される。
　続いて、画像変換部３４は、サイズ決定部３３により決定された縮小レベルで変換画像フレームｎ＋１をさらに変換する。これにより、１０×８画素の画像フレームＸが生成される。なお、画像変換部３４は、入力画像フレームＮ＋１から１０×８画素の画像フレームＸを生成してもよい。
　この後、動体追尾部１３は、画像フレームＸに対して下記の画像処理を行う。抽出部３２は、画像フレームＸから注目領域を抽出する。この注目領域は、追尾結果として出力される際には、４０×３２画素の画像フレーム上にマッピングされる。さらに、抽出部３２は、画像フレームＸから抽出した注目領域を利用して、次の画像フレームのための注目点の座標を算出する。
　このように、他の実施形態においては、注目領域の抽出処理の途中で、その注目領域の大きさが閾値２を超えると見込まれる場合は、抽出処理はいったん停止され、画像フレームがさらに縮小される。そして、その縮小画像フレームにおいて注目領域を抽出する処理が実行される。このため、注目領域を抽出するための処理時間が短縮される。
　例えば、図８に示す例では、変換画像フレームｎ＋１において注目領域から１００個の画素が抽出された時点で、変換画像フレームｎ＋１に対する画像処理は終了する。すなわち、残りの４３個の画素を抽出する処理に要する時間が節約される。この後、画像フレームＸにおいて注目領域に属する３０個の画素が抽出される。このとき、画像フレームｎ＋１において残りの４３個の画素を抽出するための処理時間よりも、画像フレームＸにおいて注目領域に属する３０個の画素を抽出するための処理時間の方が短いものとすると、画像フレームＮ＋１の注目領域を抽出するための処理時間は短縮されることになる。
　図９Ａ～図９Ｂは、他の実施形態における動体追尾部の処理を示すフローチャートである。このフローチャートの処理は、図７に示す手順と同様に、例えば、デジタルカメラ１のユーザにより追尾対象が指定されたときに実行される。
　他の実施形態の手順は、基本的には、図７に示すステップＳ１～Ｓ１３と同じである。ただし、他の実施形態では、図７に示すステップＳ５およびＳ７は実行されない。また、他の実施形態では、図７に示すステップＳ１１の代わりにステップＳ２０が実行される。ステップＳ２０においては、ステップＳ１１と同様に、注目領域が抽出されるが、詳しくは図９Ｂに示すステップＳ２１～Ｓ２８が実行される。また、ステップＳ２０は、抽出部３２、サイズ決定部３３、画像変換部３４が連携して動作することにより実現される。
　ステップＳ２１においては、抽出部３２は、領域カウンタを初期化する。すなわち、領域カウンタにゼロが書き込まれる。領域カウンタは、抽出部３２により検出される画素の数をカウントする。
　ステップＳ２２において、抽出部３２は、注目領域の抽出が完了したか判定する。ここで、抽出部３２は、上述した手順（１）～（４）で隣接画素を抽出する。したがって、ステップＳ２２では、一例としては、注目点画素の特徴量との差分が閾値よりも小さい隣接画素が存在するか否かが判定される。そして、注目領域の抽出が完了していれば、ステップＳ２０の処理は終了する。
　注目領域の抽出が完了していなければ、ステップＳ２３において、抽出部３２は、注目領域内の画素を１つ抽出し、領域カウンタを１だけカウントアップする。続いて、ステップＳ２４において、抽出部３２は、領域カウンタが閾値２以上であるか否かを判定する。そして、領域カウンタが閾値２以上であれば、処理はステップＳ２５に移行する。一方、領域カウンタが閾値２よりも小さければ、処理はステップＳ２２に戻る。このように、抽出部３２は、領域カウンタが閾値２に達するまで注目領域内の画素を１つずつ抽出してゆく。ただし、領域カウンタが閾値２に達することなく注目領域内のすべての画素が抽出されたときは、ステップＳ２０の処理は終了する。
　ステップＳ２５において、サイズ決定部３３は、縮小レベルを１段階引き上げる。ステップＳ２６～Ｓ２７は、ステップＳ８～Ｓ９と同じである。すなわち、縮小レベルの変更に応じて閾値１、２が更新され、また、注目点の座標がマッピングされる。
　ステップＳ２８において、画像変換部３４は、ステップＳ２５で新たに決定された縮小レベルに応じて、画像フレームをさらに縮小する。この後、動体追尾部１３の処理はステップＳ２１に戻る。したがって、動体追尾部１３は、ステップＳ２８で新たに生成された縮小画像フレームから注目領域を抽出する処理を開始する。
　以下、図９Ａ～図９Ｂに示す手順で図８に示す画像フレームＮ＋１を処理する実施例を説明する。ここでは、画像フレームＮ＋１が入力されたとき、動体追尾部１３は縮小レベル２で動作しているものとする。また、前回フレーム（すなわち、変換画像フレームｎ）の注目領域の大きさは「５６」である。したがって、前回領域サイズデータは「５６」である。
　ステップＳ３において画像データＮ＋１が読み込まれる。このとき、前回領域サイズデータは「５６」であり、縮小レベル２の閾値１（＝２５）よりも大きいので、ステップＳ６、Ｓ８、Ｓ９は実行されることなく、ステップＳ１０が実行される。
　ステップＳ１０において、画像フレームＮ＋１は、縮小レベル２に従って変換され、変換画像フレームｎ＋１が生成される。続いて、この変換画像フレームｎ＋１に対してステップＳ２０の処理が実行される。すなわち、図９Ｂに示すステップＳ２１～Ｓ２８が実行される。
　ステップＳ２２～Ｓ２４では、変換画像フレームｎ＋１において注目領域を形成する画素が抽出され、領域カウンタがカウントアップされる。そして、この領域カウンタが「１００」に達すると、ステップＳ２５において、縮小レベルが「２」から「３」に引き上げられる。さらに、ステップＳ２７でマッピングされた注目点を利用して、ステップＳ２８において、画像フレームＮ＋１または変換画像フレームｎ＋１から画像フレームＸが生成される。
　この後、画像フレームＸに対してステップＳ２２～Ｓ２４の処理が実行される。このとき、画像フレームＸの注目領域の画素数は「３０」であり、縮小レベル３の閾値２よりも少ない。したがって、ステップＳ２２～Ｓ２４が繰り返し実行されたとき、ステップＳ２４で「Ｙｅｓ」と判定されることなく、注目領域のすべての画素が抽出され、ステップＳ２０の処理は終了する。さらに、図９ＡのステップＳ１２～Ｓ１３が実行され、画像フレームＮ＋１に対する画像処理は終了する。
　なお、図８～図９Ｂに示す方法では、領域カウンタが閾値２に達したことに伴って画像フレームが縮小されると（ステップＳ２４～Ｓ２８）、縮小画像フレームにおいて注目領域が最初から抽出される。しかし、他の実施形態は、これに限定されるものではない。すなわち、例えば、領域カウンタが閾値２に達したときの状態情報を、縮小画像フレームに引き継ぐようにしてもよい。例えば、図８に示す例では、変換画像フレームＮ＋１において注目領域内の画素として１００個の画素が抽出されている。この場合、まず、変換画像フレームＮ＋１において抽出された１００個の画素に対応する領域を、画像フレームＸにマッピングする。続いて、画像フレームＸにおいて、変換画像フレームＮ＋１からマッピングされた領域を注目領域の一部として設定する。そして、画像フレームＸにおいて、残りの注目領域を抽出する。この方法によれば、図８～図９Ｂに示す方法により、注目領域を抽出するための処理時間がさらに短縮される。
　＜その他＞
　図４～図７に示す例では、ある画像フレームの注目領域の大きさに基づいてその次の画像フレームの画像サイズが決定される。また、図８～図９Ｂに示す例では、ある画像フレームの注目領域の大きさに基づいてその画像フレームの画像サイズが決定される。しかしながら、発明に係る画像処理方法は、これらに限定されるものではない。すなわち、ある画像フレームの注目領域の大きさに基づいてその画像フレームから２フレーム以上後の画像フレームの画像サイズが決定されるようにしてもよい。或いは、リアルタイム処理が要求されないときは、ある画像フレームの注目領域の大きさに基づいてその画像フレームよりも前の画像フレームの画像サイズが決定されるようにしてもよい。
　また、上述の実施例では、画素の特徴量（例えば、色成分）を利用して注目領域が抽出されるが、他の方法で注目領域を抽出してもよい。例えば、発明の画像処理方法は、追尾対象の輪郭の形状を利用して各画像フレームから注目領域を検出する場合にも適用可能である。
　さらに、上述の実施例では、実施形態に係る画像処理装置は、デジタルカメラ内に設けられているが、デジタルカメラの外部に設けられてもよい。すなわち、実施形態に係る画像処理装置は、例えば、サーバコンピュータに設けられる。この場合、デジタルカメラから出力される画像データはサーバコンピュータへ送信される。そうすると、サーバコンピュータは、動体追尾処理を実行し、その結果をデジタルカメラへ返送する。そして、デジタルカメラは、サーバコンピュータから受信した追尾結果に応じて、例えば、焦点距離を制御する。
　＜ハードウェア構成＞
　図１０は、各実施形態の画像処理装置のハードウェア構成を示す図である。図１０において、ＣＰＵ１０１は、メモリ１０３を利用して画像処理プログラムを実行する。記憶装置１０２は、画像処理プログラムを格納する。なお、記憶装置１０２は、外部記憶装置であってもよい。メモリ１０３は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。また、メモリ１０３は、例えば、画像フレームを一時的に格納するために使用されてもよい。このように、実施形態の画像処理装置は、プロセッサおよびメモリを含むコンピュータ（または、プロセッサシステム）により実現される。
　読み取り装置１０４は、ＣＰＵ１０１の指示に従って可搬型記録媒体１０５にアクセスする。可搬型記録媒体１０５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。通信インタフェース１０６は、ＣＰＵ１０１の指示に従って、ネットワークを介してデータを送受信する。入出力装置１０７は、この実施例では、表示装置、ユーザからの指示を受け付けるデバイス等に相当する。ただし、実施形態の画像処理装置は、通信インタフェース１０６および／または入出力装置１０７を含まなくてもよい。
　実施形態に係わる画像処理プログラムは、例えば、下記の形態で提供される。
（１）記憶装置１０２に予めインストールされている。
（２）可搬型記録媒体１０５により提供される。
（３）プログラムサーバ１１０からダウンロードする。
　そして、上記構成のコンピュータで画像処理プログラムを実行することにより、実施形態に係わる動体追尾部１３（すなわち、抽出部３２、サイズ決定部３３、画像変換部３４）の少なくとも一部が実現される。

Claims (8)

  1. 　第１の画像フレームにおいて所定の条件を満たす注目領域を抽出する抽出部と、
    　前記抽出部により抽出された注目領域の大きさに基づいて画像サイズを決定するサイズ決定部と、
    　処理対象画像フレームを前記サイズ決定部により決定された画像サイズに変換する画像変換部、を備え、
    　前記抽出部は、前記画像変換部により変換された処理対象画像フレームにおいて前記所定の条件を満たす注目領域を抽出する
    　ことを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記画像変換部は、前記第１の画像フレームよりも後の撮影時刻に得られた第２の画像フレームを前記サイズ決定部により決定された画像サイズに変換し、
    　前記抽出部は、前記画像変換部により変換された前記第２の画像フレームにおいて前記所定の条件を満たす注目領域を抽出する
    　ことを特徴とする画像処理装置。
  3. 　請求項１に記載の画像処理装置であって、
    　前記サイズ決定部は、前記抽出部が前記第１の画像フレームにおいて前記注目領域を抽出する抽出処理の途中で前記注目領域の大きさが閾値サイズを超えると判定したときは、前記抽出部による前記抽出処理が終了する前に前記画像サイズを決定し、
    　前記画像変換部は、前記第１の画像フレームを前記サイズ決定部により決定された画像サイズに変換し、
    　前記抽出部は、前記画像変換部により変換された前記第１の画像フレームにおいて前記所定の条件を満たす注目領域を抽出する
    　ことを特徴とする画像処理装置。
  4. 　請求項１～３のいずれか１つに記載の画像処理装置であって、
    　前記サイズ決定部は、前記抽出部により抽出された注目領域の大きさに基づいて、前記処理対象画像フレームの縮小率を決定し、
    　前記画像変換部は、前記処理対象画像フレームを前記サイズ決定部により決定された縮小率に応じて縮小する
    　ことを特徴とする画像処理装置。
  5. 　コンピュータに、
    　第１の画像フレームにおいて所定の条件を満たす注目領域を抽出する工程、
    　前記注目領域の大きさに基づいて画像サイズを決定する工程、
    　処理対象画像フレームを前記画像サイズに変換する工程、
    　前記画像サイズに変換された処理対象画像フレームにおいて前記所定の条件を満たす注目領域を抽出する工程、
    　を実行させることを特徴とする画像処理プログラム。
  6. 　画像入力部と、
    　前記画像入力部を制御する制御部と、
    　前記画像入力部による生成された第１の画像フレームにおいて所定の条件を満たす注目領域を抽出する抽出部と、
    　前記抽出部により抽出された注目領域の大きさに基づいて画像サイズを決定するサイズ決定部と、
    　処理対象画像フレームを前記サイズ決定部により決定された画像サイズに変換する画像変換部と、を備え、
    　前記抽出部は、前記画像変換部により変換された処理対象画像フレームにおいて前記所定の条件を満たす注目領域を抽出し、
    　前記制御部は、前記処理対象画像フレームにおいて抽出された注目領域に焦点を合わせるように前記画像入力部を制御する
    　ことを特徴とするデジタルカメラ。
  7. 　請求項６に記載のデジタルカメラであって、
    　前記画像入力部が、前記処理対象画像フレームにおいて抽出された注目領域に焦点を合わせて撮影した、画像データを格納する画像メモリをさらに備える
    　ことを特徴とするデジタルカメラ。
  8. 　第１の画像フレームにおいて所定の条件を満たす注目領域を抽出し、
    　前記注目領域の大きさに基づいて画像サイズを決定し、
    　処理対象画像フレームを前記画像サイズに変換し、
    　前記画像サイズに変換された処理対象画像フレームにおいて前記所定の条件を満たす注目領域を抽出する
    　ことを特徴とする画像処理方法。
PCT/JP2010/057904 2010-05-10 2010-05-10 画像処理装置および画像処理プログラム WO2011141991A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012514623A JP5553109B2 (ja) 2010-05-10 2010-05-10 画像処理装置および画像処理プログラム
PCT/JP2010/057904 WO2011141991A1 (ja) 2010-05-10 2010-05-10 画像処理装置および画像処理プログラム
US13/666,369 US8970723B2 (en) 2010-05-10 2012-11-01 Device and method for image processing capable of tracking target object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/057904 WO2011141991A1 (ja) 2010-05-10 2010-05-10 画像処理装置および画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/666,369 Continuation US8970723B2 (en) 2010-05-10 2012-11-01 Device and method for image processing capable of tracking target object

Publications (1)

Publication Number Publication Date
WO2011141991A1 true WO2011141991A1 (ja) 2011-11-17

Family

ID=44914060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/057904 WO2011141991A1 (ja) 2010-05-10 2010-05-10 画像処理装置および画像処理プログラム

Country Status (3)

Country Link
US (1) US8970723B2 (ja)
JP (1) JP5553109B2 (ja)
WO (1) WO2011141991A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10196088B2 (en) * 2011-04-19 2019-02-05 Ford Global Technologies, Llc Target monitoring system and method
WO2013145531A1 (ja) * 2012-03-29 2013-10-03 日本電気株式会社 解析システム
US10147218B2 (en) * 2016-09-29 2018-12-04 Sony Interactive Entertainment America, LLC System to identify and use markers for motion capture
JP6866210B2 (ja) * 2017-03-31 2021-04-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN113763456A (zh) * 2020-06-01 2021-12-07 聚晶半导体股份有限公司 图像检测装置以及图像检测方法
TWI786409B (zh) * 2020-06-01 2022-12-11 聚晶半導體股份有限公司 影像偵測裝置以及影像偵測方法
US11968353B2 (en) * 2021-04-05 2024-04-23 Acumera, Inc. Camera health determination based on local analysis of scene information content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282188A (ja) * 2006-03-15 2007-10-25 Nikon Corp 被写体追尾装置、被写体追尾方法、被写体追尾プログラムおよび光学機器
JP2008003335A (ja) * 2006-06-23 2008-01-10 Casio Comput Co Ltd 撮像装置、フォーカス制御方法、およびフォーカス制御プログラム
WO2008114683A1 (ja) * 2007-03-16 2008-09-25 Nikon Corporation 被写体追跡用コンピュータプログラム製品、被写体追跡装置、およびカメラ

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5979868A (ja) 1982-10-29 1984-05-09 Nec Corp 移動物体追跡装置
JP2003319386A (ja) 2002-04-22 2003-11-07 Gen Tec:Kk モバイル端末機への撮影画像伝送システム
JP4353503B2 (ja) * 2003-04-30 2009-10-28 キヤノン株式会社 画像処理装置
JP2005348003A (ja) * 2004-06-02 2005-12-15 Koito Ind Ltd 指向装置及びこれを用いた光空間伝送装置
JP4241742B2 (ja) 2006-01-31 2009-03-18 パナソニック株式会社 自動追尾装置及び自動追尾方法
JP4800979B2 (ja) * 2007-02-01 2011-10-26 株式会社豊田中央研究所 対象物検出装置、対象物検出方法、及びプログラム
JP4983666B2 (ja) * 2008-03-18 2012-07-25 パナソニック株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007282188A (ja) * 2006-03-15 2007-10-25 Nikon Corp 被写体追尾装置、被写体追尾方法、被写体追尾プログラムおよび光学機器
JP2008003335A (ja) * 2006-06-23 2008-01-10 Casio Comput Co Ltd 撮像装置、フォーカス制御方法、およびフォーカス制御プログラム
WO2008114683A1 (ja) * 2007-03-16 2008-09-25 Nikon Corporation 被写体追跡用コンピュータプログラム製品、被写体追跡装置、およびカメラ

Also Published As

Publication number Publication date
JP5553109B2 (ja) 2014-07-16
US20130057728A1 (en) 2013-03-07
JPWO2011141991A1 (ja) 2013-07-22
US8970723B2 (en) 2015-03-03

Similar Documents

Publication Publication Date Title
JP5553109B2 (ja) 画像処理装置および画像処理プログラム
JP4623193B2 (ja) 撮像装置、撮像方法、及びプログラム
US8564679B2 (en) Image processing apparatus, image processing method and program
US8131014B2 (en) Object-tracking computer program product, object-tracking device, and camera
JP5720275B2 (ja) 撮像装置および撮像方法
US20090268074A1 (en) Imaging apparatus and imaging method
JP2007072606A (ja) 画像処理装置及び方法
US20180007292A1 (en) Imaging device, imaging method, and image processing device
JP2009193421A (ja) 画像処理装置、カメラ装置、画像処理方法、およびプログラム
JP5453573B2 (ja) 撮像装置、撮像方法およびプログラム
US10237488B2 (en) Image capturing apparatus and image capturing method
US8295609B2 (en) Image processing apparatus, image processing method and computer readable-medium
US8644555B2 (en) Device and method for detecting movement of object
CN102763405A (zh) 包括目标跟踪功能的成像设备
US8269859B2 (en) Photographing apparatus that performs distortion correction in association with digital and optical zoom, method of controlling the same, and recording medium having recorded thereon computer program to implement the method
TWI451184B (zh) 焦距調整方法與相關影像擷取裝置
JP4807582B2 (ja) 画像処理装置、撮像装置及びそのプログラム
CN108737698A (zh) 图像稳定设备和方法、摄像设备、摄像系统和存储介质
CN114286011B (zh) 对焦方法和装置
CN112995498B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP2011182014A (ja) 撮像装置、撮像処理方法及びプログラム
JP5322842B2 (ja) 自動合焦装置、自動合焦方法及びプログラム
US11206350B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium
JP5338248B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
WO2022001733A1 (zh) 一种拍摄对象的显示方法及装置、存储介质、终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10851374

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012514623

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10851374

Country of ref document: EP

Kind code of ref document: A1