WO2016132623A1 - 追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラム - Google Patents

追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラム Download PDF

Info

Publication number
WO2016132623A1
WO2016132623A1 PCT/JP2015/083600 JP2015083600W WO2016132623A1 WO 2016132623 A1 WO2016132623 A1 WO 2016132623A1 JP 2015083600 W JP2015083600 W JP 2015083600W WO 2016132623 A1 WO2016132623 A1 WO 2016132623A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
camera
tracking
unit
color
Prior art date
Application number
PCT/JP2015/083600
Other languages
English (en)
French (fr)
Inventor
林　大輔
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201580075924.0A priority Critical patent/CN107211114B/zh
Priority to JP2017500290A priority patent/JP6387450B2/ja
Publication of WO2016132623A1 publication Critical patent/WO2016132623A1/ja
Priority to US15/675,157 priority patent/US20170353669A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Definitions

  • the present invention relates to a tracking shooting control device, a tracking shooting system, a camera, and a terminal device that control panning and / or tilting operations of a camera having a pan and / or tilt function and perform shooting while automatically tracking a target. , A tracking shooting method, and a tracking shooting program.
  • the position of a target is detected from an image captured by a camera, and the pan and / or tilt operation of the camera is controlled based on the detected position information of the target to track the target.
  • a method using color information of the target is known (for example, Patent Document 1).
  • target color information is acquired in advance, a subject having the same color as the target color is detected from the image, and the position of the target is detected from the image.
  • the method of detecting the position of the target from the image using the color information of the target has a problem that the target is likely to be erroneously detected if the background contains many colors similar to the target.
  • Patent Document 2 a subject that is a candidate for a target is detected from an image, information on the subject is detected, and the position of the target is obtained based on the detected information on the subject.
  • a method for detecting the position of a target by selecting an optimum method from the plurality of methods has been proposed.
  • Patent Document 2 has a drawback in that the processing load is heavy because information on a subject that is a candidate for a target must be sequentially detected.
  • the present invention has been made in view of such circumstances, a tracking shooting control device, a tracking shooting system, a camera, a terminal device, a tracking shooting method, which can easily detect the position of a target and accurately track the target,
  • the purpose is to provide a tracking shooting program.
  • a tracking shooting control device that controls panning and / or tilting operations of a camera having a pan function and / or a tilt function and causes the camera to perform shooting by tracking the target, and the target for setting the target
  • a setting unit a hue histogram creation unit that creates a hue histogram of a range in which the target is tracked
  • a target color information acquisition unit that obtains target color information
  • a target color information are captured by the camera.
  • a target that calculates the ratio of pixels in a certain range of hues in the histogram as the target color ratio
  • the camera pan and / or tilt operation is controlled based on the target position information detected by the first target detection unit. If the target color ratio exceeds the threshold, the camera pan and / or tilt operations are controlled on the basis of the target position information detected by the second target detection unit.
  • a tracking imaging control device comprising: a tracking control unit that tracks a target.
  • the first target detection unit and the second target detection unit are provided as means for detecting the position of the target.
  • the first target detection unit detects the position of the target from the image captured by the camera based on the target color information.
  • the second target detection unit detects the position of the target from the image captured by the camera based on information other than the target color.
  • the first target detection unit and the second target detection unit are selectively used based on the relationship between the target color and the background color. That is, when the background includes a large number of target colors and their approximate colors, it is determined that it is difficult to detect the target based on the color, and the target is tracked based on the detection result of the second target detection unit.
  • the target can be detected based on the color
  • the target is tracked based on the detection result of the first target detection unit.
  • Whether or not the background includes many colors of the target and approximate colors thereof is determined by creating a histogram of hues in the range of tracking the target and calculating the target color ratio from the histogram.
  • the target color ratio is calculated as the ratio of pixels in a certain range of hues in the histogram based on the target color.
  • the target color ratio exceeds the threshold value, it is determined that the background includes many target colors and approximate colors thereof, and the target is tracked based on the detection result of the second target detection unit.
  • the target color ratio is equal to or smaller than the threshold value, it is determined that the target color and its approximate colors are small, and the target is tracked based on the detection result of the first target detection unit.
  • the target color ratio is calculated, and the results of the first target detection unit and the second target detection unit are properly used based on the calculated target color ratio. As a result, the position of the target can be easily detected, and the target can be accurately tracked.
  • the second target detection unit detects the position of the target from the image captured by the camera based on the information on the luminance or brightness of the target.
  • the target position can be detected from the image regardless of the color information.
  • the camera is configured to include an imaging unit that captures an optical image of the subject via the lens, and a support unit that supports the imaging unit so as to be able to pan and / or tilt.
  • the imaging unit is panned and / or tilted to change the shooting direction (the direction of the optical axis of the lens), thereby tracking the target.
  • the camera includes an imaging unit that captures an optical image of the subject via the fisheye lens, and an image clipping unit that clips a part of the image captured by the imaging unit.
  • the tracking imaging control device according to [1] or [2] above, wherein the panning function and / or the tilt function are realized by changing.
  • the camera includes an imaging unit that captures an optical image of the subject via the fisheye lens, and an image clipping unit that crops a part of the image captured by the imaging unit.
  • the target is tracked by changing the position where the image is cut out by the image cutout unit.
  • the tracking imaging control device according to any one of [1] to [4], further including a tracking range setting unit that sets a target tracking range as a tracking range.
  • the tracking range setting unit is further provided.
  • the tracking range setting unit sets a range for tracking the target as the tracking range.
  • only the necessary area can be set as the tracking range, and the target can be detected efficiently.
  • a histogram can be created efficiently.
  • the tracking range setting unit sets the movable range of the pan and / or tilt of the camera as the tracking range. This saves the trouble of setting the tracking range.
  • the tracking imaging control device according to [6], further including a movable range setting unit that sets a movable range of pan and / or tilt of the camera.
  • the movable range setting unit for setting the movable range of the pan and / or tilt of the camera is further provided. Accordingly, when the movable range of panning and / or tilting of the camera is set, the tracking range can be automatically set, and the trouble of setting the tracking range can be saved. Further, only a necessary area can be panned and / or tilted, and the target can be tracked efficiently.
  • the hue histogram creation unit creates a hue histogram of the range for tracking the target based on image data obtained by photographing the entire range for tracking the target with a camera.
  • the tracking imaging photography control apparatus of any one of.
  • the hue histogram of the target tracking range is created based on the image data obtained by photographing the entire target tracking range with the camera.
  • a display unit that displays an image captured by the camera, and an input unit that specifies a position on the screen of the display unit, and the target setting unit targets the subject at the position specified by the input unit.
  • the tracking imaging control device according to any one of [1] to [8], set to:
  • the display unit that displays the image captured by the camera and the input unit that specifies the position on the screen of the display unit are further provided, and the subject at the position specified by the input unit is the target. Is set. Thereby, a target can be set easily.
  • the image processing apparatus further includes a face detection unit that detects a human face from an image captured by the camera, and the target setting unit sets the human face detected by the face detection unit as a target. 8].
  • the tracking imaging control device according to any one of [8].
  • the face detection unit that detects the face of the person from the image captured by the camera is further provided, and the face of the person detected by the face detection unit is set as the target.
  • a target can be set easily.
  • the moving object detection unit that detects the moving object from the image captured by the camera is further provided, and the moving object first detected by the moving object detection unit is set as the target.
  • a target can be set easily.
  • the hue histogram creation unit divides the target tracking range into a plurality of blocks, creates a hue histogram for each block, and the target color ratio calculation unit calculates the hue of a certain range based on the target color.
  • the ratio of pixels in the histogram is set as the target color ratio, and the target color ratio is calculated for each block.
  • the tracking control unit determines the position of the target detected by the first target detection unit for blocks whose target color ratio is equal to or less than the threshold value. Based on the information, the operation of the pan and / or tilt of the camera is controlled, and the block in which the target color ratio exceeds the threshold is determined based on the information on the position of the target detected by the second target detection unit. Any of [1] to [11] above that controls the tilt operation and causes the camera to track the target.
  • One of the tracking imaging control apparatus One of the tracking imaging control apparatus.
  • the target tracking range is divided into a plurality of blocks, and the target color ratio is calculated for each block. Then, the result of the means for detecting the target position is selectively used for each block. That is, blocks whose target color ratio is equal to or less than the threshold track the target based on the target position information detected by the first target detection unit, and blocks whose target color ratio exceeds the threshold are the second target detection unit. The target is tracked based on the detected position information of the target. Thereby, even if the color of the background changes, the position of the target can be detected appropriately.
  • a terminal device that is connected to a camera having a pan function and / or a tilt function so as to be communicable with the camera, controls the pan and / or tilt operations of the camera, and causes the camera to perform shooting while tracking the target.
  • the terminal device acquires target color information, a target setting unit that sets a target, a hue histogram creation unit that creates a hue histogram of a range for tracking the target, and a target color information
  • a target color information acquisition unit a first target detection unit for detecting a target position from an image captured by the camera based on the target color information, and a camera based on information other than the target color.
  • a second target detector for detecting the position of the target from the captured image, and a range of colors based on the target color
  • a target color ratio calculation unit that calculates a ratio of pixels in the histogram as a target color ratio, and, when the target color ratio is equal to or less than a threshold value, panning of the camera based on information on a target position detected by the first target detection unit And / or controlling the tilting operation, and when the target color ratio exceeds the threshold, controlling the panning and / or tilting operation of the camera based on the information on the target position detected by the second target detection unit,
  • a tracking imaging system comprising: a tracking control unit that causes a camera to track a target.
  • the target color ratio is calculated, and the results of the first target detection unit and the second target detection unit are selectively used based on the calculated target color ratio.
  • the position of the target can be easily detected, and the target can be accurately tracked.
  • An imaging unit that captures an optical image of a subject via a lens, a support unit that supports the imaging unit so as to be able to pan and / or tilt, a target setting unit that sets a target, and a hue in a range for tracking the target
  • a hue histogram generation unit that generates a histogram of the target
  • a target color information acquisition unit that acquires target color information
  • a target position that is detected from an image captured by the imaging unit based on the target color information.
  • a second target detection unit that detects the position of the target from an image captured by the imaging unit based on information other than the color of the target, and pixels in a certain range of hues based on the target color
  • a target color ratio calculation unit that calculates the ratio of the histogram as the target color ratio, and when the target color ratio is below the threshold Controls the pan and / or tilt of the imaging unit based on the target position information detected by the first target detection unit. If the target color ratio exceeds the threshold, the second target detection unit detects the target color ratio.
  • a tracking control unit that controls the pan and / or tilt of the imaging unit based on the information on the position of the target to track the target.
  • the target color ratio is calculated, and the results of the first target detection unit and the second target detection unit are selectively used based on the calculated target color ratio.
  • the position of the target can be easily detected, and the target can be accurately tracked.
  • An imaging unit that captures an optical image of a subject via a fisheye lens, an image clipping unit that clips a part of an image captured by the imaging unit, a target setting unit that sets a target, and a range for tracking the target
  • the position of the target is detected from the image captured by the imaging unit, based on the color information of the target color information acquisition unit that acquires the color information of the target, the hue histogram generation unit that generates the histogram of the hue
  • a first target detection unit a second target detection unit that detects a position of the target from an image captured by the imaging unit based on information other than the color of the target; and pixels in a certain range of hues based on the target color
  • Target color ratio calculation unit that calculates the ratio of the image to the histogram as the target color ratio, and the target color ratio is a threshold value
  • the image cutout unit is controlled based on the target position information detected by the first target detection unit. When the target color ratio exceeds the threshold, the
  • the target color ratio is calculated, and the results of the first target detection unit and the second target detection unit are selectively used based on the calculated target color ratio.
  • the position of the target can be easily detected, and the target can be accurately tracked.
  • a terminal device that is communicably connected to a camera having a pan function and / or a tilt function, controls the pan and / or tilt operation of the camera, and causes the camera to perform shooting while tracking the target.
  • a target setting unit for setting a target
  • a hue histogram creating unit for creating a hue histogram for a range of tracking the target
  • a target color information obtaining unit for obtaining target color information
  • a target color information A first target detector that detects the position of the target from the image captured by the camera, and a second target detector that detects the position of the target from the image captured by the camera based on information other than the color of the target
  • the target color ratio is the ratio of pixels in a certain range of hues in the histogram relative to the target color.
  • a target color ratio calculation unit to calculate as follows, and when the target color ratio is equal to or less than a threshold value, control the pan and / or tilt operation of the camera based on the target position information detected by the first target detection unit.
  • a tracking control unit that controls the camera pan and / or tilt operation based on the target position information detected by the second target detection unit when the color ratio exceeds the threshold, and causes the camera to track the target;
  • a terminal device comprising:
  • the target color ratio is calculated, and the results of the first target detection unit and the second target detection unit are selectively used based on the calculated target color ratio.
  • the position of the target can be easily detected, and the target can be accurately tracked.
  • a tracking shooting method for controlling the pan and / or tilt operation of a camera having a pan function and / or a tilt function to cause the camera to perform shooting by tracking the target, and setting the target The process of creating a histogram of the hue of the target tracking range, the process of acquiring the target color information, and calculating the ratio of pixels in a certain range of hues in the histogram based on the target color as the target color ratio And when the target color ratio is less than or equal to the threshold value, the target position is detected from the image captured by the camera based on the target color information, and the target position information is detected based on the detected target position information.
  • the position of the target is detected from an image captured by the camera based on information other than the color of the target, and the pan and / or tilt operation of the camera is controlled based on the detected position information of the target. And tracking the target with the camera.
  • the target color ratio is calculated, and the method for detecting the target position is switched based on the calculated target color ratio.
  • the position of the target can be easily detected, and the target can be accurately tracked.
  • a tracking shooting program for controlling the pan and / or tilt operation of a camera having a pan function and / or a tilt function to cause the camera to perform shooting while tracking the target, and a function for setting the target; , A function to create a histogram of the hue of the target tracking range, a function to acquire target color information, and a function to detect the target position from an image captured by the camera based on the target color information And the function of detecting the position of the target from the image captured by the camera based on information other than the target color, and the ratio of pixels in a certain range of hues in the histogram based on the target color as the target color ratio If the function to calculate and the target color ratio is below the threshold, the camera The target position is detected from the captured image, the camera pan and / or tilt operation is controlled based on the detected target position information, the target is tracked, and the target color ratio is a threshold value.
  • the target position is detected from the image captured by the camera based on information other than the target color, and the camera pan and / or tilt operation is performed based on the detected target position information.
  • a tracking shooting program for causing a computer to realize a function of controlling the target by controlling the camera, and a computer-readable non-transitory tangible medium storing the program.
  • the target color ratio is calculated, and the method for detecting the target position is switched based on the calculated target color ratio.
  • the position of the target can be easily detected, and the target can be accurately tracked.
  • the target can be detected easily and the target can be accurately tracked.
  • System configuration diagram showing an embodiment of a tracking imaging system Block diagram showing the system configuration of the camera Block diagram showing the system configuration of the terminal device
  • the block diagram which shows the system configuration
  • the figure which shows the example of the screen display of the display at the time of target setting The figure which shows the example of a screen display of the display at the time of the setting of a movable range
  • FIG. 1 is a system configuration diagram showing an embodiment of a tracking imaging system according to the present invention.
  • the tracking imaging system 1 of the present embodiment includes a camera 10 having a pan function and a tilt function, and a terminal device 100 that controls the operation of the camera 10.
  • the camera 10 includes an imaging unit 12 that captures an image of a subject and a support unit 14 that supports the imaging unit 12 so as to be able to pan and tilt.
  • the imaging unit 12 includes a lens 16 and an image sensor 20 (see FIG. 2) that receives light passing through the lens 16.
  • the lens 16 and the image sensor are accommodated in the housing 12A and unitized.
  • the lens 16 has a focus function and a zoom function.
  • the focus of the lens 16 is adjusted by moving a part of its optical system back and forth along the optical axis L. Further, the zoom is adjusted by moving a part of the optical system back and forth along the optical axis L.
  • the lens 16 is driven by a lens driving unit 16A (see FIG. 2), and the focus, zoom, and aperture are adjusted.
  • the image sensor 20 includes a two-dimensional image sensor such as a CCD image sensor (CCD: Charged Coupled Device) or a CMOS image sensor (CMOS: Complementary Metal Metal Oxide Semiconductor).
  • CCD Charged Coupled Device
  • CMOS Complementary Metal Metal Oxide Semiconductor
  • the support unit 14 includes an imaging unit support frame 14A that supports the imaging unit 12 rotatably about the tilt axis T, and a gantry 14B that supports the imaging unit support frame 14A rotatably about the pan axis P. Composed.
  • the gantry 14B has an approximately rectangular box shape.
  • the gantry 14B has a pan axis P perpendicular to the center, and supports the imaging unit support frame 14A around the pan axis P so as to be rotatable.
  • the gantry 14B has an operation panel 18.
  • the operation panel 18 includes various operation buttons such as a power button. Various operations are performed on the camera 10 via the operation panel 18.
  • the imaging unit support frame 14A has an approximately U shape.
  • the imaging unit support frame 14A accommodates the imaging unit 12 in a groove-like space and supports the imaging unit 12 so as to be rotatable around the tilt axis T.
  • the tilt axis T is set orthogonal to the pan axis P.
  • the optical axis L of the lens 16 is orthogonal to the tilt axis T and the pan axis P.
  • the imaging unit support frame 14A is provided with a tilt driving unit 22T (see FIG. 2) that rotates the imaging unit 12 around the tilt axis T.
  • the gantry 14B is provided with a pan driving unit 22P (see FIG. 2) that rotates the imaging unit support frame 14A around the pan axis P.
  • the tilt drive unit 22T has a tilt motor (not shown), and the image pickup unit 12 rotates around the tilt axis T and tilts by driving the tilt motor.
  • the pan driving unit 22P has a pan motor (not shown). By driving the pan motor, the imaging unit 12 rotates around the pan axis P and pans.
  • the angle at which the imaging unit 12 can pan is, for example, 270 degrees ( ⁇ 135 degrees), and the tiltable angle is 135 degrees ( ⁇ 45 degrees to +90 degrees).
  • FIG. 2 is a block diagram showing the system configuration of the camera.
  • the camera 10 has an AFE (Analog Front End) 24, a camera control unit 30, a memory 50, and a wireless LAN communication unit (LAN: Local Area Network) 52. Provided.
  • AFE Analog Front End
  • a camera control unit 30 a camera control unit 30, a memory 50, and a wireless LAN communication unit (LAN: Local Area Network) 52.
  • LAN Local Area Network
  • the AFE 24 performs signal processing such as noise removal, signal amplification, A / D conversion (A / D: Analog / Digital) on the signal (image signal) output from the image sensor 20.
  • a digital image signal generated by the AFE 24 is output to the camera control unit 30.
  • the camera control unit 30 includes a microcomputer having a CPU (Central Processing Unit) and a memory, and executes a predetermined program to thereby execute an image signal processing unit 32, an imaging control unit 34, a lens control unit 36, and pan control. It functions as the unit 38P, the tilt control unit 38T, the communication control unit 40, and the camera operation control unit 42.
  • CPU Central Processing Unit
  • the image signal processing unit 32 performs necessary signal processing on the digital image signal acquired from the AFE 24 to generate digital image data. For example, digital image data composed of image data of a luminance signal (Y) and image data of color difference signals (Cr, Cb) is generated.
  • the imaging control unit 34 controls driving of the image sensor 20 to control imaging by the image sensor 20.
  • the lens control unit 36 controls the lens driving unit 16A to control the focus, zoom, and aperture operations of the lens 16.
  • the pan control unit 38P controls the driving of the pan driving unit 22P and controls the rotation (panning) of the imaging unit 12 around the pan axis P.
  • the tilt control unit 38T controls the rotation of the imaging unit 12 around the tilt axis T (tilt) by controlling the drive of the tilt driving unit 22T.
  • the communication control unit 40 controls the wireless LAN communication unit 52 to control wireless LAN communication with an external device.
  • communication with the terminal device 100 that is an external device is controlled.
  • the camera operation control unit 42 controls the overall operation of the camera according to instructions from the operation panel 18 and the terminal device 100.
  • the memory 50 functions as a storage unit for various data, and data is read and written in response to a request from the camera operation control unit 42.
  • the wireless LAN communication unit 52 is connected to a predetermined wireless LAN standard (for example, IEEE802.11a / b / g / n standard [IEEE] via an antenna 52A and a wireless LAN access point or an external device capable of wireless LAN communication. : The Institute of Electrical and Electronics Electronics, Inc./American Institute of Electronics Engineers]).
  • a predetermined wireless LAN standard for example, IEEE802.11a / b / g / n standard [IEEE]
  • the terminal device 100 includes a so-called smartphone, and includes a display 102, operation buttons 103, a speaker 104, a microphone 105 (see FIG. 3), a built-in camera 106, and the like in a rectangular flat housing 101. It is prepared for.
  • FIG. 3 is a block diagram showing the system configuration of the terminal device.
  • the terminal device 100 includes a CPU 110 that controls the overall operation of the terminal device 100.
  • the main memory 114, the non-volatile memory 116, the mobile communication unit 118, A wireless LAN communication unit 120, a short-range wireless communication unit 122, a display unit 124, a touch panel input unit 126, a key input unit 128, an audio processing unit 130, an image processing unit 132, and the like are connected.
  • the CPU 110 reads an operation program (OS (Operating System) and an application program that operates on the OS), standard data, and the like stored in the non-volatile memory 116, expands them in the main memory 114, and performs the operation. By executing the program, it functions as a control unit that controls the operation of the entire terminal device.
  • OS Operating System
  • the main memory 114 is composed of, for example, a RAM (Random Access Memory) and functions as a work memory for the CPU 110.
  • a RAM Random Access Memory
  • the non-volatile memory 116 is composed of, for example, a flash EEPROM (EEPROM: Electrically Erasable Programmable Read Only Memory), and stores the above-described operation program and various fixed data. Further, the nonvolatile memory 116 functions as a storage unit of the terminal device 100 and stores various data.
  • EEPROM Electrically Erasable Programmable Read Only Memory
  • the mobile communication unit 118 is a third-generation mobile communication system that conforms to the IMT-2000 standard (International Mobile Telecommunications-2000) and a fourth-generation mobile communication system that conforms to the IMT-Advanced standard (International Mobile Telecommunications-Advanced). Based on this, data is transmitted / received to / from a nearby base station (not shown) via the antenna 118A.
  • IMT-2000 International Mobile Telecommunications-2000
  • IMT-Advanced International Mobile Telecommunications-Advanced
  • the wireless LAN communication unit 120 is connected to a predetermined wireless LAN communication standard (for example, IEEE 802.11a / b / g / n standard, for example) with the wireless LAN access point or an external device capable of wireless LAN communication via the antenna 120A. ) To perform wireless LAN communication.
  • a predetermined wireless LAN communication standard for example, IEEE 802.11a / b / g / n standard, for example
  • the short-range wireless communication unit 122 transmits / receives data to / from another Bluetooth (registered trademark) standard device within the range of, for example, class 2 (within a radius of about 10 m) via the antenna 122A.
  • Bluetooth registered trademark
  • the display unit 124 is composed of a color liquid crystal panel constituting the display 102 and its drive circuit, and displays various images.
  • the touch panel input unit 126 is an example of an input unit.
  • the touch panel input unit 126 is configured integrally with the display 102 using transparent electrodes, and generates and outputs two-dimensional position coordinate information corresponding to a user's touch operation.
  • the key input unit 128 includes a plurality of key switches including the operation buttons 103 provided on the casing 101 of the terminal device 100, and a drive circuit thereof.
  • the audio processing unit 130 converts the digital audio data provided via the system bus 112 into analog data and outputs it from the speaker 104.
  • the audio processing unit 130 samples an analog audio signal input from the microphone 105, converts it to digital data, and outputs the digital data.
  • the image processing unit 132 digitizes an analog image signal output from the built-in camera 106 provided with a lens and an image sensor, performs necessary signal processing, and outputs it.
  • the CPU 110 of the terminal device 100 executes a predetermined tracking imaging program, whereby the terminal device 100 functions as the tracking imaging control device 200.
  • FIG. 4 is a block diagram showing a system configuration of a terminal device that functions as a tracking imaging control device.
  • the tracking imaging control device 200 includes a target setting unit 210, a tracking range setting unit 212, a movable range setting unit 214, a hue histogram creation unit 216, a target color information acquisition unit 218, a first target detection unit 220, a second A target detection unit 222, a target color ratio calculation unit 224, and a tracking control unit 226 are provided.
  • the target setting unit 210 sets a target, that is, a subject to be tracked.
  • the target setting unit 210 displays an image captured by the camera 10 on the display 102 and sets a subject touched by the user on the screen as a target.
  • FIG. 5 is a diagram showing a screen display example of the display at the time of target setting.
  • the target setting unit 210 acquires image data from the camera 10 and displays it on the display 102.
  • the user confirms the screen display on the display 102 and touches the subject to be tracked on the screen.
  • the target setting unit 210 sets a rectangular tracking frame F around the touched position based on the output from the touch panel input unit 126. Then, the tracking frame F is superimposed on the image and displayed on the display 102. The subject within the tracking frame F is set as the target.
  • the tracking range setting unit 212 sets a range (tracking range) for tracking the target.
  • the tracking range is set as a movable range of pan and tilt of the camera 10. Therefore, when the pan and tilt movable range is not limited, the entire pan and tilt movable range is the tracking range.
  • the movable range setting unit 214 sets the movable range of pan and tilt of the camera 10.
  • the movable range setting unit 214 receives designation of a movable range of pan and tilt from the user, and sets the movable range of pan and tilt.
  • the movable range of pan and tilt is set by determining a moving end in the plus direction and a moving end in the minus direction, respectively.
  • the setting is performed by actually panning and tilting the camera 10.
  • FIG. 6 is a diagram showing a screen display example of the display when the movable range is set.
  • the image being photographed is displayed on the display 102 in a live view.
  • an arrow P (+) for instructing panning in the plus direction an arrow P (-) for instructing panning in the minus direction
  • a tilt in the plus direction are superimposed on the live view image.
  • An arrow T (+) for instructing and an arrow T (-) for instructing a tilt in the minus direction are displayed.
  • the movable range setting unit 214 outputs pan and tilt instructions to the camera 10 in accordance with the output from the touch panel input unit 126.
  • the movable range setting unit 214 sets the movable range of pan and tilt based on the designated moving end of each rotation.
  • the tracking range setting unit 212 sets the set pan and tilt movable range as the tracking range.
  • the hue histogram creation unit 216 acquires image data of the tracking range and creates a hue histogram of the tracking range.
  • FIG. 7 is a diagram showing an example of image data in the tracking range.
  • FIG. 8 is a diagram illustrating an example of a hue histogram.
  • the hue histogram creation unit 216 acquires image data of the entire tracking range and creates a histogram of the hue. For this reason, the hue histogram creation unit 216 pans and tilts the camera 10 within the movable range, and acquires image data of the entire tracking range.
  • the hue histogram is expressed as a distribution of the number of pixels for each hue value, with the horizontal axis representing the hue value and the vertical axis representing the pixel value.
  • the created tracking range histogram data is stored in the main memory 114.
  • the target color information acquisition unit 218 acquires target color information.
  • the target color information acquisition unit 218 creates histogram data of the target hue from the image data when the target is selected, and acquires target color information.
  • the target hue histogram data is obtained by creating a hue histogram of the image in the tracking frame F.
  • the target color information acquisition unit 218 detects the hue value having the largest pixel value from the generated histogram data of the target hue, and obtains the hue value that is the target color.
  • the created target hue histogram data and target hue value information are stored in the main memory 114 as target color information.
  • the first target detection unit 220 detects the position of the target from the image captured by the camera 10 based on the target color information acquired by the target color information acquisition unit 218.
  • a known method is used to detect the position of the target using the color information.
  • a method for detecting the position of the target using this color information will be briefly described below.
  • image data for one frame is acquired from the camera 10.
  • This image data is defined as first image data.
  • image data for one frame is acquired from the camera 10 in the same manner as the first image data.
  • This image is defined as second image data.
  • a difference between the first image data and the second image data is obtained.
  • the obtained image data is set as difference image data.
  • the difference image data is binarized. Thereby, ideally, image data of only one pixel of the moving subject is generated.
  • labeling is performed for each subject considered to be integral.
  • the area of the labeled subject is obtained and each is compared with a threshold value. Only subjects that are larger than the threshold are selected.
  • a first moment is obtained for each selected subject, and the center of gravity of each selected subject is obtained. This barycentric position is represented by, for example, vertical and horizontal coordinate values assumed on the screen.
  • a hue histogram is created from the second image data for the pixel range of the selected subject. Then, one subject closest to the target hue histogram is selected. Then, the selected subject is recognized as the target, and the center of gravity position is recognized as the target position.
  • the first target detection unit 220 detects the position of the target from the image captured by the camera 10 based on the target color information acquired by the target color information acquisition unit 218.
  • the second target detection unit 222 detects the position of the target from the image captured by the camera 10 based on information other than the color of the target.
  • the target position is detected by known block matching using a template.
  • block matching the position of a target is obtained by obtaining a motion vector of a target using a template between a plurality of image data obtained in time series. In this case, for example, an image within the set tracking frame is used as a template image to obtain the target position.
  • the target color ratio calculation unit 224 calculates the target color ratio X.
  • the target color ratio X indicates a ratio in which a color similar to the target is included in the background.
  • the target color ratio X is calculated as follows.
  • FIG. 9 is a conceptual diagram of a target color ratio calculation method.
  • the target color ratio X is calculated as a ratio of pixels having a hue similar to the target in the hue histogram of the tracking range.
  • the hue range similar to the target is set to a certain range (TH ⁇ ⁇ / 2 °) before and after the hue value of the target is TH °. That is, it is set in the range of TH- ⁇ / 2 ° to TH + ⁇ / 2 °.
  • ⁇ is a range that is recognized as a similar hue, and is 15 ° as an example. In this case, a range of TH ⁇ 7.5 ° is a hue range similar to the target.
  • the target color ratio calculation unit 224 calculates a ratio of the number of pixels having a hue value of TH ⁇ ⁇ / 2 ° to the total number of pixels in the tracking range in the tracking range hue histogram. X is calculated. Therefore, when calculating the target color ratio X, the target color ratio calculation unit 224 acquires the histogram data of the hue in the tracking range from the hue histogram creation unit 216, and the target color information acquisition unit 218 calculates the target hue value. Information is acquired and the target color ratio X is calculated. The calculated target color ratio X is stored in the main memory 114.
  • the tracking control unit 226 controls the pan and tilt operations of the camera 10 based on the target position information detected by the first target detection unit 220 and the second target detection unit 222, and tracks the target to the camera 10. Let In the present embodiment, the camera 10 is panned and / or tilted so that the target is photographed in the center of the screen. Therefore, the tracking control unit 226 calculates the rotation angle in the pan direction and the rotation angle in the tilt direction necessary for positioning the target at the center of the screen based on the position information of the target, and outputs the calculated information to the camera 10.
  • a first target detection unit 220 and a second target detection unit 222 are provided as means for detecting the position of the target from the image captured by the camera 10.
  • the tracking control unit 226 uses the first target detection unit 220 and the second target detection unit 222 in accordance with the target color ratio X calculated by the target color ratio calculation unit 224. That is, when the target color ratio X calculated by the target color ratio calculation unit 224 is equal to or less than the threshold, the first target detection unit 220 is used, and when the target color ratio X exceeds the threshold, the second target detection unit 222 is set. Use to detect the target.
  • the case where the target color ratio X is equal to or smaller than the threshold value is a case where the ratio of colors similar to the target is small in the background. Therefore, in this case, the first target detection unit 220 is used to detect the target using the color information.
  • the case where the target color ratio X exceeds the threshold is a case where there are many ratios in which the color similar to the target is included in the background. Therefore, in this case, the second target detector 222 is used to detect the target by block matching.
  • the threshold is determined from the viewpoint of whether or not the target can be detected using color information, and an optimal numerical value is determined from the result of simulation or the like.
  • the tracking control unit 226 acquires information on the target color ratio X from the target color ratio calculation unit 224 and compares it with a threshold value. If the target color ratio is equal to or less than the threshold, the camera 10 controls the pan and / or tilt operation of the camera 10 based on the target position information detected by the first target detection unit 220. When the target color ratio exceeds the threshold, the pan and / or tilt operations of the camera 10 are controlled based on the target position information detected by the second target detection unit 222, and the camera 10 To track the target.
  • FIG. 10 is a flowchart showing the procedure of the tracking shooting process by the tracking shooting system of the present embodiment.
  • the tracking shooting is performed by causing the CPU 110 of the terminal device 100 to execute a tracking shooting program and causing the terminal device 100 to function as the tracking shooting control device 200.
  • the camera 10 and the terminal device 100 are connected so that they can communicate with each other.
  • communication between the camera 10 and the terminal device 100 is established (step S10).
  • the terminal device 100 can control the camera 10.
  • an image captured by the camera 10 can be displayed on the display 102 of the terminal device 100 or recorded in the nonvolatile memory 116.
  • the tracking range is set (step S11).
  • the user sets the pan and tilt movable ranges of the camera 10 as necessary, and sets the tracking range.
  • Information on the set tracking range (movable range of pan and tilt) is stored in the main memory 114.
  • image data of the tracking range is acquired (step S12).
  • the terminal device 100 pans and tilts the camera 10 based on the set tracking range information, and acquires image data of the entire tracking range from the camera 10.
  • a hue histogram of the tracking range is created based on the image data (step S13).
  • the generated histogram data is stored in the main memory 114.
  • a target is set (step S14).
  • an image taken with time by the camera 10 is displayed on the display 102 in real time.
  • the user confirms the image displayed on the display 102 and touches and selects a target subject on the screen.
  • image data at the time of target selection is stored in the main memory 114.
  • a tracking frame F is set based on the touched position, and is displayed so as to be superimposed on the image displayed on the display 102 (see FIG. 5).
  • target color information is acquired (step S15).
  • the terminal device 100 creates a target hue histogram from the image data at the time of target selection, obtains the target hue value from the created histogram, and obtains target color information.
  • the created target hue histogram data and target hue value information are stored in the main memory 114 as target color information.
  • the target color ratio X is calculated based on the information on the hue value of the target and the histogram data of the hue in the tracking range (step S16).
  • the calculated target color ratio X is stored in the main memory 114.
  • a means for detecting the target is determined based on the calculated target color ratio X (step S17). That is, the target color ratio X is compared with a threshold value, and it is determined whether or not the target color ratio X is equal to or less than the threshold value.
  • the target color ratio X is less than or equal to the threshold value, the first target detection unit 220 is selected, and when the target color ratio X exceeds the threshold value, the second target detection unit 222 is selected.
  • the position of the target is detected by the determined means, and a tracking process is performed based on the detected position information (step S18). That is, the pan and / or tilt of the camera 10 is controlled so that the position of the target is detected based on the image data continuously acquired from the camera 10 and the target is photographed at the center of the screen.
  • the user instructs the terminal device 100 to record an image as necessary, and causes the terminal device 100 to record an image taken by the camera 10.
  • the ratio that the color similar to the target is included in the background is calculated, and the means for detecting the position of the target is properly used according to the ratio.
  • the ratio is properly used according to the ratio.
  • a target can be detected with high accuracy and erroneous tracking can be prevented.
  • a hue histogram of the tracking range is acquired in advance and a means for detecting the target position in advance is determined, the target position can be easily detected without imposing a load on the processing even during the tracking operation.
  • the step of setting the tracking range can be omitted.
  • the target is set after setting the tracking range.
  • the tracking range can be set after setting the target.
  • the first target detection unit 220 and the second target detection unit 222 are selectively used based on the target color ratio X.
  • the first target detection unit 220 and the second target detection unit 222 are configured based on the target color ratio X. It is also possible to employ a configuration in which the results of the two target detection unit 222 are selectively used. That is, the position detection process itself is performed by both the first target detection unit 220 and the second target detection unit 222, and which result is used is determined based on the target color ratio X. In this case, the target position detection process by the first target detection unit 220 and the target position detection process by the second target detection unit 222 are performed in parallel.
  • the first target detection unit 220 and the second target detection unit 222 are selectively used in relation to the hue of the entire tracking range, but the tracking range is divided into a plurality of blocks, and the first target is divided for each block.
  • the detection unit 220 and the second target detection unit 222 may be used properly.
  • FIG. 11 is a conceptual diagram when the target is tracked by using the first target detection unit and the second target detection unit properly for each block.
  • the hue histogram creation unit 216 divides the tracking range into a plurality of blocks, and creates a hue histogram for each block.
  • the tracking range is divided into four blocks B1 to B4.
  • hue histograms HUE (1) to HUE (4) of the blocks B1 to B4 are individually created.
  • the target color ratio calculation unit 224 calculates target color ratios X1 to X4 for each of the blocks B1 to B4.
  • the tracking control unit 226 sets a means for detecting the position of the target for each block. That is, a block whose target color ratio is equal to or less than the threshold is set to use the first target detection unit 220, and a block whose target color ratio exceeds the threshold is set to use the second target detection unit 222. Then, based on the current position of the target, the first target detection unit 220 and the second target detection unit 222 are switched to detect the position of the target, and based on the detection result, pan and / or tilt of the camera 10 is detected. The operation is controlled to cause the camera 10 to track the target.
  • the number of blocks to be divided may be arbitrarily set by the user, or may be automatically set according to the size of the tracking range. Moreover, it is good also as a structure divided
  • the pan and / or tilt of the camera 10 is controlled so that the target is located at the center of the screen, but the camera 10 is configured so that the target is located at the position designated by the user on the screen.
  • the pan and / or tilt may be controlled.
  • the second target detection unit 222 is configured to detect the target position by block matching. However, the second target detection unit 222 detects the target position by using a feature amount other than the color. I can do it.
  • a configuration in which the position of the target is detected from an image captured by the camera 10 based on information on the luminance or brightness of the target can be employed.
  • the position of the target can be detected using an object tracking algorithm using a known particle filter, an object tracking algorithm using a known gradient method, or the like.
  • the pan and tilt functions are realized with a mechanical configuration, but the pan and tilt functions can also be realized electronically. That is, a part of the captured image is cut out to generate output image data, and the panning and / or tilting functions are realized electronically by changing the range of cutting out the output image.
  • FIG. 12 is a block diagram showing a system configuration of a camera that electronically realizes pan and tilt functions.
  • the camera 300 includes an imaging unit 312 that captures an optical image of a subject via a fisheye lens 316, an AFE 324, a camera control unit 330, a memory 350, and a wireless LAN communication unit 352.
  • the imaging unit 312 includes a fisheye lens 316, an image sensor 320 that receives light that has passed through the fisheye lens 316, and a lens driving unit 316A.
  • the fisheye lens 316 has a focus function, and is driven by the lens driving unit 316A to adjust the focus and the aperture.
  • the fisheye lens 316 is composed of, for example, a diagonal fisheye lens.
  • the image sensor 320 includes a two-dimensional image sensor such as a CCD image sensor or a CMOS image sensor.
  • the AFE 324 performs signal processing such as noise removal, signal amplification, and A / D conversion on the signal (image signal) output from the image sensor 320.
  • a digital image signal generated by the AFE 324 is output to the camera control unit 330.
  • the memory 350 functions as a storage unit for various data, and data is read and written in response to a request from the camera operation control unit 342.
  • the wireless LAN communication unit 352 performs wireless LAN communication according to a predetermined wireless LAN standard with a wireless LAN access point or an external device capable of wireless LAN communication via the antenna 352A.
  • the camera control unit 330 is configured by a microcomputer including a CPU and a memory, and executes a predetermined program to thereby execute an image signal processing unit 332, an imaging control unit 334, a lens control unit 336, a communication control unit 340, and a camera operation. It functions as a control unit 342 and an image cutout unit 344.
  • the image signal processing unit 332 performs necessary signal processing on the digital image signal acquired from the AFE 324 to generate digital image data. For example, digital image data such as image data of luminance signal (Y) and image data of color difference signals (Cr, Cb) is generated.
  • digital image data such as image data of luminance signal (Y) and image data of color difference signals (Cr, Cb) is generated.
  • the imaging control unit 334 controls driving of the image sensor 320 to control imaging by the image sensor 320.
  • the lens control unit 336 controls the lens driving unit 316A to control the focus and the diaphragm operation of the fisheye lens 316.
  • the communication control unit 340 controls the wireless LAN communication unit 352 to control wireless LAN communication with an external device.
  • the camera operation control unit 342 controls the overall operation of the camera in response to an instruction from the operation unit and the terminal device of the camera 300 (not shown).
  • the image cutout unit 344 acquires the image data generated by the image signal processing unit 332, cuts out a part of the image, and generates output image data. In response to a command from the camera operation control unit 342, the image cutout unit 344 cuts out an image and generates output image data. For example, an image with an instructed aspect ratio is cut out with an instructed size around the instructed coordinate position, and output image data is generated.
  • FIG. 13 is a conceptual diagram of image clipping by the image clipping unit.
  • an image I1 is an image captured by the image sensor 320 via the fisheye lens 316.
  • the image cutout unit 344 cuts out a part of the image I1 and generates an output image I2.
  • the camera 300 outputs the image I2 cut out by the image cutout unit 344 as an output image to the terminal device 100.
  • FIG. 14 is a diagram showing a screen display example of the display of the terminal device.
  • an image I2 cut out from the image I1 captured through the fisheye lens 316 is displayed as an image captured by the camera 300.
  • the camera 300 that electronically realizes the pan and tilt functions is configured to cut out a part of the actually captured image and output the image data, and change the cut-out position to pan and / or It is configured to tilt.
  • a part of an image captured by one imaging unit is cut out to obtain output image data.
  • the camera includes a plurality of imaging units, and the plurality of imaging units. It is also possible to create a single image by joining the images picked up in (3), cut out a part of the image, and obtain output image data.
  • a first imaging unit that captures the front and a second imaging unit that captures the rear are provided, and the image captured by the first imaging unit and the image captured by the second imaging unit are connected.
  • a camera that can shoot 360 ° in the pan direction can be configured by generating one image in combination, and a part of the camera can be cut out to obtain output image data.
  • the camera 10 of the above embodiment has a pan and tilt function
  • the camera may have at least a pan or tilt function.
  • the target is tracked only by the pan operation.
  • target tracking is performed only by a tilt operation.
  • ⁇ Modification of target setting unit> an image captured by the camera 10 is displayed on the display 102, and the subject touched by the user on the screen is set as the target.
  • the method for setting the target is limited to this. It is not something.
  • a function of the tracking shooting control device a function of automatically detecting a person's face from the image taken by the camera (function of the face detection unit) is added, and the person's face detected by the function is automatically added. It can also be set as a target. Thereby, a target can be set easily.
  • a plurality of faces may be detected.
  • the detection result can be displayed to the user and the target subject can be selected.
  • it can also be set as the structure which determines a target automatically from the size and position of the detected face. For example, the main subject is determined and the target is automatically determined based on the judgment criteria that the face located at the center of the screen is more likely to be the main subject and the larger face is likely to be the main subject.
  • a function of the tracking imaging control device a function of detecting a moving object from an image captured by a camera (function of a moving object detection unit) is added, and the moving object detected first using the function is targeted. It can be set as the structure to set. Thereby, a target can be set easily.
  • a plurality of moving objects may be detected at the same time.
  • the user can select a target subject. Or it can also be set as the structure which determines a target automatically from the size and position of the detected moving body.
  • a tracking frame having a fixed size is set based on the touched position information.
  • the user may be able to adjust the position and size of the tracking frame.
  • the tracking frame may be automatically adjusted in position and size. For example, a moving object may be extracted based on the touched position, and a tracking frame may be set so as to surround the moving object. Alternatively, a person's face may be extracted based on the touched position, and the tracking frame may be set so as to surround the face.
  • the image captured by the camera is displayed on the display on the terminal device side in real time, and the target is selected.
  • the target can be selected.
  • the target color ratio is calculated by setting the range of TH ⁇ ⁇ / 2 ° as a hue range similar to the target.
  • the angle is 15 °.
  • ⁇ set as a hue range similar to the target may be a fixed value or may be set arbitrarily.
  • the threshold value is changed in conjunction with the change of ⁇ so that the frequency of detecting the position of the target using color information does not change. That is, when ⁇ is reduced, the threshold value is decreased in conjunction with this, and when ⁇ is increased, the threshold value is increased in conjunction with this. This makes it possible to properly use target position detection using color information and target position detection using information other than color.
  • the movable range of pan and tilt is set as the tracking range, but the method of setting the tracking range is not limited to this.
  • the panning and tilting functions of the camera 10 can be used to set the range shot by the user as the tracking range.
  • the user uses the pan and tilt functions of the camera 10 to capture a range as the tracking range.
  • an image of the entire tracking range necessary for creating the hue histogram can be simultaneously acquired.
  • the range shot by the user can be set as the pan and tilt movable range.
  • the terminal device functions as a tracking shooting control device, and the terminal device detects the position of the target and controls the pan and tilt of the camera, but the camera has the function of the tracking shooting control device. It is also possible to install and detect the position of the target on the camera side to control its own pan and tilt.
  • the functions of a target setting unit, a hue histogram creation unit, a first target detection unit, a second target detection unit, a target color ratio calculation unit, and a tracking control unit are mounted on the camera. These functions can be provided as functions of the camera control unit.
  • the microcomputer that constitutes the camera control unit executes a predetermined tracking shooting program so that the camera control unit becomes a target setting unit, a hue histogram creation unit, a first target detection unit, a second target detection unit, and a target color. It can function as a ratio calculation part and a tracking control part.
  • the terminal device when the function of the tracking imaging control device is installed in the camera, the terminal device can be configured to display only the image captured by the camera or only display and image recording. Or it can be set as the structure which only sets a target.
  • the camera when the camera is equipped with the function of the tracking shooting control device as described above, it is possible to perform tracking shooting by operating the camera alone.
  • the camera includes a display unit and a touch panel input unit.
  • the camera and the terminal device are configured to be communicably connected to each other.
  • the camera and the terminal device may be connected to be communicable with each other. Therefore, it is good also as a structure connected so that communication is possible by wire.
  • the communication standard is not particularly limited. Further, instead of directly connecting the camera and the terminal device, for example, it may be configured to connect via the Internet.
  • the terminal device can be configured by a personal computer, a tablet terminal, or the like. It can also be configured as a dedicated device.
  • the created hue histogram data of the tracking range is used only for the calculation of the target color ratio, but after creating the hue histogram of the tracking range, the data is displayed on the display unit. May be. Thereby, a user can be useful for the judgment material at the time of setting a target.
  • This histogram data can be displayed, for example, superimposed on the screen at the time of target setting.
  • ⁇ Presentation of detectable colors> By acquiring the histogram data of the hue of the tracking range, it is possible to obtain in advance a color that can detect the position of the target using the color information. That is, by acquiring the histogram data of the hue of the tracking range, the hue value at which the target color ratio is equal to or less than the threshold can be obtained from the data. Therefore, by acquiring the histogram data of the hue of the tracking range, it is possible to obtain in advance a color that can detect the position of the target using the color information.
  • a color capable of detecting the position of the target may be obtained in advance from the histogram data of the hue of the tracking range, and the obtained color information may be presented to the user when setting the target. For example, information on the color (hue) that can detect the position of the target using the color information can be displayed superimposed on the screen when the target is set. Thereby, a user can be useful for the judgment material of the body which sets a target.
  • DESCRIPTION OF SYMBOLS 1 Tracking imaging system, 10 ... Camera, 12 ... Imaging part, 12A ... Housing, 14 ... Support part, 14A ... Imaging part support frame, 14B ... Mount, 16 ... Lens, 16A ... Lens drive part, 18 ... Operation panel, DESCRIPTION OF SYMBOLS 20 ... Image sensor, 22P ... Pan drive part, 22T ... Tilt drive part, 30 ... Camera control part, 32 ... Image signal processing part, 34 ... Imaging control part, 36 ... Lens control part, 38P ... Pan control part, 38T ... Tilt control unit, 40 ... communication control unit, 42 ... camera operation control unit, 50 ... memory, 52 ... wireless LAN communication unit, 52A ...
  • antenna 100 ... terminal device, 101 ... casing, 102 ... display, 103 ... operation buttons 104 ... Speaker, 105 ... Microphone, 106 ... Built-in camera, 110 ... CPU, 112 ... System bus, 114 ... Main memory, 1 6 ... Nonvolatile memory, 118 ... Mobile communication unit, 118A ... Antenna, 120 ... Wireless LAN communication unit, 120A ... Antenna, 122 ... Short-range wireless communication unit, 122A ... Antenna, 124 ... Display unit, 126 ... Touch panel input unit, DESCRIPTION OF SYMBOLS 128 ... Key input part, 130 ... Sound processing part, 132 ... Image processing part, 200 ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Accessories Of Cameras (AREA)

Abstract

本発明は、簡単にターゲットの位置を検出して、精度よくターゲットを追尾できる追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラムを提供する。本発明の好ましい態様では、ターゲットを設定するターゲット設定部と、ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、ターゲットの色の情報を取得するターゲット色情報取得部と、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第１ターゲット検出部と、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第２ターゲット検出部と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させる追尾制御部と、を備え、追尾制御部は、ターゲット色比率が閾値以下の場合は、第１ターゲット検出部で検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御し、ターゲット色比率が閾値を超える場合は、第２ターゲット検出部で検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御する。

Description

追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラム
　本発明は、パン及び／又はチルトの機能を備えたカメラのパン及び／又はチルトの動作を制御して、ターゲットを自動で追尾しながら撮影する追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラムに関する。
　一般に追尾撮影では、カメラで撮影された画像からターゲットの位置を検出し、検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御して、ターゲットを追尾する。この追尾撮影において、画像からターゲットの位置を検出する方法の１つとして、ターゲットの色情報を利用する方法が知られている（たとえば、特許文献１など）。この方法では、あらかじめターゲットの色情報を取得しておき、そのターゲットの色と同一の色の被写体を画像から検出して、画像からターゲットの位置を検出する。
　しかしながら、ターゲットの色情報を利用して画像からターゲットの位置を検出する方法は、背景にターゲットと似た色が多く含まれていると、ターゲットを誤検出しやすいという問題がある。
　このような問題を解決するために、特許文献２では、画像からターゲットの候補となる被写体を検出し、その被写体の情報を検出し、検出した被写体の情報に基づいて、ターゲットの位置を求めるための複数の方法の中から最適な方法を選択して、ターゲットの位置を検出する方法が提案されている。
特開２００１－１６９１６９号公報 特開２０１２－８５０９０号公報
　しかしながら、特許文献２の方法は、逐次ターゲットの候補となる被写体の情報を検出しなければならないため、処理の負荷が大きいという欠点がある。
　本発明は、このような事情に鑑みてなされたもので、簡単にターゲットの位置を検出して、精度よくターゲットを追尾できる追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラムを提供することを目的とする。
　上記課題を解決するための手段は、次のとおりである。
　［１］パン機能及び／又はチルト機能を備えたカメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾した撮影を実行させる追尾撮影制御装置であって、ターゲットを設定するターゲット設定部と、ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、ターゲットの色の情報を取得するターゲット色情報取得部と、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第１ターゲット検出部と、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第２ターゲット検出部と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、ターゲット色比率が閾値以下の場合は、第１ターゲット検出部で検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させ、ターゲット色比率が閾値を超える場合は、第２ターゲット検出部で検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させる追尾制御部と、を備えた追尾撮影制御装置。
　本態様によれば、ターゲットの位置を検出する手段として、第１ターゲット検出部及び第２ターゲット検出部が備えられる。第１ターゲット検出部は、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する。第２ターゲット検出部は、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する。第１ターゲット検出部及び第２ターゲット検出部は、ターゲットの色と背景の色との関係に基づいて使い分けられる。すなわち、背景がターゲットの色及びその近似色を多く含む場合は、色に基づくターゲットの検出は困難と判断し、第２ターゲット検出部の検出結果に基づいてターゲットを追尾する。それ以外の場合は、色に基づくターゲットの検出が可能と判断し、第１ターゲット検出部の検出結果に基づいてターゲットを追尾する。背景がターゲットの色及びその近似色を多く含むか否かは、ターゲットを追尾する範囲の色相のヒストグラムを作成し、そのヒストグラムからターゲット色比率を算出して判断する。ターゲット色比率は、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合として算出する。このターゲット色比率が閾値を超える場合は、背景がターゲットの色及びその近似色を多く含むと判断し、第２ターゲット検出部の検出結果に基づいてターゲットを追尾する。一方、ターゲット色比率が閾値以下の場合は、ターゲットの色及びその近似色が少ないと判断し、第１ターゲット検出部の検出結果に基づいてターゲットを追尾する。このように、本態様によれば、ターゲット色比率を算出し、算出したターゲット色比率に基づいて、第１ターゲット検出部及び第２ターゲット検出部の結果を使い分ける。これにより、簡単にターゲットの位置を検出でき、精度よくターゲットを追尾できる。
　［２］第２ターゲット検出部は、ターゲットの輝度又は明度の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する、上記［１］の追尾撮影制御装置。
　本態様によれば、第２ターゲット検出部は、ターゲットの輝度又は明度の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する。これにより、背景がターゲットの色及びその近似色を多く含む場合であっても、色の情報によらずに画像からターゲットの位置を検出できる。
　［３］カメラは、レンズを介して被写体の光学像を撮像する撮像部と、撮像部をパン及び／又はチルト可能に支持する支持部と、を備えた上記［１］又は［２］の追尾撮影制御装置。
　本態様によれば、カメラは、レンズを介して被写体の光学像を撮像する撮像部と、その撮像部をパン及び／又はチルト可能に支持する支持部と、を備えて構成される。ターゲットを追尾する場合は、撮像部をパン及び／又はチルトさせて、撮影方向（レンズの光軸の方向）を変えることにより、ターゲットを追尾する。
　［４］カメラは、魚眼レンズを介して被写体の光学像を撮像する撮像部と、撮像部で撮像された画像の一部を切り出す画像切り出し部と、を備え、画像切り出し部で画像を切り出す位置を変えることにより、パン機能及び／又はチルト機能を実現する、上記［１］又は［２］の追尾撮影制御装置。
　本態様によれば、カメラは、魚眼レンズを介して被写体の光学像を撮像する撮像部と、撮像部で撮像された画像の一部を切り出す画像切り出し部と、を備えて構成される。ターゲットを追尾する場合は、画像切り出し部で画像を切り出す位置を変えることにより、ターゲットを追尾する。
　［５］ターゲットを追尾する範囲を追尾範囲として設定する追尾範囲設定部を更に備えた、上記［１］から［４］のいずれか一の追尾撮影制御装置。
　本態様によれば、追尾範囲設定部が更に備えられる。追尾範囲設定部は、ターゲットを追尾する範囲を追尾範囲として設定する。これにより、必要な領域のみを追尾範囲に設定でき、効率よくターゲットを検出できる。また、効率よくヒストグラムを作成できる。
　［６］追尾範囲設定部は、カメラのパン及び／又はチルトの可動範囲を追尾範囲に設定する、上記［５］の追尾撮影制御装置。
　本態様によれば、追尾範囲設定部は、カメラのパン及び／又はチルトの可動範囲を追尾範囲に設定する。これにより、追尾範囲を設定する手間を省ける。
　［７］カメラのパン及び／又はチルトの可動範囲を設定する可動範囲設定部を更に備えた、上記［６］の追尾撮影制御装置。
　本態様によれば、カメラのパン及び／又はチルトの可動範囲を設定するための可動範囲設定部が更に備えられる。これにより、カメラのパン及び／又はチルトの可動範囲を設定すると、自動的に追尾範囲を設定でき、追尾範囲を設定する手間を省ける。また、必要な領域のみパン及び／又はチルトさせることができ、効率よくターゲットを追尾できる。
　［８］色相ヒストグラム作成部は、ターゲットを追尾する範囲の全体をカメラで撮影して得られる画像データに基づいて、ターゲットを追尾する範囲の色相のヒストグラムを作成する、上記［１］から［７］のいずれか一の追尾撮影制御装置。
　本態様によれば、ターゲットを追尾する範囲の全体をカメラで撮影して得られる画像データに基づいて、ターゲットを追尾する範囲の色相のヒストグラムが作成される。
　［９］カメラで撮影された画像を表示する表示部と、表示部の画面上で位置を指定する入力部と、を更に備え、ターゲット設定部は、入力部で指定された位置の被写体をターゲットに設定する、上記［１］から［８］のいずれか一の追尾撮影制御装置。
　本態様によれば、カメラで撮影された画像を表示する表示部と、表示部の画面上で位置を指定する入力部と、が更に備えられ、入力部で指定された位置の被写体がターゲットに設定される。これにより、ターゲットを簡単に設定できる。
　［１０］カメラで撮影された画像から人物の顔を検出する顔検出部を更に備え、ターゲット設定部は、顔検出部で検出された人物の顔をターゲットに設定する、上記［１］から［８］のいずれか一の追尾撮影制御装置。
　本態様によれば、カメラで撮影された画像から人物の顔を検出する顔検出部が更に備えられ、顔検出部で検出された人物の顔がターゲットに設定される。これにより、ターゲットを簡単に設定できる。
　［１１］カメラで撮影された画像から動体を検出する動体検出部を更に備え、ターゲット設定部は、動体検出部で最初に検出された動体をターゲットに設定する、上記［１］から［８］のいずれか一の追尾撮影制御装置。
　本態様によれば、カメラで撮影された画像から動体を検出する動体検出部が更に備えられ、動体検出部で最初に検出された動体がターゲットに設定される。これにより、ターゲットを簡単に設定できる。
　［１２］色相ヒストグラム作成部は、ターゲットを追尾する範囲を複数のブロックに分割し、ブロックごとに色相のヒストグラムを作成し、ターゲット色比率演算部は、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率とし、ターゲット色比率をブロックごとに算出し、追尾制御部は、ターゲット色比率が閾値以下のブロックは、第１ターゲット検出部で検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御し、ターゲット色比率が閾値を超えるブロックは、第２ターゲット検出部で検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御し、カメラにターゲットを追尾させる、上記［１］から［１１］のいずれか一の追尾撮影制御装置。
　本態様によれば、ターゲットを追尾する範囲が複数のブロックに分割され、ブロックごとにターゲット色比率が算出される。そして、ブロックごとにターゲットの位置を検出する手段の結果が使い分けられる。すなわち、ターゲット色比率が閾値以下のブロックは、第１ターゲット検出部で検出されたターゲットの位置の情報に基づいてターゲットを追尾し、ターゲット色比率が閾値を超えるブロックは、第２ターゲット検出部で検出されたターゲットの位置の情報に基づいてターゲットを追尾する。これにより、背景の色が変化する場合であっても、適切にターゲットの位置を検出できる。
　［１３］パン機能及び／又はチルト機能を備えたカメラと、カメラと通信可能に接続され、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾した撮影を実行させる端末装置と、を備えた追尾撮影システムであって、端末装置は、ターゲットを設定するターゲット設定部と、ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、ターゲットの色の情報を取得するターゲット色情報取得部と、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第１ターゲット検出部と、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第２ターゲット検出部と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、ターゲット色比率が閾値以下の場合は第１ターゲット検出部で検出されたターゲットの位置の情報に基づいてカメラのパン及び／又はチルトの動作を制御し、ターゲット色比率が閾値を超える場合は第２ターゲット検出部で検出されたターゲットの位置の情報に基づいてカメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させる追尾制御部と、を備えた追尾撮影システム。
　本態様によれば、ターゲット色比率を算出し、算出したターゲット色比率に基づいて、第１ターゲット検出部及び第２ターゲット検出部の結果を使い分ける。これにより、簡単にターゲットの位置を検出でき、精度よくターゲットを追尾できる。
　［１４］レンズを介して被写体の光学像を撮像する撮像部と、撮像部をパン及び／又はチルト可能に支持する支持部と、ターゲットを設定するターゲット設定部と、ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、ターゲットの色の情報を取得するターゲット色情報取得部と、ターゲットの色の情報に基づいて、撮像部で撮影された画像からターゲットの位置を検出する第１ターゲット検出部と、ターゲットの色以外の情報に基づいて、撮像部で撮影された画像からターゲットの位置を検出する第２ターゲット検出部と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、ターゲット色比率が閾値以下の場合は、第１ターゲット検出部で検出されたターゲットの位置の情報に基づいて、撮像部のパン及び／又はチルトを制御し、ターゲット色比率が閾値を超える場合は、第２ターゲット検出部で検出されたターゲットの位置の情報に基づいて、撮像部のパン及び／又はチルトを制御して、ターゲットを追尾させる追尾制御部と、を備えたカメラ。
　本態様によれば、ターゲット色比率を算出し、算出したターゲット色比率に基づいて、第１ターゲット検出部及び第２ターゲット検出部の結果を使い分ける。これにより、簡単にターゲットの位置を検出でき、精度よくターゲットを追尾できる。
　［１５］魚眼レンズを介して被写体の光学像を撮像する撮像部と、撮像部で撮像された画像の一部を切り出す画像切り出し部と、ターゲットを設定するターゲット設定部と、ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、ターゲットの色の情報を取得するターゲット色情報取得部と、ターゲットの色の情報に基づいて、撮像部で撮影された画像からターゲットの位置を検出する第１ターゲット検出部と、ターゲットの色以外の情報に基づいて、撮像部で撮影された画像からターゲットの位置を検出する第２ターゲット検出部と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、ターゲット色比率が閾値以下の場合は、第１ターゲット検出部で検出されたターゲットの位置の情報に基づいて、画像切り出し部を制御し、ターゲット色比率が閾値を超える場合は、第２ターゲット検出部で検出されたターゲットの位置の情報に基づいて、画像切り出し部を制御して、ターゲットを追尾させる追尾制御部と、を備えたカメラ。
　本態様によれば、ターゲット色比率を算出し、算出したターゲット色比率に基づいて、第１ターゲット検出部及び第２ターゲット検出部の結果を使い分ける。これにより、簡単にターゲットの位置を検出でき、精度よくターゲットを追尾できる。
　［１６］パン機能及び／又はチルト機能を備えたカメラと通信可能に接続され、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾した撮影を実行させる端末装置であって、ターゲットを設定するターゲット設定部と、ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、ターゲットの色の情報を取得するターゲット色情報取得部と、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第１ターゲット検出部と、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する第２ターゲット検出部と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、ターゲット色比率が閾値以下の場合は第１ターゲット検出部で検出されたターゲットの位置の情報に基づいてカメラのパン及び／又はチルトの動作を制御し、ターゲット色比率が閾値を超える場合は第２ターゲット検出部で検出されたターゲットの位置の情報に基づいてカメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させる追尾制御部と、を備えた端末装置。
　本態様によれば、ターゲット色比率を算出し、算出したターゲット色比率に基づいて、第１ターゲット検出部及び第２ターゲット検出部の結果を使い分ける。これにより、簡単にターゲットの位置を検出でき、精度よくターゲットを追尾できる。
　［１７］パン機能及び／又はチルト機能を備えたカメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾した撮影を実行させる追尾撮影方法であって、ターゲットを設定する工程と、ターゲットを追尾する範囲の色相のヒストグラムを作成する工程と、ターゲットの色の情報を取得する工程と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出する工程と、ターゲット色比率が閾値以下の場合は、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出し、検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させ、ターゲット色比率が閾値を超える場合は、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出し、検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させる工程と、を有する追尾撮影方法。
　本態様によれば、ターゲット色比率を算出し、算出したターゲット色比率に基づいて、ターゲットの位置を検出する方法を切り替える。これにより、簡単にターゲットの位置を検出でき、精度よくターゲットを追尾できる。
　［１８］パン機能及び／又はチルト機能を備えたカメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾した撮影を実行させる追尾撮影プログラムであって、ターゲットを設定する機能と、ターゲットを追尾する範囲の色相のヒストグラムを作成する機能と、ターゲットの色の情報を取得する機能と、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する機能と、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出する機能と、ターゲットの色を基準として一定範囲の色相の画素がヒストグラムに占める割合をターゲット色比率として算出する機能と、ターゲット色比率が閾値以下の場合は、ターゲットの色の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出し、検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させ、ターゲット色比率が閾値を超える場合は、ターゲットの色以外の情報に基づいて、カメラで撮影された画像からターゲットの位置を検出し、検出されたターゲットの位置の情報に基づいて、カメラのパン及び／又はチルトの動作を制御して、カメラにターゲットを追尾させる機能と、をコンピュータに実現させる追尾撮影プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。
　本態様によれば、ターゲット色比率を算出し、算出したターゲット色比率に基づいて、ターゲットの位置を検出する方法を切り替える。これにより、簡単にターゲットの位置を検出でき、精度よくターゲットを追尾できる。
　本発明によれば、簡単にターゲットを検出して、精度よくターゲットを追尾できる。
追尾撮影システムの一実施形態を示すシステム構成図 カメラのシステム構成を示すブロック図 端末装置のシステム構成を示すブロック図 追尾撮影制御装置として機能する端末装置のシステム構成を示すブロック図 ターゲット設定時におけるディスプレイの画面表示例を示す図 可動範囲の設定時におけるディスプレイの画面表示例を示す図 追尾範囲の画像データの一例を示す図 色相のヒストグラムの一例を示す図 ターゲット色比率の算出方法の概念図 追尾撮影システムによる追尾撮影の処理の手順を示すフローチャート ブロックごとに第１ターゲット検出部及び第２ターゲット検出部を使い分けて、ターゲットを追尾する場合の概念図 電子的にパン及びチルトの機能を実現するカメラのシステム構成を示すブロック図 画像切り出し部による画像の切り出しの概念図 端末装置のディスプレイの画面表示例を示す図
　以下、添付図面に従って本発明を実施するための好ましい形態について詳説する。
　《システム構成》
　図１は、本発明に係る追尾撮影システムの一実施形態を示すシステム構成図である。
　図１に示すように、本実施の形態の追尾撮影システム１は、パン機能及びチルト機能を備えたカメラ１０と、そのカメラ１０の動作を制御する端末装置１００と、を備えて構成される。
　〈カメラ〉
　カメラ１０は、図１に示すように、被写体を撮像する撮像部１２と、撮像部１２をパン及びチルト可能に支持する支持部１４と、を備えて構成される。
　撮像部１２は、レンズ１６と、レンズ１６を通した光を受光するイメージセンサ２０（図２参照）と、を備えて構成される。レンズ１６及びイメージセンサは、ハウジング１２Ａに収容されてユニット化される。
　レンズ１６は、フォーカス機能及びズーム機能を有する。レンズ１６は、その光学系の一部を光軸Ｌに沿って前後移動させることにより、フォーカスが調節される。また、その光学系の一部を光軸Ｌに沿って前後移動させることにより、ズームが調節される。レンズ１６は、レンズ駆動部１６Ａ（図２参照）に駆動されて、フォーカス、ズーム、及び、絞りが調節される。
　イメージセンサ２０は、ＣＣＤイメージセンサ（ＣＣＤ：Charge Coupled Device）やＣＭＯＳイメージセンサ（ＣＭＯＳ：Complementary Metal Oxide Semiconductor）などの二次元イメージセンサで構成される。
　支持部１４は、撮像部１２をチルト軸Ｔまわりに回転可能に支持する撮像部支持フレーム１４Ａと、その撮像部支持フレーム１４Ａをパン軸Ｐまわりに回転可能に支持する架台１４Ｂと、を備えて構成される。
　架台１４Ｂは、おおよそ矩形の箱形状を有する。架台１４Ｂは、中央に垂直なパン軸Ｐを有し、パン軸Ｐまわりに撮像部支持フレーム１４Ａを回転可能に支持する。架台１４Ｂには、操作パネル１８を有する。操作パネル１８には、電源ボタン等の各種操作ボタン類が備えられる。カメラ１０は、この操作パネル１８を介して各種操作が行われる。
　撮像部支持フレーム１４Ａは、おおよそＵ字形状を有する。撮像部支持フレーム１４Ａは、溝状の空間に撮像部１２を収容して、撮像部１２をチルト軸Ｔまわりに回転可能に支持する。チルト軸Ｔは、パン軸Ｐと直交して設定される。撮像部支持フレーム１４Ａに支持された撮像部１２は、そのレンズ１６の光軸Ｌが、チルト軸Ｔ及びパン軸Ｐと直交する。
　撮像部支持フレーム１４Ａには、撮像部１２をチルト軸Ｔまわりに回転させるチルト駆動部２２Ｔ（図２参照）が備えられる。また、架台１４Ｂには、撮像部支持フレーム１４Ａをパン軸Ｐまわりに回転させるパン駆動部２２Ｐ（図２参照）が備えられる。チルト駆動部２２Ｔは、チルトモータ（不図示）を有し、このチルトモータを駆動することにより、撮像部１２がチルト軸Ｔまわりに回転してチルトする。パン駆動部２２Ｐは、パンモータ（不図示）を有し、このパンモータを駆動することにより、撮像部１２がパン軸Ｐまわりに回転してパンする。
　撮像部１２がパン可能な角度は、たとえば、２７０度（±１３５度）であり、チルト可能な角度は、１３５度（－４５度～＋９０度）である。
　図２は、カメラのシステム構成を示すブロック図である。
　同図に示すように、カメラ１０には、ＡＦＥ（Analog Front End：アナログフロントエンド）２４と、カメラ制御部３０と、メモリ５０と、無線ＬＡＮ通信部（ＬＡＮ：Local Area Network）５２と、が備えられる。
　ＡＦＥ２４は、イメージセンサ２０から出力される信号（画像信号）に対して、たとえば、ノイズ除去、信号増幅、Ａ／Ｄ変換（Ａ／Ｄ：Analog/Digital）などの信号処理を施す。ＡＦＥ２４で生成されるデジタルの画像信号は、カメラ制御部３０に出力される。
　カメラ制御部３０は、ＣＰＵ（Central Processing Unit）及びメモリを備えたマイクロコンピュータで構成され、所定のプログラムを実行することにより、画像信号処理部３２、撮像制御部３４、レンズ制御部３６、パン制御部３８Ｐ、チルト制御部３８Ｔ、通信制御部４０、カメラ動作制御部４２として機能する。
　画像信号処理部３２は、ＡＦＥ２４から取得されるデジタルの画像信号に対して所要の信号処理を施し、デジタルの画像データを生成する。たとえば、輝度信号（Ｙ）の画像データと色差信号（Ｃｒ、Ｃｂ）の画像データとからなるデジタルの画像データを生成する。
　撮像制御部３４は、イメージセンサ２０の駆動を制御して、イメージセンサ２０による撮像を制御する。
　レンズ制御部３６は、レンズ駆動部１６Ａを制御して、レンズ１６のフォーカス、ズーム、絞りの動作を制御する。
　パン制御部３８Ｐは、パン駆動部２２Ｐの駆動を制御して、撮像部１２のパン軸Ｐまわりの回転（パン）を制御する。
　チルト制御部３８Ｔは、チルト駆動部２２Ｔの駆動を制御して、撮像部１２のチルト軸Ｔまわりの回転（チルト）を制御する。
　通信制御部４０は、無線ＬＡＮ通信部５２を制御して、外部機器との間の無線ＬＡＮ通信を制御する。本実施の形態の追尾撮影システム１では、外部機器である端末装置１００との間の通信を制御する。
　カメラ動作制御部４２は、操作パネル１８及び端末装置１００からの指示に応じて、カメラ全体の動作を統括制御する。
　メモリ５０は、各種データの記憶部として機能し、カメラ動作制御部４２からの要求に応じてデータの読み書きが行われる。
　無線ＬＡＮ通信部５２は、アンテナ５２Ａを介して、無線ＬＡＮアクセスポイントや無線ＬＡＮ通信が可能な外部機器との間で所定の無線ＬＡＮ規格（たとえば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格〔ＩＥＥＥ：The Institute of Electrical and Electronics Engineers, Inc.／米国電子技術者協会〕）に従った無線ＬＡＮ通信を行う。
　〈端末装置〉
　端末装置１００は、図１に示すように、いわゆるスマートフォンで構成され、矩形の平板状の筐体１０１にディスプレイ１０２、操作ボタン１０３、スピーカー１０４、マイクロフォン１０５（図３参照）、内蔵カメラ１０６等を備えて構成される。
　図３は、端末装置のシステム構成を示すブロック図である。
　同図に示すように、端末装置１００は、端末装置１００の全体の動作を制御するＣＰＵ１１０を備え、このＣＰＵ１１０にシステムバス１１２を介して、メインメモリ１１４、不揮発性メモリ１１６、モバイル通信部１１８、無線ＬＡＮ通信部１２０、近距離無線通信部１２２、表示部１２４、タッチパネル入力部１２６、キー入力部１２８、音声処理部１３０、画像処理部１３２等が接続されて構成される。
　ＣＰＵ１１０は、不揮発性メモリ１１６に記憶された動作プログラム（ＯＳ（Operating System）、及び、そのＯＳ上で動作するアプリケーションプログラム）、及び、定型データ等を読出し、メインメモリ１１４に展開して、当該動作プログラムを実行することにより、この端末装置全体の動作を制御する制御部として機能する。
　メインメモリ１１４は、たとえば、ＲＡＭ（Random Access Memory）で構成され、ＣＰＵ１１０のワークメモリとして機能する。
　不揮発性メモリ１１６は、たとえば、フラッシュＥＥＰＲＯＭ（ＥＥＰＲＯＭ：Electrically Erasable Programmable Read Only Memory）で構成され、上述した動作プログラムや各種定型データを記憶する。また、不揮発性メモリ１１６は、端末装置１００の記憶部として機能し、各種データを記憶する。
　モバイル通信部１１８は、ＩＭＴ－２０００規格（International Mobile Telecommunication-2000）に準拠した第３世代移動通信システム、及び、ＩＭＴ－Ａｄｖａｎｃｅ規格（International Mobile Telecommunications-Advanced）に準拠した第４世代移動通信システムに基づき、アンテナ１１８Ａを介して、最寄りの図示しない基地局との間でデータの送受を実行する。
　無線ＬＡＮ通信部１２０は、アンテナ１２０Ａを介して、無線ＬＡＮアクセスポイントや無線ＬＡＮ通信が可能な外部機器との間で所定の無線ＬＡＮ通信規格（たとえば、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格）に従った無線ＬＡＮ通信を行う。
　近距離無線通信部１２２は、アンテナ１２２Ａを介して、たとえばクラス２（半径約１０ｍ内）の範囲内にある他のＢｌｕｅｔｏｏｔｈ（登録商標）規格の機器とデータの送受を実行する。
　表示部１２４は、ディスプレイ１０２を構成するカラー液晶パネルと、その駆動回路と、で構成され、各種画像を表示する。
　タッチパネル入力部１２６は、入力部の一例である。タッチパネル入力部１２６は、透明電極を用いてディスプレイ１０２と一体的に構成され、ユーザーのタッチ操作に対応した２次元の位置座標情報を生成して出力する。
　キー入力部１２８は、端末装置１００の筐体１０１に備えられた操作ボタン１０３を含む複数のキースイッチと、その駆動回路と、で構成される。
　音声処理部１３０は、システムバス１１２を介して与えられるデジタル音声データをアナログ化してスピーカー１０４から出力する。また、音声処理部１３０は、マイクロフォン１０５から入力されたアナログの音声信号をサンプリングし、デジタルデータ化して出力する。
　画像処理部１３２は、レンズ及びイメージセンサを備えた内蔵カメラ１０６から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。
　〈追尾撮影制御装置〉
　本実施の形態の追尾撮影システム１では、端末装置１００のＣＰＵ１１０が、所定の追尾撮影プログラムを実行することにより、端末装置１００が追尾撮影制御装置２００として機能する。
　図４は、追尾撮影制御装置として機能する端末装置のシステム構成を示すブロック図である。
　追尾撮影制御装置２００は、ターゲット設定部２１０と、追尾範囲設定部２１２、可動範囲設定部２１４、色相ヒストグラム作成部２１６と、ターゲット色情報取得部２１８と、第１ターゲット検出部２２０と、第２ターゲット検出部２２２と、ターゲット色比率演算部２２４と、追尾制御部２２６と、を備えて構成される。
　ターゲット設定部２１０は、ターゲット、すなわち、追尾対象とする被写体を設定する。ターゲット設定部２１０は、カメラ１０で撮影された画像をディスプレイ１０２に表示し、画面上でユーザーにタッチされた被写体をターゲットに設定する。
　図５は、ターゲット設定時におけるディスプレイの画面表示例を示す図である。
　同図に示すように、ターゲット設定時、ディスプレイ１０２には、カメラ１０で撮影された画像が表示される。ターゲット設定部２１０は、カメラ１０から画像データを取得し、ディスプレイ１０２に表示させる。
　ユーザーは、ディスプレイ１０２の画面表示を確認し、追尾対象とする被写体を画面上でタッチする。ターゲット設定部２１０は、タッチパネル入力部１２６からの出力に基づいて、タッチされた位置を中心に矩形状の追尾枠Ｆを設定する。そして、その追尾枠Ｆを画像に重ねてディスプレイ１０２に表示する。追尾枠F内の被写体がターゲットに設定される。
　追尾範囲設定部２１２は、ターゲットを追尾する範囲（追尾範囲）を設定する。追尾範囲は、カメラ１０のパン及びチルトの可動範囲として設定される。したがって、パン及びチルトの可動範囲が制限されていない場合、パン及びチルトの全可動範囲が追尾範囲となる。
　可動範囲設定部２１４は、カメラ１０のパン及びチルトの可動範囲を設定する。可動範囲設定部２１４は、ユーザーからパン及びチルトの可動範囲の指定を受け付けて、パン及びチルトの可動範囲を設定する。パン及びチルトの可動範囲は、それぞれ回転のプラス方向の移動端及びマイナス方向の移動端を定めて設定する。その設定は、実際にカメラ１０をパン及びチルトさせて行う。
　図６は、可動範囲の設定時におけるディスプレイの画面表示例を示す図である。
　同図に示すように、パン及びチルトの可動範囲の設定時、ディスプレイ１０２には、撮影中の画像がライブビューで表示される。ディスプレイ１０２の画面には、このライブビューの画像に重ねて、プラス方向へのパンを指示する矢印Ｐ（＋）、マイナス方向へのパンを指示する矢印Ｐ（－）、プラス方向へのチルトを指示する矢印Ｔ（＋）、マイナス方向へのチルトを指示する矢印Ｔ（－）が表示される。
　矢印Ｐ（＋）がタッチされると、カメラ１０にプラス方向へのパンが指示され、矢印Ｐ（－）がタッチされると、カメラ１０にマイナス方向へのパンが指示される。また、矢印Ｔ（＋）がタッチされると、カメラ１０にプラス方向へのチルトが指示され、矢印Ｔ（－）がタッチされると、カメラ１０にマイナス方向へのチルトが指示される。可動範囲設定部２１４は、タッチパネル入力部１２６からの出力に応じて、カメラ１０にパン及びチルトの指示を出力する。
　ユーザーは、ディスプレイ１０２の表示を確認しながら、カメラ１０に対してパン及びチルトを指示し、パンのプラス方向の回転の移動端、パンのマイナス方向の回転の移動端、チルトのプラス方向の回転の移動端、及び、チルトのマイナス方向の回転の移動端を決定する。可動範囲設定部２１４は、指定された各回転の移動端に基づいて、パン及びチルトの可動範囲を設定する。
　追尾範囲設定部２１２は、パン及びチルトの可動範囲が設定されると、設定されたパン及びチルトの可動範囲を追尾範囲に設定する。
　色相ヒストグラム作成部２１６は、追尾範囲の画像データを取得して、追尾範囲の色相のヒストグラムを作成する。
　図７は、追尾範囲の画像データの一例を示す図である。また、図８は、色相のヒストグラムの一例を示す図である。
　図７に示すように、色相ヒストグラム作成部２１６は、追尾範囲全体の画像データを取得し、その色相のヒストグラムを作成する。このため、色相ヒストグラム作成部２１６は、カメラ１０を可動範囲でパン及びチルトさせて、追尾範囲全体の画像データを取得する。
　色相のヒストグラムは、図８に示すように、横軸を色相値、縦軸を画素値として、色相値ごとの画素数の分布として表現される。
　作成された追尾範囲のヒストグラムのデータは、メインメモリ１１４に格納される。
　ターゲット色情報取得部２１８は、ターゲットの色の情報を取得する。ターゲット色情報取得部２１８は、ターゲットを選択したときの画像データからターゲットの色相のヒストグラムのデータを作成し、ターゲットの色の情報を取得する。ターゲットの色相のヒストグラムのデータは、追尾枠Ｆ内の画像の色相のヒストグラムを作成して取得する。ターゲット色情報取得部２１８は、作成したターゲットの色相のヒストグラムのデータから最も画素値の大きい色相値を検出して、ターゲットの色である色相値を求める。作成されたターゲットの色相のヒストグラムのデータ、及び、ターゲットの色相値の情報は、ターゲット色情報としてメインメモリ１１４に格納される。
　第１ターゲット検出部２２０は、ターゲット色情報取得部２１８で取得したターゲット色情報に基づいて、カメラ１０で撮影された画像からターゲットの位置を検出する。色の情報を利用したターゲットの位置の検出は、既知の手法が用いられる。以下、この色の情報を利用したターゲットの位置の検出方法について簡単に説明する。
　まず、１フレーム分の画像データをカメラ１０から取得する。この画像データを第１画像データとする。次に、所定時間経過後、第１画像データと同様に１フレーム分の画像データをカメラ１０から取得する。この画像を第２画像データとする。次に、第１画像データと第２画像データとの差を求める。求めた画像データを差画像データとする。次に、差画像データを２値化する。これにより、理想的には移動している被写体の画素のみが１の画像データが生成される。次に、２値化した差画像データに基づいて、一体とみなされる被写体ごとにラベリングする。次に、ラベリングした被写体の面積を求め、それぞれを閾値と比較する。そして、閾値よりも大きい被写体だけを選出する。これにより、閾値よりも小さな被写体や動きの少ない被写体が除外される。次に、選出された被写体ごとに１次モーメントを求め、選出された各被写体の重心位置を求める。この重心位置は、たとえば、画面上に想定された縦横の座標値によって表される。次に、選出された被写体の画素範囲について、第２画像データから色相のヒストグラムを作成する。そして、ターゲットの色相のヒストグラムに最も近い被写体を１つ選出する。そして、選出した被写体をターゲットと認定し、その重心位置をターゲットの位置と認定する。
　このように、第１ターゲット検出部２２０は、ターゲット色情報取得部２１８で取得したターゲット色情報に基づいて、カメラ１０で撮影された画像からターゲットの位置を検出する。
　第２ターゲット検出部２２２は、ターゲットの色以外の情報に基づいて、カメラ１０で撮影された画像からターゲットの位置を検出する。本実施の形態では、テンプレートを利用した既知のブロックマッチングによりターゲットの位置を検出する。ブロックマッチングでは、時系列的に得られる複数の画像データ間において、テンプレートを利用してターゲットの動きベクトルを求めることにより、ターゲットの位置を求める。この場合、たとえば、設定された追尾枠内の画像をテンプレート画像として利用し、ターゲットの位置を求める。
　ターゲット色比率演算部２２４は、ターゲット色比率Ｘを算出する。ターゲット色比率Ｘは、ターゲットに似た色が背景中に含まれる割合を示す。ターゲット色比率Ｘは、次のように算出される。
　図９は、ターゲット色比率の算出方法の概念図である。
　ターゲット色比率Ｘは、追尾範囲の色相のヒストグラムにおいて、ターゲットに似た色相の画素が全体に占める割合として算出される。ターゲットに似た色相の範囲は、ターゲットの色相値がＴＨ°であるとすると、その前後一定範囲（ＴＨ±α／２°）に設定される。すなわち、ＴＨ－α／２°からＴＨ＋α／２°の範囲に設定される。αは、似た色相と認定する範囲であり、一例として、１５°である。この場合、ＴＨ±７．５°の範囲がターゲットに似た色相の範囲とされる。
　ターゲット色比率演算部２２４は、追尾範囲の色相のヒストグラムにおいて、色相値がＴＨ±α／２°の範囲の画素の数が、追尾範囲全体の画素数に占める割合を算出して、ターゲット色比率Ｘを算出する。したがって、ターゲット色比率演算部２２４は、ターゲット色比率Ｘを算出する際、色相ヒストグラム作成部２１６から追尾範囲の色相のヒストグラムデータを取得し、かつ、ターゲット色情報取得部２１８からターゲットの色相値の情報を取得して、ターゲット色比率Ｘを算出する。算出したターゲット色比率Ｘは、メインメモリ１１４に格納される。
　追尾制御部２２６は、第１ターゲット検出部２２０及び第２ターゲット検出部２２２で検出されるターゲットの位置の情報に基づいて、カメラ１０のパン及びチルトの動作を制御し、カメラ１０にターゲットを追尾させる。本実施の形態では、ターゲットが画面中央に撮影されるように、カメラ１０をパン及び／又はチルトさせる。したがって、追尾制御部２２６は、ターゲットを画面中央に位置させるために必要なパン方向の回転角度及びチルト方向の回転角度をターゲットの位置情報に基づいて算出し、カメラ１０に出力する。
　ところで、本実施の形態の追尾撮影システム１では、カメラ１０で撮影された画像からターゲットの位置を検出する手段として、第１ターゲット検出部２２０及び第２ターゲット検出部２２２が備えられている。追尾制御部２２６は、この第１ターゲット検出部２２０及び第２ターゲット検出部２２２をターゲット色比率演算部２２４で算出されるターゲット色比率Ｘに応じて使い分ける。すなわち、ターゲット色比率演算部２２４で算出されるターゲット色比率Ｘが閾値以下の場合は、第１ターゲット検出部２２０を使用し、ターゲット色比率Ｘが閾値を超える場合は第２ターゲット検出部２２２を使用して、ターゲットを検出する。ターゲット色比率Ｘが閾値以下の場合とは、ターゲットに似た色が背景中に含まれる割合が少ない場合である。したがって、この場合は、第１ターゲット検出部２２０を使用し、色情報を利用してターゲットを検出する。一方、ターゲット色比率Ｘが閾値を超える場合とは、ターゲットに似た色が背景中に含まれる割合が多い場合である。したがって、この場合は、第２ターゲット検出部２２２を使用し、ブロックマッチングによりターゲットを検出する。閾値は、色情報を利用してターゲットを検出できるか否かの観点から定められ、シミュレーションなどの結果から最適な数値が定められる。
　追尾制御部２２６は、ターゲット色比率演算部２２４からターゲット色比率Ｘの情報を取得して閾値と比較する。そして、ターゲット色比率が閾値以下の場合は、第１ターゲット検出部２２０で検出されたターゲットの位置の情報に基づいて、カメラ１０のパン及び／又はチルトの動作を制御して、カメラ１０にターゲットを追尾させ、ターゲット色比率が閾値を超える場合は、第２ターゲット検出部２２２で検出されたターゲットの位置の情報に基づいて、カメラ１０のパン及び／又はチルトの動作を制御して、カメラ１０にターゲットを追尾させる。
　《追尾撮影方法》
　図１０は、本実施の形態の追尾撮影システムによる追尾撮影の処理の手順を示すフローチャートである。
　追尾撮影は、端末装置１００のＣＰＵ１１０に追尾撮影プログラムを実行させ、端末装置１００を追尾撮影制御装置２００として機能させることにより行われる。
　まず、カメラ１０と端末装置１００とを相互に通信可能に接続する。このために、カメラ１０と端末装置１００との通信を確立させる（ステップＳ１０）。カメラ１０と端末装置１００とが相互に通信可能に接続されることにより、端末装置１００側でカメラ１０のコントロールが可能になる。また、カメラ１０で撮影した画像を端末装置１００のディスプレイ１０２に表示したり、不揮発性メモリ１１６に記録したりすることが可能になる。
　次に、追尾範囲の設定が行われる（ステップＳ１１）。ユーザーは、必要に応じてカメラ１０のパン及びチルトの可動範囲を設定し、追尾範囲を設定する。設定された追尾範囲（パン及びチルトの可動範囲）の情報は、メインメモリ１１４に格納される。
　次に、追尾範囲の色相のヒストグラムを作成するために、追尾範囲の画像データが取得される（ステップＳ１２）。端末装置１００は、設定された追尾範囲の情報に基づいて、カメラ１０をパン及びチルトさせ、カメラ１０から追尾範囲全体の画像データを取得する。
　追尾範囲全体の画像データが取得されると、その画像データに基づいて、追尾範囲の色相のヒストグラムが作成される（ステップＳ１３）。作成されたヒストグラムのデータは、メインメモリ１１４に格納される。
　次に、ターゲットの設定が行われる（ステップＳ１４）。ターゲットの設定時、ディスプレイ１０２にはカメラ１０で経時的に撮影された画像がリアルタイムに表示される。ユーザーは、ディスプレイ１０２に表示された画像を確認し、ターゲットとする被写体を画面上でタッチして選択する。ターゲットが選択されると、そのターゲット選択時の画像データがメインメモリ１１４に格納される。また、タッチされた位置を基準に追尾枠Ｆが設定され、ディスプレイ１０２に表示された画像に重ねて表示される（図５参照）。
　次に、ターゲットの色の情報が取得される（ステップＳ１５）。端末装置１００は、ターゲット選択時の画像データからターゲットの色相のヒストグラムを作成し、作成したヒストグラムからターゲットの色相値を求めて、ターゲットの色の情報を取得する。作成したターゲットの色相のヒストグラムのデータ、及び、ターゲットの色相値の情報は、ターゲット色情報としてメインメモリ１１４に格納される。
　次に、ターゲットの色相値の情報及び追尾範囲の色相のヒストグラムのデータに基づいて、ターゲット色比率Ｘが算出される（ステップＳ１６）。算出されたターゲット色比率Ｘは、メインメモリ１１４に格納される。
　次に、算出されたターゲット色比率Ｘに基づいて、ターゲットを検出する手段が決定される（ステップＳ１７）。すなわち、ターゲット色比率Ｘが閾値と比較され、ターゲット色比率Ｘが閾値以下か否かが判定される。ターゲット色比率Ｘが閾値以下の場合は、第１ターゲット検出部２２０が選択され、ターゲット色比率Ｘが閾値を超える場合は、第２ターゲット検出部２２２が選択される。
　ターゲットを検出する手段が決定すると、決定した手段でターゲットの位置が検出され、検出された位置の情報に基づいて、追尾処理が行われる（ステップＳ１８）。すなわち、カメラ１０から連続的に取得される画像データに基づいて、ターゲットの位置が検出され、ターゲットが画面中央に撮影されるように、カメラ１０のパン及び／又はチルトを制御する。
　この後、ユーザーは、必要に応じて端末装置１００に画像の記録を指示し、端末装置１００にカメラ１０で撮影された画像を記録させる。
　このように、本実施の形態の追尾撮影システム１によれば、ターゲットに似た色が背景中に含まれる割合を算出し、その割合に応じてターゲットの位置を検出する手段を使い分けて、ターゲットを追尾する。これにより、精度よくターゲットを検出でき、誤追尾を防止できる。また、あらかじめ追尾範囲の色相のヒストグラムを取得し、事前にターゲットの位置を検出するための手段を定めるため、追尾動作中も処理に負荷をかけずに簡単にターゲットの位置を検出できる。
　なお、パン及びチルトの可動範囲全体を追尾範囲とする場合は、追尾範囲を設定する工程を省くことができる。
　また、上記の処理手順では、追尾範囲の設定後、ターゲットを設定しているが、ターゲットの設定後、追尾範囲を設定することもできる。
　《変形例》
　〈追尾制御の変形例（１）〉
　上記実施の形態では、ターゲット色比率Ｘに基づいて、第１ターゲット検出部２２０及び第２ターゲット検出部２２２を使い分ける構成としているが、ターゲット色比率Ｘに基づいて、第１ターゲット検出部２２０及び第２ターゲット検出部２２２の結果を使い分ける構成とすることもできる。すなわち、位置の検出処理自体は、第１ターゲット検出部２２０及び第２ターゲット検出部２２２の双方で実施し、いずれの結果を利用するかをターゲット色比率Ｘに基づいて決定する。この場合、第１ターゲット検出部２２０によるターゲットの位置の検出処理と、第２ターゲット検出部２２２によるターゲットの位置の検出処理とが並列して実施される。
　〈追尾制御の変形例（２）〉
　上記実施の形態では、追尾範囲全体の色相との関係で第１ターゲット検出部２２０及び第２ターゲット検出部２２２を使い分けているが、追尾範囲を複数のブロックに分割し、ブロックごとに第１ターゲット検出部２２０及び第２ターゲット検出部２２２を使い分ける構成とすることもできる。
　図１１は、ブロックごとに第１ターゲット検出部及び第２ターゲット検出部を使い分けて、ターゲットを追尾する場合の概念図である。
　この場合、色相ヒストグラム作成部２１６は、追尾範囲を複数のブロックに分割し、ブロックごとに色相のヒストグラムを作成する。なお、図１１に示す例では、追尾範囲を４つのブロックＢ１～Ｂ４に分割した例を示している。この場合、各ブロックＢ１～Ｂ４の色相のヒストグラムＨＵＥ（１）～ＨＵＥ（４）が個別に作成される。
　ターゲット色比率演算部２２４は、ブロックＢ１～Ｂ４ごとにターゲット色比率Ｘ１～Ｘ４を算出する。
　追尾制御部２２６は、ブロックごとにターゲットの位置を検出する手段を設定する。すなわち、ターゲット色比率が閾値以下のブロックは、第１ターゲット検出部２２０を使用する設定とし、ターゲット色比率が閾値を超えるブロックは、第２ターゲット検出部２２２を使用する設定とする。そして、ターゲットの現在位置に基づいて、第１ターゲット検出部２２０及び第２ターゲット検出部２２２を切り替えて、ターゲットの位置を検出し、その検出結果に基づいて、カメラ１０のパン及び／又はチルトの動作を制御して、カメラ１０にターゲットを追尾させる。
　なお、分割するブロックの数については、ユーザーが任意に設定できる構成としてもよいし、追尾範囲の大きさに応じて自動で設定する構成としてもよい。また、パン方向にのみ分割する構成としてもよいし、パン方向とチルト方向の分割数を変えてもよい。
　〈追尾制御の変形例（３）〉
　上記実施の形態では、画面中央にターゲットが位置するように、カメラ１０のパン及び／又はチルトを制御しているが、画面上でユーザーが指定した位置にターゲットが位置するように、カメラ１０のパン及び／又はチルトを制御する構成としてもよい。
　〈第２ターゲット検出部の変形例〉
　上記実施の形態では、第２ターゲット検出部２２２がブロックマッチングによりターゲットの位置を検出する構成としているが、第２ターゲット検出部２２２は、色以外の特徴量を利用して、ターゲットの位置を検出できればよい。たとえば、ターゲットの輝度又は明度の情報に基づいて、カメラ１０で撮影された画像からターゲットの位置を検出する構成とすることもできる。具体的には、既知のパーティクルフィルタを用いた物体追跡のアルゴリズムや、既知の勾配法を利用した物体追跡のアルゴリズムなどを利用して、ターゲットの位置を検出することができる。
　〈カメラの変形例（１）〉
　上記実施の形態では、機械的な構成でパン及びチルトの機能を実現させているが、電子的にパン及びチルトの機能を実現することもできる。すなわち、撮影した画像の一部を切り出して、出力用の画像データを生成する構成とし、その出力用の画像を切り出す範囲を変えることにより、パン及び／又はチルトの機能を電子的に実現する。
　図１２は、電子的にパン及びチルトの機能を実現するカメラのシステム構成を示すブロック図である。
　このカメラ３００は、魚眼レンズ３１６を介して被写体の光学像を撮像する撮像部３１２と、ＡＦＥ３２４と、カメラ制御部３３０と、メモリ３５０と、無線ＬＡＮ通信部３５２と、を備えて構成される。
　撮像部３１２は、魚眼レンズ３１６と、魚眼レンズ３１６を通した光を受光するイメージセンサ３２０と、レンズ駆動部３１６Ａと、を備えて構成される。
　魚眼レンズ３１６は、フォーカス機能を有し、レンズ駆動部３１６Ａに駆動されて、フォーカス、及び、絞りが調節される。魚眼レンズ３１６は、たとえば、対角魚眼レンズで構成される。
　イメージセンサ３２０は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの二次元イメージセンサで構成される。
　ＡＦＥ３２４は、イメージセンサ３２０から出力される信号（画像信号）に対して、たとえば、ノイズ除去、信号増幅、Ａ／Ｄ変換などの信号処理を施す。ＡＦＥ３２４で生成されるデジタルの画像信号は、カメラ制御部３３０に出力される。
　メモリ３５０は、各種データの記憶部として機能し、カメラ動作制御部３４２からの要求に応じてデータの読み書きが行われる。
　無線ＬＡＮ通信部３５２は、アンテナ３５２Ａを介して、無線ＬＡＮアクセスポイントや無線ＬＡＮ通信が可能な外部機器との間で所定の無線ＬＡＮ規格に従った無線ＬＡＮ通信を行う。
　カメラ制御部３３０は、ＣＰＵ及びメモリを備えたマイクロコンピュータで構成され、所定のプログラムを実行することにより、画像信号処理部３３２、撮像制御部３３４、レンズ制御部３３６、通信制御部３４０、カメラ動作制御部３４２、画像切り出し部３４４として機能する。
　画像信号処理部３３２は、ＡＦＥ３２４から取得されるデジタルの画像信号に対して所要の信号処理を施し、デジタルの画像データを生成する。たとえば、輝度信号（Ｙ）の画像データと色差信号（Ｃｒ、Ｃｂ）の画像データとかなるデジタルの画像データを生成する。
　撮像制御部３３４は、イメージセンサ３２０の駆動を制御して、イメージセンサ３２０による撮像を制御する。
　レンズ制御部３３６は、レンズ駆動部３１６Ａを制御して、魚眼レンズ３１６のフォーカス、及び、絞りの動作を制御する。
　通信制御部３４０は、無線ＬＡＮ通信部３５２を制御して、外部機器との間の無線ＬＡＮ通信を制御する。
　カメラ動作制御部３４２は、図示しないカメラ３００の操作部及び端末装置からの指示に応じて、カメラ全体の動作を統括制御する。
　画像切り出し部３４４は、画像信号処理部３３２で生成された画像データを取得し、その画像の一部を切り出して、出力用の画像データを生成する。画像切り出し部３４４は、カメラ動作制御部３４２からの指令に応じて、画像を切り出し、出力用の画像データを生成する。たとえば、指示された座標位置を中心として、指示されたアスペクト比の画像を指示されたサイズで切り出して、出力用の画像データを生成する。
　図１３は、画像切り出し部による画像の切り出しの概念図である。
　同図において、画像Ｉ１は、魚眼レンズ３１６を介してイメージセンサ３２０で撮像される画像である。画像切り出し部３４４は、この画像Ｉ１の一部を切り出して出力用の画像Ｉ２を生成する。
　カメラ３００は、画像切り出し部３４４で切り出した画像Ｉ２を出力用の画像とし、端末装置１００に出力する。
　図１４は、端末装置のディスプレイの画面表示例を示す図である。
　同図に示すように、端末装置１００のディスプレイ１０２には、魚眼レンズ３１６を介して撮像された画像Ｉ１から切り出した画像Ｉ２が、カメラ３００で撮影された画像として表示される。
　このように、電子的にパン及びチルトの機能を実現するカメラ３００では、実際に撮影された画像の一部を切り出して、画像データを出力する構成とし、その切り出す位置を変えてパン及び／又はチルトする構成とされる。
　なお、上記の例では、１つの撮像部で撮像された画像の一部を切り出して、出力用の画像データを取得する構成としているが、カメラに複数の撮像部を備え、その複数の撮像部で撮像された画像を繋ぎ合わせて１つの画像を生成し、その画像の一部を切り出して、出力用の画像データを取得する構成とすることもできる。たとえば、前方を撮影する第１の撮像部、及び、後方を撮像する第２の撮像部を備え、第１の撮像部で撮像された画像と第２の撮像部で撮像された画像とを繋ぎ合わせて１つの画像を生成することにより、パン方向に３６０°撮影可能なカメラを構成し、その一部を切り出して、出力用の画像データを取得する構成とすることもできる。
　〈カメラの変形例（２）〉
　上記実施の形態のカメラ１０は、パン及びチルトの機能が備えられているが、カメラは、少なくともパン又はチルトの機能が備えられていればよい。パン機能のみが備えられたカメラの場合、パン動作のみでターゲットの追尾が行われる。同様に、チルト機能のみが備えられたカメラの場合、チルト動作のみでターゲットの追尾が行われる。
　〈ターゲット設定部の変形例〉
　上記実施の形態では、カメラ１０で撮影された画像をディスプレイ１０２に表示し、画面上でユーザーにタッチされた被写体をターゲットに設定する構成としているが、ターゲットを設定する方法は、これに限定されるものではない。
　たとえば、追尾撮影制御装置の機能として、カメラで撮影された画像から人物の顔を自動で検出する機能（顔検出部の機能）を付加し、その機能で検出された人物の顔を自動的にターゲットに設定する構成とすることもできる。これにより、ターゲットを簡単に設定できる。
　なお、この場合、複数の顔が検出されることもあるが、この場合は、たとえば、検出結果をユーザーに表示し、ターゲットとする被写体を選択させる構成とすることができる。また、検出された顔のサイズや位置から自動でターゲットを決定する構成とすることもできる。たとえば、画面中央に位置する顔ほど主要被写体らしい、サイズの大きい顔ほど主要被写体らしい、との判断基準の下、主要被写体を決定し、ターゲットを自動で決定する。
　また、たとえば、追尾撮影制御装置の機能として、カメラで撮影された画像から動体を検出する機能（動体検出部の機能）を付加し、その機能を利用して最初に検出された動体をターゲットに設定する構成とすることができる。これにより、ターゲットを簡単に設定できる。
　なお、この場合、複数の動体が同時に検出されることもあるが、この場合もユーザーにターゲットとする被写体を選択させる構成とすることができる。あるいは、検出された動体のサイズや位置から自動でターゲットを決定する構成とすることもできる。
　また、上記実施の形態では、タッチされた位置情報を基に一定サイズの追尾枠が設定される構成としているが、追尾枠の位置、サイズをユーザーが調整できるようにしてもよい。
　また、追尾枠は、自動で位置、サイズを調整するようにしてもよい。たとえば、タッチされた位置を基準に動体を抽出し、その動体を囲うように追尾枠を設定するようにしてもよい。あるいは、タッチされた位置を基準に人物の顔を抽出し、その顔を囲うように追尾枠を設定するようにしてもよい。
　また、上記実施の形態では、端末装置側のディスプレイにカメラで撮影された画像をリアルタイムに表示して、ターゲットを選択させる構成としているが、静止画を撮影し、その静止画をディスプレイに表示させて、ターゲットを選択させる構成とすることもできる。
　更に、あらかじめターゲットの画像を登録しておき、その画像を読み出してターゲットを設定する構成とすることもできる。
　〈ターゲット色比率の算出の変形例〉
　上記実施の形態では、ターゲットの色相値をＴＨ°としたとき、ＴＨ±α／２°の範囲をターゲットに似た色相の範囲として、ターゲット色比率を算出している。そして、αの一例として、１５°としている。このターゲットに似た色相の範囲として設定するαについては、固定値としてもよいし、任意に設定できるようにしてもよい。また、追尾範囲に含まれるターゲットに似た色の割合に応じて、αの値を自動で設定する構成としてもよい。たとえば、追尾範囲のヒストグラムを解析し、ターゲットに似た色相の割合が高いほど、αの値を小さく設定する。すなわち、ターゲットに似た色が、背景である追尾範囲に多く含まれるほど、αの値を小さく設定する。
　なお、このようにαを変更すると、ターゲット色比率Ｘが変化し、色情報を利用してターゲットの位置を検出する頻度が変化する。そこで、αを変化させる場合は、色情報を利用してターゲットの位置を検出する頻度が変化しないように、αの変化に連動して閾値を変化させる。すなわち、αを小さくした場合は、これに連動して閾値も小さくし、αを大きくした場合は、これに連動して閾値も大きくする。これにより、色情報を利用したターゲットの位置検出と色以外の情報を利用したターゲットの位置検出とを適切に使い分けることができる。
　〈追尾範囲の設定方法の変形例〉
　上記実施の形態では、パン及びチルトの可動範囲を追尾範囲に設定しているが、追尾範囲を設定する方法は、これに限定されるものではない。たとえば、カメラ１０のパン及びチルトの機能を利用して、ユーザーが撮影した範囲を追尾範囲として設定することもできる。この場合、事前の設定動作として、ユーザーが、カメラ１０のパン及びチルトの機能を利用して、追尾範囲とする範囲を撮影する。なお、このように、ユーザーが撮影した範囲を追尾範囲とする場合、色相ヒストグラムの作成に必要な追尾範囲全体の画像を同時に取得できる。
　パン及びチルトの可動範囲を設定する場合も、ユーザーが撮影した範囲をパン及びチルトの可動範囲とすることができる。
　〈追尾撮影機能を具備したカメラ〉
　上記実施の形態では、端末装置が追尾撮影制御装置として機能し、端末装置がターゲットの位置を検出して、カメラのパン及びチルトを制御する構成としているが、カメラに追尾撮影制御装置の機能を搭載し、カメラ側でターゲットの位置を検出して、自身のパン及びチルトを制御する構成とすることもできる。この場合、カメラにターゲット設定部、色相ヒストグラム作成部、第１ターゲット検出部、第２ターゲット検出部、ターゲット色比率演算部、追尾制御部の機能を搭載する。これらの機能は、カメラ制御部の機能として提供できる。すなわち、カメラ制御部を構成するマイクロコンピュータが、所定の追尾撮影プログラムを実行することにより、カメラ制御部をターゲット設定部、色相ヒストグラム作成部、第１ターゲット検出部、第２ターゲット検出部、ターゲット色比率演算部、追尾制御部として機能させることができる。
　なお、このように、カメラに追尾撮影制御装置の機能を搭載した場合、端末装置は、カメラで撮影された画像の表示のみ、又は、表示及び画像の記録のみを行う構成とすることができる。あるいは、ターゲットの設定のみを行う構成とすることができる。
　また、このようにカメラに追尾撮影制御装置の機能を搭載する場合、カメラ単体で動作させて、追尾撮影を行うこともできる。この場合、カメラに表示部及びタッチパネル入力部を備えることが好ましい。
　〈カメラと端末装置との接続形態〉
　上記実施の形態では、カメラと端末装置とを無線で通信可能に接続する構成としているが、カメラと端末装置とは、相互に通信可能に接続されていればよい。したがって、有線で通信可能に接続する構成としてもよい。また、通信の規格等についても特に限定されない。また、カメラと端末装置とを直接接続する形態ではなく、たとえば、インターネットを介して接続する形態とすることもできる。
　〈端末装置〉
　上記実施の形態では、端末装置としてスマートフォンを採用しているが、端末装置の形態は特に限定されるものではない。したがって、端末装置は、パーソナルコンピュータやタブレット端末などで構成することもできる。また、専用の装置として構成することもできる。
　〈追尾範囲の色相のヒストグラムの表示〉
　上記実施の形態では、作成した追尾範囲の色相のヒストグラムのデータをターゲット色比率の算出にのみ使用しているが、追尾範囲の色相のヒストグラムを作成後、そのデータを表示部に表示するようにしてもよい。これにより、ユーザーが、ターゲットを設定する際の判断材料に役立てることができる。このヒストグラムのデータは、たとえば、ターゲットの設定時の画面に重ねて表示することができる。
　〈検出可能な色の提示〉
　追尾範囲の色相のヒストグラムのデータを取得することにより、色の情報を利用してターゲットの位置を検出できる色を事前に求めることができる。すなわち、追尾範囲の色相のヒストグラムのデータを取得することにより、そのデータからターゲット色比率が閾値以下となる色相値を求めることができる。したがって、追尾範囲の色相のヒストグラムのデータを取得することにより、色の情報を利用してターゲットの位置を検出できる色を事前に求めることができる。このように、追尾範囲の色相のヒストグラムのデータからターゲットの位置を検出できる色を事前に求め、求めた色の情報をターゲットの設定時にユーザーに提示するようにしてもよい。たとえば、色情報を利用してターゲットの位置を検出できる色（色相）の情報をターゲットの設定時の画面に重ねて表示することができる。これにより、ユーザーが、ターゲットを設定する体の判断材料に役立てることができる。
　１…追尾撮影システム、１０…カメラ、１２…撮像部、１２Ａ…ハウジング、１４…支持部、１４Ａ…撮像部支持フレーム、１４Ｂ…架台、１６…レンズ、１６Ａ…レンズ駆動部、１８…操作パネル、２０…イメージセンサ、２２Ｐ…パン駆動部、２２Ｔ…チルト駆動部、３０…カメラ制御部、３２…画像信号処理部、３４…撮像制御部、３６…レンズ制御部、３８Ｐ…パン制御部、３８Ｔ…チルト制御部、４０…通信制御部、４２…カメラ動作制御部、５０…メモリ、５２…無線ＬＡＮ通信部、５２Ａ…アンテナ、１００…端末装置、１０１…筐体、１０２…ディスプレイ、１０３…操作ボタン、１０４…スピーカー、１０５…マイクロフォン、１０６…内蔵カメラ、１１０…ＣＰＵ、１１２…システムバス、１１４…メインメモリ、１１６…不揮発性メモリ、１１８…モバイル通信部、１１８Ａ…アンテナ、１２０…無線ＬＡＮ通信部、１２０Ａ…アンテナ、１２２…近距離無線通信部、１２２Ａ…アンテナ、１２４…表示部、１２６…タッチパネル入力部、１２８…キー入力部、１３０…音声処理部、１３２…画像処理部、２００…追尾撮影制御装置、２１０…ターゲット設定部、２１２…追尾範囲設定部、２１４…可動範囲設定部、２１６…色相ヒストグラム作成部、２１８…ターゲット色情報取得部、２２０…第１ターゲット検出部、２２２…第２ターゲット検出部、２２４…ターゲット色比率演算部、２２６…追尾制御部、３００…カメラ、３１２…撮像部、３１６…魚眼レンズ、３１６Ａ…レンズ駆動部、３２０…イメージセンサ、３３０…カメラ制御部、３３２…画像信号処理部、３３４…撮像制御部、３３６…レンズ制御部、３４０…通信制御部、３４２…カメラ動作制御部、３４４…画像切り出し部、３５０…メモリ、３５２…無線ＬＡＮ通信部、３５２Ａ…アンテナ、Ｆ…追尾枠

Claims (19)

  1. 　パン機能及び／又はチルト機能を備えたカメラのパン及び／又はチルトの動作を制御して、前記カメラにターゲットを追尾した撮影を実行させる追尾撮影制御装置であって、
    　前記ターゲットを設定するターゲット設定部と、
    　前記ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、
    　前記ターゲットの色の情報を取得するターゲット色情報取得部と、
    　前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する第１ターゲット検出部と、
    　前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する第２ターゲット検出部と、
    　前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、
    　前記ターゲット色比率が閾値以下の場合は、前記第１ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させ、前記ターゲット色比率が前記閾値を超える場合は、前記第２ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させる追尾制御部と、
    　を備えた追尾撮影制御装置。
  2. 　前記第２ターゲット検出部は、前記ターゲットの輝度又は明度の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する、
    　請求項１に記載の追尾撮影制御装置。
  3. 　前記カメラは、
    　レンズを介して被写体の光学像を撮像する撮像部と、
    　前記撮像部をパン及び／又はチルト可能に支持する支持部と、
    　を備えた請求項１又は２に記載の追尾撮影制御装置。
  4. 　前記カメラは、
    　魚眼レンズを介して被写体の光学像を撮像する撮像部と、
    　前記撮像部で撮像された画像の一部を切り出す画像切り出し部と、
    　を備え、前記画像切り出し部で画像を切り出す位置を変えることにより、パン機能及び／又はチルト機能を実現する、
    請求項１又は２に記載の追尾撮影制御装置。
  5. 　前記ターゲットを追尾する範囲を追尾範囲として設定する追尾範囲設定部を更に備えた、
    　請求項１から４のいずれか１項に記載の追尾撮影制御装置。
  6. 　前記追尾範囲設定部は、前記カメラのパン及び／又はチルトの可動範囲を前記追尾範囲に設定する、
    　請求項５に記載の追尾撮影制御装置。
  7. 　前記カメラのパン及び／又はチルトの可動範囲を設定する可動範囲設定部を更に備えた、
    　請求項６に記載の追尾撮影制御装置。
  8. 　前記色相ヒストグラム作成部は、前記ターゲットを追尾する範囲の全体を前記カメラで撮影して得られる画像データに基づいて、前記ターゲットを追尾する範囲の色相の前記ヒストグラムを作成する、
    　請求項１から７のいずれか１項に記載の追尾撮影制御装置。
  9. 　前記カメラで撮影された画像を表示する表示部と、
    　前記表示部の画面上で位置を指定する入力部と、
    　を更に備え、
    　前記ターゲット設定部は、前記入力部で指定された位置の被写体を前記ターゲットに設定する、
    　請求項１から８のいずれか１項に記載の追尾撮影制御装置。
  10. 　前記カメラで撮影された画像から人物の顔を検出する顔検出部を更に備え、
    　前記ターゲット設定部は、前記顔検出部で検出された人物の顔を前記ターゲットに設定する、
    　請求項１から８のいずれか１項に記載の追尾撮影制御装置。
  11. 　前記カメラで撮影された画像から動体を検出する動体検出部を更に備え、
    　前記ターゲット設定部は、前記動体検出部で最初に検出された動体を前記ターゲットに設定する、
    　請求項１から８のいずれか１項に記載の追尾撮影制御装置。
  12. 　前記色相ヒストグラム作成部は、前記ターゲットを追尾する範囲を複数のブロックに分割し、前記ブロックごとに色相の前記ヒストグラムを作成し、
    　前記ターゲット色比率演算部は、前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合を前記ターゲット色比率とし、前記ターゲット色比率を前記ブロックごとに算出し、
    　前記追尾制御部は、前記ターゲット色比率が閾値以下の前記ブロックは、前記第１ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御し、前記ターゲット色比率が前記閾値を超える前記ブロックは、前記第２ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御し、前記カメラに前記ターゲットを追尾させる、
    　請求項１から１１のいずれか１項に記載の追尾撮影制御装置。
  13. 　パン機能及び／又はチルト機能を備えたカメラと、前記カメラと通信可能に接続され、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラにターゲットを追尾した撮影を実行させる端末装置と、を備えた追尾撮影システムであって、
    　前記端末装置は、
    　前記ターゲットを設定するターゲット設定部と、
    　前記ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、
    　前記ターゲットの色の情報を取得するターゲット色情報取得部と、
    　前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する第１ターゲット検出部と、
    　前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する第２ターゲット検出部と、
    　前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、
    　前記ターゲット色比率が閾値以下の場合は前記第１ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて前記カメラのパン及び／又はチルトの動作を制御し、前記ターゲット色比率が前記閾値を超える場合は前記第２ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させる追尾制御部と、
    　を備えた追尾撮影システム。
  14. 　レンズを介して被写体の光学像を撮像する撮像部と、
    　前記撮像部をパン及び／又はチルト可能に支持する支持部と、
    　ターゲットを設定するターゲット設定部と、
    　前記ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、
    　前記ターゲットの色の情報を取得するターゲット色情報取得部と、
    　前記ターゲットの色の情報に基づいて、前記撮像部で撮影された画像から前記ターゲットの位置を検出する第１ターゲット検出部と、
    　前記ターゲットの色以外の情報に基づいて、前記撮像部で撮影された画像から前記ターゲットの位置を検出する第２ターゲット検出部と、
    　前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、
    　前記ターゲット色比率が閾値以下の場合は、前記第１ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記撮像部のパン及び／又はチルトを制御し、前記ターゲット色比率が前記閾値を超える場合は、前記第２ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記撮像部のパン及び／又はチルトを制御して、前記ターゲットを追尾させる追尾制御部と、
    　を備えたカメラ。
  15. 　魚眼レンズを介して被写体の光学像を撮像する撮像部と、
    　前記撮像部で撮像された画像の一部を切り出す画像切り出し部と、
    　ターゲットを設定するターゲット設定部と、
    　前記ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、
    　前記ターゲットの色の情報を取得するターゲット色情報取得部と、
    　前記ターゲットの色の情報に基づいて、前記撮像部で撮影された画像から前記ターゲットの位置を検出する第１ターゲット検出部と、
    　前記ターゲットの色以外の情報に基づいて、前記撮像部で撮影された画像から前記ターゲットの位置を検出する第２ターゲット検出部と、
    　前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、
    　前記ターゲット色比率が閾値以下の場合は、前記第１ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記画像切り出し部を制御し、前記ターゲット色比率が前記閾値を超える場合は、前記第２ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて、前記画像切り出し部を制御して、前記ターゲットを追尾させる追尾制御部と、
    　を備えたカメラ。
  16. 　パン機能及び／又はチルト機能を備えたカメラと通信可能に接続され、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラにターゲットを追尾した撮影を実行させる端末装置であって、
    　前記ターゲットを設定するターゲット設定部と、
    　前記ターゲットを追尾する範囲の色相のヒストグラムを作成する色相ヒストグラム作成部と、
    　前記ターゲットの色の情報を取得するターゲット色情報取得部と、
    　前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する第１ターゲット検出部と、
    　前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する第２ターゲット検出部と、
    　前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出するターゲット色比率演算部と、
    　前記ターゲット色比率が閾値以下の場合は前記第１ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて前記カメラのパン及び／又はチルトの動作を制御し、前記ターゲット色比率が前記閾値を超える場合は前記第２ターゲット検出部で検出された前記ターゲットの位置の情報に基づいて前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させる追尾制御部と、
    　を備えた端末装置。
  17. 　パン機能及び／又はチルト機能を備えたカメラのパン及び／又はチルトの動作を制御して、前記カメラにターゲットを追尾した撮影を実行させる追尾撮影方法であって、
    　前記ターゲットを設定する工程と、
    　前記ターゲットを追尾する範囲の色相のヒストグラムを作成する工程と、
    　前記ターゲットの色の情報を取得する工程と、
    　前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出する工程と、
    　前記ターゲット色比率が閾値以下の場合は、前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出し、検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させ、前記ターゲット色比率が前記閾値を超える場合は、前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出し、検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させる工程と、
    　を有する追尾撮影方法。
  18. 　パン機能及び／又はチルト機能を備えたカメラのパン及び／又はチルトの動作を制御して、前記カメラにターゲットを追尾した撮影を実行させる追尾撮影プログラムであって、
    　前記ターゲットを設定する機能と、
    　前記ターゲットを追尾する範囲の色相のヒストグラムを作成する機能と、
    　前記ターゲットの色の情報を取得する機能と、
    　前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する機能と、
    　前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する機能と、
    　前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出する機能と、
    　前記ターゲット色比率が閾値以下の場合は、前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出し、検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させ、前記ターゲット色比率が前記閾値を超える場合は、前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出し、検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させる機能と、
    　をコンピュータに実現させる追尾撮影プログラム。
  19. 　パン機能及び／又はチルト機能を備えたカメラのパン及び／又はチルトの動作を制御して、前記カメラにターゲットを追尾した撮影を実行させる追尾撮影プログラムであって、
    　前記ターゲットを設定する機能と、
    　前記ターゲットを追尾する範囲の色相のヒストグラムを作成する機能と、
    　前記ターゲットの色の情報を取得する機能と、
    　前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する機能と、
    　前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出する機能と、
    　前記ターゲットの色を基準として一定範囲の色相の画素が前記ヒストグラムに占める割合をターゲット色比率として算出する機能と、
    　前記ターゲット色比率が閾値以下の場合は、前記ターゲットの色の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出し、検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させ、前記ターゲット色比率が前記閾値を超える場合は、前記ターゲットの色以外の情報に基づいて、前記カメラで撮影された画像から前記ターゲットの位置を検出し、検出された前記ターゲットの位置の情報に基づいて、前記カメラのパン及び／又はチルトの動作を制御して、前記カメラに前記ターゲットを追尾させる機能と、
    　をコンピュータに実現させる追尾撮影プログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。
     
PCT/JP2015/083600 2015-02-18 2015-11-30 追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラム WO2016132623A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201580075924.0A CN107211114B (zh) 2015-02-18 2015-11-30 跟踪摄影控制装置、跟踪摄影系统、相机、终端装置及方法
JP2017500290A JP6387450B2 (ja) 2015-02-18 2015-11-30 追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラム
US15/675,157 US20170353669A1 (en) 2015-02-18 2017-08-11 Tracking imaging control device, tracking imaging system, camera, terminal device, tracking imaging method, and tracking imaging program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-029238 2015-02-18
JP2015029238 2015-02-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/675,157 Continuation US20170353669A1 (en) 2015-02-18 2017-08-11 Tracking imaging control device, tracking imaging system, camera, terminal device, tracking imaging method, and tracking imaging program

Publications (1)

Publication Number Publication Date
WO2016132623A1 true WO2016132623A1 (ja) 2016-08-25

Family

ID=56692118

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/083600 WO2016132623A1 (ja) 2015-02-18 2015-11-30 追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラム

Country Status (4)

Country Link
US (1) US20170353669A1 (ja)
JP (1) JP6387450B2 (ja)
CN (1) CN107211114B (ja)
WO (1) WO2016132623A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109591716A (zh) * 2018-12-24 2019-04-09 广州亚美信息科技有限公司 一种车载视频监控处理方法及系统
JP2019181976A (ja) * 2018-04-02 2019-10-24 株式会社ザクティ 撮影装置および移動体の後方確認システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108206941A (zh) * 2017-09-27 2018-06-26 深圳市商汤科技有限公司 目标跟踪方法、系统、终端设备及存储介质
JP6795637B2 (ja) * 2019-02-20 2020-12-02 ミネベアミツミ株式会社 アンテナ装置、及び、給電装置
US11917272B2 (en) * 2020-10-28 2024-02-27 Semiconductor Components Industries, Llc Imaging systems for multi-spectral imaging
JP2022136866A (ja) * 2021-03-08 2022-09-21 キヤノン株式会社 撮像装置およびその制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09181953A (ja) * 1995-12-27 1997-07-11 Matsushita Electric Works Ltd 自動追尾装置
JP2001169169A (ja) * 1999-12-10 2001-06-22 Fuji Photo Optical Co Ltd 自動追尾装置
JP2011029759A (ja) * 2009-07-22 2011-02-10 Canon Inc 撮像装置及びその制御方法、並びにプログラム
JP2011039604A (ja) * 2009-08-06 2011-02-24 Canon Inc 画像追尾装置、画像追尾方法、及びコンピュータプログラム
JP2011134020A (ja) * 2009-12-22 2011-07-07 Canon Inc 画像処理装置及びその制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3296675B2 (ja) * 1995-02-28 2002-07-02 三洋電機株式会社 被写体追尾装置および被写体追尾方法
US6661450B2 (en) * 1999-12-03 2003-12-09 Fuji Photo Optical Co., Ltd. Automatic following device
JP2008259161A (ja) * 2007-03-13 2008-10-23 Victor Co Of Japan Ltd 目標追尾装置
JP2010011441A (ja) * 2008-05-26 2010-01-14 Sanyo Electric Co Ltd 撮像装置及び画像再生装置
JP4730431B2 (ja) * 2008-12-16 2011-07-20 日本ビクター株式会社 目標追尾装置
JP5313037B2 (ja) * 2009-05-11 2013-10-09 パナソニック株式会社 電子カメラ、画像処理装置および画像処理方法
JP5744437B2 (ja) * 2010-08-18 2015-07-08 キヤノン株式会社 追尾装置、追尾方法及びプログラム
JP2012217137A (ja) * 2011-03-31 2012-11-08 Sony Corp 画像処理装置、画像処理方法、画像処理プログラム
KR102357290B1 (ko) * 2014-03-25 2022-01-28 임머비젼, 인코퍼레이티드 광각 이미지와 관련된 정보를 기록, 공유 및 처리함으로써 사용자 경험 또는 시스템 가동의 자동 정의

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09181953A (ja) * 1995-12-27 1997-07-11 Matsushita Electric Works Ltd 自動追尾装置
JP2001169169A (ja) * 1999-12-10 2001-06-22 Fuji Photo Optical Co Ltd 自動追尾装置
JP2011029759A (ja) * 2009-07-22 2011-02-10 Canon Inc 撮像装置及びその制御方法、並びにプログラム
JP2011039604A (ja) * 2009-08-06 2011-02-24 Canon Inc 画像追尾装置、画像追尾方法、及びコンピュータプログラム
JP2011134020A (ja) * 2009-12-22 2011-07-07 Canon Inc 画像処理装置及びその制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019181976A (ja) * 2018-04-02 2019-10-24 株式会社ザクティ 撮影装置および移動体の後方確認システム
CN109591716A (zh) * 2018-12-24 2019-04-09 广州亚美信息科技有限公司 一种车载视频监控处理方法及系统

Also Published As

Publication number Publication date
JP6387450B2 (ja) 2018-09-05
JPWO2016132623A1 (ja) 2017-12-28
CN107211114A (zh) 2017-09-26
CN107211114B (zh) 2019-01-22
US20170353669A1 (en) 2017-12-07

Similar Documents

Publication Publication Date Title
JP6387450B2 (ja) 追尾撮影制御装置、追尾撮影システム、カメラ、端末装置、追尾撮影方法、追尾撮影プログラム
JP6557768B2 (ja) 追尾制御装置、追尾制御方法、追尾制御プログラム、及び、自動追尾撮影システム
US11917299B2 (en) Image processing device and associated methodology for generating panoramic images
US10075651B2 (en) Methods and apparatus for capturing images using multiple camera modules in an efficient manner
WO2021008456A1 (zh) 图像处理方法、装置、电子设备及存储介质
JP6328255B2 (ja) マルチ撮像装置、マルチ撮像方法、プログラム、及び記録媒体
EP3531689B1 (en) Optical imaging method and apparatus
JP4510713B2 (ja) デジタルカメラ
JP7305249B2 (ja) 画像特徴点の動き情報の決定方法、タスク実行方法およびデバイス
US9648229B2 (en) Image processing device and associated methodology for determining a main subject in an image
JP4478093B2 (ja) 対象画像検索装置およびディジタル・カメラならびにそれらの制御方法
EP3001247B1 (en) Method and terminal for acquiring panoramic image
JP6327995B2 (ja) 撮像装置、制御装置及びそれらの制御方法、プログラム、並びに記憶媒体
KR20150113889A (ko) 화상처리장치, 화상처리방법 및 기억매체
KR102155895B1 (ko) 객체를 추적하여 영상을 수신하는 방법 및 장치
JPWO2016038972A1 (ja) 撮像装置、撮像方法、及びプログラム
EP3989118A1 (en) Target tracking method and system, readable storage medium and moving platform
WO2020047745A1 (zh) 拍摄控制方法、装置、设备及存储介质
US9628700B2 (en) Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program
JP2017168882A (ja) 画像処理装置、画像処理方法及びプログラム
EP4024843A1 (en) Display method, photographing method, and related device
KR20120005040A (ko) 카메라에 대한 최적의 시야각 위치를 선택하는 방법
JP2010199694A (ja) 撮像装置、画角調節方法、及び、プログラム
JP2014146989A (ja) 撮像装置、撮像方法および撮像プログラム
KR101288881B1 (ko) 다수의 감시영역을 설정하고 이를 확대촬영할 수 있는 감시카메라의 감시영역 설정시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15882724

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017500290

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15882724

Country of ref document: EP

Kind code of ref document: A1