WO2015098110A1 - 撮像装置、撮像システムおよび撮像方法 - Google Patents

撮像装置、撮像システムおよび撮像方法 Download PDF

Info

Publication number
WO2015098110A1
WO2015098110A1 PCT/JP2014/006451 JP2014006451W WO2015098110A1 WO 2015098110 A1 WO2015098110 A1 WO 2015098110A1 JP 2014006451 W JP2014006451 W JP 2014006451W WO 2015098110 A1 WO2015098110 A1 WO 2015098110A1
Authority
WO
WIPO (PCT)
Prior art keywords
shooting
unit
imaging
attribute information
video
Prior art date
Application number
PCT/JP2014/006451
Other languages
English (en)
French (fr)
Inventor
森岡　芳宏
松浦　賢司
秀晃 畠中
山内　栄二
充義 岡本
西山　明雄
石井　浩史
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2015554575A priority Critical patent/JPWO2015098110A1/ja
Publication of WO2015098110A1 publication Critical patent/WO2015098110A1/ja
Priority to US15/054,665 priority patent/US9826146B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Definitions

  • the present disclosure relates to an imaging apparatus, an imaging system, and an imaging method that determine a shooting direction based on the content of a shot video.
  • an imaging system that automatically determines a composition and adjusts pan, tilt, and zoom in an imaging system including a camera and a pan head is known.
  • the imaging system of the present disclosure includes a driving device and an imaging device that is connected to the driving device and controls the operation of the driving device.
  • the imaging apparatus includes an imaging unit, a generation unit that shoots a predetermined shooting range by shooting a plurality of shooting directions with the imaging unit, and generates attribute information about a video shot by the imaging unit for each predetermined video unit;
  • a composition map creation unit that extracts a predetermined object existing in a predetermined photographing range from attribute information of videos photographed in a plurality of photographing directions within a predetermined period and creates a composition map indicating the position of the extracted object
  • a comparison unit that determines a priority order in shooting in each shooting direction based on a comparison result of comparing attribute information generated in different periods for each shooting direction and attribute information included in the composition map;
  • a control unit that determines the next shooting direction based on the order and controls the operation of the imaging unit and the driving device based on the determined shooting direction.
  • FIG. 1 is an external perspective view of the video imaging system according to the first embodiment.
  • FIG. 2 is an external perspective view of the camera platform in the first embodiment.
  • FIG. 3 is an external perspective view of the video camera according to the first embodiment.
  • FIG. 4 is a schematic diagram illustrating a hardware configuration inside the video camera according to the first embodiment.
  • FIG. 5 is a functional configuration diagram illustrating a functional configuration of the video camera according to the present disclosure in the first embodiment.
  • FIG. 6 is a functional configuration diagram illustrating the functional configuration of the pan head in the first embodiment.
  • FIG. 7A is a diagram for explaining a default operation of the video imaging system according to Embodiment 1.
  • FIG. 7B is a diagram for explaining a default operation of the video imaging system according to Embodiment 1.
  • FIG. 7A is a diagram for explaining a default operation of the video imaging system according to Embodiment 1.
  • FIG. 7B is a diagram for explaining a default operation of the video imaging system according to Embodiment 1.
  • FIG. 8 is a state transition diagram illustrating an example of the operation of the video imaging system in the first embodiment.
  • FIG. 9A is a diagram illustrating an example of priority information of shooting areas in the first embodiment.
  • FIG. 9B is a diagram illustrating an example of priority information of shooting areas in the first embodiment.
  • FIG. 10 is a state transition diagram illustrating another example of the operation of the video imaging system in the first embodiment.
  • FIG. 11 is a diagram illustrating an example of a video signal displayed on the display unit in the second embodiment.
  • FIG. 12A is a diagram for describing a photographing operation in the second embodiment.
  • FIG. 12B is a diagram for describing a photographing operation in the second embodiment.
  • FIG. 13A is a schematic diagram illustrating an example of a composition map in the second embodiment.
  • FIG. 13B is a schematic diagram illustrating an example of a composition map in the second embodiment.
  • FIG. 14 is a diagram illustrating a display example of a composition map displayed on the display unit according
  • FIG. 1 is an external perspective view of the imaging system 110 according to the first embodiment.
  • FIG. 2 is an external perspective view of the pan head 500.
  • FIG. 3 is an external perspective view of the video camera 100.
  • the imaging system 110 includes a pan head 500 and a video camera 100 provided on the top surface of the pan head 500.
  • the video camera 100 and the pan head 500 are connected by a USB cable.
  • the operation of the camera platform 500 is controlled by the video camera 100.
  • a pan head 500 will be described as an example of a driving device, and a video camera 100 will be described as an example of an imaging device.
  • a mounting portion 501 for mounting the video camera 100 is provided on the top surface of the pan head 500.
  • the mounting portion 501 inserts the pin 502 into a positioning pin hole (not shown) provided on the bottom surface of the video camera 100 and presses it from the top, whereby a part of the spring-type top surface is pushed down.
  • the video camera 100 is fixed to the claw provided inside the pan head 500 together with a part of the top surface, so that the video camera 100 is fixed in an inclined state (about 3 ° upward).
  • the video camera 100 includes an imaging unit 301 (not shown) that captures an image, a display unit 318 that displays an image captured by the imaging unit 301, a grip belt 101, a battery 102, and the like.
  • the imaging unit 301 includes a C-MOS sensor (not shown) that converts light incident from the lens unit 300 into a video signal.
  • the display unit 318 includes a touch panel type liquid crystal display.
  • FIG. 4 is a schematic diagram of a hardware configuration inside the video camera 100.
  • the video camera 100 includes a lens group 200, an image sensor 201, a video ADC (Analog to Digital Converter) 202, a video signal conversion circuit 203, a CPU (Central Processing Unit) 204, a clock 205, and a lens control module 206.
  • a posture detection sensor 207 an input button 208, a display 209, a speaker 210, an output I / F (Interface) 211, a compression / decompression circuit 212, a ROM (Read Only Memory) 213, and a RAM (Randam Access).
  • Memory 214
  • HDD Hard Disk Drive
  • Audio ADC Analog to Digital Converter
  • the lens group 200 adjusts light incident from the subject in order to form a subject image on the image sensor 201. Specifically, the lens group 200 adjusts the focal length and zoom (image magnification) by changing the distance between a plurality of lenses having various characteristics. These adjustments may be performed manually by a photographer of the video camera 100 or automatically by control from the CPU 204 or the like through a lens control module 206 described later.
  • the image sensor 201 converts light incident through the lens group 200 into an electrical signal.
  • An image sensor such as a CCD (Charge Coupled Device) or a C-MOS (Complementary Metal Oxide Semiconductor) can be used for the image sensor 201.
  • the video ADC 202 converts an analog electrical signal output from the image sensor 201 into a digital electrical signal.
  • the digital signal converted by the video ADC 202 is output to the video signal conversion circuit 203.
  • the video signal conversion circuit 203 converts the digital signal output from the video ADC 202 into a video signal (video signal) of a predetermined system such as NTSC (National Television System Committee) or PAL (Phase Alternating Line).
  • NTSC National Television System Committee
  • PAL Phase Alternating Line
  • CPU 204 controls the entire video camera 100.
  • control for example, there is lens control for controlling the incident light to the image sensor 201 by controlling the focal length and zoom of the lens via the lens control module 206.
  • input control for external input from the input button 208 and the posture detection sensor 207, operation control of the compression / decompression circuit 212, and the like.
  • the CPU 204 executes these control algorithms with software or the like.
  • the clock 205 outputs a clock signal serving as a reference for processing operation to a circuit such as the CPU 204 operating in the video camera 100.
  • the clock 205 may be a single clock or a plurality of clocks depending on an integrated circuit to be used and data to be handled. Further, an arbitrary multiple of the clock signal of one oscillator may be used.
  • the lens control module 206 detects the state of the lens group 200 and operates each lens included in the lens group 200 based on the control from the CPU 204.
  • the lens control module 206 includes a lens control motor 206a and a lens position sensor 206b.
  • the lens control motor 206 a is a motor that drives the lens based on the control signal transmitted from the CPU 204. As a result, the relative positional relationship between the plurality of lenses of the lens group 200 is changed, and the focal length and zoom of the lenses can be adjusted. Thus, the incident light that has passed through the lens group 200 forms a target subject image on the image sensor 201.
  • the lens position sensor 206b detects a distance or a positional relationship between a plurality of lenses constituting the lens group 200. Position information between the plurality of lenses detected by the lens position sensor 206b is transmitted to the CPU 204. The CPU 204 transmits a control signal for properly arranging a plurality of lenses to the lens control motor 206a based on information from the lens position sensor 206b and information from other components such as the image sensor 201. .
  • the CPU 204 may detect a camera shake at the time of shooting an image with the video camera 100 with a lens position sensor 206b, a posture detection sensor 207, which will be described later, and the like, and perform control to drive the lens control motor 206a. . Thereby, the CPU 204 can also execute an operation for preventing camera shake via the lens control module 206.
  • the posture detection sensor 207 detects the posture state of the video camera 100.
  • the posture detection sensor 207 includes an acceleration sensor 207a, an angular velocity sensor 207b, and an elevation angle / decline angle sensor 207c. With these various sensors, the CPU 204 detects in what state the video camera 100 is shooting. Note that these sensors are preferably capable of detecting in three axial directions (vertical direction, horizontal direction, etc.), respectively, in order to detect the posture of the video camera 100 in detail.
  • the input button 208 is one of input interfaces used by the photographer of the video camera 100.
  • the input button 208 allows the photographer to communicate various requests to the video camera 100, such as the start or end of shooting, or the insertion of markings into the video being shot.
  • a display 209 which will be described later, is a touch panel, and may constitute a part of the input button 208.
  • the display 209 is provided for the photographer to view a video when the video camera 100 is photographed or to view a stored video.
  • the display 209 allows the photographer to check the captured video on the spot.
  • more detailed information such as shooting information and device information can be transmitted to the photographer.
  • the speaker 210 is used for audio output when playing back the captured video.
  • the speaker 210 can transmit a warning output from the video camera 100 to the photographer with sound.
  • the output I / F 211 is used to output video captured by the video camera 100 to an external device, or to output a control signal for controlling the operation of the pan head 500 described later.
  • the output I / F 211 is a cable interface when connecting to an external device with a cable, a memory card interface when recording a photographed video on a portable memory card 218, and the like.
  • the compression / decompression circuit 212 converts the captured video and audio into a predetermined digital data format (encoding process). Specifically, the compression / decompression circuit 212 applies MPEG (Moving Picture Experts Group) or H.264 to the captured video data and audio data. H.264 or the like is encoded and converted (compressed) into a predetermined data format. The compression / decompression circuit 212 performs data processing for decompressing video data in a predetermined data format and displaying it on the display 209 or the like when the captured data is reproduced. The compression / decompression circuit 212 may also have a function of compressing / decompressing still images as well as video.
  • MPEG Motion Picture Experts Group
  • the ROM 213 stores software programs processed by the CPU 204 and various data for operating the programs.
  • the RAM 214 is used as a memory area used when executing a software program processed by the CPU 204.
  • the RAM 214 may be used in common with the compression / decompression circuit 212.
  • the HDD 215 is used for the purpose of storing video data and still image data encoded by the compression / decompression circuit 212.
  • the data to be stored can also store data of reproduction information described later.
  • the HDD 215 is described as a representative storage medium as a storage medium, but other semiconductor storage elements may be used.
  • the audio ADC 216 converts audio input from the stereo microphone 217 from an analog electric signal to a digital electric signal.
  • the stereo microphone 217 converts the sound outside the video camera 100 into an electrical signal and outputs it.
  • the hardware configuration of the video camera 100 is shown, but the present invention is not limited to the above configuration.
  • the video ADC 202, the video signal conversion circuit 203, and the like can be realized as a single integrated circuit, and a part of the software program executed by the CPU 204 is separately implemented using a FPGA (Field Programmable Gate Array). It is also possible to implement as hardware.
  • FPGA Field Programmable Gate Array
  • FIG. 5 is a detailed functional configuration diagram illustrating the functional configuration of the video camera 100.
  • the video camera 100 includes a lens unit 300, an imaging unit 301, a video AD conversion unit 302, a video signal processing unit 303, a video signal compression unit 304, an imaging control unit 305, a video analysis unit 306, and lens control.
  • a camera work control unit 311 will be described as an example of a control unit.
  • the lens unit 300 adjusts the focal length of the light incident from the subject, the zoom magnification (magnification magnification of the image), and the like. These are performed under the control of the lens control unit 307.
  • the lens unit 300 corresponds to the lens group 200 in FIG.
  • the imaging unit 301 converts the light transmitted through the lens unit 300 into an electrical signal.
  • the imaging unit 301 outputs data in an arbitrary range on the imaging device under the control of the imaging control unit 305.
  • chromaticity space information of the three primary colors, white coordinates and gain information of at least two of the three primary colors, color temperature information, ⁇ uv (delta uv), and gamma information of the three primary colors or luminance signal Etc. can also be output. These pieces of information are output to the generation unit 309.
  • the imaging unit 301 corresponds to the imaging element 201 in FIG.
  • the video AD conversion unit 302 converts the electrical signal from the imaging unit 301 from an analog electrical signal to a digital electrical signal according to predetermined processing content.
  • the video AD converter 302 corresponds to the video ADC 202 of FIG.
  • the video signal processing unit 303 converts the digital signal output from the video AD conversion unit 302 into a predetermined video signal format. For example, the video signal is converted into a video signal conforming to the number of horizontal lines, the number of scanning lines, and the frame rate specified by NTSC.
  • the video signal processing unit 303 corresponds to the video signal conversion circuit 203 in FIG.
  • the video signal compression unit 304 performs predetermined coding conversion on the digital signal processed by the video signal processing unit 303 to compress the data amount. Specifically, MPEG2, MPEG4, H.264. There are encoding methods such as H.264.
  • the video signal compression unit 304 corresponds to the compression function of the compression / decompression circuit 212 of FIG.
  • the imaging control unit 305 controls the operation of the imaging unit 301. Specifically, the imaging control unit 305 controls the imaging unit 301 with respect to the exposure amount at the time of shooting, the shooting speed, the sensitivity, and the like. These control information are also output to the generation unit 309.
  • the imaging control unit 305 is realized by one of the control algorithms processed by the CPU 204 in FIG.
  • the video analysis unit 306 extracts video features from the captured video signal.
  • the video analysis unit 306 divides luminance information and color information included in the video (for example, divides one screen of the video into a total of 576 blocks of horizontal 32 and vertical 18 and calculates the distribution of color and luminance included in each block.
  • the video feature is extracted by analyzing the video signal, such as detecting the face of the person.
  • the motion vector can be realized by calculating a difference in feature quantity between a plurality of frames.
  • face detection can be realized by feature amount pattern matching or the like by learning of feature amounts representing facial features.
  • the video analysis unit 306 is realized by one of algorithms processed by the CPU 204 in FIG.
  • the lens control unit 307 controls the operation of the lens unit 300.
  • the lens control unit 307 controls zoom, focus, and the like of the lens unit 300 in accordance with a control signal from a camera work control unit 311 described later.
  • the lens control unit 307 includes a zoom control unit 307a, a focus control unit 307b, a camera shake correction control unit 307c, and the like.
  • the zoom control unit 307a controls the zoom lens of the lens unit 300 to input incident light from the subject to the imaging unit 301 with a desired magnification.
  • the focus control unit 307 b controls the focus lens of the lens unit 300 to set the focal length between the subject and the imaging unit 301.
  • the camera shake correction control unit 307c suppresses shaking of the apparatus when shooting an image or the like.
  • the lens control unit 307 controls the lens unit 300 and outputs the control information to the generation unit 309.
  • the lens control unit 307 corresponds to the lens control module 206 in FIG.
  • the posture detection unit 308 detects the acceleration, angular velocity, elevation angle, depression angle, and the like of the video camera 100.
  • the posture detection unit 308 includes an acceleration sensor 308a, an angular velocity sensor 308b, and an elevation angle / decline angle sensor 308c. These sensors are used for the purpose of detecting the posture of the video camera 100 and its change state. It is desirable that acceleration and angular velocity can be detected in three directions, vertical and horizontal (two directions).
  • the posture detection unit 308 corresponds to the posture detection sensor 207 in FIG.
  • the microphone unit 322 converts ambient sounds into electrical signals and outputs them as audio signals.
  • the microphone unit 322 corresponds to the stereo microphone 217 in FIG.
  • the voice AD conversion unit 321 converts an analog electrical signal input from the microphone unit 322 into a digital electrical signal.
  • the audio AD conversion unit 321 corresponds to the audio ADC 216 in FIG.
  • the voice analysis unit 312 extracts a characteristic sound from the voice data converted into a digital electric signal.
  • the characteristic sounds here include, for example, a photographer's voice, pronunciation of a specific word, cheers, gunshots, and the like. These sounds can be extracted by registering in advance the unique frequencies of these sounds (speech) and using a method of discriminating them based on the comparison result.
  • the voice analysis unit 312 also detects features such as the input level of the sound captured by the microphone unit 322.
  • the voice analysis unit 312 is realized by one of algorithms processed by the CPU 204 in FIG.
  • the audio signal compression unit 313 converts the audio data output from the audio AD conversion unit 321 using a predetermined encoding algorithm. Encoding includes MP3 (MPEG Audio Layer-3) and AAC (Advanced Audio Coding) methods.
  • the audio signal compression unit 313 is realized by one of the compression functions of the compression / decompression circuit 212 of FIG.
  • the external input unit 323 outputs various kinds of information received from the outside at the time of video shooting, such as button input by the photographer or shooting index information received from the outside via communication.
  • the shooting index information is, for example, an identification number used to identify each shooting, such as a number identifying a shooting scene at the time of shooting a movie or a number indicating the number of shootings.
  • the external input unit 323 corresponds to the input button 208 in FIG.
  • the generation unit 309 generates predetermined video unit (for example, one frame) video and shooting information at the time of shooting a still image, external input information, and other information as attribute information.
  • the generation unit 309 classifies the attribute information into time units at the time of shooting.
  • the shooting information mainly includes control information related to the exposure amount, shooting speed, sensitivity, and the like output from the imaging control unit 305 and zoom, focus, and camera shake correction output from the lens control unit 307. It is composed of information on the state and information on the posture at the time of photographing output from the posture detection unit 308 and its change.
  • the external input information is information about button input by a photographer, information characterizing a video scene, and the like.
  • Other information is mainly information related to video characteristics such as luminance distribution, color distribution, motion vector, white balance, and human face output from the video analysis unit 306.
  • the following information is an example of information included in the attribute information.
  • the generation unit 309 extracts or calculates information useful for scene evaluation from various information at the time of shooting, and attribute information such as face and person position information, moving object position information, and sound position information at a specific time. Is generated.
  • the comparison unit 310 compares the attribute information generated by the generation unit 309 in different periods in each shooting direction. Then, based on the comparison result, the priority in each shooting direction is evaluated, and the priority in shooting is determined.
  • the camera work control unit 311 determines the shooting direction from the information on the priority of the shooting direction ranked by the comparison unit 310 and relates to the operation of the lens unit 300 so that the video camera 100 can shoot in the determined shooting direction. Information on the amount of movement of the pan head 500 in the pan direction and the amount of movement in the tilt direction is generated. Specific operations of the camera work control unit 311 will be described later.
  • the generation unit 309, the comparison unit 310, and the camera work control unit 311 are one of algorithms processed by the CPU 204 in FIG.
  • the communication unit 324 outputs the movement amount information generated by the camera work control unit 311 to the pan head 500 as a control signal.
  • the communication unit 324 corresponds to the output I / F 211 in FIG.
  • the composition map creation unit 316 indicates the position of a specific object (such as a face, a person, a motion of a moving object, and a sound) in the shooting range based on the captured video and the attribute information generated by the generation unit 309. Create a map. A specific creation method will be described later. The created map is temporarily stored in the storage unit 315 and displayed on the display unit 318.
  • the composition map creation unit 316 is one of software processing algorithms executed by the CPU 204 of FIG.
  • the multiplexing unit 314 multiplexes the encoded video data output from the video signal compression unit 304 and the encoded audio data output from the audio signal compression unit 313 and outputs the multiplexed data.
  • the multiplexing unit 314 may be software executed by the CPU 204 in FIG. 4, or may be hardware processed by the compression / decompression circuit 212.
  • the storage unit 315 holds the encoded video data and the encoded audio data output from the multiplexing unit 314 temporarily or for a long time.
  • the storage unit 315 corresponds to the HDD 215, the RAM 214, the memory card 218, and the like in FIG.
  • FIG. 6 is a functional configuration diagram illustrating the functional configuration of the pan head 500.
  • the camera platform 500 includes a communication unit 600, a drive control unit 601, a pan drive unit 602, a pan motor 603, a pan mechanism unit 604, a tilt drive unit 605, a tilt motor 606, and a tilt. Use mechanism 607.
  • the communication unit 600 is connected to the communication unit 324 of the video camera 100, receives a control signal, and generates movement amount information.
  • the drive control unit 601 Based on the movement amount information received by the communication unit 600, the drive control unit 601 instructs the pan driving unit 602 and the tilt driving unit 605 to move, move, and move.
  • the drive control unit 601 includes a microcomputer in which a CPU, a ROM, a RAM, and the like are combined.
  • the bread driving unit 602 controls the operation of the pan motor 603 based on the instruction signal from the drive control unit 601.
  • the pan motor 603 is attached to a pan mechanism portion 604 that can be rotated in the lateral direction.
  • the pan mechanism portion 604 is moved in the left-right direction. It is the structure which rotates.
  • the pan mechanism unit 604 is provided with a rotary encoder (RE) 604r, which detects the amount of movement of the rotation angle of the pan mechanism unit 604 and outputs a detection value from the RE 604r to the drive control unit 601. .
  • RE rotary encoder
  • the tilt drive unit 605 controls the operation of the tilt motor 606 based on the instruction signal from the drive control unit 601.
  • the tilt motor 606 is attached to a tilt mechanism portion 607 that can be rotated in the vertical direction, and the tilt mechanism portion 607 rotates in the vertical direction when the tilt motor 606 rotates in the positive and negative directions. It has become.
  • the tilt mechanism unit 607 is provided with an RE 607r, and the amount of movement of the rotation angle of the tilt mechanism unit 607 is detected, and a detection value is output from the RE 607r to the drive control unit 601.
  • the video camera 100 attached to the pan head 500 by outputting the drive signal regarding the rotation direction (positive / negative direction), rotation amount, and rotation speed of the motor from the pan drive unit 602 to the pan motor 603 with the above configuration. Can be rotated in the left-right direction (horizontal direction). Further, the drive unit 605 tilts the video camera 100 attached to the pan head 500 up and down by outputting drive signals regarding the motor rotation direction (positive / negative direction), rotation amount, and rotation speed to the tilt motor 606. It can be rotated in the direction (vertical direction).
  • the shooting range S is a region set by the user
  • the middle one-dot chain line rectangle indicates a shooting region in which the actual shooting should be performed in the shooting range S.
  • the number assigned to each shooting area indicates the order of shooting the shooting area.
  • the shooting area indicates a shooting direction for the video camera 100 to shoot the area.
  • 7A and 7B show that the video camera 100 can shoot in 11 shooting directions.
  • the camera work control unit 311 sets the shooting areas 1 to 11.
  • the shooting area 1 is an area at the center position of the shooting range S in the vertical and horizontal directions.
  • the shooting areas 2 to 11 are set so that the shooting range S (here, set to ⁇ 90 °) is divided into two upper and lower rows and five left and right rows, and the respective regions are slightly overlapped. Is done.
  • the camera work control unit 311 calculates the movement amount information of the camera platform 500 and the zoom position of the lens unit 300 so that the shooting areas 1 to 11 are shot in this order.
  • the division of the imaging range S is not limited to the number of divisions in FIG. 7B, and may be set according to the settable state of the pan head 500.
  • the pan head 500 rotates up to ⁇ 180 ° in the left-right direction.
  • the rotation angle in the left-right direction can be set in three stages of ⁇ 45 °, ⁇ 90 °, and ⁇ 180 ° according to a user instruction from the external input unit 323 of the video camera 100.
  • it rotates ⁇ 30 ° in the vertical direction.
  • the horizontal rotation angle is set to ⁇ 90 °
  • the vertical response angle is set to ⁇ 30 °.
  • the camera platform 500 repeats the rotating and stopping operations at a speed of 1 ° to 20 ° per second according to the movement amount information.
  • the camera work control unit 311 transmits the calculated zoom position of the lens unit 300 to the lens control unit 307, and transmits the movement amount information of the camera platform 500 to the drive control unit 601.
  • the lens control unit 307 and the drive control unit 601 control the lens unit 300 and the pan head 500 according to the received lens position and movement amount information, respectively.
  • the pan head 500 stops after moving to a position where the video camera 100 can shoot the shooting region 1.
  • the video camera 100 zooms the lens unit 300 to a zoom position where the shooting area 1 can be shot, and performs shooting for 0.3 seconds.
  • the video camera 100 determines whether there is a specific object in the video obtained by shooting the shooting area 1.
  • the pan head 500 stops after the video camera 100 adjusts the zoom position and moves to the position where the photographing region 2 can be photographed.
  • the video camera 100 shoots the shooting area 2 for 0.3 seconds.
  • the video camera 100 determines whether there is a specific object in the video obtained by shooting the shooting area 2.
  • the pan head 500 stops after moving to a position where the video camera 100 can shoot the shooting region 3.
  • the video camera 100 adjusts the zoom position and images the imaging region 3 for 0.3 seconds.
  • the video camera 100 determines whether a specific object exists in the video obtained by shooting the shooting area 3.
  • the pan head 500 moves to a position where the video camera 100 can shoot the next shooting area and stops.
  • Zoom control is performed so that the video camera 100 can shoot the target shooting area, and then 0.3 seconds.
  • a series of operations such as shooting and determining whether or not there is a specific object in the video shot of the shooting area are sequentially repeated for all the shooting areas.
  • the imaging system 110 shoots all the shooting areas, and when a specific object cannot be detected in the video of the shooting range S, the above-described process is performed until the specific object is detected again from the shooting area 1. Repeat the operation.
  • the shooting time of the video camera 100 is not limited to 0.3 seconds, but in the first embodiment, the case where the shooting time is 0.3 seconds will be described as an example.
  • the video camera 100 compares only information related to movement from the attribute information, and follows a chasing mode (first mode) in which the shooting direction is determined, and information related to a specific object such as movement, person (face), and voice.
  • a party mode (second mode) for comparing and determining the shooting direction is provided.
  • Each mode can be set by a user instruction from the external input unit 323 of the video camera 100.
  • FIG. 8 is a state transition diagram illustrating an example of the operation of the imaging system 110.
  • FIG. 8 is a state transition diagram for explaining the operation in the chasing mode.
  • the pan head 500 is moved and stopped for each imaging area shown in FIGS. 7A and 7B, and the video camera 100 is captured and the object is determined.
  • the default operation (search) is repeated (S101, S102).
  • the generation unit 309 of the video camera 100 uses the attribute information of the video shot during this period of the shooting area. Add information about motion (motion vectors).
  • the comparison unit 310 compares the attribute information including the information regarding the motion generated by the generation unit 309 with the attribute information generated when the image was taken before this period.
  • the comparison unit 310 determines that a specific object is present in this imaging region because a moving object was not detected in the previous imaging, but a moving object was detected in the current imaging. In this case, the comparison unit 310 gives a higher priority to the current shooting area than other shooting areas in which no moving object is detected.
  • the comparison unit 310 creates and updates the priority order information illustrated in FIGS. 9A and 9B and passes the information to the camera work control unit 311.
  • FIG. 9A and FIG. 9B show an example of information on the priority order of the shooting areas.
  • the priority given to each imaging region indicates that the lower the number, the higher the priority.
  • FIG. 9A shows that the priorities of the shooting areas are equal. In this case, the imaging system 110 performs a default operation.
  • priorities are given in the order of the shooting area 3, the shooting area 2, and the other shooting areas.
  • the camera work control unit 311 is positioned at the center of the area where the moving object is imaged based on the information on the priority order of the imaging area given by the comparison unit 310 and the direction of the motion vector (centering).
  • the camera platform 500 and / or the lens control unit 307 are controlled (S103). Specifically, the camera work control unit 311 instructs the moving amount of the camera platform 500 in the direction of following the moving object, and instructs the lens control unit 307 to zoom in so that the moving object is photographed largely in the center of the photographing region. .
  • the video camera 100 performs shooting for 0.3 seconds (S104).
  • the imaging system 110 repeats the centering and shooting operations of the moving body (S103, S104).
  • the imaging system 110 searches for a moving object by zooming out (S105) when the moving object has been lost due to movement during photographing. If a moving object cannot be detected, the camera moves to the shooting area with the next highest priority based on the priority of the shooting area assigned by the comparison unit 310 (MAP search, S107).
  • MAP search priority of the target shooting area.
  • the imaging system 110 repeats the above operation, and when all the shooting areas have the same priority, the imaging system 110 returns to the default operation (S108) and repeats the default operation until a new moving object is detected (S101, S102).
  • FIG. 10 is a state transition diagram illustrating another example of the operation of the imaging system 110.
  • FIG. 10 shows a state transition diagram when the party mode is set.
  • the imaging system 110 repeats the default operation when a specific object cannot be detected (S201, S202).
  • the generation unit 309 adds information on motion (motion vector) to the attribute information of the video during this period.
  • the comparison unit 310 compares the attribute information including the information regarding the movement of the period generated by the generation unit 309 with the attribute information generated when the image is captured in a period before this period, Is detected and a high priority is assigned.
  • the camera work control unit 311 instructs centering to the pan head 500 and / or the lens control unit 307 based on the priority order information of the imaging regions given by the comparison unit 310 and the direction of the motion vector (S203). .
  • the video camera 100 performs shooting for 0.3 seconds (S204).
  • the imaging system 110 repeats the centering and shooting operations of the moving body (S203, S204). If the moving object moves and is lost during shooting, the zoom-out (S205, S206), the MAP search (S207, S208), and the default operation (S201, S202) are performed in the same order as in the chasing mode. Transition.
  • the generation unit 309 adds information regarding audio as attribute information of video during this period.
  • the comparison unit 310 gives the highest priority to the shooting area having attribute information including information related to audio.
  • the camerawork control unit 311 moves the pan head 500 in the direction to follow the sound source based on the priority order of the shooting areas given by the comparison unit 310 and the direction of the sound from the microphone unit 322 (stereo microphone 217). Is instructed (S209).
  • the video camera 100 performs shooting for 0.3 seconds (S210).
  • the comparison unit 310 compares attribute information generated in different periods for each shooting direction, and determines the priority in shooting in each shooting direction based on the comparison result.
  • the camera work control unit 311 determines the next shooting direction based on the priority order, and controls the operations of the imaging unit 301 and the pan head 500 based on the determined shooting direction.
  • the pan head 500 moves the video camera 100 to a position where it can be shot in the determined shooting direction, and the video camera 100 controls the imaging unit 301 so that a specific object exists in the shooting region.
  • the comparison unit 310 has a first mode for comparing information about motion, and a second mode for comparing information about motion, information about the face, and information about the voice.
  • the comparison unit 310 extracts information on motion vectors based on the attribute information. In addition, based on the attribute information classified in units of time, a place where there is a moving body that repeats a specific movement and a moving body that does not perform a large movement exceeding the imaging region is specified. The comparison unit 310 determines that the moving object at the specified location is a fixed moving object, and lowers the priority level to a level equivalent to that of the imaging region where there is no specific object.
  • composition map creation unit 316 refers to the attribute information of the video within a predetermined period (for example, 1 minute) from the present time based on the attribute information of the video of each shooting area shot by the imaging unit 301 and the time of shooting. Then, the presence of a specific object existing within the imaging range is detected, and a composition map is created.
  • a predetermined period for example, 1 minute
  • FIG. 11 is a diagram illustrating an example of a video signal displayed on the display unit 318 (display 209). As shown in FIG. 11, specific objects such as a sleeping cat 1001 (animal), a waking cat 1002 (moving body, animal), and a curtain 1003 (moving body) exist in the imaging range S.
  • 12A and 12B are schematic diagrams for explaining the operation in the second embodiment.
  • a shooting range S is an area set by the user
  • a shooting area indicated by a dashed-dotted line is an area in the shooting range S that should be actually shot.
  • the number assigned to the shooting area indicates the shooting order.
  • the shooting range S is divided into two upper and lower rows and five left and right shooting regions, and the shooting regions are slightly overlapped for shooting.
  • the photographing area 1 at the center position is first photographed, and the photographing areas 2 are photographed in numerical order.
  • the images shot in the shooting areas 2 to 10 are used.
  • the generation unit 309 when there are specific objects such as a sleeping cat 1001, a sleeping cat 1002, and a curtain 1103 in the imaging range S, the generation unit 309 performs imaging areas 3, 4, 5, and so on. In addition, information such as a person (animal) and a motion vector is generated in the video shot in 10 and 10 and added to the attribute information.
  • FIG. 13A and FIG. 13B are diagrams for explaining an example of a composition map in the second embodiment.
  • FIGS. 13A and 13B show the ten shooting areas and the numbers assigned to the shooting areas in FIG. 12B for the sake of explanation.
  • the composition map 400 corresponds to the shooting range S.
  • the composition map creation unit 316 detects from the video attribute information of the shooting area 10 that an animal is present in the lower right, the composition map creation unit 316 places a specific target at a position on the lower right of the area corresponding to the shooting area 10 of the composition map 400. Place a rectangle indicating that an object exists. Further, the composition map creation unit 316 detects the presence of a moving animal in the lower right of the shooting area 3 from the video attribute information of the shooting area 3, and the area corresponding to the shooting area 3 of the composition map 400 is detected. A one-dot chain line rectangle indicating that a specific object (moving object) exists is arranged in the lower right.
  • composition map creation unit 316 detects an object having movement at the right end of the photographing region 4 and the photographing region 5 from the attribute information of the images of the photographing region 4 and the photographing region 5, and the photographing region 4 in the composition map 400, A rectangle with a chain line indicating that a specific object (moving object) exists at a position corresponding to 5 is arranged.
  • the composition map creation unit 316 uses the attribute information classified in units of time to fix the moving object present at the right end of the shooting area 4 and the shooting area 5 to a specific area such as a curtain, a fan, or a television. Judged as a fixed moving object.
  • the composition map creation unit 316 deletes the moving objects arranged in the photographing region 4 and the photographing region 5, and places a dotted rectangle as the fixed moving member, for example, as shown in FIG. 13B.
  • the created composition map is temporarily stored in the storage unit 315, and is displayed on the display unit 318 while being superimposed on the video being shot.
  • FIG. 14 is a schematic diagram illustrating an example of a composition map displayed on the display unit 318 (display 209) in the second embodiment.
  • the composition map 400 is displayed at the top of the display unit 318 so as not to block the video being shot as much as possible.
  • the left-right direction of the composition map 400 corresponds to the left-right direction of the shooting range S. Therefore, the size of the composition map 400 in the left-right direction always has a size with a predetermined merge width with respect to the left-right direction of the display unit 318, but the corresponding angle of the shooting range S is set by the user. Therefore, any of ⁇ 45 °, ⁇ 90 °, and ⁇ 180 ° is obtained.
  • the vertical direction of the composition map 400 corresponds to an angle of 30 ° in the vertical direction of the shooting range S, and is displayed on the upper side of the display area of the display unit 318, for example, in a size of 10% to 20%.
  • a dotted rectangle 401 indicates that a specific object exists
  • a dashed-dotted rectangle 402 indicates that a moving object exists
  • rectangles 403 and 404 indicate that a fixed moving object exists. Yes.
  • the rectangle of the composition map 400 is not a line type difference, but a difference in a specific object may be displayed, for example, by changing the shape and color.
  • the imaging system 110 gradually decreases the reliability of information regarding moving objects, persons (animals), voices, and the like after a predetermined time (for example, 1 to 3 minutes) from the composition map with time. For example, the imaging system 110 decreases the reliability of information by 10% every 15 seconds.
  • the composition map creation unit 316 extracts attribute information after a predetermined time based on the attribute information classified by time unit, identifies information (rectangle) to be deleted from the composition map, and deletes it. To do.
  • the comparison unit 310 identifies a shooting area in which attribute information including the presence of a moving object for a predetermined time is not updated based on the attribute information classified in units of time, and has a high priority on this shooting area. Give a ranking.
  • composition map to display only relatively new information from which obsolete past information has been deleted. Further, when losing a specific target object and entering a search operation, the priority order from which area to search is clarified.
  • the camera work control unit 311 determines the priority order of each shooting direction based on the comparison result of the comparison unit and the composition map created by the composition map creation unit.
  • the composition map of FIG. 13B includes attribute information indicating a specific object (moving object) in the shooting area 3, attribute information indicating a specific object in the shooting area 10, and attribute information indicating a fixed moving object in the shooting areas 4 and 5. It is out.
  • the camera work control unit 311 sets the shooting region 3 where the cat 1002 (moving body) is present as the highest priority from the composition map.
  • the camera work control unit 311 sets the shooting area 10 where the sleeping cat 1001 is present as the next priority of the shooting area 3.
  • the camera work control unit 311 sets the priority order determined by the comparison unit 310 for the regions other than the shooting region 3 and the shooting region 10.
  • the camerawork control unit 311 moves the information about the operation of the lens control unit 307 and the movement amount information about the movement amount of the pan head 500 in the pan direction and the movement amount in the tilt direction so that shooting can be performed in the shooting direction in the determined priority order. Are output to the lens control unit 307 and the pan head 500, respectively.
  • the composition map creation unit 316 detects a specific object existing in the shooting range S from the attribute information of the video obtained by the imaging unit 301 shooting the shooting range S for a predetermined time within a predetermined period. A composition map indicating the position of the specific object is generated. Further, the comparison unit 310 compares and extracts attribute information of different periods, and extracts and extracts a predetermined object that repeats a specific movement and a predetermined object that does not perform a large movement exceeding the shooting direction. The priority in the shooting direction in which the predetermined object exists is set equal to the priority in the shooting direction in which the predetermined object does not exist.
  • a moving object that repeats a specific movement or a moving object that does not perform a large movement can be identified as a fixed moving object and excluded from a target to be noted as a specific object.
  • the display unit 318 displays the composition map created by the composition map creation unit 316 in a superimposed manner on the video imaged by the imaging unit 301.
  • the current position of the image captured by the image capturing unit 301 in the image capturing range S, the presence of the specific target object to be imaged in the image capturing range S, and its position are clearly indicated. Can be recognized.
  • video information is composed of captured video and attribute information.
  • the video information has a layer structure for each specific time and a layer structure for each attribute information unit.
  • Embodiments 1 and 2 have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed. Moreover, it is also possible to combine each component demonstrated in the said Embodiment 1, and it can also be set as a new embodiment.
  • the present invention is not limited to this, and a camera that shoots a still image equipped with a microphone or the like may be used.
  • the imaging device may be an electronic device having a function capable of shooting and displaying a video or a still image, such as a smartphone, a monitoring camera, or a digital still camera. Good.
  • the imaging device is connected to the driving device, but the present disclosure can be applied to the imaging device alone.
  • the shooting direction is determined based on the attribute information comparison result and the priority order of the attributes included in the composition map.
  • the present disclosure is not limited to the determination of the next shooting direction. For example, based on the priority order of the attribute information included in the composition map, a cutout range for cutting out a part of an image may be determined. In addition, a focus area or a tracking area of a part of an image may be determined.
  • the face of a person to be photographed, a person, a moving object such as an animal or a vehicle, or a rectangular area including them may be determined.
  • This disclosure is useful for shooting at meetings where many people gather, and for imaging systems such as security cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

　生成部（３０９）は、複数の撮影方向を撮像部（３０１）で撮影することで所定の撮影範囲を撮影し、撮像部（３０１）で撮影した映像に関する属性情報を、所定の映像単位毎に生成する。構図マップ作成部（３１６）は、所定の期間内に複数の撮影方向で撮影した映像の属性情報より、所定の撮影範囲に存在する所定の対象物を抽出し、抽出した対象物の位置を示す構図マップを作成する。比較部（３１０）は、撮影方向毎に、異なる期間に生成された属性情報を比較した比較結果と、構図マップに含まれる属性情報とに基づいて、各撮影方向の撮影における優先順位を決定する。カメラワーク制御部（３１１）は、優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて撮像部（３０１）と雲台の動作を制御する。

Description

撮像装置、撮像システムおよび撮像方法
　本開示は、撮影された映像の内容に基づいて撮影方向を決定する撮像装置、撮像システムおよび撮像方法に関する。
　従来、カメラと雲台とを備えた撮像システムにおいて、自動的に構図を判定し、パン・チルト・ズームの調整を行なう撮像システムが知られている。
　この撮像システムにおいて、何らかの不具合を生じた場合の構図の探索手法などについても、例えば、所定の時間経過後に撮影を行なうなど提案されている（例えば、特許文献１）。
特開２０１１－０３０１６０号公報
　本開示の撮像システムは、駆動装置と、駆動装置に接続され、駆動装置の動作を制御する撮像装置とを備える。撮像装置は、撮像部と、複数の撮影方向を撮像部で撮影することで所定の撮影範囲を撮影し、撮像部で撮影した映像に関する属性情報を所定の映像単位毎に生成する生成部と、所定の期間内に複数の撮影方向で撮影した映像の属性情報より、所定の撮影範囲に存在する所定の対象物を抽出し、抽出した対象物の位置を示す構図マップを作成する構図マップ作成部と、撮影方向毎に、異なる期間に生成された属性情報を比較した比較結果と、構図マップに含まれる属性情報とに基づいて、各撮影方向の撮影における優先順位を決定する比較部と、優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて撮像部と駆動装置の動作を制御する制御部と、を備える。
　この構成により、優先順位の高い撮影方向（撮影領域）を重点的に撮影することができる撮像システムを提供することができる。
図１は、実施の形態１における映像撮像システムの外観斜視図である。 図２は、本実施の形態１における雲台の外観斜視図である。 図３は、実施の形態１におけるビデオカメラの外観斜視図である。 図４は、実施の形態１におけるビデオカメラ内部のハードウェア構成を示した概略図である。 図５は、実施の形態１における本開示にかかるビデオカメラの機能構成について示した機能構成図である。 図６は、実施の形態１における雲台の機能構成について示した機能構成図である。 図７Ａは、実施の形態１における映像撮像システムのデフォルトの動作を説明する図である。 図７Ｂは、実施の形態１における映像撮像システムのデフォルトの動作を説明する図である。 図８は、実施の形態１における映像撮像システムの動作の一例を説明する状態遷移図である。 図９Ａは、実施の形態１における撮影領域の優先順位の情報の一例を示す図である。 図９Ｂは、実施の形態１における撮影領域の優先順位の情報の一例を示す図である。 図１０は、実施の形態１における映像撮像システムの動作の他の例を説明する状態遷移図である。 図１１は、実施の形態２における表示部に表示された映像信号の一例を示す図である。 図１２Ａは、実施の形態２における撮影動作を説明するための図である。 図１２Ｂは、実施の形態２における撮影動作を説明するための図である。 図１３Ａは、実施の形態２における構図マップの一例を説明する模式図である。 図１３Ｂは、実施の形態２における構図マップの一例を説明する模式図である。 図１４は、実施の形態２における表示部に表示された構図マップの表示例を示す図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態１）
　以下、図１～９を用いて、実施の形態１を説明する。
　［１－１．構成］
　［１－１－１．映像撮像システムの構成］
　図１は、実施の形態１にかかる撮像システム１１０の外観斜視図である。図２は、雲台５００の外観斜視図である。図３は、ビデオカメラ１００の外観斜視図である。
　図１に示すように、撮像システム１１０は、雲台５００と雲台５００の天面に設けられたビデオカメラ１００で構成される。ビデオカメラ１００と雲台５００とは、ＵＳＢケーブルによって接続されている。雲台５００の動作はビデオカメラ１００よって制御される。実施の形態１では、駆動装置の一例として雲台５００を、撮像装置の一例としてビデオカメラ１００を、それぞれ説明する。
　図２に示すように、雲台５００の天面には、ビデオカメラ１００を装着する装着部５０１が設けられている。装着部５０１は、ピン５０２をビデオカメラ１００の底面に設けられた位置決めピン用の穴（不図示）に嵌入させ、上部から押圧をかけることによって、バネ式の天面の一部が押し下がる。このとき、雲台５００の内部に設けられツメに、天面の一部と共にビデオカメラ１００が係止されることにより、ビデオカメラ１００は傾斜した状態（約３°上向き）で固定される。
　図３に示すように、ビデオカメラ１００は、映像を撮影する撮像部３０１（不図示）と、撮像部３０１により撮影された映像を表示する表示部３１８と、グリップベルト１０１と、バッテリ１０２などを有する。撮像部３０１は、レンズ部３００から入射した光を映像信号に変換するＣ－ＭＯＳセンサ（不図示）などから構成される。表示部３１８は、タッチパネル式の液晶ディスプレイから構成される。
　［１－１－２．撮像装置のハードウェア構成］
　図４は、ビデオカメラ１００内部のハードウェア構成の概略図である。
　ビデオカメラ１００は、レンズ群２００と、撮像素子２０１と、映像ＡＤＣ（Ａｎａｌｏｇ　ｔｏ　Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ）２０２と、映像信号変換回路２０３と、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０４と、クロック２０５と、レンズ制御モジュール２０６と、姿勢検出センサ２０７と、入力ボタン２０８と、ディスプレイ２０９と、スピーカー２１０と、出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２１１と、圧縮伸張回路２１２と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２１３と、ＲＡＭ（Ｒａｎｄａｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２１４と、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）２１５と、音声ＡＤＣ（Ａｎａｌｏ　ｔｏ　Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ）２１６と、ステレオマイク２１７とを備える。
　レンズ群２００は、撮像素子２０１上で被写体像を形成するために、被写体から入射する光を調整する。具体的には、レンズ群２００は、焦点距離およびズーム（映像の拡大倍率）を、様々な特性を持つ複数のレンズ間の距離を変化させることで調整する。これらの調整は、ビデオカメラ１００の撮影者が手動で調整するものでも、後述するレンズ制御モジュール２０６を通じてＣＰＵ２０４等からの制御により自動的に調整するものであってもよい。
　撮像素子２０１は、レンズ群２００を通して入射する光を電気信号に変換する。撮像素子２０１には、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）あるいはＣ－ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを利用することが可能である。
　映像ＡＤＣ２０２は、撮像素子２０１から出力されたアナログの電気信号をデジタルの電気信号に変換する。映像ＡＤＣ２０２で変換されたデジタル信号は、映像信号変換回路２０３へ出力される。
　映像信号変換回路２０３は、映像ＡＤＣ２０２が出力するデジタル信号を、ＮＴＳＣ（Ｎａｔｉｏｎａｌ　Ｔｅｌｅｖｉｓｉｏｎ　Ｓｙｓｔｅｍ　Ｃｏｍｍｉｔｔｅｅ）またはＰＡＬ（Ｐｈａｓｅ　Ａｌｔｅｒｎａｔｉｎｇ　Ｌｉｎｅ）と言った所定の方式の映像信号（映像信号）に変換する。
　ＣＰＵ２０４は、ビデオカメラ１００全体を制御する。制御の種類としては、例えば、レンズ制御モジュール２０６を介して上述のレンズの焦点距離およびズームの制御を行うことで、撮像素子２０１への入射光を制御するレンズ制御がある。また、入力ボタン２０８および姿勢検出センサ２０７等からの外部入力に対する入力制御、あるいは、圧縮伸張回路２１２の動作制御等がある。ＣＰＵ２０４は、これらの制御アルゴリズムをソフトウェア等で実行する。
　クロック２０５は、ビデオカメラ１００内で動作するＣＰＵ２０４等の回路に、処理動作の基準となるクロック信号を出力する。なお、クロック２０５は、利用する集積回路及び扱うデータによって、単一または複数のクロックを用いることも可能である。また、ひとつの発振子のクロック信号を任意の倍数に乗じて使用してもよい。
　レンズ制御モジュール２０６は、レンズ群２００の状態を検出し、ＣＰＵ２０４からの制御に基づいて、レンズ群２００に含まれる各レンズを動作させる。レンズ制御モジュール２０６は、レンズ制御用モータ２０６ａと、レンズ位置センサ２０６ｂとを備える。
　レンズ制御用モータ２０６ａは、ＣＰＵ２０４から送信された制御信号に基づいて、レンズを駆動させるモータである。この結果、レンズ群２００の複数のレンズ間の相対的な位置関係が変更され、レンズの焦点距離、およびズームを調整することができる。これにより、レンズ群２００を通過した入射光は、撮像素子２０１上で、目的とする被写体像を結ぶ。
　レンズ位置センサ２０６ｂは、レンズ群２００を構成する複数のレンズ間の距離または位置関係等を検出する。レンズ位置センサ２０６ｂが検出した複数のレンズ間の位置情報等は、ＣＰＵ２０４に送信される。ＣＰＵ２０４は、レンズ位置センサ２０６ｂからの情報、および撮像素子２０１等の他の構成要素からの情報に基づいて、複数のレンズを適正に配置させるための制御信号を、レンズ制御用モータ２０６ａに送信する。
　なお、ＣＰＵ２０４は、上記以外にも、ビデオカメラ１００で映像撮影時の手振れをレンズ位置センサ２０６ｂおよび後述する姿勢検出センサ２０７等で検出し、レンズ制御用モータ２０６ａを駆動する制御を行ってもよい。これにより、ＣＰＵ２０４は、手振れ防止の動作を、レンズ制御モジュール２０６を介して実行させることも可能である。
　姿勢検出センサ２０７は、ビデオカメラ１００の姿勢の状態を検出する。姿勢検出センサ２０７は、加速度センサ２０７ａと、角速度センサ２０７ｂと、仰角・俯角センサ２０７ｃとを備える。これらの各種センサにより、ＣＰＵ２０４は、ビデオカメラ１００がどのような状態で撮影を行っているかを検出する。なお、これらのセンサは、好ましくはビデオカメラ１００の姿勢を詳細に検出するために、３軸方向（垂直方向、水平方向等）についてそれぞれ検出できることが望ましい。
　入力ボタン２０８は、ビデオカメラ１００の撮影者が使用する入力インタフェースの一つである。入力ボタン２０８により、撮影者が撮影の開始または終了、ビデオ撮影中の映像にマーキングを挿入する等、各種要求をビデオカメラ１００に伝えることが可能となる。また、後述するディスプレイ２０９がタッチパネルとなっており、入力ボタン２０８の一部を構成してもよい。
　ディスプレイ２０９は、撮影者がビデオカメラ１００の撮影時に映像を見るため、あるいは、記憶された映像を見るため等に設けられている。ディスプレイ２０９により、撮影者は、撮影した映像をその場で確認することが可能となる。また、上記以外にも、ビデオカメラ１００の各種情報を表示することで、撮影情報および機器情報等のより詳細な情報を撮影者に伝えることが可能となる。
　スピーカー２１０は、撮影した映像を再生する際の音声出力に使用される。それ以外にも、スピーカー２１０は、ビデオカメラ１００が出力する警告を音で撮影者へ伝えることも可能である。
　出力Ｉ／Ｆ２１１は、ビデオカメラ１００が撮影した映像を外部機器へ出力したり、後述する雲台５００の動作を制御する制御信号を出力したりするために用いられる。具体的には、出力Ｉ／Ｆ２１１は、外部機器とケーブルで接続する場合のケーブルインタフェース、および撮影した映像を可搬可能なメモリカード２１８に記録する場合のメモリカードインタフェース等である。出力Ｉ／Ｆ２１１を介して撮影した映像を出力することにより、撮影した映像をビデオカメラ１００に備え付けのディスプレイ２０９よりも大きな外部のディスプレイを用いて視聴等することが可能となる。
　圧縮伸張回路２１２は、撮影した映像および音声を、所定のデジタルデータ形式（符号化処理）にする。具体的には、圧縮伸張回路２１２は、撮影した映像データおよび音声データに対して、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｏｅｒｔｓ　Ｇｒｏｕｐ）またはＨ．２６４等の符号化処理を行い、所定のデータ方式に変換（圧縮）する。また、圧縮伸張回路２１２は、撮影したデータの再生時に、所定のデータ形式の映像データを伸張して、ディスプレイ２０９等に表示するデータ処理を行う。なお、圧縮伸張回路２１２は、静止画像についても、映像と同様に、圧縮伸張する機能を備えるものであっても良い。
　ＲＯＭ２１３は、ＣＰＵ２０４が処理するソフトウェアのプログラムおよびプログラムを動作させるための各種データを記憶する。
　ＲＡＭ２１４は、ＣＰＵ２０４が処理するソフトウェアのプログラム実行時に使用するメモリ領域等として使用される。また、圧縮伸張回路２１２と共用でこのＲＡＭ２１４を使用してもよい。
　ＨＤＤ２１５は、圧縮伸張回路２１２が符号化した映像データおよび静止画像データを蓄積等する目的で利用される。なお、記憶されるデータは、上記以外にも、後述する再生情報のデータ等を記憶することも可能である。また、本説明では、記憶媒体としてＨＤＤ２１５を代表の記憶媒体として説明しているが、これ以外にも半導体記憶素子を用いるものであっても良い。
　音声ＡＤＣ２１６は、ステレオマイク２１７から入力される音声を、アナログ電気信号からデジタル電気信号に変換処理する。
　ステレオマイク２１７は、ビデオカメラ１００外部の音声を電気信号に変換して出力する。
　なお、上記の通り、ビデオカメラ１００のハードウェア構成を示したが、本発明では上記の構成に限定されるものではない。例えば、映像ＡＤＣ２０２及び映像信号変換回路２０３等を単一の集積回路として実現することも可能であるし、ＣＰＵ２０４が実行するソフトウェアプログラムの一部を別途、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を用いてハードウェアとして実現することも可能である。
　［１－１－３．撮像装置の機能構成］
　図５は、ビデオカメラ１００の機能構成を説明する詳細な機能構成図である。
　ビデオカメラ１００は、レンズ部３００と、撮像部３０１と、映像ＡＤ変換部３０２と、映像信号処理部３０３と、映像信号圧縮部３０４と、撮像制御部３０５と、映像解析部３０６と、レンズ制御部３０７と、姿勢検出部３０８と、生成部３０９と、比較部３１０と、カメラワーク制御部３１１と、音声解析部３１２と、音声信号圧縮部３１３と、多重化部３１４と、記憶部３１５と、構図マップ作成部３１６と、映像信号伸張部３１７と、表示部３１８と、音声信号伸張部３１９と、音声出力部３２０と、音声ＡＤ変換部３２１と、マイク部３２２と、外部入力部３２３と、通信部３２４とを備える。実施の形態１では、制御部の一例としてカメラワーク制御部３１１を説明する。
　レンズ部３００は、被写体から入射した光の焦点距離およびズーム倍率（映像の拡大倍率）等を調整する。これらはレンズ制御部３０７からの制御により行われる。レンズ部３００は、図４のレンズ群２００に相当する。
　撮像部３０１は、レンズ部３００を透過した光を電気信号に変換する。撮像部３０１は、撮像制御部３０５の制御により、撮像素子上の任意の範囲のデータを出力する。また映像データ以外にも、３原色点の色度空間情報、白色の座標および３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、および、３原色または輝度信号のガンマ情報等の情報も出力することが可能である。これらの情報は、生成部３０９へ出力される。撮像部３０１は、図４の撮像素子２０１に相当する。
　映像ＡＤ変換部３０２は、撮像部３０１からの電気信号を、所定の処理内容にしたがってアナログの電気信号からデジタルの電気信号に変換する。映像ＡＤ変換部３０２は、図４の映像ＡＤＣ２０２に相当する。
　映像信号処理部３０３は、映像ＡＤ変換部３０２から出力されたデジタル信号を、所定の映像信号フォーマットに変換する。例えば、ＮＴＳＣで規定された水平線の数、走査線の数およびフレームレートに準拠した映像信号に変換する。映像信号処理部３０３は、図４の映像信号変換回路２０３に相当する。
　映像信号圧縮部３０４は、映像信号処理部３０３によって処理されたデジタル信号に対して所定の符号化変換を行い、データ量を圧縮等する。具体的には、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等の符号化方式がある。映像信号圧縮部３０４は、図４の圧縮伸張回路２１２の圧縮機能に相当する。
　撮像制御部３０５は、撮像部３０１の動作を制御する。具体的には、撮像制御部３０５は、撮像部３０１に対して、撮影時の露出量、撮影速度および感度等を制御する。また、これらの制御情報は、生成部３０９へも併せて出力される。撮像制御部３０５は、図４のＣＰＵ２０４で処理される制御アルゴリズムの一つによって実現される。
　映像解析部３０６は、撮影された映像信号から映像の特徴を抽出する。映像解析部３０６は、映像に含まれる輝度情報や色情報（例えば、映像の１画面を横３２、縦１８の合計５７６個のブロックに分割し、各ブロックに含まれる色や輝度の分布を算出する）、動きベクトル、ホワイトバランス、さらに映像に人物の顔が含まれている場合には、当該人物の顔検出を行う等、映像信号を解析することで、映像の特徴を抽出する。また、動きベクトルは、複数フレーム間での特徴量の差分を算出することで実現可能である。また、顔検出は、顔の特徴を表す特徴量の学習により、特徴量のパターンマッチング等により実現可能である。映像解析部３０６は、図４のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの一つによって実現される。
　レンズ制御部３０７は、レンズ部３００の動作を制御する。レンズ制御部３０７は、後述するカメラワーク制御部３１１からの制御信号に応じて、レンズ部３００のズーム、フォーカスなどを制御する。レンズ制御部３０７は、ズーム制御部３０７ａ、フォーカス制御部３０７ｂ、及び手振れ補正制御部３０７ｃ等を備える。
　ズーム制御部３０７ａは、レンズ部３００のズームレンズを制御することで、被写体からの入射光を所望の拡大倍率にして撮像部３０１に入力させる。フォーカス制御部３０７ｂは、レンズ部３００のフォーカスレンズを制御することで、被写体と撮像部３０１との焦点距離を設定する。手振れ補正制御部３０７ｃは、映像等の撮影時の該装置の揺れを抑制する。レンズ制御部３０７は、レンズ部３００を制御するとともに、これらの制御情報を生成部３０９へ出力する。レンズ制御部３０７は、図４のレンズ制御モジュール２０６に相当する。
　姿勢検出部３０８は、ビデオカメラ１００の加速度、角速度、及び仰角・俯角等を検出する。姿勢検出部３０８は、加速度センサ３０８ａ、角速度センサ３０８ｂ、及び仰角・俯角センサ３０８ｃを備える。これらのセンサは、ビデオカメラ１００の姿勢及びその変化状況を検出する目的等に用いられる。加速度及び角速度については、垂直・水平（２方向）の３方向について検出できることが望ましい。姿勢検出部３０８は、図４の姿勢検出センサ２０７に相当する。
　マイク部３２２は、周囲の音を電気信号に変換して音声信号として出力する。マイク部３２２は、図４のステレオマイク２１７に相当する。
　音声ＡＤ変換部３２１は、マイク部３２２から入力されたアナログの電気信号をデジタルの電気信号に変換する。音声ＡＤ変換部３２１は、図４の音声ＡＤＣ２１６に相当する。
　音声解析部３１２は、デジタルの電気信号に変換された音声データから特徴のある音を抽出する。ここで特徴のある音とは、例えば、撮影者の声、特定の単語の発音、歓声、及び銃声等がある。これらの音は、これらの音（音声）が持つ特有の周波数を予め登録しておき、それとの比較結果で判別する方法等を用いることで、抽出が可能である。また、上記以外にも、音声解析部３１２は、マイク部３２２が捕捉した音の入力レベル等の特徴も検出する。音声解析部３１２は、図４のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの一つによって実現される。
　音声信号圧縮部３１３は、音声ＡＤ変換部３２１から出力された音声データを、所定の符号化アルゴリズムで変換する。符号化には、ＭＰ３（ＭＰＥＧ　Ａｕｄｉｏ　Ｌａｙｅｒ－３）及びＡＡＣ（Ａｄｖａｎｃｅｄ　Ａｕｄｉｏ　Ｃｏｄｉｎｇ）等の方法がある。音声信号圧縮部３１３は、図４の圧縮伸張回路２１２の圧縮機能の一つによって実現される。
　外部入力部３２３は、映像撮影時に外部から受信した各種の情報、例えば、撮影者によるボタン入力、または外部から通信経由で受信した撮影インデックス情報等を出力する。なお、撮影インデックス情報とは、例えば、映画撮影時における撮影場面を識別する番号または撮影回数を示す番号等、それぞれの撮影を識別するために用いられる識別番号などである。外部入力部３２３は、図４の入力ボタン２０８等に相当する。
　生成部３０９は、所定の映像単位（例えば、１フレーム）映像並びに静止画像の撮影時における撮影情報、外部入力情報およびその他の情報を属性情報として生成する。生成部３０９は、属性情報を撮影時の時間単位に分類している。
　撮影情報は、主に、撮像制御部３０５から出力される撮影時の露出量、撮影速度および感度等に関する制御情報と、レンズ制御部３０７から出力される撮影時のズーム、フォーカスおよび手振れ補正等の状態に関する情報と、姿勢検出部３０８から出力される撮影時の姿勢およびその変化等に関する情報とから構成される。外部入力情報は、撮影者によるボタン入力の情報や映像シーンを特徴づける情報等である。
　その他の情報は、主に、映像解析部３０６から出力される輝度分布、色分布、動きベクトル、ホワイトバランスおよび人物の顔等の映像の特徴に関する情報である。
　属性情報に含まれる情報の一例として以下のような情報がある。
　・　焦点距離
　・　ズーム倍率
　・　露出
　・　撮影速度（フレームレート、シャッタースピード）
　・　感度
　・　３原色点の色空間情報
　・　ホワイトバランス
　・　３原色のうち少なくとも２つのゲイン情報
　・　色温度情報
　・　Δｕｖ（デルタｕｖ）
　・　３原色または輝度信号のガンマ情報
　・　色分布
　・　動きベクトル
　・　人物（顔認識、顔による個人認証、人認識、歩き方やしぐさから個人の歩容認証）
　・　カメラ姿勢（加速度、角速度、仰角・俯角、方位、ＧＰＳによる測位値等）
　・　撮影時刻（撮影開始時刻、終了時刻）
　・　撮影インデックス情報（たとえば、カメラの撮影モードのセットアップ値）
　・　ユーザ入力
　・　フレームレート
　・　サンプリング周波数
　・　構図の変化量
　属性情報には、上記の情報から算出した映像シーンを特徴づける情報（撮影時の各種情報を組み合わせ、それらを分析等することで得られる情報）も含まれる。例えば、カメラ姿勢（加速度、角速度、仰角・俯角等）の情報からビデオカメラ１００の撮影時におけるパン、チルト等のカメラワークの情報を得ることが可能となる。また、焦点距離およびズーム倍率の情報は、そのままでも属性情報として用いることが可能である。生成部３０９は、撮影時の各種情報からシーン評価に有用な情報を抽出、あるいは算出等して、特定の時刻における顔や人物の位置情報、動体の位置情報、音の位置情報などの属性情報を生成する。
　比較部３１０は、各撮影方向において、異なる期間に生成部３０９で生成された属性情報を比較する。そして、その比較結果に基づいて、各撮影方向の優先順位を評価し、撮影における優先順位を決定する。
　カメラワーク制御部３１１は、比較部３１０で順位づけされた撮影方向の優先順位の情報から、撮影方向を決定し、決定した撮影方向でビデオカメラ１００が撮影出来るように、レンズ部３００の動作に関する情報や雲台５００のパン方向への移動量およびチルト方向への移動量に関する移動量情報を生成する。カメラワーク制御部３１１の具体的な動作については後述する。
　生成部３０９、比較部３１０およびカメラワーク制御部３１１は、図４のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの一つである。
　通信部３２４は、カメラワーク制御部３１１で生成された移動量情報を制御信号として雲台５００へ出力する。通信部３２４は、図４の出力Ｉ／Ｆ２１１に相当する。
　構図マップ作成部３１６は、撮影した映像と生成部３０９で生成された属性情報等に基づいて、撮影範囲における特定の対象物（顔、人物、動体の動き、および、音など）の位置を示すマップを作成する。具体的な作成方法等については後述する。作成したマップは、一時的に記憶部３１５に記憶され、表示部３１８に表示される。構図マップ作成部３１６は、図４のＣＰＵ２０４で実行されるソフトウェア処理のアルゴリズムの一つである。
　多重化部３１４は、映像信号圧縮部３０４から出力される符号化映像データおよび音声信号圧縮部３１３から出力される符号化音声データを多重化して出力する。多重化部３１４は、図４のＣＰＵ２０４で実行されるソフトウェアであってもよいし、圧縮伸張回路２１２で、ハードウェア処理されるものであってもよい。
　記憶部３１５は、多重化部３１４から出力された符号化映像データおよび符号化音声データを一時保持または長期保持する。記憶部３１５は、図４のＨＤＤ２１５、ＲＡＭ２１４およびメモリカード２１８等に相当する。
　［１－１－４．雲台の構成］
　図６は、雲台５００の機能構成を説明する機能構成図である。
　雲台５００は、通信部６００と、駆動制御部６０１と、パン用駆動部６０２と、パン用モータ６０３と、パン用機構部６０４と、チルト用駆動部６０５と、チルト用モータ６０６と、チルト用機構部６０７とを備える。
　通信部６００は、ビデオカメラ１００の通信部３２４と接続され、制御信号を受信し、移動量情報を生成する。
　駆動制御部６０１は、通信部６００で受信した移動量情報に基づいて、パン用駆動部６０２およびチルト用駆動部６０５のそれぞれに対し、移動すべき方向、移動量および移動速度を指示する。駆動制御部６０１は、ＣＰＵ、ＲＯＭおよびＲＡＭなどが組み合わされたマイクロコンピュータなどから構成される。
　パン用駆動部６０２は、駆動制御部６０１からの指示信号に基づいて、パン用モータ６０３の動作を制御する。具体的には、パン用モータ６０３は、横方向に回動可能なパン用機構部６０４に取付けられており、パン用モータ６０３が正負方向に回転することにより、パン用機構部６０４が左右方向に回動する構成となっている。また、パン用機構部６０４にはロータリーエンコーダ（ＲＥ）６０４ｒが設けられており、パン用機構部６０４の回転角の移動量を検出して、ＲＥ６０４ｒから駆動制御部６０１へ検出値が出力される。
　同様に、チルト用駆動部６０５は、駆動制御部６０１からの指示信号に基づいて、チルト用モータ６０６の動作を制御する。チルト用モータ６０６は、縦方向に回動可能なチルト用機構部６０７に取付けられており、チルト用モータ６０６が正負方向に回転することにより、チルト用機構部６０７が上下方向に回動する構成となっている。また、チルト用機構部６０７にはＲＥ６０７ｒが設けられており、チルト用機構部６０７の回転角の移動量を検出して、ＲＥ６０７ｒから駆動制御部６０１へ検出値が出力される。
　上記構成により、パン用駆動部６０２からパン用モータ６０３に対し、モータの回転方向（正負方向）、回転量および回転速度に関する駆動信号を出力することで、雲台５００に取付けられたビデオカメラ１００を左右方向（水平方向）に回動させることができる。また、チルト用駆動部６０５からチルト用モータ６０６に対し、モータの回転方向（正負方向）、回転量および回転速度に関する駆動信号を出力することにより、雲台５００に取付けられたビデオカメラ１００を上下方向（鉛直方向）に回動させることができる。
　［１－２．動作］
　［１－２－１．デフォルトの動作］
　図７Ａ、図７Ｂは、デフォルトの動作を説明するための図である。
　図７Ａ、図７Ｂにおいて、撮影範囲Ｓはユーザにより設定された領域、中央の一点鎖線の矩形は撮影範囲Ｓにおいて実際に撮影を行うべき撮影領域を示す。また、各撮影領域に付した番号は撮影領域を撮影する順番を示す。ここで、撮影領域は、ビデオカメラ１００が、その領域を撮影するための撮影方向を示す。図７Ａ、図７Ｂの場合、ビデオカメラ１００は１１個の撮影方向で撮影できることを示している。
　まず、カメラワーク制御部３１１は、撮影領域１～１１を設定する。図７Ａに示すように、撮影領域１は、撮影範囲Ｓにおける上下左右の中央位置にある領域である。図７Ｂに示すように、撮影領域２～１１は、撮影範囲Ｓ（ここでは、±９０°に設定）を上下２段、左右５列の領域に分割し、各領域が少しずつ重なり合うように設定される。カメラワーク制御部３１１は、撮影領域１～１１の順に撮影されるように、雲台５００の移動量情報とレンズ部３００のズーム位置を算出する。なお、撮影範囲Ｓの分割は、図７Ｂの分割数に限定するものではなく、雲台５００の設定可能状態に応じて設定すればよい。
　雲台５００は、左右方向に最大±１８０°回動する。左右方向の回動角度は、ビデオカメラ１００の外部入力部３２３によるユーザの指示により、±４５°、±９０°および±１８０°の３段階で設定可能である。一方、上下方向には±３０°回動する。実施の形態１においては、左右方向の回転角度を±９０°、上下方向の回答角度を±３０°に設定する。雲台５００は、実施の形態１においては、雲台５００は、移動量情報に応じて、毎秒１°～２０°の速さの回動と停止の動作を繰り返す。
　カメラワーク制御部３１１は、算出したレンズ部３００のズーム位置をレンズ制御部３０７に送信し、雲台５００の移動量情報を駆動制御部６０１に送信する。レンズ制御部３０７および駆動制御部６０１は、それぞれ受信したレンズ位置、移動量情報に従って、レンズ部３００、雲台５００を制御する。
　まず、雲台５００は、ビデオカメラ１００が撮影領域１を撮影出来る位置に移動した後、停止する。ビデオカメラ１００は撮影領域１が撮影できるようなズーム位置にレンズ部３００をズームさせ、０．３秒間の撮影を行なう。ビデオカメラ１００は、撮影領域１を撮影した映像に特定の対象物があるかを判定する。次に、雲台５００は、ビデオカメラ１００がズーム位置を調節し、撮影領域２を撮影出来る位置に移動した後停止する。ビデオカメラ１００は撮影領域２を０．３秒間撮影する。ビデオカメラ１００は撮影領域２を撮影した映像に特定の対象物があるかを判定する。次に、雲台５００は、ビデオカメラ１００が撮影領域３を撮影出来る位置に移動した後、停止する。ビデオカメラ１００はズーム位置を調節し、撮影領域３を０．３秒間撮影する。ビデオカメラ１００は、撮影領域３を撮影した映像に特定の対象物が存在するかを判定する。
　このように、雲台５００は、ビデオカメラ１００が次の撮影領域を撮影出来る位置へ移動して停止する、ビデオカメラ１００が対象の撮影領域を撮影できるようにズーム制御した後、０．３秒間撮影する、撮影領域を撮影した映像に特定の対象物があるかを判定する、といった一連の動作を全撮影領域に対して順に繰り返す。
　撮像システム１１０は、全ての撮影領域を撮影して、撮影した撮影範囲Ｓの映像の中に特定の対象物が検出できない場合は、撮影領域１から、再度特定の対象物を検出するまで、上記動作を繰り返す。
　なお、ビデオカメラ１００の撮影時間は０．３秒に限定するものではないが、実施の形態１においては、撮影時間は、０．３秒間である場合を例にとって以降も説明する。
　また、実施の形態１では、雲台５００を静止させたときに、撮影しながら特定の対象物（動体）の検出を行なう例について述べたが、雲台５００を動かしながら、動体の検出が可能なアルゴリズムを導入することもできる。
　［１－２－２．動作モード］
　撮影した映像に特定の対象物を検出した場合の撮像システム１１０の動作について説明する。ビデオカメラ１００は、属性情報から、動きに関する情報のみを比較し、撮影方向を決定していく追っかけモード（第１モード）と、動き、人物（顔）および音声などの特定の対象物に関する情報を比較し、撮影方向を決定していくパーティモード（第２モード）を有する。各モードは、ビデオカメラ１００の外部入力部３２３によるユーザの指示により設定可能である。
　［１－２－３．追っかけモード］
　図８は、撮像システム１１０の動作の一例を説明する状態遷移図である。図８は、追っかけモード時の動作を説明する状態遷移図である。
　ビデオカメラ１００が撮影した映像に特定の対象物が検出できない場合、図７Ａ、図７Ｂで示す各撮影領域に対して、雲台の５００の移動と停止、ビデオカメラ１００の撮影と対象物の判定のデフォルトの動作（サーチ）を繰り返す（Ｓ１０１、Ｓ１０２）。ビデオカメラ１００が０．３秒間の撮影の間に、撮影した映像に動く物体（動体）を検出した場合、ビデオカメラ１００の生成部３０９は、撮影領域のこの期間に撮影した映像の属性情報に動き（動きベクトル）に関する情報を追加する。
　比較部３１０は、生成部３０９で生成された動きに関する情報を含む属性情報と、この期間よりも前に撮影された際に生成された属性情報とを比較する。比較部３１０は、まえの期間における撮影では、動体は検出されなかったが、今回の撮影では動体を検出したことから、この撮影領域には特定の対象物が存在するようになったと判定する。この場合、比較部３１０は、現在の撮影領域に、動体が検出されなかった他の撮影領域よりも高い優先順位を付与する。
　比較部３１０は例えば、図９Ａ、図９Ｂに示す優先順位の情報を作成、更新し、カメラワーク制御部３１１に渡す。
　図９Ａ、図９Ｂは、撮影領域の優先順位の情報の一例を示す。
　図９Ａ、図９Ｂにおいては、各撮影領域に付与された優先順位は数字が小さいほど優先順位が高いことを示す。図９Ａは各撮影領域の優先順位が等しいことを示す。この場合、撮像システム１１０はデフォルトの動作を行う。図９Ｂは、撮影領域３、撮影領域２、それ以外の撮影領域の順に優先順位が付与されている。
　カメラワーク制御部３１１は、比較部３１０で付与された撮影領域の優先順位の情報と、動きベクトルの方向とに基づいて、動体が撮影している領域の中央に位置するように（センタリング）、雲台５００および／またはレンズ制御部３０７を制御する（Ｓ１０３）。具体的には、カメラワーク制御部３１１は、動体を追いかける方向へ雲台５００の移動量を指示すると共に、動体が撮影領域の中央で大きく撮影されるようにレンズ制御部３０７へズームインを指示する。
　雲台５００が指示した撮影方向で停止したところで、ビデオカメラ１００は、０．３秒間の撮影を行なう（Ｓ１０４）。撮像システム１１０は、撮影の間に動体が移動する場合は、動体のセンタリングと撮影の動作を繰り返す（Ｓ１０３、Ｓ１０４）。撮像システム１１０は、撮影の間に動体が移動して見失ってしまった場合は、ズームアウト（Ｓ１０５）して動体を探す（Ｓ１０６）。動体が検出できない場合は、比較部３１０で付与された撮影領域の優先順位に基づいて、次に優先順位の高い撮影領域へ移動する（ＭＡＰサーチ、Ｓ１０７）。比較部３１０は、撮影領域で動体が検出されなかった場合、対象の撮影領域の優先順位を下げる。
　撮像システム１１０は、上記動作を繰り返し、いずれの撮影領域も等しい優先順位となったときには、デフォルトの動作に戻り（Ｓ１０８）、新たに動体を検出するまでデフォルトの動作を繰り返す（Ｓ１０１、Ｓ１０２）。
　［１－２－４．パーティーモード］
　図１０は、撮像システム１１０の動作の他の例を説明する状態遷移図である。図１０は、パーティーモードが設定されているときの状態遷移図を示す。
　上述のように、撮像システム１１０は、特定の対象物が検出できない場合、デフォルトの動作を繰り返している（Ｓ２０１、Ｓ２０２）。
　ビデオカメラ１００が、０．３秒間の撮影の間に、動く物体（動体）を検出した場合、生成部３０９は、この期間の映像の属性情報に動き（動きベクトル）に関する情報を追加する。
　比較部３１０は、生成部３０９で生成された期間の動きに関する情報を含む属性情報と、この期間よりも前の期間に撮影された際に生成された属性情報とを比較して、この撮影領域に動体が存在することを検出し、高い優先順位を付与する。カメラワーク制御部３１１は、比較部３１０で付与された撮影領域の優先順位の情報と、動きベクトルの方向とに基づいて、雲台５００および／またはレンズ制御部３０７へセンタリングを指示する（Ｓ２０３）。
　雲台５００が指示した位置で停止したところで、ビデオカメラ１００は、０．３秒間の撮影を行なう（Ｓ２０４）。撮像システム１１０は、撮影の間に動体が移動する場合は、動体のセンタリングと撮影の動作を繰り返す（Ｓ２０３、Ｓ２０４）。撮影の間に動体が移動して見失ってしまった場合は、追っかけモードと同様に、ズームアウト（Ｓ２０５、Ｓ２０６）、ＭＡＰサーチ（Ｓ２０７、Ｓ２０８）、デフォルトの動作（Ｓ２０１、Ｓ２０２）の順に、動作が遷移する。
　ここで、撮影の間に、音声を検出した場合、生成部３０９は、この期間の映像の属性情報として音声に関する情報を追加する。同時に、比較部３１０は音声に関する情報を含む属性情報を有する撮影領域に、最も高い優先順位を付与する。カメラワーク制御部３１１は、比較部３１０で付与された撮影領域の優先順位と、マイク部３２２（ステレオマイク２１７）からの音声の方向とに基づいて、音源を追いかける方向へ雲台５００の移動量を指示する（Ｓ２０９）。雲台５００が指示した位置で停止すると、ビデオカメラ１００は、０．３秒間の撮影を行なう（Ｓ２１０）。
　［１－３．まとめ］
　実施の形態１の撮像システム１１０は、比較部３１０が、撮影方向毎に、異なる期間に生成された属性情報を比較し、比較結果に基づいて、各撮影方向の撮影における優先順位を決定する。カメラワーク制御部３１１は、優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて撮像部３０１と雲台５００の動作を制御する。
　これにより、雲台５００は、決定した撮影方向で撮影できる位置にビデオカメラ１００を移動させ、ビデオカメラ１００は、特定の対象物が撮影領域内に存在するように撮像部３０１を制御する。
　従って、優先順位の高い特定の対象物を重点的に撮影することが可能となる。
　また、比較部３１０は、動きに関する情報を比較する第１のモードと、動きに関する情報、顔に関する情報および音声に関する情報を比較する第２のモードを有する。
　これにより、ペットのように動きに着目する特定の対象物と、人物のように、動き、顔、声に着目する特定の対象物と対象物の特徴に応じた自動撮影が可能となる。
　（実施の形態２）
　実施の形態２では、撮影した映像信号から、撮影範囲内に存在する特定の対象物の位置を示す構図マップを生成する撮像装置について説明する。
　以下、図１１～１４を用いて、実施の形態２を説明する。
　［２－２．固定動体の特定］
　特定の対象物として動体に注目して撮影を行ないたい場合、従来のビデオカメラでは、カーテン、扇風機あるいはテレビに表示される映像といったものも動体として認識されてしまう。そこで、ビデオカメラ１００は、特定の動きを繰り返す動体、あるいは、大きな移動を行なわない動体を固定動体と特定し、特定の対象物として注目すべき対象から除外する処理を行なう。
　具体的には、比較部３１０は、属性情報に基づいて、動きベクトルに関する情報を抽出する。加えて、時間単位で分類された属性情報に基づいて、特定の動きを繰り返している動体および撮影領域を超えるような大きな移動を行なわない動体が存在する場所を特定する。比較部３１０は、特定された場所にある動体は固定動体であると判断し、特定の対象物がない撮影領域と同等のレベルまで、優先順位を下げる。
　これにより、撮影した映像に、例えば、揺れるカーテンが延々と映っている状態を回避することができる。
　［２－２．構図マップの生成］
　構図マップ作成部３１６は、撮像部３０１により撮影された各撮影領域の映像の属性情報と、撮影された時刻とから、現在から所定の期間（例えば、１分）以内の映像の属性情報を参照し、撮影範囲内に存在する特定の対象物の存在を検出し、構図マップを作成する。
　図１１は、表示部３１８（ディスプレイ２０９）に表示された映像信号の一例を示す図である。図１１に示すように、撮影範囲Ｓの中に、眠っているネコ１００１（動物）、起きているネコ１００２（動体、動物）およびカーテン１００３（動体）などの特定の対象物が存在する。
　図１２Ａ、図１２Ｂは、実施の形態２における動作を説明するための模式図である。図１２Ａ、図１２Ｂにおいて、撮影範囲Ｓはユーザにより設定された領域、一点鎖線の矩形で示す撮影領域は撮影範囲Ｓにおいて実際に撮影を行うべき領域を示す。また、撮影領域に付した番号は撮影の順番を示す。
　実施の形態２では、実施の形態１と同様に、図１２Ｂ示すように、撮影範囲Ｓを上下２段、左右５列の撮影領域に分割し、各撮影領域を少しずつ重なり合わせて撮影する。また、撮影は図１２Ａ、図１２Ｂに示すように、まず中央位置の撮影領域１を撮影し、撮影領域２から番号順に撮影する。構図マップ作成には撮影領域２～１０で撮影された映像を用いる。
　図１２Ａ、図１２Ｂに示すように、撮影範囲Ｓに眠っているネコ１００１、起きているネコ１００２およびカーテン１１０３などの特定の対象物がある場合、生成部３０９は、撮影領域３、４、５および１０で撮影された映像に、人物（動物）や動きベクトルなどの情報を生成し、属性情報に追加する。
　図１３Ａ、図１３Ｂは、実施の形態２における構図マップの一例を説明する図である。図１３Ａ、図１３Ｂは、説明のために図１２Ｂにおける１０個の撮影領域と各撮影領域に付与された番号を示す。
　以下、図１３Ａを用いて構図マップの生成について説明する。
　構図マップ４００は撮影範囲Ｓに相当する。構図マップ作成部３１６は、撮影領域１０の映像の属性情報より、右下に動物が存在することを検出すると、構図マップ４００の撮影領域１０に相当する領域の右下の位置に、特定の対象物が存在することを示す矩形を配置する。また、構図マップ作成部３１６は、撮影領域３の映像の属性情報より、撮影領域３の右下に動きのある動物が存在することを検出し、構図マップ４００の撮影領域３に相当する領域の右下に特定の対象物（動体）が存在することを示す一点鎖線の矩形を配置する。さらに、構図マップ作成部３１６は、撮影領域４および撮影領域５の映像の属性情報より、撮影領域４および撮影領域５の右端に動きがある物体を検出し、構図マップ４００中の撮影領域４、５の相当する位置に特定の対象物（動体）が存在することを示す鎖線の矩形を配置する。
　また、構図マップ作成部３１６は、時間単位で分類された属性情報から、撮影領域４および撮影領域５の右端に存在する動きのある物体は、カーテン、扇風機あるいはテレビといった特定の領域に固定された固定動体であると判断する。構図マップ作成部３１６は、撮影領域４および撮影領域５に配置していた動体を削除し、固定動体として、例えば、図１３Ｂに示すように、点線の矩形を配置する。
　作成された構図マップは、一時的に記憶部３１５に記憶され、撮影中の映像に重畳されて表示部３１８に表示される。
　［２－２．構図マップの表示］
　図１４は、実施の形態２における表示部３１８（ディスプレイ２０９）に表示される構図マップの一例を示す模式図である。
　構図マップ４００は、撮影中の映像を可及的に遮らないように、表示部３１８の上部に表示される。構図マップ４００の左右方向は、撮影範囲Ｓの左右方向に相当する。従って、構図マップ４００の左右方向のサイズは、表示部３１８の左右方向に対し、所定のマージ幅をおいた大きさを常に有しているが、相当する撮影範囲Ｓの角度は、ユーザの設定により、±４５°、±９０°および±１８０°のいずれかとなっている。一方、構図マップ４００の上下方向は撮影範囲Ｓの上下方向の角度３０°に相当し、表示部３１８の表示領域の上側に、たとえば、１０％～２０％の大きさで表示される。
　構図マップ４００中の、点線の矩形４０１は特定の対象物が存在することを、また、一点鎖線の矩形４０２は動体が存在すること、矩形４０３、矩形４０４は固定動体が存在することを表している。
　なお、構図マップ４００の矩形は、線種違いではなく、例えば、形状や色を異ならせて、特定の対象物の違いが表示されるようにしてもよい。
　［２－３．構図マップの更新］
　表示部３１８に表示される構図マップに過去の情報が蓄積されると、構図マップが見づらくなってしまうほか、陳腐化した情報が表示されることになってしまう。そこで、撮像システム１１０は、構図マップから、所定の時間（例えば、１～３分間）経過した動体、人物（動物）および音声などに関する情報の信頼度を時間と共に徐々に下げる。たとえば、撮像システム１１０は、１５秒ごとに、情報の信頼度を１０％ずつ下げる。
　具体的には、構図マップ作成部３１６は、時間単位で分類された属性情報に基づいて、所定の時間経過した属性情報を抽出し、構図マップから削除すべき情報（矩形）を特定し、削除する。同様に、比較部３１０は、時間単位で分類された属性情報に基づいて、所定の時間、動体が存在することを含む属性情報が更新されていない撮影領域を特定し、この撮影領域に高い優先順位を付与する。
　これにより、構図マップには、陳腐化した過去の情報は削除された、比較的新しい情報のみが表示される。また、特定の対象物を見失い、サーチ動作に入るときなどに、いずれの領域からサーチを行なうべきかの優先順位も明確になる。
　［２－４．撮影動作］
　カメラワーク制御部３１１は、比較部の比較結果と構図マップ作成部が作成した構図マップに基づいて、各撮影方向の優先順位を決定する。
　図１３Ｂの構図マップは、撮影領域３に特定の対象物（動体）を示す属性情報、撮影領域１０に特定の対象物を示す属性情報、撮影領域４，５に固定動体を示す属性情報を含んでいる。まず、カメラワーク制御部３１１は、構図マップより、起きているネコ１００２（動体）が存在する撮影領域３を最も高い優先順位とする。次に、カメラワーク制御部３１１は、眠っているネコ１００１が存在する撮影領域１０を、撮影領域３の次の優先順位とする。カメラワーク制御部３１１は、撮影領域３と撮影領域１０以外の領域は、比較部３１０が決定した優先順位とする。
　カメラワーク制御部３１１は決定した優先順位の順番の撮影方向で撮影出来るよう、レンズ制御部３０７の動作に関する情報や雲台５００のパン方向への移動量およびチルト方向への移動量に関する移動量情報を生成し、各々レンズ制御部３０７、雲台５００へ出力する。
　［２－５．まとめ］
　実施の形態２における構図マップ作成部３１６は、所定の期間内に撮像部３０１が撮影範囲Ｓを所定時間撮影した映像の属性情報より、撮影範囲Ｓ内に存在する特定の対象物を検出し、特定対象物の位置を示す構図マップを生成する。さらに、比較部３１０は、異なる期間の属性情報を比較して、特定の動きを繰り返している所定の対象物および撮影方向を超えるような大きな移動を行わない所定の対象物を抽出し、抽出した所定の対象物が存在する撮影方向の優先順位を、所定の対象物が存在しない撮影方向の優先順位と同等とする。
　これにより、特定の動きを繰り返す動体、あるいは、大きな移動を行なわない動体を固定動体と特定し、特定の対象物として注目すべき対象から除外することができる。
　従って、特定の対象物を見失い、サーチ動作に入るときなどに、いずれの領域からサーチを行なうべきかの優先順位が明確になる。
　また、表示部３１８は、構図マップ作成部３１６が作成した構図マップを、撮像部３０１が撮影している映像に重畳表示する。
　これにより、現在、撮像部３０１が撮像している映像が、撮影範囲Ｓ内のどこを撮影しているか、撮影範囲Ｓ内に撮影対象となる特定の対象物の存在と、その位置を明示的に認識することが可能となる。
　従って、優先順位の高い特定の対象物を重点的に撮影することが可能となる。
　また、映像情報は、撮影した映像と属性情報とから構成される。また、映像情報は、特定の時間毎のレイヤー構造と属性情報単位のレイヤー構造とを有する。
　（その他の実施形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１および２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　そこで、以下、他の実施の形態を例示する。
　なお、本開示においては、映像が動画像である場合を中心に説明したが、これに限定されるものではなく、マイクなどを搭載した静止画を撮影するカメラであってもよい。
　また、雲台の移動において、ヒステリシスを無視して説明したが、実際の駆動部分には遊び部分があるので、この遊び部分を考慮して制御するとよい。
　また、撮像装置として、ビデオカメラを例に取って説明したが、撮像装置としては、スマートフォン、監視カメラ、デジタルスチルカメラなど、映像または静止画の撮影および表示ができる機能を有する電子機器であればよい。本開示において、撮像装置は駆動装置と接続されていたが、撮像装置単体においても、本開示は適用できる。
　また、本開示においては、属性情報の比較結果と、構図マップに含まれる属性の優先順位に基づいて、撮影方向を決定するとしたが、次の撮影方向の決定に限定するものではない。例えば、構図マップに含まれる属性情報の優先順位に基づいて、ある画像よりその一部を切り出す際の切り出し範囲を決定するとしてもよい。また、ある画像の一部の合焦（フォーカス）領域や追尾領域を決定するとしてもよい。
　また、撮影対象となる人の顔、人物、動物や車両などの動体、または、それらを含む矩形領域を決定するとしてもよい。
　また、所定の対象物を建築物や一般の物体とし、それらの属性情報を追加することで、固定の場所、物体を監視する監視カメラなどに適用することができる。
　なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲、またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、多くの人が集まる会合などでの撮影や防犯（見守り）カメラ等の撮像システムに有用である。
　１００　　ビデオカメラ
　１１０　　撮像システム
　２００　　レンズ群
　２０１　　撮像素子
　２０２　　映像ＡＤＣ
　２０３　　映像信号変換回路
　２０４　　ＣＰＵ
　２０５　　クロック
　２０６　　レンズ制御モジュール
　２０６ａ　　レンズ制御用モータ
　２０６ｂ　　レンズ位置センサ
　２０７　　姿勢検出センサ
　２０７ａ　　加速度センサ
　２０７ｂ　　角速度センサ
　２０７ｃ　　仰角・俯角センサ
　２０８　　入力ボタン
　２０９　　ディスプレイ
　２１０　　スピーカー
　２１１　　出力Ｉ／Ｆ
　２１２　　圧縮伸張回路
　２１３　　ＲＯＭ
　２１４　　ＲＡＭ
　２１５　　ＨＤＤ
　２１６　　音声ＡＤＣ
　２１７　　ステレオマイク
　３００　　レンズ部
　３０１　　撮像部
　３０２　　映像ＡＤ変換部
　３０３　　映像信号処理部
　３０４　　映像信号圧縮部
　３０５　　撮像制御部
　３０６　　映像解析部
　３０７　　レンズ制御部
　３０７ａ　　ズーム制御部
　３０７ｂ　　フォーカス制御部
　３０７ｃ　　手振れ補正制御部
　３０８　　姿勢検出部
　３０８ａ　　加速度センサ
　３０８ｂ　　角速度センサ
　３０８ｃ　　仰角・俯角センサ
　３０９　　生成部
　３１０　　比較部
　３１１　　カメラワーク制御部
　３１２　　音声解析部
　３１３　　音声信号圧縮部
　３１４　　多重化部
　３１５　　記憶部
　３１６　　構図マップ作成部
　３１７　　映像信号伸張部
　３１８　　表示部
　３１９　　音声信号伸張部
　３２０　　音声出力部
　３２１　　音声ＡＤ変換部
　３２２　　マイク部
　３２３　　外部入力部
　３２４　　通信部
　４００　　構図マップ
　４０１，４０２，４０３，４０４　　矩形
　５００　　雲台
　５０１　　装着部
　５０２　　ピン
　６００　　通信部
　６０１　　駆動制御部
　６０２　　パン用駆動部
　６０３　　パン用モータ
　６０４　　パン用機構部
　６０４ｒ　　ＲＥ
　６０５　　チルト用駆動部
　６０６　　チルト用モータ
　６０７　　チルト用機構部
　６０７ｒ　　ＲＥ

Claims (7)

  1. 　駆動装置と、
    　前記駆動装置に接続され、前記駆動装置の動作を制御する撮像装置とを備え、
    　前記撮像装置は、
    　撮像部と、
    　複数の撮影方向を前記撮像部で撮影することで所定の撮影範囲を撮影し、前記撮像部で撮影した映像に関する属性情報を、所定の映像単位毎に生成する生成部と、
    　所定の期間内に前記複数の撮影方向で撮影した映像の属性情報より、前記所定の撮影範囲に存在する所定の対象物を抽出し、抽出した対象物の位置を示す構図マップを作成する構図マップ作成部と、
    　前記撮影方向毎に、異なる期間に生成された属性情報を比較した比較結果と、前記構図マップに含まれる属性情報とに基づいて、各撮影方向の撮影における優先順位を決定する比較部と、
    　前記優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて前記撮像部と前記駆動装置の動作を制御する制御部と、
    　を備えた撮像システム。
  2. 　前記撮像部で撮影した映像を表示する表示部を備え、
    　前記表示部は、前記撮像部に入射される映像または前記撮像部で撮影した前記所定の撮影範囲の映像に、前記構図マップを重畳表示する
    ことを特徴とする請求項１記載の撮像システム。
  3. 　前記比較部は、
    　前記属性情報の比較において、動きに関する情報を用いる第１のモードと、
    　前記属性情報の比較において、動きに関する情報、顔に関する情報および音声に関する情報を用いる第２のモードとを有する請求項１または２記載の撮像システム。
  4. 　前記比較部は、前記異なる期間の属性情報を比較して、特定の動きを繰り返している所定の対象物および撮影方向を超えるような大きな移動を行わない所定の対象物を抽出し、前記抽出した所定の対象物が存在する撮影方向の優先順位を、前記所定の対象物が存在しない撮影方向の優先順位と同等とする請求項１記載の撮像システム。
  5. 　撮像部と、
    　複数の撮影方向を前記撮像部で撮影することで所定の撮影範囲を撮影し、前記撮像部で撮影した映像に関する属性情報を、所定の映像単位毎に生成する生成部と、
    　所定の期間内に前記複数の撮影方向で撮影した映像の属性情報より、前記所定の撮影範囲に存在する所定の対象物を抽出し、抽出した対象物の位置を示す構図マップを作成する構図マップ作成部と、
    　前記撮影方向毎に、異なる期間に生成された属性情報を比較した比較結果と、前記構図マップに含まれる属性情報とに基づいて、各撮影方向の撮影における優先順位を決定する比較部と、
    　前記優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて前記撮像部を制御する制御部と
    を備えた撮像装置。
  6. 　駆動装置に接続された撮像装置であって、
    　撮像部と、
    　複数の撮影方向を前記撮像部で撮影することで所定の撮影範囲を撮影し、前記撮像部で撮影した映像に関する属性情報を、所定の映像単位毎に生成する生成部と、
    　所定の期間内に前記複数の撮影方向で撮影した映像の属性情報より、前記所定の撮影範囲に存在する所定の対象物を抽出し、抽出した対象物の位置を示す構図マップを作成する構図マップ作成部と、
    　前記撮影方向毎に、異なる期間に生成された属性情報を比較した比較結果と、前記構図マップに含まれる属性情報とに基づいて、各撮影方向の撮影における優先順位を決定する比較部と、
    　前記優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて前記撮像部と前記駆動装置の動作を制御する制御部と
    　を備えた撮像装置。
  7. 　撮像部を備えた撮像装置の撮像方法であって、
    　複数の撮影方向を前記撮像部で撮影することで所定の範囲を撮影し、前記撮像部で撮影した映像に関する属性情報を所定の映像単位毎に生成し、
    　所定の期間内に前記複数の撮影方向で撮影した映像の属性情報より、前記所定の撮影範囲に存在する所定の対象物を抽出し、抽出した対象物の位置を示す構図マップを作成し、
    　前記撮影方向毎に、異なる期間に生成された属性情報を比較した比較結果と、前記構図マップに含まれる属性情報とに基づいて、各撮影方向の撮影における優先順位を決定し、
    　前記優先順位に基づいて、次の撮影方向を決定し、決定した撮影方向に基づいて前記撮像部を制御する撮像方法。
PCT/JP2014/006451 2013-12-27 2014-12-25 撮像装置、撮像システムおよび撮像方法 WO2015098110A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015554575A JPWO2015098110A1 (ja) 2013-12-27 2014-12-25 撮像装置、撮像システムおよび撮像方法
US15/054,665 US9826146B2 (en) 2013-12-27 2016-02-26 Video capturing apparatus, video capturing system and video capturing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013271280 2013-12-27
JP2013-271280 2013-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/054,665 Continuation US9826146B2 (en) 2013-12-27 2016-02-26 Video capturing apparatus, video capturing system and video capturing method

Publications (1)

Publication Number Publication Date
WO2015098110A1 true WO2015098110A1 (ja) 2015-07-02

Family

ID=53478006

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/006451 WO2015098110A1 (ja) 2013-12-27 2014-12-25 撮像装置、撮像システムおよび撮像方法

Country Status (3)

Country Link
US (1) US9826146B2 (ja)
JP (1) JPWO2015098110A1 (ja)
WO (1) WO2015098110A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018125661A (ja) * 2017-01-31 2018-08-09 富士通株式会社 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム
JP2019153886A (ja) * 2018-03-01 2019-09-12 清水建設株式会社 監視カメラ制御システム及び監視カメラ制御方法
JP2022174875A (ja) * 2021-05-12 2022-11-25 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法
US12125311B2 (en) 2021-05-12 2024-10-22 Lenovo (Singapore) Pte. Ltd. Electronic apparatus and control method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017221644A1 (ja) * 2016-06-22 2017-12-28 ソニー株式会社 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
US10602079B2 (en) * 2018-01-24 2020-03-24 Motorola Mobility Llc Digital image color space channel blending
WO2023093978A1 (en) 2021-11-24 2023-06-01 Robert Bosch Gmbh Method for monitoring of a surveillance area, surveillance system, computer program and storage medium
KR20230096698A (ko) 2021-12-23 2023-06-30 삼성전자주식회사 고해상도 영상을 위한 단말의 동작 방법 및 단말

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177877A (ja) * 1997-12-08 1999-07-02 Minolta Co Ltd 画像読み取り装置
JP2000333159A (ja) * 1999-05-20 2000-11-30 Fujitsu General Ltd 監視カメラシステム
JP2004266668A (ja) * 2003-03-03 2004-09-24 Sony Corp 撮像装置及び方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215519B1 (en) * 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US7643055B2 (en) * 2003-04-25 2010-01-05 Aptina Imaging Corporation Motion detecting camera system
US9363487B2 (en) * 2005-09-08 2016-06-07 Avigilon Fortress Corporation Scanning camera-based video surveillance system
JP4687492B2 (ja) 2006-02-14 2011-05-25 株式会社ニコン カメラ、撮像方法、露出演算装置およびプログラム
US7574131B2 (en) * 2006-03-29 2009-08-11 Sunvision Scientific Inc. Object detection system and method
WO2008103850A2 (en) * 2007-02-21 2008-08-28 Pixel Velocity, Inc. Scalable system for wide area surveillance
US8791984B2 (en) * 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
JP5407640B2 (ja) 2009-07-29 2014-02-05 ソニー株式会社 画像対応装置、動作設定方法、プログラム
JP5533048B2 (ja) 2010-03-08 2014-06-25 ソニー株式会社 撮像制御装置、撮像制御方法
KR101149329B1 (ko) 2010-06-30 2012-05-23 아주대학교산학협력단 감시카메라를 이용한 능동적 객체 추적 장치 및 방법
JP2013165366A (ja) 2012-02-10 2013-08-22 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP6027560B2 (ja) * 2014-02-18 2016-11-16 富士フイルム株式会社 自動追尾撮像装置
EP2988248B1 (en) * 2014-07-22 2019-09-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, information processing apparatus, information processing method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177877A (ja) * 1997-12-08 1999-07-02 Minolta Co Ltd 画像読み取り装置
JP2000333159A (ja) * 1999-05-20 2000-11-30 Fujitsu General Ltd 監視カメラシステム
JP2004266668A (ja) * 2003-03-03 2004-09-24 Sony Corp 撮像装置及び方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018125661A (ja) * 2017-01-31 2018-08-09 富士通株式会社 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム
JP2019153886A (ja) * 2018-03-01 2019-09-12 清水建設株式会社 監視カメラ制御システム及び監視カメラ制御方法
JP2022174875A (ja) * 2021-05-12 2022-11-25 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法
JP7218397B2 (ja) 2021-05-12 2023-02-06 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法
US12125311B2 (en) 2021-05-12 2024-10-22 Lenovo (Singapore) Pte. Ltd. Electronic apparatus and control method

Also Published As

Publication number Publication date
US9826146B2 (en) 2017-11-21
US20160182818A1 (en) 2016-06-23
JPWO2015098110A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
WO2015098110A1 (ja) 撮像装置、撮像システムおよび撮像方法
US9679394B2 (en) Composition determination device, composition determination method, and program
JP5685732B2 (ja) 映像抽出装置、プログラム及び記録媒体
JP4640456B2 (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム
JP5456023B2 (ja) 画像撮影装置、画像撮影方法、プログラム、及び集積回路
US7493036B2 (en) Imaging device
KR101665175B1 (ko) 화상 취득 장치, 화상 취득 방법 및 기록매체
JP2008288797A (ja) 撮像装置
JP6295442B2 (ja) 画像生成装置、撮影装置、画像生成方法及びプログラム
JP2011119936A (ja) 撮影装置及び再生方法
JP6314321B2 (ja) 画像生成装置、撮影装置、画像生成方法及びプログラム
JP2011119934A (ja) 画像撮影装置及び画像撮影方法
WO2015104780A1 (ja) 映像撮像装置
JP5712599B2 (ja) 撮像装置及びプログラム
JP5098917B2 (ja) 構図判定装置、構図判定方法、プログラム
JP6295443B2 (ja) 画像生成装置、撮影装置、画像生成方法及びプログラム
US11595565B2 (en) Image capturing apparatus, method for controlling the same, and recording medium for automatic image capturing of a subject
JP2014072642A (ja) 動画像データ処理システム、動画像データ送信装置、及び動画像データ受信装置
JP2010263611A (ja) 映像撮影装置
JP2014131150A (ja) 画像表示装置および画像表示方法
JP2011061857A (ja) 画像処理装置、画像処理方法、プログラム、撮像装置
JP2010068291A (ja) 撮像装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14875608

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015554575

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14875608

Country of ref document: EP

Kind code of ref document: A1