WO2013046654A1 - 制御装置、制御方法、プログラム、および位置推定システム - Google Patents

制御装置、制御方法、プログラム、および位置推定システム Download PDF

Info

Publication number
WO2013046654A1
WO2013046654A1 PCT/JP2012/006132 JP2012006132W WO2013046654A1 WO 2013046654 A1 WO2013046654 A1 WO 2013046654A1 JP 2012006132 W JP2012006132 W JP 2012006132W WO 2013046654 A1 WO2013046654 A1 WO 2013046654A1
Authority
WO
WIPO (PCT)
Prior art keywords
image acquisition
image
acquisition device
dimensional space
state
Prior art date
Application number
PCT/JP2012/006132
Other languages
English (en)
French (fr)
Inventor
浩雄 池田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2013046654A1 publication Critical patent/WO2013046654A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a control device, a control method, a program, and a position estimation system, and more particularly, to a control device, a control method, a program, and a position estimation system that control a plurality of cameras that image an object in a three-dimensional space.
  • This type of camera control device, method, and program used to image an object in a three-dimensional space and estimate the position of the object in the three-dimensional space is used in fields such as monitoring and marketing.
  • An example of such a camera control device (power supply control device) is described in Patent Document 1 (Japanese Patent Laid-Open No. 2001-159935).
  • the device described in Patent Document 1 is a device that controls power on / off of a plurality of power controlled devices (cameras, etc.) according to a predetermined date and time.
  • a power control adapter device that controls power on and off of a plurality of power controlled devices (cameras, etc.)
  • a predetermined power controlled device (cameras, etc.) Issue a power on / off control command for date and time.
  • the power control adapter device decodes or stores the control command, and performs power on / off processing of the power controlled device (camera, etc.) based on a predetermined date and time.
  • Patent Document 2 Japanese Patent Laid-Open No. 2007-232593 describes an example of an object detection device.
  • the object detection device described in Patent Document 2 detects three-dimensional information (position of an object) of an object from two-dimensional information. Using a plurality of cameras, obtain 3D information of the object in the overlapping area of each captured image, and based on the 3D information and the non-overlapping area of the side shot image, the object that appears after acquiring the 3D information The position can be predicted.
  • the technique described in Patent Document 1 has a problem that the position cannot be estimated in some cases even though the target object exists. The reason is that, regardless of the presence of the target object, the camera is turned off according to the date and time, so that the camera image cannot be acquired and the position cannot be estimated while the camera is stopped. Furthermore, the technique described in Patent Document 1 has a problem that power consumption cannot be reduced during the time period when the camera is turned on. This is because the camera only controls power on / off according to a predetermined date and time.
  • Patent Document 3 Japanese Patent Laid-Open No. 2010-199911.
  • Patent Document 3 describes a technique for saving power in a monitoring system.
  • the monitoring system described in Patent Document 3 includes a plurality of master-slave cameras, a power supply control device that controls power supply to each camera, and a video monitoring device that receives video from the camera and provides it to a monitor With. Then, when a specified event is detected based on the analysis result of the video data from the camera on the master side in the master-slave relationship, control is performed to start power supply to the camera on the slave side in the master-slave relationship. In this way, power is saved by supplying power to the slave camera only when a designated event is detected, and usually monitoring only with the camera on the master side.
  • An object of the present invention is to provide a control device that solves the problem that power saving cannot be achieved by efficiently controlling an appropriate camera according to the situation in order to maintain the position estimation accuracy, which is the problem described above.
  • a control method, a program, and a position estimation system are provided.
  • the control device of the present invention A plurality of image processing means for performing image processing on an image acquired from an image acquisition device to acquire object information on the image; Object position estimation means for estimating the object position of the object in the three-dimensional space by associating the object information on the obtained image with the three-dimensional space of the target imaged by the image acquisition device; Object state specifying means for specifying an object state of the object in the three-dimensional space based on the estimated object position of the object in the three-dimensional space; Control means for controlling the operation of the image acquisition device or the corresponding image processing means according to the identified object state.
  • the control method of the present invention includes: A control device that controls the image acquisition device and the image processing device that performs image processing on the image acquired from the image acquisition device, Image processing is performed on the image acquired from the image acquisition device to acquire object information on the image, Associating the object information on the obtained image with the target three-dimensional space imaged by the image acquisition device, estimating the object position of the object on the three-dimensional space, Identifying the object state of the object in the three-dimensional space based on the estimated object position of the object in the three-dimensional space; The operation of the image acquisition device or the corresponding image processing device is controlled according to the identified object state.
  • the computer program of the present invention is: A computer that realizes a control device that controls an image acquisition device and an image processing device that performs image processing on an image acquired from the image acquisition device; A procedure for performing object processing on each image acquired from the image acquisition device and acquiring object information on the image, A procedure for estimating the object position of the object in the three-dimensional space by associating the object information on the obtained image with the target three-dimensional space imaged by the image acquisition device; Identifying an object state of the object in the three-dimensional space based on the estimated object position of the object in the three-dimensional space; According to the specified object state, a procedure for controlling the operation of the image acquisition device or the corresponding image processing device is executed.
  • the position estimation system of the present invention includes: An image acquisition device; Image processing means for performing image processing on the image acquired from the image acquisition device to acquire object information on the image; Object position estimation means for estimating the object position of the object in the three-dimensional space by associating the object information on the obtained image with the three-dimensional space of the target imaged by the image acquisition device; Object state specifying means for specifying an object state of the object in the three-dimensional space based on the estimated object position of the object in the three-dimensional space; Control means for controlling the operation of the image acquisition device or the corresponding image processing means according to the identified object state.
  • a plurality of components are formed as a single member, and a single component is formed of a plurality of members. It may be that a certain component is a part of another component, a part of a certain component overlaps with a part of another component, or the like.
  • the plurality of procedures of the method and computer program of the present invention are not limited to being executed at different timings. For this reason, another procedure may occur during the execution of a certain procedure, or some or all of the execution timing of a certain procedure and the execution timing of another procedure may overlap.
  • a control device a control method, a program, and a position estimation system that can reduce power consumption of a camera or the like while maintaining position estimation accuracy are provided.
  • FIG. 1 is a functional block diagram showing a configuration of a position estimation system 1 according to an embodiment of the present invention.
  • the position estimation system 1 according to the embodiment of the present invention captures a three-dimensional space with a camera, estimates the position of an object existing in the three-dimensional space, and obtains position information of the object in the three-dimensional space. .
  • the position estimation system 1 may be used to detect intruders, detect suspicious persons, detect leaving of suspicious objects, detect removal of luggage, detect detection of gates, or detect congestion and queues in the surveillance field that requires camera control. It can be applied to uses such as a device or a function for performing the above. Further, the position estimation system 1 can be applied to applications such as a device or a function for performing flow line analysis and behavior analysis in the marketing field.
  • the control apparatus (data processing apparatus 100) according to the embodiment of the present invention is configured such that the position, speed, movement, number of persons, the relationship between the camera position and the object position, or the camera view and the object position in the three-dimensional space.
  • the camera is controlled based on the relationship. For example, a region likely to be crowded is predicted from the relationship between the positions, speeds, movements, etc. of objects, and control is performed based on the region information.
  • a position estimation system 1 is an image acquisition device 10 and an image that performs image processing on an image acquired from the image acquisition device 10 and acquires object information on the image.
  • the object position estimating unit 104 that estimates the object position of the object in the three-dimensional space by associating the processing unit 102 with the object information on the obtained image and the target three-dimensional space imaged by the image acquisition device 10.
  • the object state specifying unit 106 that specifies the object state of the object in the three-dimensional space, the image acquisition device 10 according to the specified object state, and And a power control unit 108 that controls the operation of the corresponding image processing unit 102.
  • the position estimation system 1 of the present embodiment acquires a first image acquisition device 10a, a second image acquisition device 10b,..., An nth image acquisition that acquires an image from a moving image captured by a camera or the like.
  • the apparatus 10c is composed of a total of a plurality of n image acquisition devices (referred to as the image acquisition device 10 if no distinction is required), a data processing device 100 that operates under program control, and a storage device 120. Has been.
  • the image acquisition device 10 may be provided as a partial function of, for example, a video camera, a digital camera, a video capture, a video recorder, or a video player, and acquires a still image from a captured moving image. For example, when there is an obstacle that obstructs the field of view, the image acquisition device 10 is arranged so that the back side of the obstacle can also be photographed.
  • the image acquisition device 10 necessary for position estimation is selectively controlled according to changes in the situation (object state) of the shooting location.
  • the image acquisition device 10 capable of position estimation varies depending on the accuracy level of position estimation. In operation, it can be determined so that a predetermined reference level can be achieved in accordance with a user's request or the like.
  • the data processing apparatus 100 includes a first image processing unit 102a, a second image processing unit 102b,..., An nth image processing unit 102c (referred to as an “image processing unit 102” if it is not necessary to distinguish between them). And an object position estimating unit 104, an object state specifying unit 106, and a power control unit 108.
  • each component of the data processing apparatus 100 of this embodiment includes a CPU 52, a camera control program 72 that implements the components of the data processing apparatus 100 read from the recording medium 70, and various programs and data.
  • ROM 54 for storing the memory
  • RAM 56 including a work area for executing the camera control program 72 and the like
  • a network connection or various input / output interface I / O 58 The It will be understood by those skilled in the art that there are various modifications to the implementation method and apparatus.
  • Each drawing described in the present embodiment shows a functional unit block, not a hardware unit configuration. In each figure, the configuration of parts not related to the essence of the present invention is omitted and not shown.
  • the computer 50 can be, for example, a general-purpose personal computer, a computer device corresponding to them, or a dedicated computer device. Alternatively, the computer 50 may be an IC chip dedicated to image processing or may be included in another device.
  • the CPU 52 of the computer 50 reads out and executes the camera control program 72 stored in the ROM 54, whereby each function of each unit of the present embodiment can be realized.
  • the computer 50 is connected to the first camera 10a, the second camera 10b,..., The n-th camera 10c, and the storage device 120 of FIG.
  • the CPU 52, ROM 54, RAM 56, and I / O 58 are connected to each other via a bus 60.
  • the CPU 52 controls each component of the computer 50 via the bus 60.
  • the computer program (camera control program 72) performs a procedure for performing image processing on an image acquired from the image acquisition device 10 and acquiring object information on the image, respectively,
  • the object information of the image and the 3D space of the target captured by the image acquisition device 10 are associated with each other to estimate the object position of the object in the 3D space, and to the estimated object position of the object in the 3D space.
  • the computer program (camera control program 72) of the present embodiment may be recorded on a recording medium 70 readable by the computer 50.
  • the recording medium 70 is not particularly limited, and various forms can be considered.
  • a magnetic disk or a semiconductor memory can be used.
  • the program 72 may be loaded from the recording medium 70 into the ROM 54 of the computer 50, or may be downloaded to the computer 50 through a network (not shown) and loaded into the ROM 54.
  • the data processing apparatus 100 can also be realized by causing a computer to execute the computer program of the present invention.
  • the storage device 120 includes a camera parameter storage unit 124 and a view information storage unit 122.
  • the camera parameter storage unit 124 stores camera parameters corresponding to each image acquisition device 10.
  • the camera parameters are obtained by associating the two-dimensional coordinates with the three-dimensional coordinates.
  • the camera parameters are parameters for converting the two-dimensional coordinates of the image acquired from the image acquisition device 10 and the three-dimensional coordinates of the three-dimensional space.
  • the camera parameters are internal or external parameters, camera postures (camera Direction and position), the distortion coefficient of the lens, the focal length, the position of the optical axis on the image, the three-dimensional position of the image acquisition device 10, the orientation of the image acquisition device 10, and the like.
  • the view information storage unit 122 stores the range of view of each image acquisition device 10 in the actual three-dimensional space to be imaged. That is, it stores which direction and which range in the three-dimensional space each image acquisition device 10 is taking as a field of view.
  • the range and direction of the field of view of the image acquisition device 10 may be fixed, or may be variable within a controllable range such as swinging and zooming.
  • the visual field information storage unit 122 may store a variable range of visual field.
  • the image processing unit 102 may acquire the current camera orientation, zoom magnification, and the like from the image acquisition device 10 and record them in the view information storage unit 122.
  • the first image processing unit 102a to the n-th image processing unit 102c acquire each image from the corresponding first image acquisition device 10a to n-th image acquisition device 10c, respectively, perform image processing on the acquired image, Get object information.
  • the connection between the image acquisition device 10 and the image processing unit 102 is not particularly limited, and various interfaces can be considered.
  • the image processing unit 102 performs image processing on the image using, for example, a background difference method, an interframe difference method, an object detection method using a posteriori probability, and acquires an object region on the image.
  • the image processing unit 102 performs image processing such as face detection, person detection, or vehicle detection on the image to acquire object information on the image.
  • the object information includes, for example, object region information on the image and object position information on the image.
  • the object position estimation unit 104 stores the object information on the image obtained from the first image processing unit 102a, the second image processing unit 102b,..., The nth image processing unit 102c, and the camera parameter storage unit 124.
  • the position of the object in the three-dimensional space is estimated by associating the object information on the plurality of images with the three-dimensional space using the camera parameter corresponding to each image acquisition device 10.
  • the object region on the image corresponding to each image acquisition device 10 is projected onto the three-dimensional space using the camera parameters, and the three-dimensional structure of the object with respect to the three-dimensional space is generated by the visual volume intersection method.
  • Estimate the position of an object in space For example, the object position estimation unit 104 projects the object position on the image corresponding to each image acquisition device 10 on the three-dimensional space using the camera parameters, and integrates the projected positions on the three-dimensional space. Estimate the position of the object.
  • the position of the object to be estimated is, for example, a position on a plane or a map.
  • the object state specifying unit 106 specifies an object state that can contribute to power saving based on the estimated object position in the three-dimensional space.
  • the object state of the object includes the number of objects, the positional relationship between the objects, the positional relationship between the object and the camera, the moving direction or moving amount of the object, and a specific object motion.
  • the positional relationship between objects can be shown, for example, as a dense state of objects.
  • the object state specifying unit 106 can specify an area in which the objects are in a dense state.
  • the object state that can contribute to power saving will be described in detail in an embodiment described later, but various states are assumed, and the operation of the image processing unit 102 corresponding to the image acquisition device 10 is controlled according to the object state. This is a state that can contribute to power saving.
  • the power control unit 108 individually controls each image acquisition device 10 and the image processing unit 102 associated therewith according to the object state specified by the object state specifying unit 106.
  • the power control unit 108 can individually control the operation of the image acquisition device 10 and the corresponding image processing unit 102, such as operation or stop, and the processing speed, for example, the frame rate of the image processing, for each device. .
  • control according to the object state becomes possible.
  • various kinds of information of the image processing unit 102 corresponding to each image acquisition device 10 are stored in the storage device 120 in advance. Based on these pieces of information, the image processing unit 102 corresponding to the image acquisition device 10 can be appropriately selected and controlled.
  • the power control unit 108 individually controls operations such as activation and stop of each image acquisition device 10 and the corresponding image processing unit 102, processing speed (frame rate), and the like, thereby reducing power consumption of the position estimation system 1.
  • both the image acquisition device 10 and the corresponding image processing unit 102 are controlled at the same time, but the present invention is not limited to this.
  • the operation of only one of the image acquisition device 10 and the corresponding image processing unit 102 may be controlled in consideration of the power saving efficiency associated with the operation control.
  • FIG. 2 is a flowchart showing an example of the operation of the position estimation system 1 of the present embodiment. Hereinafter, description will be made with reference to FIGS. 1 and 2.
  • the control device obtains object information on the image by performing image processing on the image obtained from the image obtaining device 10 (step S103).
  • the object information on the obtained image is associated with the three-dimensional space of the target imaged by the image acquisition device to estimate the object position of the object on the three-dimensional space (step S105), and on the estimated three-dimensional space Based on the object position of the object, the object state of the object in the three-dimensional space is specified (step S107), and the operation of the image acquisition device 10 or the corresponding image processing unit 102 is controlled according to the specified object state (step S107).
  • Step S109 the control device
  • the position estimation system 1 of the present embodiment operates as follows. First, the first image acquisition device 10a, the second image acquisition device 10b,..., The nth image acquisition device 10c acquire an image from a moving image or the like, and the first image acquisition device 10a and the second image acquisition device 10b. ,..., The corresponding first image processing unit 102a, second image processing unit 102b,..., And nth image processing unit 102c respectively acquire each image from the n-th image acquisition device 10c (step S101). Each image processing unit 102 performs image processing on the acquired image to acquire object information on the image (object region information on the image and object position information on the image) (step S103).
  • the object position estimation unit 104 stores the object information on each image (object area information on the image and object position information on the image) obtained from each image processing unit 102 and the camera parameter storage unit 124.
  • the position of the object in the three-dimensional space is estimated by associating the object information on the plurality of images with the three-dimensional space using the camera parameters corresponding to each image acquisition device 10 (step S105).
  • the object state identification unit 106 can contribute to power saving from the estimated object position in the three-dimensional space (the number of objects, the positional relationship between objects, the positional relationship between the object and the camera, the moving direction of the object, or A movement amount, a specific object motion, etc.) are specified (step S107).
  • the power control unit 108 individually controls operation states such as operation, stop, and processing speed (frame rate) of each image acquisition device 10 and the image processing unit 102 associated therewith. As described above, power saving control is performed according to the specified object state in the three-dimensional space (step S109).
  • step S109 After the process of step S109 is completed, the process returns to step S101 to continue this process.
  • each image acquisition device 10 and each image processing unit 102 associated therewith operate according to the control of the power control unit 108.
  • the position estimation system 1 of the present embodiment it is possible to reduce the power consumption of the image acquisition device 10 and the like while maintaining the position estimation accuracy in the position estimation system 1.
  • the reason is that the operation of the image acquisition device 10 and the corresponding image processing unit 102 can be controlled so that the object state can be specified from the estimated object position and the position can be estimated according to the object state. For example, since the operation such as activation or stop of the image acquisition device 10 and the corresponding image processing unit 102 and the processing speed can be individually controlled according to the object state, the necessary image acquisition device 10 and the corresponding image processing unit can be controlled. Since only the image processing apparatus 102 can be operated and the unnecessary image acquisition apparatus 10 and the corresponding image processing unit 102 can be stopped, unnecessary power consumption can be omitted.
  • FIG. 4 is a functional block diagram showing a main configuration of the data processing device 100 of the position estimation system 1 according to the embodiment of the present invention.
  • the data processing apparatus 100 of this embodiment is different from the above-described embodiment in that the image acquisition apparatus 10 suitable for the object state is extracted based on the object state of the object specified by the object state specifying unit 106, and the image acquisition apparatus 10 and The difference is that the corresponding image processing unit 102 can be controlled.
  • the data processing apparatus 100 of this embodiment further includes an extraction unit 130 in addition to the configuration of the above embodiment.
  • the extraction unit 130 extracts the image acquisition device 10 suitable for the object state based on the object state of the object specified by the object state specifying unit 106.
  • the image acquisition device 10 suitable for the object state is an image acquisition device 10 that is required to maintain a predetermined position estimation accuracy of the object under the object state.
  • the pattern of the image acquisition apparatus 10 which becomes object according to various object states can be considered.
  • the extraction unit 130 extracts an appropriate image acquisition device 10 based on the field of view range so that the position of the object can be estimated according to the object state.
  • the extraction unit 130 performs extraction as a device that operates all the image acquisition devices 10 and the image processing unit 102 associated therewith.
  • the extraction unit 130 includes the minimum number of image acquisition devices 10 necessary for position estimation installed at a position overlooking the target three-dimensional space so that the next state can be determined, and the image processing unit 102 associated therewith. Is extracted as a device suitable for the object state.
  • the extraction unit 130 refers to the field of view information storage unit 122, extracts the image acquisition device 10 having a dense area as the field of view, and extracts the extracted image acquisition device 10 and the image processing unit 102 associated therewith as an object. Extract as a device suitable for the condition.
  • the extraction unit 130 extracts an existing position or region of an object moving at a predetermined movement speed in accordance with the movement speed (movement amount per unit time) of the object in the three-dimensional space. Then, the extraction unit 130 refers to the view information storage unit 122, extracts the image acquisition device 10 that uses the extracted region as the view, and moves the extracted image acquisition device 10 and the image processing unit 102 associated therewith to the object state. Extract as a suitable device.
  • the power control unit 108 controls the image acquisition device 10 extracted by the extraction unit 130 and the corresponding image processing unit 102 so as to perform an operation suitable for the object state.
  • the control for each object state will be described in detail in an embodiment described later.
  • FIG. 5 is a functional block diagram showing a main configuration of the data processing device 100 of the position estimation system 1 according to the embodiment of the present invention.
  • the position estimation system 1 of this embodiment is different from the above embodiment in that the object state specifying unit specifies the number of objects in the three-dimensional space as the object state, and the image acquisition device 10 and the corresponding image are based on the number of objects.
  • the difference is that the processing unit 102 is controlled.
  • the position estimation system 1 of the present embodiment includes an image processing unit 102 similar to that of the embodiment of FIG. 1, an object position estimation unit 104, a storage device 120, and an extraction unit 130 similar to the embodiment of FIG.
  • an object state specifying unit 206 and a power control unit 208 are further provided.
  • the object state specifying unit 206 includes an object number specifying unit 210.
  • the object number specifying unit 210 specifies the presence state of the object in the target three-dimensional space as the object state.
  • the extraction unit 130 extracts the image acquisition device 10 suitable for the presence state (less than the predetermined number or more than the predetermined number) of the object specified by the object number specifying unit 210.
  • the power control unit 208 controls the image acquisition device 10 extracted by the extraction unit 130 and the corresponding image processing unit 102 so as to perform an operation suitable for the presence state of the object.
  • the object number specifying unit 210 acquires, as the object state, the number of objects that contribute to power saving control (existing state) based on the target object position in the three-dimensional space obtained from the object position estimating unit 104. To do. For example, when the number of objects is small, the possibility of occlusion (hidden objects) is reduced, so that position estimation with a small number of image acquisition devices 10 is possible.
  • the existence density of the objects is lower than the target three-dimensional space.
  • the state “the number of objects is small” can be detected from the number of objects obtained by the object number specifying unit 210.
  • the extraction unit 130 includes the minimum number of image acquisition devices 10 necessary for position estimation installed in a position where the target three-dimensional space can be looked over so that the next state can be determined and the image processing unit 102 associated therewith. Extract as a device suitable for the object state. Then, the extraction unit 130 causes the power control unit 208 to control all the image acquisition devices 10 and the image processing unit 102 associated therewith. In the present embodiment, for example, by performing control such as operating two image acquisition devices 10 and the like in the target three-dimensional space, the accuracy of position estimation is maintained while reducing power consumption.
  • the existence density of the objects becomes higher than the target three-dimensional space.
  • the state “the number of objects is not small (large)” can be detected from the number of objects obtained by the object number identification unit 210.
  • the extraction unit 130 performs extraction as a device that operates all the image acquisition devices 10 and the image processing unit 102 associated therewith. Then, the extraction unit 130 causes the power control unit 208 to control all the image acquisition devices 10 and the image processing unit 102 associated therewith.
  • the power control unit 208 individually controls states such as operation, stop, processing speed (frame rate), etc. of each image acquisition device 10 and the image processing unit 102 associated therewith. Power-saving control according to
  • FIG. 6 is a flowchart showing an example of the operation of the position estimation system 1 according to the embodiment of the present invention.
  • a procedure of power control processing by the power control unit 208 in the position estimation system 1 will be described.
  • This power control process is a detailed procedure of the process of step S109 in the above embodiment of FIG.
  • a description will be given with reference to FIGS. 5 and 6.
  • the object number specifying unit 210 specifies the number of objects that contribute to power saving control from the object position in the three-dimensional space as an object state (step S201). . Then, the extraction unit 130 determines whether the obtained number of objects is less than a predetermined number (step S203). If the number of objects is large (No in step S203), the extraction unit 130 extracts all the image acquisition devices 10, and the power control unit 208 extracts all the image acquisition devices 10 extracted by the extraction unit 130 and Control is performed so as to activate the accompanying image processing unit 102 (step S207), and this process ends.
  • the extraction unit 130 extracts the minimum number of image acquisition devices 10 whose positions can be estimated with respect to the target three-dimensional space, and the power control unit 208 includes the extraction unit.
  • the image acquisition device 10 extracted by the control unit 130 and the image processing unit 102 associated therewith are controlled to operate (step S205), and this process ends.
  • the position estimation system 1 As described above, according to the position estimation system 1 according to the embodiment of the present invention, a plurality of image acquisition devices that have the same effect as the above embodiment and are used for position estimation of an object in a three-dimensional space. 10, the power consumption of the image acquisition device 10 and the like can be reduced while maintaining the position estimation accuracy by considering the occlusion state of the object (the hidden state between the objects).
  • FIG. 7 is a functional block diagram showing a main configuration of the data processing device 100 of the position estimation system 1 according to the embodiment of the present invention.
  • the position estimation system 1 of the present embodiment is different from the above-described embodiment in that the object state specifying unit specifies the region indicating the dense state of the object together with the number of objects in the three-dimensional space as the object state and has the dense region as a field of view. The difference is that the image acquisition device 10 and the corresponding image processing unit 102 are controlled to operate.
  • the position estimation system 1 of the present embodiment includes an image processing unit 102 similar to that of the embodiment of FIG. 1, an object position estimation unit 104, a storage device 120, and an extraction unit 130 similar to the embodiment of FIG. In addition, an object state specifying unit 306 and a power control unit 308 are further provided.
  • the object state specifying unit 306 includes an object number specifying unit 210 similar to that in the embodiment of FIG. 5 and an object dense region specifying unit 312.
  • the object dense area specifying unit 312 detects the dense state of objects in the target three-dimensional space, specifies the area in the dense state, and sets it as the object state.
  • the object dense area specifying unit 312 specifies an area where the number of objects is larger than a predetermined number or larger than a predetermined ratio as a dense area in a three-dimensional space. To do.
  • the object dense area specifying unit 312 can specify a dense area by predicting a state where objects are likely to be dense in a three-dimensional space.
  • the extraction unit 130 extracts the image acquisition apparatus 10 that has, as a field of view, the dense state region of the object specified by the object dense region specifying unit 312.
  • the power control unit 308 controls the image acquisition device 10 extracted by the extraction unit 130 and the corresponding image processing unit 102 so as to perform an operation according to the dense state of the object.
  • the object dense area specifying unit 312 is based on the object position obtained from the object position estimation unit 104, and a plurality of objects are densely gathered at the object position in the three-dimensional space. An area that is likely to be crowded (crowded area) is identified as an object state.
  • the dense state region can include, for example, a region that is denser or more likely to be denser than a predetermined ratio. Areas that are likely to be dense may include, for example, areas that are likely to be dense or areas that are expected to be dense.
  • the extraction unit 130 extracts the image acquisition device 10 having the dense area as the field of view from the view information storage unit 122, and the power control unit 308 includes the extracted image acquisition device 10 and the image processing unit 102 associated therewith. It is controlled to be additionally operated, and the position estimation accuracy is maintained while reducing power consumption as much as possible.
  • Unit 210 specifies the number of objects.
  • the object dense area specifying unit 312 specifies an area (dense area) in a three-dimensional space where objects are close to each other in the target three-dimensional space and are likely to be dense.
  • the extraction unit 130 detects from the number of objects and the dense area that the number of objects is small with respect to the target three-dimensional space and that the objects are densely or partly dense. In this case, the presence density of the object is high with respect to the dense area, and there is a high possibility that a person in the dense area overlaps with the image acquisition apparatus 10 (the possibility of occurrence of occlusion increases).
  • the extraction unit 130 refers to the view information storage unit 122 of the storage device 120 and extracts the image acquisition device 10 having a dense area as a view. Then, the extraction unit 130 causes the power control unit 308 to control the operations of the extracted image acquisition device 10 and the image processing unit 102.
  • the power control unit 308 controls the extracted image acquisition apparatus 10 and the image processing unit 102 associated therewith to be additionally operated.
  • the power control unit 308 individually determines states such as operation, stop, processing speed (frame rate), etc. of each image acquisition device 10 and the image processing unit 102 associated therewith based on the obtained object state. To control power saving according to the object state.
  • FIG. 8 is a flowchart showing an example of the operation of the position estimation system 1 according to the embodiment of the present invention.
  • a procedure of power control processing by the power control unit 308 in the position estimation system 1 will be described.
  • This power control process is a detailed procedure of the process of step S109 in the above embodiment of FIG.
  • a description will be given with reference to FIGS.
  • the power control process in FIG. 8 includes steps S201 to S207 similar to those in the flowchart of the above-described embodiment in FIG. Then, when the number of objects in the three-dimensional space is small (YES in step S203), after controlling to operate the minimum number of image acquisition devices 10 and the corresponding image processing unit 102 capable of position estimation in step S205, The process after step S213 is performed.
  • the object dense area specifying unit 312 specifies, as an object state, an area (dense area) in which a plurality of objects are dense or a plurality of objects are likely to be dense at an object position in a three-dimensional space (Ste S213). Then, the extraction unit 130 determines whether a dense area has been acquired (step S215).
  • step S215 If the dense area has not been acquired (No in step S215), this process ends. On the other hand, when the dense area has been acquired (Yes in step S215), the extraction unit 130 extracts the image acquisition device 10 having the dense area as the view from the view information storage unit 122, and the power control unit 308 performs the extraction. The image acquisition apparatus 10 and the image processing unit 102 associated therewith are controlled to be additionally operated (step S217). After the control, this process is terminated.
  • the useless image acquisition device 10 or the image processing unit 102 associated therewith can be stopped, as in the above embodiment, and Since the image acquisition device 10 or the image processing unit 102 associated therewith can be additionally operated on a region where the position estimation accuracy decreases due to occurrence of occlusion, the image acquisition device 10 is maintained while maintaining the position estimation accuracy.
  • the power consumption can be reduced.
  • the object state specifying unit 306 includes the object number specifying unit 210 of the above-described embodiment of FIG. 5, but is not limited thereto.
  • the object state specifying unit 306 may include only the object dense region specifying unit 312. In that case, the power control process of FIG. 8 does not include steps S201 to S207.
  • FIG. 9 is a functional block diagram showing a main configuration of the data processing device 100 of the position estimation system 1 according to the embodiment of the present invention.
  • the position estimation system 1 of the present embodiment is different from the above embodiment in that the object state specifying unit specifies an area where the object state in the three-dimensional space satisfies the predetermined condition as the object state, and has the area as a field of view. The difference is that the image acquisition device 10 and the corresponding image processing unit 102 are controlled to operate.
  • the position estimation system 1 of the present embodiment includes an image processing unit 102 similar to that of the embodiment of FIG. 1, an object position estimation unit 104, a storage device 120, and an extraction unit 130 similar to the embodiment of FIG. In addition, an object state specifying unit 406 and a power control unit 408 are further provided.
  • the present embodiment may further include a configuration similar to the above-described embodiment described with reference to FIG. 5 or FIG.
  • the object state specifying unit 306 in FIG. 7 may be included.
  • the power control process includes steps similar to those in FIG.
  • the object state specifying unit 406 includes an activity amount specifying unit 410.
  • the activity amount specifying unit 410 specifies the activity amount of the object as the object state in the field of view of each image acquisition device 10 in the target three-dimensional space.
  • the power control unit 408 operates each image acquisition device 10 and the corresponding image processing unit 102 at a processing speed corresponding to the activity amount of the object in the field of view of each image acquisition device 10 specified by the activity amount specification unit 410. Control to do.
  • the activity amount specifying unit 410 calculates a movement amount (for example, a motion vector) between the frames of each object through tracking processing or the like from the object position in the target three-dimensional space, and the target three-dimensional space.
  • the amount of movement at the upper position is acquired as the object state.
  • the image acquisition means that uses that position as the field of view does not need to frequently acquire image information. Therefore, the image acquisition device 10 that is filled with a position in the three-dimensional space where the entire visual field becomes a small movement amount and the image processing unit 102 that accompanies the image acquisition device 10 can be driven at a low frame rate, thereby reducing power consumption. It can be carried out.
  • the activity amount specifying unit 410 calculates the amount of movement (activity amount) at the obtained position in the three-dimensional space, the field of view of the image acquisition device 10 stored in the field of view information storage unit 122, and the position in the three-dimensional space. From the relationship, the largest amount of movement (activity amount) per unit time in the field of view of each image acquisition device 10 is extracted.
  • the maximum movement amount (activity amount) is extracted from the field of view of each image acquisition device 10, but the present invention is not limited to this. For example, you may extract the average value of the movement amount (activity amount) for every predetermined period.
  • the power control unit 408 individually controls each image acquisition device 10 and the image processing unit 102 associated therewith so as to operate at a processing speed suitable for the maximum amount of movement (activity amount) obtained. Power-saving control according to
  • the power control unit 408 controls the frame rate (processing speed) of each image acquisition device 10 and the image processing unit 102 associated therewith according to the movement amount (activity amount) extracted by the activity amount specifying unit 410. For example, the power control unit 408 is driven at a lower frame rate as the extracted movement amount (activity amount) becomes smaller. This is because when the extracted movement amount (activity amount) becomes small, the activity or movement of an object in the field of view becomes small, so it is not necessary to frequently acquire image information, and it can be driven at a low frame rate. Because it can.
  • the correspondence between the movement amount (activity amount) and the frame rate may be determined in advance, or the frame rate may be calculated in proportion to the movement amount (activity amount), and various methods are conceivable. .
  • the extraction unit 130 determines that the maximum movement amount (activity amount) is a predetermined movement based on the maximum movement amount (activity amount) of an object in the field of view of each image acquisition device 10 acquired by the activity amount specifying unit 410.
  • the image acquisition device 10 having the amount (activity amount) or less is extracted, and the power control unit 408 drives the processing speed of the image processing unit 102 corresponding to the extracted image acquisition device 10 at a predetermined low frame rate. Also good.
  • FIG. 10 is a flowchart showing an example of the operation of the position estimation system 1 according to the embodiment of the present invention.
  • a procedure of power control processing by the power control unit 408 in the position estimation system 1 will be described.
  • This power control process is a detailed procedure of the process of step S109 in the above embodiment of FIG.
  • description will be made with reference to FIGS. 9 and 10.
  • the activity amount specifying unit 410 calculates a movement amount (motion vector) between frames of each object through a tracking process or the like from the object position in the target three-dimensional space, and moves the target at the position in the three-dimensional space.
  • the amount (activity amount) is specified as the object state (step S301).
  • the extracting unit 130 then obtains the activity amount at the position in the three-dimensional space obtained from the activity amount specifying unit 410, the field of view of the image acquisition device 10 stored in the field of view information storage unit 122, and the position in the three-dimensional space. Therefore, the largest amount of activity in the field of view in each image acquisition device 10 is extracted (step S303).
  • the power control unit 408 controls the frame rate (processing speed) of each image acquisition device 10 and the image processing unit 102 associated therewith in accordance with the extracted maximum amount of activity (step S305).
  • the power control unit 408 is driven at a lower frame rate as the extracted maximum amount of activity decreases. After the control in step S305 is finished, this process is finished.
  • the amount of movement (activity) at the position of the target in the three-dimensional space was not detected in the field of view of all the image acquisition devices 10, and the object position did not exist in the target three-dimensional space.
  • the image acquisition apparatus 10 having a field of view with respect to the intrusion place of the object into the target three-dimensional space and the image processing unit 102 associated therewith are driven at a low frame rate, and the other image acquisition apparatus 10 and the associated image acquisition apparatus The image processing unit 102 to be stopped may be stopped. Thereby, further reduction of power consumption is expected.
  • the operation in this case is as shown in FIG.
  • the power control process of the power control unit 408 includes steps S311 and S313 in addition to steps S301 to S305 in the flowchart of FIG.
  • the extraction unit 130 determines whether an object (object position) exists in the target three-dimensional space (step S311). If an object exists (YES in step S311), the process proceeds to step S301, and the same processing as in FIG. 10 is performed.
  • the extraction unit 130 refers to the view information storage unit 122, and has an image acquisition device that has a view with respect to the place where the object enters the target three-dimensional space. 10 is extracted. Then, the power control unit 408 operates only the extracted image acquisition device 10 and the corresponding image processing unit 102 at the minimum processing speed, and stops other image acquisition devices 10 and the corresponding image processing units 102. Are individually controlled (step S313).
  • the position estimation system 1 when there is little activity or movement of an object and it is not necessary to frequently acquire image information, the image acquisition device 10 that deserves that state or By driving the image processing unit 102 at a reduced frame rate, unnecessary processing can be omitted, so that power consumption of the image acquisition device 10 and the like can be reduced while maintaining position estimation accuracy.
  • the position estimation system 1 is configured to include the plurality of image acquisition devices 10, but is not limited thereto.
  • the three-dimensional position of the person is estimated by using camera parameters such as the camera posture. be able to.
  • at least one image acquisition device 10 may be provided.
  • position estimation is performed by controlling the operation state of each camera or the like according to the state of the object obtained from the estimated object position.
  • Position estimation system capable of reducing power consumption of a camera or the like while maintaining accuracy, camera control device used in the system, method for controlling the camera control device, and computer program for causing a computer to implement the camera control device Is provided.
  • a control device that controls the image acquisition device and the image processing device that performs image processing on the image acquired from the image acquisition device, Apply image processing to the image acquired from the image acquisition device to acquire object information on the image, Associating the object information on the obtained image with the target three-dimensional space imaged by the image acquisition device, estimating the object position of the object on the three-dimensional space, Identifying the object state of the object in the three-dimensional space based on the estimated object position of the object in the three-dimensional space; A control method for controlling an operation of the image acquisition device or the corresponding image processing device according to the identified object state.
  • the control device is Based on the object state of the identified object, extract the image acquisition device suitable for the object state, A control method for controlling the extracted image acquisition device or the corresponding image processing device to perform an operation suitable for the object state.
  • the control device is Specifying the presence state of the object in the target three-dimensional space as the object state; Extracting the image acquisition device suitable for the presence state of the identified object; A control method for controlling the extracted image acquisition device or the corresponding image processing device to perform an operation suitable for the presence state of the object.
  • the control device is Detecting the dense state of the object in the three-dimensional space of the target, specifying the dense state region as the object state; Extracting the image acquisition device having the dense region of the identified object as a field of view; A control method for controlling the extracted image acquisition device or the corresponding image processing device to perform an operation according to the dense state of the object.
  • the control device is Based on the estimated object position of the object, the activity amount of the object is identified as the object state in the field of view of the image acquisition device in the target three-dimensional space, A control method for controlling the image acquisition device or the corresponding image processing device to operate at a processing speed according to the amount of activity of the object in the field of view of the identified image acquisition device.
  • the control device is A control method for controlling to operate the image acquisition device or the corresponding image processing device at a processing speed suitable for the maximum value of the activity amount of the identified object.
  • the control device is When an object position cannot be obtained on the target three-dimensional space, an image acquisition device having a field of view with respect to the intrusion location of the object into the target three-dimensional space is extracted; A control method for controlling only the extracted image acquisition device or the corresponding image processing device to operate at a minimum processing speed and to stop other image acquisition devices or the corresponding image processing devices.
  • Appendix 8 A computer that realizes a control device that controls an image acquisition device and an image processing device that performs image processing on an image acquired from the image acquisition device; A procedure for performing object processing on each image acquired from the image acquisition device and acquiring object information on the image, A procedure for estimating the object position of the object in the three-dimensional space by associating the object information on the obtained image with the target three-dimensional space imaged by the image acquisition device; Identifying an object state of the object in the three-dimensional space based on the estimated object position of the object in the three-dimensional space; The program for performing the procedure which controls operation
  • Appendix 9 In the program described in Appendix 8, A procedure for extracting the image acquisition device suitable for the object state based on the object state of the object specified in the procedure for specifying the object state; A program for causing a computer to further execute a procedure for controlling the extracted image acquisition device or the corresponding image processing device to perform an operation suitable for the object state.
  • Appendix 10 In the procedure of specifying the object state, the presence state of the object in the target three-dimensional space is specified as the object state, A procedure for extracting the image acquisition device suitable for the presence state of the object identified in the procedure for identifying the object state; A program for causing a computer to further execute a procedure for controlling the extracted image acquisition device or the corresponding image processing device to perform an operation suitable for the presence state of the object.
  • Appendix 11 In the program described in Appendix 9 or 10, In the procedure for identifying the object state, the dense state of the object in the three-dimensional space of the target is detected, the region of the dense state is identified and the object state is set, A procedure for extracting the image acquisition device having, as a field of view, the dense state region of the object identified in the procedure for identifying the object state; A program for causing a computer to further execute a procedure for controlling the extracted image acquisition device or the corresponding image processing device to perform an operation according to the dense state of the object.
  • Appendix 12 In the program according to any one of appendices 9 to 11, Based on the object position of the object estimated in the procedure of estimating the object position in the procedure of specifying the object state, the activity amount of the object in the field of view of the image acquisition device in the three-dimensional space of the target is Identified as an object state, The image acquisition device or the corresponding image processing device is controlled to operate at a processing speed corresponding to the amount of activity of the object in the field of view of the image acquisition device specified by the procedure for specifying the object state.
  • An image acquisition device An image acquisition device; Image processing means for performing image processing on the image acquired from the image acquisition device to acquire object information on the image; Object position estimation means for estimating the object position of the object in the three-dimensional space by associating the object information on the obtained image with the three-dimensional space of the target imaged by the image acquisition device; Object state specifying means for specifying an object state of the object in the three-dimensional space based on the estimated object position of the object in the three-dimensional space; A position estimation system comprising: control means for controlling the operation of the image acquisition device or the corresponding image processing means in accordance with the identified object state.
  • the object state specifying means detects a dense state of the object in the target three-dimensional space, specifies an area of the dense state, and sets the object state.
  • the extraction means extracts the image acquisition device having, as a field of view, the dense state area of the object specified by the object state specifying means,
  • the position estimation system in which the control means controls the image acquisition device extracted by the extraction means or the corresponding image processing means to perform an operation according to the dense state of the object.
  • the object state specifying unit specifies an activity amount of an object as the object state in the field of view of the image acquisition device in the target three-dimensional space based on the object position of the object estimated by the object position estimating unit.
  • the control means operates the image acquisition apparatus or the corresponding image processing means at a processing speed according to the activity amount of the object in the field of view of the image acquisition apparatus specified by the object state specifying means. Position estimation system to control.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　データ処理装置（１００）は、画像取得装置（１０）から取得した画像に画像処理を施して画像上の物体情報を取得する画像処理部（１０２）と、得られた画像上の物体情報と、画像取得装置（１０）が撮像した対象の３次元空間とを対応させて、３次元空間上の物体の物体位置を推定する物体位置推定部（１０４）と、推定された３次元空間上の物体の物体位置に基づき、３次元空間上の物体の物体状態を特定する物体状態特定部（１０６）と、特定した物体状態に応じて、画像取得装置（１０）および対応する画像処理部（１０２）の動作を制御する電力制御部（１０８）と、を備える。

Description

制御装置、制御方法、プログラム、および位置推定システム
　本発明は、制御装置、制御方法、プログラム、および位置推定システムに関し、特に、３次元空間上の物体を撮像する複数のカメラを制御する制御装置、制御方法、プログラム、および位置推定システムに関する。
　３次元空間上の物体を撮像し、３次元空間上の物体の位置推定に用いるこの種のカメラ制御装置、方法、および、プログラムは、監視やマーケティング等の分野で用いられる。このようなカメラ制御装置（電源制御装置）の一例が、特許文献１（特開２００１－１５９９３５号公報）に記載されている。
　この特許文献１に記載された装置は、所定の日付および時刻に応じて複数の被電源制御装置（カメラ等）に対する電源の投入と切断を制御する装置である。まず、複数の被電源制御装置（カメラ等）の電源の投入と切断を制御する電源制御アダプタ装置に対し、コンソール（ＰＣ）からイーサケーブルを通じて、所定の被電源制御装置（カメラ等）、所定の日付と時刻に関する電源の投入または切断の制御命令を発行する。電源制御アダプタ装置は、その制御命令を解読または蓄積し、所定の日付および時刻に基づいて被電源制御装置（カメラ等）の電源投入または切断の処理を行う。この技術を用い、複数のカメラの電源の投入と切断を制御して、比較的対象物体が少ない時間帯にカメラ電源を切断して電力消費を低減させる技術がある（ビル管理等で用いられる）。
　また、特許文献２（特開２００７－２３２５９３号公報）には、物体検出装置の例が記載されている。この特許文献２に記載の物体検出装置は、２次元情報から物体の三次元情報（物体の存在位置）を検出する。複数のカメラを用いて、撮影された各画像の重複領域における物体の三次元情報を取得し、三次元情報と側方撮影画像の非重複領域に基づいて、三次元情報取得後に現れた物体の位置を予測することができる。
　しかしながら、この特許文献１に記載の技術では対象物体が存在しているにもかかわらず、場合によって位置推定できないという問題点があった。その理由は、対象物体の存在にかかわらず、日付と時刻に応じてカメラの電源を切断している為で、カメラが停止している間はカメラ画像が取得できず位置推定できないからである。
　さらに、この特許文献１に記載の技術ではカメラの電源を投入している時間帯において電力消費が低減できないという問題点があった。その理由は、カメラにおいて所定の日付と時間に応じた電源の投入と切断の制御しか行われていないためである。
　このような問題点を解決する技術が特許文献３（特開２０１０－１９９９１１号公報）に記載されている。
　特許文献３には、監視システムの省電力化を行う技術が記載されている。この特許文献３に記載された監視システムは、複数の主従関係にあるカメラと、各カメラへの給電を制御する電源制御装置と、カメラからの映像を受信して監視者に提供する映像監視装置とを備える。そして、主従関係において主側となるカメラからの映像データの分析結果に基づき、指定された事象が検出された場合に、主従関係において従側となるカメラへの給電を開始するよう制御する。このように、指定された事象が検出された場合のみ従側のカメラへの給電を行い、通常は主側のカメラのみで監視を行うことで、省電力化を図っている。
特開２００１－１５９９３５号公報 特開２００７－２３２５９３号公報 特開２０１０－１９９９１１号公報
　上述した特許文献に記載の技術においては、制御対象となるカメラの主従関係が予め決まっているため、省電力モード時には従側のカメラを停止する制御を行うことしか想定されていなかった。そのため、位置推定精度を維持するように、対象の３次元空間の状態変化に応じて物体の位置推定に適した適切なカメラを効率良く制御し、省電力を図ることができないという問題点があった。
　本発明の目的は、上述した課題である位置推定精度を維持するために、状況に応じて適切なカメラを効率良く制御して省電力化を図ることができないという問題点を解決する制御装置、制御方法、プログラム、および位置推定システムを提供することにある。
　本発明の制御装置は、
　画像取得装置から取得した画像に画像処理を施して画像上の物体情報を取得する複数の画像処理手段と、
　得られた前記画像上の前記物体情報と、前記画像取得装置が撮像した対象の３次元空間とを対応させて、前記３次元空間上の物体の物体位置を推定する物体位置推定手段と、
　推定された前記３次元空間上の前記物体の前記物体位置に基づき、前記３次元空間上の前記物体の物体状態を特定する物体状態特定手段と、
　特定した前記物体状態に応じて、前記画像取得装置、または対応する前記画像処理手段の動作を制御する制御手段と、を備える。
　本発明の制御方法は、
　画像取得装置と、前記画像取得装置から取得した画像に画像処理を施す画像処理装置とを制御する制御装置が、
　画像取得装置から取得した画像に画像処理を施して画像上の物体情報を取得し、
　得られた前記画像上の前記物体情報と、前記画像取得装置が撮像した対象の３次元空間とを対応させて、前記３次元空間上の物体の物体位置を推定し、
　推定された前記３次元空間上の前記物体の前記物体位置に基づき、前記３次元空間上の前記物体の物体状態を特定し、
　特定した前記物体状態に応じて、前記画像取得装置または対応する前記画像処理装置の動作を制御する。
　本発明のコンピュータプログラムは、
　画像取得装置と、前記画像取得装置から取得した画像に画像処理を施す画像処理装置とを制御する制御装置を実現するコンピュータに、
　前記画像取得装置から取得した画像にそれぞれ画像処理を施して画像上の物体情報をそれぞれ取得する手順、
　得られた前記画像上の前記物体情報と、前記画像取得装置が撮像した対象の３次元空間とを対応させて、前記３次元空間上の物体の物体位置を推定する手順、
　推定された前記３次元空間上の前記物体の前記物体位置に基づき、前記３次元空間上の前記物体の物体状態を特定する手順、
　特定した前記物体状態に応じて、前記画像取得装置または対応する前記画像処理装置の動作を制御する手順を実行させるためのものである。
　本発明の位置推定システムは、
　画像取得装置と、
　前記画像取得装置から取得した画像に画像処理を施して画像上の物体情報を取得する画像処理手段と、
　得られた前記画像上の前記物体情報と、前記画像取得装置が撮像した対象の３次元空間とを対応させて、前記３次元空間上の物体の物体位置を推定する物体位置推定手段と、
　推定された前記３次元空間上の前記物体の前記物体位置に基づき、前記３次元空間上の前記物体の物体状態を特定する物体状態特定手段と、
　特定した前記物体状態に応じて、前記画像取得装置または対応する前記画像処理手段の動作を制御する制御手段と、を備える。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
　また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
　さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
　本発明によれば、位置推定精度を維持したまま、カメラ等の電力消費を低減できる制御装置、制御方法、プログラム、および位置推定システムが提供される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本発明の実施の形態に係る位置推定システムの構成を示す機能ブロック図である。 本発明の実施の形態に係る位置推定システムの動作を示すフローチャートである。 本発明の実施の形態に係る位置推定システムのデータ処理装置の構成例を示すブロック図である。 本発明の実施の形態に係る位置推定システムのデータ処理装置の要部構成を示す機能ブロック図である。 本発明の実施の形態に係る位置推定システムのデータ処理装置の要部構成を示す機能ブロック図である。 本発明の実施の形態に係る位置推定システムの動作を示すフローチャートである。 本発明の実施の形態に係る位置推定システムのデータ処理装置の要部構成を示す機能ブロック図である。 本発明の実施の形態に係る位置推定システムの動作を示すフローチャートである。 本発明の実施の形態に係る位置推定システムのデータ処理装置の要部構成を示す機能ブロック図である。 本発明の実施の形態に係る位置推定システムの動作を示すフローチャートである。 本発明の実施の形態に係る位置推定システムの動作を示すフローチャートである。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
（第１の実施の形態）
　図１は、本発明の実施の形態に係る位置推定システム１の構成を示す機能ブロック図である。本発明の実施の形態に係る位置推定システム１は、３次元空間をカメラで撮影し、３次元空間に存在する物体の位置を推定し、３次元空間上の物体の位置情報を得るものである。
　たとえば、位置推定システム１は、カメラ制御を必要とする監視分野において、侵入者検出、不審者検出、不審物の置き去り検出、荷物の持ち去り検出、ゲートの共連れ検出、または、混雑および行列検出等を行う装置または機能といった用途に適用できる。また、位置推定システム１は、マーケティング分野において、動線解析、行動解析を行う装置または機能といった用途に適用できる。
　本発明の実施の形態に係る制御装置（データ処理装置１００）は、３次元空間上の物体の位置、速度、動き、人数、カメラ位置と物体位置との関係、またはカメラ視界と物体位置との関係等に基づいてカメラの制御を行う。たとえば、物体同士の位置、速度、動きなどの関係から密集しそうな領域を予測して、その領域情報を基に制御を行う。
　図１に示すように、本発明の実施の形態に係る位置推定システム１は、画像取得装置１０と、画像取得装置１０から取得した画像に画像処理を施して画像上の物体情報を取得する画像処理部１０２と、得られた画像上の物体情報と、画像取得装置１０が撮像した対象の３次元空間とを対応させて、３次元空間上の物体の物体位置を推定する物体位置推定部１０４と、推定された３次元空間上の物体の物体位置に基づき、３次元空間上の物体の物体状態を特定する物体状態特定部１０６と、特定した物体状態に応じて、画像取得装置１０、および対応する画像処理部１０２の動作を制御する電力制御部１０８と、を備える。
　具体的には、本実施形態の位置推定システム１は、カメラなどで撮影された動画像から画像を取得する第１画像取得装置１０ａ、第２画像取得装置１０ｂ、・・・、第ｎ画像取得装置１０ｃの計ｎ個の複数の画像取得装置（特に区別を必要としない場合は、画像取得装置１０と呼ぶ。）と、プログラム制御により動作するデータ処理装置１００と、記憶装置１２０と、から構成されている。
　画像取得装置１０は、たとえば、ビデオカメラ、デジタルカメラ、ビデオキャプチャ、ビデオレコーダ、またはビデオプレーヤなどの一部機能として提供されてもよく、撮影された動画像から静止画像を取得する。画像取得装置１０は、たとえば、視界を遮る障害物があった場合、障害物の裏側も撮影できるように配置される。
　あるいは、物体同士が重なり合い、オクルージョンが起こる可能性があるような場合、オクルージョンを解消できるように配置される。本発明の位置推定システム１では、撮影場所の状況（物体状態）の変化に応じて、位置推定に必要な画像取得装置１０を選択的に制御する。
　また、位置推定が可能な画像取得装置１０は、位置推定の精度レベルによっても異なる。運用上は、ユーザの要望などに従い、所定の基準レベルを達成できるように決めることができる。
　データ処理装置１００は、第１画像処理部１０２ａ、第２画像処理部１０２ｂ、・・・、第ｎ画像処理部１０２ｃ（特に区別する必要がない場合は、「画像処理部１０２」と呼ぶ。）と、物体位置推定部１０４と、物体状態特定部１０６と、電力制御部１０８と、を備える。
　本実施形態のデータ処理装置１００の各構成要素は、図３に示すように、ＣＰＵ５２、記録媒体７０から読み込まれるデータ処理装置１００の構成要素を実現するカメラ制御用プログラム７２や各種のプログラムおよびデータを格納するＲＯＭ５４、カメラ制御用プログラム７２等を実行する際などの作業領域を含むＲＡＭ５６、ネットワーク接続用または各種入出力インタフェースＩ／Ｏ５８を備えるコンピュータ５０のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。本実施形態で説明する各図は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
　各図において、本発明の本質に関わらない部分の構成については省略してあり図示されていない。
　コンピュータ５０は、たとえば、汎用のパーソナルコンピュータ、それらに相当するコンピュータ装置、または専用のコンピュータ装置とすることができる。あるいは、コンピュータ５０は、画像処理専用のＩＣチップなどであってもよく、他の装置に含まれてもよい。コンピュータ５０のＣＰＵ５２が、ＲＯＭ５４に記憶されるカメラ制御用プログラム７２を読み出して実行することにより、本実施形態の各ユニットの各機能を実現することができる。
　また、図３に示すように、コンピュータ５０は、図１の第１カメラ１０ａ、第２カメラ１０ｂ、・・・、第ｎカメラ１０ｃ、および記憶装置１２０が接続される。コンピュータ５０において、ＣＰＵ５２、ＲＯＭ５４、ＲＡＭ５６、Ｉ／Ｏ５８は、互いにバス６０で接続される。ＣＰＵ５２は、コンピュータ５０の各構成要素を、バス６０を介して制御する。
　　本発明の実施の形態に係るコンピュータプログラム（カメラ制御用プログラム７２）は、画像取得装置１０から取得した画像にそれぞれ画像処理を施して画像上の物体情報をそれぞれ取得する手順、得られた画像上の物体情報と、画像取得装置１０が撮像した対象の３次元空間とを対応させて、３次元空間上の物体の物体位置を推定する手順、推定された３次元空間上の物体の物体位置に基づき、３次元空間上の物体の物体状態を特定する手順、特定した物体状態に応じて、各画像取得装置１０または対応する画像処理部１０２の動作を制御する手順、を実行させるように記述されている。
　本実施形態のコンピュータプログラム（カメラ制御用プログラム７２）は、コンピュータ５０で読み取り可能な記録媒体７０に記録されてもよい。記録媒体７０は特に限定されず、様々な形態のものが考えられる。たとえば、磁気ディスクや半導体メモリ等とすることができる。また、プログラム７２は、記録媒体７０からコンピュータ５０のＲＯＭ５４にロードされてもよいし、ネットワーク（不図示）を通じてコンピュータ５０にダウンロードされ、ＲＯＭ５４にロードされてもよい。
　なお、後述する実施形態も同様に本発明のコンピュータプログラムをコンピュータに実行させてデータ処理装置１００を実現させることができる。
　図１に戻り、記憶装置１２０は、カメラパラメータ記憶部１２４と、視界情報記憶部１２２と、を有する。
　カメラパラメータ記憶部１２４は、各画像取得装置１０に対応するカメラパラメータを記憶している。カメラパラメータは、２次元座標と３次元座標を対応づけることにより求められ、画像取得装置１０に対応したカメラパラメータを用いることで、２次元座標と３次元座標は相互に変換可能となる。カメラパラメータは、画像取得装置１０から取得される画像の２次元座標と３次元空間の３次元座標の変換を行うためのパラメータであり、たとえば、カメラの内部または外部パラメータ、カメラの姿勢（カメラが向いている方向と位置）、レンズの歪み係数、焦点距離、光軸の画像上の位置等と、画像取得装置１０の３次元位置、および画像取得装置１０の向き等を含む。
　視界情報記憶部１２２は、撮影対象となる実際の３次元空間における各画像取得装置１０の視界の範囲を記憶する。つまり、各画像取得装置１０が３次元空間上のどの方向、どの範囲を視界として撮影しているのかを記憶する。
　画像取得装置１０の視界の範囲や方向は固定でもよいし、首振りやズームなどの制御可能な範囲で可変とすることもできる。その場合、視界情報記憶部１２２には、視界の可変範囲が記憶されてもよい。さらに、画像処理部１０２が画像取得装置１０から現在のカメラの向きやズーム倍率などを取得し、視界情報記憶部１２２に記録してもよい。
　第１画像処理部１０２ａ～第ｎ画像処理部１０２ｃは、それぞれ対応する第１画像取得装置１０ａ～第ｎ画像取得装置１０ｃから各画像を取得し、取得した画像に画像処理を施して画像上の物体情報をそれぞれ取得する。画像取得装置１０と画像処理部１０２の間の接続は特に限定されず、様々なインタフェースが考えられる。
　また、画像処理部１０２は、たとえば、背景差分法、フレーム間差分法、事後確率を用いた物体検出法などを用いて画像に画像処理を施して画像上の物体領域を取得する。たとえば、画像処理部１０２は、画像に、顔検出、人物検出、または車両検出などの画像処理を施して画像上の物体情報を取得する。本実施形態において、物体情報は、たとえば、画像上の物体領域情報および画像上の物体位置情報等を含む。
　物体位置推定部１０４は、第１画像処理部１０２ａ、第２画像処理部１０２ｂ、・・・、第ｎ画像処理部１０２ｃから得られた画像上の物体情報と、カメラパラメータ記憶部１２４に記憶されている各画像取得装置１０に対応したカメラパラメータを用いて、複数の画像上の物体情報と３次元空間を対応させることで物体の３次元空間上の位置を推定する。
　たとえば、各画像取得装置１０に対応する画像上の物体領域を、カメラパラメータを用いて３次元空間上に投影し、視体積交差法によって３次元空間に対する物体の立体構造を生成することで３次元空間上の物体の位置を推定する。たとえば、物体位置推定部１０４は、各画像取得装置１０に対応する画像上の物体位置をカメラパラメータを用いて３次元空間上に投影し、投影された位置を統合することによって３次元空間上の物体の位置を推定する。ここで、推定する物体の位置は、たとえば、平面上または地図上の位置等である。
　物体状態特定部１０６は、推定された３次元空間上の物体位置に基づき、省電力に寄与できる物体状態を特定する。本実施形態において、物体の物体状態は、物体の数、物体同士の位置関係、物体とカメラの位置関係、物体の移動方向または移動量、並びに、特定の物体動作等を含む。物体同士の位置関係は、たとえば、物体の密集状態として示すことができる。物体状態特定部１０６は、物体の密集状態の領域を特定することができる。省電力に寄与できる物体状態とは、後述する実施形態で詳細に説明するが、様々な状態が想定され、物体状態に応じて、画像取得装置１０と対応する画像処理部１０２の動作を制御することで、省電力に寄与し得る状態である。
　電力制御部１０８は、物体状態特定部１０６が特定した物体状態に応じて各画像取得装置１０とそれに付随する画像処理部１０２を個別に制御する。電力制御部１０８は、たとえば、画像取得装置１０および対応する画像処理部１０２の作動または停止などの動作や、処理速度、たとえば、画像処理のフレームレートなどを装置毎に個別に制御することができる。画像取得装置１０と対応する画像処理部１０２を個別に制御することで、物体状態に応じた制御が可能になる。本実施形態では、予め各画像取得装置１０と対応する画像処理部１０２の各種情報が記憶装置１２０に記憶されている。これらの情報を元に、画像取得装置１０と対応する画像処理部１０２を適切に選択して制御することが可能になる。
　電力制御部１０８は、各画像取得装置１０および対応する画像処理部１０２の作動または停止などの動作や処理速度（フレームレート）等を個別に制御することで、位置推定システム１の省電力化を図る。すなわち、電力制御部１０８は、位置推定システム１における位置推定を可能にする必要最小限な、または予め定めた数の画像取得装置１０および画像処理部１０２だけを作動させ、不必要な画像取得装置１０および画像処理部１０２は停止させたり、位置推定の精度を維持できる必要最小限な、または予め定めた処理速度で画像取得装置１０および画像処理部１０２を作動させたりすることで、省電力化を図る。
　本実施形態では、画像取得装置１０と対応する画像処理部１０２の両方を同時に制御する構成としているが、これに限定されない。たとえば、動作制御に伴う消費電力の省力化効率を考慮して、画像取得装置１０または対応する画像処理部１０２のいずれか一方のみの動作を制御するようにしてもよい。
　上述のような構成において、本実施の形態のデータ処理装置１００による制御方法を以下に説明する。図２は、本実施形態の位置推定システム１の動作の一例を示すフローチャートである。以下、図１および図２を用いて説明する。
　本発明の実施の形態に係る制御方法は、制御装置（データ処理装置１００）が、画像取得装置１０から取得した画像に画像処理を施して画像上の物体情報を取得し（ステップＳ１０３）、得られた画像上の物体情報と、画像取得装置が撮像した対象の３次元空間とを対応させて、３次元空間上の物体の物体位置を推定し（ステップＳ１０５）、推定された３次元空間上の物体の物体位置に基づき、３次元空間上の物体の物体状態を特定し（ステップＳ１０７）、特定した物体状態に応じて、画像取得装置１０または対応する画像処理部１０２の動作を制御する（ステップＳ１０９）。
　詳細には、本実施形態の位置推定システム１は、以下のように動作する。
　まず、第１画像取得装置１０ａ、第２画像取得装置１０ｂ、・・・、第ｎ画像取得装置１０ｃが、動画像等から画像を取得し、第１画像取得装置１０ａ、第２画像取得装置１０ｂ、・・・、第ｎ画像取得装置１０ｃから各画像を対応する第１画像処理部１０２ａ、第２画像処理部１０２ｂ、・・・、第ｎ画像処理部１０２ｃがそれぞれ取得する（ステップＳ１０１）。各画像処理部１０２が、取得した画像に画像処理を施して画像上の物体情報（画像上の物体領域情報および画像上の物体位置情報）をそれぞれ取得する（ステップＳ１０３）。
　そして、物体位置推定部１０４が、各画像処理部１０２から得られた各画像上の物体情報（画像上の物体領域情報および画像上の物体位置情報）と、カメラパラメータ記憶部１２４に記憶されている各画像取得装置１０に対応したカメラパラメータを用いて、複数の画像上の物体情報と３次元空間を対応させることで物体の３次元空間上の位置を推定する（ステップＳ１０５）。
　そして、物体状態特定部１０６が、推定された３次元空間上の物体位置から省電力に寄与できる物体状態（物体の数、物体同士の位置関係、物体とカメラの位置関係、物体の移動方向または移動量、特定の物体動作等）を特定する（ステップＳ１０７）。
　そして、電力制御部１０８が、得られた物体状態に基づいて、各画像取得装置１０とそれに付随する画像処理部１０２の作動、停止、処理速度（フレームレート）等の動作状態を個別に制御し、上述したように、特定された３次元空間の物体状態に応じた省電力制御を行う（ステップＳ１０９）。
　ステップＳ１０９の処理終了後、ステップＳ１０１に戻り、本処理を続ける。このようにして、各画像取得装置１０とそれに付随する各画像処理部１０２は、電力制御部１０８の制御に従って動作する。
　以上説明したように、本実施形態の位置推定システム１によれば、位置推定システム１における位置推定精度を維持したまま、画像取得装置１０等の電力消費を低減できるという効果を奏する。
　その理由は、推定された物体位置から物体状態を特定し、物体状態に応じて、位置推定可能なように、画像取得装置１０および対応する画像処理部１０２の動作を制御できるからである。たとえば、物体状態に応じて、画像取得装置１０および対応する画像処理部１０２の作動または停止などの動作、さらに処理速度などを個別に制御できるので、必要な画像取得装置１０および対応する画像処理部１０２のみ作動させることができ、不必要な画像取得装置１０および対応する画像処理部１０２を停止させることができるので、不要な電力消費を省くことができる。
（第２の実施の形態）
　図４は、本発明の実施の形態に係る位置推定システム１のデータ処理装置１００の要部構成を示す機能ブロック図である。
　本実施形態のデータ処理装置１００は、上記実施形態とは、物体状態特定部１０６が特定した物体の物体状態に基づいて、物体状態に適した画像取得装置１０を抽出し、画像取得装置１０および対応する画像処理部１０２を制御できる点で相違する。
　本実施形態のデータ処理装置１００は、上記実施形態の構成に加え、さらに抽出部１３０を備える。
　抽出部１３０は、物体状態特定部１０６が特定した物体の物体状態に基づいて、物体状態に適した画像取得装置１０を抽出する。ここで、物体状態に適した画像取得装置１０とは、その物体状態下で、物体の所定の位置推定精度を維持するのに必要とされる画像取得装置１０のことであり、以下のように様々な物体状態に応じて対象となる画像取得装置１０のパターンが考えられる。抽出部１３０は、物体状態に応じて、物体の位置推定が可能なように、視界範囲などに基づいて適切な画像取得装置１０を抽出する。
　たとえば、検知対象とする３次元空間にたくさんの物体が存在している場合、対象の３次元空間に対して物体の存在密度が高くなる。そのため、カメラに対して物体が重なる可能性が高くなることから（オクルージョンが起こる可能性が高くなることから）、少ないカメラでは位置推定が難しくなると判断する。よってこの場合、抽出部１３０は、すべての画像取得装置１０とそれに付随する画像処理部１０２を作動させる装置として抽出する。
　あるいは、検知対象とする３次元空間にあまり物体が存在しない場合、対象の３次元空間に対して物体の存在密度が低くなる。そのため、カメラに対して物体が重なる可能性が低くなることから（オクルージョンが起こる可能性が低くなることから）、対象の３次元空間に対して少ないカメラで位置推定することが容易であると判断する。よってこの場合、抽出部１３０は、次の状態を見極められるように対象の３次元空間を見渡せる位置に設置された位置推定に必要な最小数の画像取得装置１０と、それに付随する画像処理部１０２を物体状態に適した装置として抽出する。
　あるいは、検知対象とする３次元空間に物体があまり存在しない状態で、かつ物体同士が接近して一部の場所で密集するような、または密集しそうな場合、密集領域に対して物体の存在密度が高くなる。そのため、カメラに対して密集領域にいる物体が重なる可能性が高くなることから（オクルージョンが起こる可能性が高くなることから）、少ないカメラでは位置推定が難しくなると判断する。よってこの場合、抽出部１３０は、視界情報記憶部１２２を参照して、密集領域を視界とする画像取得装置１０を抽出し、抽出された画像取得装置１０とそれに付随する画像処理部１０２を物体状態に適した装置として抽出する。
　また、抽出部１３０は、３次元空間上の物体の移動速度（単位時間あたりの移動量）に合わせて、所定の移動速度で移動している物体の存在位置または領域を抽出する。そして、抽出部１３０は、視界情報記憶部１２２を参照して、抽出した領域を視界とする画像取得装置１０を抽出し、抽出された画像取得装置１０とそれに付随する画像処理部１０２を物体状態に適した装置として抽出する。
　電力制御部１０８は、抽出部１３０が抽出した画像取得装置１０および対応する画像処理部１０２を、物体状態に適した作動を行うように制御する。物体状態毎の制御については、後述する実施形態で詳細に説明する。
　以上説明したように、本発明の実施の形態に係る位置推定システム１によれば、上記実施形態と同様な効果を奏する。
（第３の実施の形態）
　図５は、本発明の実施の形態に係る位置推定システム１のデータ処理装置１００の要部構成を示す機能ブロック図である。
　本実施形態の位置推定システム１は、上記実施形態とは、物体状態特定部が物体状態として３次元空間上の物体の数を特定し、物体数に基づいて、画像取得装置１０および対応する画像処理部１０２を制御する点で相違する。
　本実施形態の位置推定システム１は、図１の実施形態と同様な画像処理部１０２と、物体位置推定部１０４と、記憶装置１２０と、図４の実施形態と同様な抽出部１３０とを備えるとともに、さらに、物体状態特定部２０６と、電力制御部２０８と、を備える。
　本実施形態において、物体状態特定部２０６は、物体数特定部２１０を含む。
　物体数特定部２１０は、対象の３次元空間上の物体の存在状態を物体状態として特定する。
　本実施形態において、抽出部１３０は、物体数特定部２１０が特定した物体の存在状態（所定数より少ない、または所定数より多い）に適した画像取得装置１０を抽出する。
　電力制御部２０８は、抽出部１３０が抽出した画像取得装置１０、および対応する画像処理部１０２を、物体の存在状態に適した作動を行うように制御する。
　より詳細には、物体数特定部２１０は、物体位置推定部１０４から得られる対象の３次元空間上の物体位置を元に、省電力制御に寄与する物体数（存在状態）を物体状態として取得する。たとえば、物体数が少ない場合、オクルージョン（物体同士の隠れ）が起こる可能性が低くなるので、少ない数の画像取得装置１０での位置推定が可能となる。
　本実施形態では、検知対象とする３次元空間に所定数より少ない物体しか存在しない場合、対象の３次元空間に対して物体の存在密度が低くなる。ここでは、物体数特定部２１０によって得られた物体数から『物体数が少ない』という状態を検知することができる。
　この場合、カメラに対して物体が重なる可能性が低くなることから（オクルージョンが起こる可能性が低くなることから）、対象の３次元空間に対して少ないカメラで位置推定することが容易であると判断する。
　よってこの場合、抽出部１３０は、次の状態を見極められるように対象の３次元空間を見渡せる位置に設置された位置推定に必要な最小数の画像取得装置１０とそれに付随する画像処理部１０２を物体状態に適した装置として抽出する。そして、抽出部１３０は、電力制御部２０８に、すべての画像取得装置１０とそれに付随する画像処理部１０２を作動するように制御させる。本実施形態では、たとえば、対象の３次元空間の角２つの画像取得装置１０等を作動させるなどの制御を行うことで、消費電力を低減しながら位置推定の精度を維持する。
　また、検知対象とする３次元空間に所定数より多くの物体が存在している場合、対象の３次元空間に対して物体の存在密度が高くなる。ここでは、物体数特定部２１０によって得られた物体数から『物体数が少なくない（多い）』という状態を検知することができる。
　この場合、カメラに対して物体が重なる可能性が高くなることから（オクルージョンが起こる可能性が高くなることから）、少ないカメラでは位置推定が難しくなると判断する。
　よってこの場合、抽出部１３０は、位置推定の精度を維持する為、すべての画像取得装置１０とそれに付随する画像処理部１０２を作動させる装置として抽出する。そして、抽出部１３０は、電力制御部２０８に、すべての画像取得装置１０とそれに付随する画像処理部１０２を作動するように制御させる。
　電力制御部２０８は、得られた物体状態に基づいて、各画像取得装置１０とそれに付随する画像処理部１０２の作動、停止、処理速度（フレームレート）等という状態を個別に制御し、物体状態に応じた省電力制御を行う。
　このように構成された本実施形態の位置推定システム１の動作について、以下に説明する。
　図６は、本発明の実施の形態に係る位置推定システム１の動作の一例を示すフローチャートである。ここでは、位置推定システム１における電力制御部２０８による電力制御処理の手順を説明する。この電力制御処理は、図２の上記実施形態のステップＳ１０９の処理の詳細な手順となる。以下、図５および図６を用いて説明する。
　図６に示すように、本実施形態の位置推定システム１において、物体数特定部２１０が、３次元空間上の物体位置から省電力制御に寄与する物体数を物体状態として特定する（ステップＳ２０１）。そして、抽出部１３０が、得られた物体数が所定数より少ないかを判定する（ステップＳ２０３）。ここで、物体数が多い場合（ステップＳ２０３のＮｏ）、抽出部１３０は、すべての画像取得装置１０を抽出し、電力制御部２０８が、抽出部１３０が抽出したすべての画像取得装置１０とそれに付随する画像処理部１０２を作動させるよう制御し（ステップＳ２０７）、本処理を終了する。
　一方、物体数が少ない場合（ステップＳ２０３のＹｅｓ）、抽出部１３０は、対象の３次元空間に対して位置推定可能な最小数の画像取得装置１０を抽出し、電力制御部２０８が、抽出部１３０が抽出した画像取得装置１０およびそれに付随した画像処理部１０２を作動させるように制御し（ステップＳ２０５）、本処理を終了する。
　以上説明したように、本発明の実施の形態に係る位置推定システム１によれば、上記実施形態と同様な効果を奏するとともに、３次元空間上の物体の位置推定に用いられる複数の画像取得装置１０において、物体のオクルージョン状態（物体同士の隠れ状態）を考慮することで、位置推定精度を維持したまま、画像取得装置１０等の電力消費を低減できる。
（第４の実施の形態）
　図７は、本発明の実施の形態に係る位置推定システム１のデータ処理装置１００の要部構成を示す機能ブロック図である。
　本実施形態の位置推定システム１は、上記実施形態とは、物体状態特定部が物体状態として３次元空間上の物体数とともに、物体の密集状態を示す領域を特定し、密集領域を視野として持つ画像取得装置１０および対応する画像処理部１０２を作動させるように制御する点で相違する。
　本実施形態の位置推定システム１は、図１の実施形態と同様な画像処理部１０２と、物体位置推定部１０４と、記憶装置１２０と、図４の実施形態と同様な抽出部１３０とを備えるとともに、さらに、物体状態特定部３０６と、電力制御部３０８と、を備える。
　本実施形態において、物体状態特定部３０６は、図５の実施形態と同様な物体数特定部２１０と、さらに、物体密集領域特定部３１２とを備える。
　物体密集領域特定部３１２は、対象の３次元空間上の物体の密集状態を検出し、密集状態の領域を特定して物体状態とする。本実施形態では、物体密集領域特定部３１２は、３次元空間上で、物体数が所定数より多い、または他の領域と比較して所定の比率より多い領域を、密集している領域として特定する。あるいは、物体密集領域特定部３１２は、３次元空間上で物体が密集する可能性がある状態を予測して密集領域を特定することもできる。
　本実施形態において、抽出部１３０は、物体密集領域特定部３１２が特定した物体の密集状態領域を視界として有する画像取得装置１０を抽出する。
　電力制御部３０８は、抽出部１３０が抽出した画像取得装置１０、および対応する画像処理部１０２を、物体の密集状態に応じた動作を行うように制御する。
　詳細には、物体密集領域特定部３１２は、物体位置推定部１０４から得られる物体位置を元に、３次元空間上の物体位置において、複数の物体が密集している、もしくは、複数の物体が密集する可能性がある領域（密集領域）を物体状態として特定する。
　物体数が少なくても、物体が密集しているまたは密集する可能性がある場合、その密集領域においてオクルージョンが起こる可能性が高くなるので、オクルージョンを回避して位置推定が可能になるよう密集領域に関連する画像取得装置１０を増やす必要があるからである。ここで、密集状態領域は、たとえば、所定の割合より密集しているまたは密集する可能性がある領域を含むことができる。密集する可能性がある領域は、たとえば、密集しそうな領域、または密集することが予測される領域を含むことができる。
　上記実施形態の電力制御部２０８と同様に、物体数に応じた制御を行った状態で、物体密集領域特定部３１２によって密集領域が得られた場合は、その密集領域についてはオクルージョンが起こる可能性が高くなる。そこで、抽出部１３０は、視界情報記憶部１２２からその密集領域を視界とする画像取得装置１０を抽出し、電力制御部３０８に、抽出された画像取得装置１０とそれに付随する画像処理部１０２を追加作動させるよう制御させ、できるだけ消費電力を低減しながら位置推定の精度を維持する。
　たとえば、検知対象とする３次元空間に物体が所定数より少ない数しか存在していない状態で、物体同士が接近して一部の場所で密集するような、または密集しそうな場合、物体数特定部２１０は物体数を特定する。さらに、物体密集領域特定部３１２は、対象の３次元空間上で物体同士が接近して密集するような、または密集しそうな３次元空間上の領域（密集領域）を特定する。
　抽出部１３０は、その物体数と密集領域から対象の３次元空間に対して物体数が少なく一部で密集しているまたは密集しそうなことを検知する。この場合、密集領域に対して物体の存在密度が高く、画像取得装置１０に対して密集領域にいる人物が重なる可能性が高くなる（オクルージョンが起こる可能性が高くなる）。
　よって、少ない画像取得装置１０では位置推定が難しくなると判断する。そこで、抽出部１３０は、記憶装置１２０の視界情報記憶部１２２を参照し、密集領域を視界とする画像取得装置１０を抽出する。そして抽出部１３０は、電力制御部３０８に抽出した画像取得装置１０と画像処理部１０２の動作を制御させる。
　電力制御部３０８は、抽出された画像取得装置１０とそれに付随する画像処理部１０２を追加作動させるように制御する。
　本実施形態において、電力制御部３０８は、得られた物体状態に基づいて、各画像取得装置１０とそれに付随する画像処理部１０２の作動、停止、処理速度（フレームレート）等という状態を個別に制御し、物体状態に応じた省電力制御を行う。
　このように構成された本実施形態の位置推定システム１の動作について、以下に説明する。
　図８は、本発明の実施の形態に係る位置推定システム１の動作の一例を示すフローチャートである。ここでは、位置推定システム１における電力制御部３０８による電力制御処理の手順を説明する。この電力制御処理は、図２の上記実施形態のステップＳ１０９の処理の詳細な手順となる。以下、図７および図８を用いて説明する。
　図８の電力制御処理は、図６の上記実施形態のフローチャートと同様なステップＳ２０１～ステップＳ２０７を含む。
　そして、３次元空間上の物体数が少ない場合に（ステップＳ２０３のＹＥＳ）、ステップＳ２０５で位置推定可能な最小数の画像取得装置１０および対応する画像処理部１０２を作動させるように制御した後、ステップＳ２１３以降の処理を行う。
　物体密集領域特定部３１２が、３次元空間上の物体位置において、複数の物体が密集している、もしくは、複数の物体が密集する可能性がある領域（密集領域）を物体状態として特定する（ステップＳ２１３）。そして、抽出部１３０が、密集領域が取得されているかを判定する（ステップＳ２１５）。
　密集領域が取得されていない場合（ステップＳ２１５のＮｏ）、本処理を終了する。一方、密集領域が取得されている場合（ステップＳ２１５のＹｅｓ）、抽出部１３０が、視界情報記憶部１２２からその密集領域を視界とする画像取得装置１０を抽出し、電力制御部３０８が、抽出された画像取得装置１０とそれに付随する画像処理部１０２を追加作動させるよう制御する（ステップＳ２１７）。制御後、本処理を終了する。
　以上説明したように、本発明の実施の形態に係る位置推定システム１によれば、上記実施形態同様に、無駄な画像取得装置１０またはそれに付随した画像処理部１０２を停止させることができ、かつ、オクルージョンが起こることで位置推定精度が低下する領域に対して、画像取得装置１０またはそれに付随した画像処理部１０２を追加作動させることができるので、位置推定精度を維持したまま、画像取得装置１０等の電力消費を低減できるという効果を奏する。
　なお、本実施形態では、物体状態特定部３０６が、図５の上記実施形態の物体数特定部２１０を含む構成としたが、これに限定されない。物体状態特定部３０６が物体密集領域特定部３１２のみを含む構成とすることもできる。その場合は、図８の電力制御処理は、ステップＳ２０１～ステップＳ２０７は含まないこととなる。
（第５の実施の形態）
　図９は、本発明の実施の形態に係る位置推定システム１のデータ処理装置１００の要部構成を示す機能ブロック図である。
　本実施形態の位置推定システム１は、上記実施形態とは、物体状態特定部が物体状態として３次元空間上の物体の活動量が所定の条件を満たす領域を特定し、その領域を視野として持つ画像取得装置１０および対応する画像処理部１０２を作動させるように制御する点で相違する。
　本実施形態の位置推定システム１は、図１の実施形態と同様な画像処理部１０２と、物体位置推定部１０４と、記憶装置１２０と、図４の実施形態と同様な抽出部１３０とを備えるとともに、さらに、物体状態特定部４０６と、電力制御部４０８と、を備える。
　また、本実施形態は、図５または図７等を用いて説明した上記実施形態と同様な構成をさらに備えてもよい。たとえば、図７の物体状態特定部３０６を含むこともできる。その場合、電力制御処理は、図８と同様なステップも含む。
　本実施形態において、物体状態特定部４０６は、活動量特定部４１０を含む。
　活動量特定部４１０は、物体位置推定部１０４が推定した物体の物体位置に基づき、対象の３次元空間における各画像取得装置１０の視界の中で物体の活動量を物体状態として特定する。
　電力制御部４０８は、各画像取得装置１０、および対応する画像処理部１０２を、活動量特定部４１０が特定した各画像取得装置１０の視界の中の物体の活動量に応じた処理速度で作動するように制御する。
　より詳細には、活動量特定部４１０は、対象の３次元空間上の物体位置から、追跡処理等を通じて各物体のフレーム間の移動量（たとえば、動きベクトル）を算出し、対象の３次元空間上の位置における移動量を物体状態として取得する。移動量が小さい位置に関しては、物体の活動または移動が小さくなるので、その位置を視界とする画像取得手段は頻繁に画像情報を取得する必要がない。よって、視界すべてが小さい移動量になる３次元空間上の位置で満たされる画像取得装置１０とそれに付随する画像処理部１０２は低フレームレートで駆動させることができ、これにより、消費電力の低減を行うことができる。
　活動量特定部４１０は、得られた３次元空間上の位置における移動量（活動量）と、視界情報記憶部１２２に記憶されている画像取得装置１０の視界と３次元空間上の位置との関係から、各画像取得装置１０における視界の中で、単位時間あたりで最も大きな移動量（活動量）を抽出する。
　なお、本実施形態では、各画像取得装置１０の視界の中で、最大の移動量（活動量）を抽出する構成としたが、これに限定されない。たとえば、所定期間毎の移動量（活動量）の平均値を抽出してもよい。
　電力制御部４０８は、各画像取得装置１０とそれに付随する画像処理部１０２を得られた最大の移動量（活動量）に適した処理速度で動作するように個別に制御することで、物体状態に応じた省電力制御を行う。
　電力制御部４０８は、活動量特定部４１０によって抽出された移動量（活動量）に応じて、各画像取得装置１０とそれに付随する画像処理部１０２のフレームレート（処理速度）を制御する。たとえば、電力制御部４０８は、抽出された移動量（活動量）が小さくなるほどフレームレートを下げて駆動させるようにする。なぜならば、抽出された移動量（活動量）が小さくなる場合、視界の中の物体の活動または移動が小さくなるので、画像情報を頻繁に取得する必要はなく、低フレームレートで駆動させることができるからである。
　これにより、消費電力を低減しながら位置推定の精度を維持できる。移動量（活動量）とフレームレートの対応関係は、予め段階的に決められてもよいし、移動量（活動量）に比例してフレームレートを算出してもよく、様々な方法が考えられる。
　また、抽出部１３０は、たとえば、活動量特定部４１０が取得した各画像取得装置１０の視界の物体の最大の移動量（活動量）に基づき、最大の移動量（活動量）が所定の移動量（活動量）以下の画像取得装置１０を抽出し、電力制御部４０８に、抽出された画像取得装置１０と対応する画像処理部１０２の処理速度を所定の低フレームレートで駆動させるようにしてもよい。
　このように構成された本実施形態の位置推定システム１の動作について、以下に説明する。
　図１０は、本発明の実施の形態に係る位置推定システム１の動作の一例を示すフローチャートである。ここでは、位置推定システム１における電力制御部４０８による電力制御処理の手順を説明する。この電力制御処理は、図２の上記実施形態のステップＳ１０９の処理の詳細な手順となる。以下、図９および図１０を用いて説明する。
　まず、活動量特定部４１０が、対象の３次元空間上の物体位置から、追跡処理等を通じて各物体のフレーム間の移動量（動きベクトル）を算出し、対象の３次元空間上の位置における移動量（活動量）を物体状態として特定する（ステップＳ３０１）。
　そして、抽出部１３０が、活動量特定部４１０から得られた３次元空間上の位置における活動量と、視界情報記憶部１２２に記憶されている画像取得装置１０の視界と３次元空間上の位置との関係から、各画像取得装置１０における視界の中で最も大きな活動量を抽出する（ステップＳ３０３）。
　そして、電力制御部４０８が、抽出された最大の活動量に合わせ、各画像取得装置１０とそれに付随する画像処理部１０２のフレームレート（処理速度）を制御する（ステップＳ３０５）。ここで、電力制御部４０８は、抽出された最大の活動量が小さくなるほどフレームレートを下げて駆動させるようにする。ステップＳ３０５の制御が終了した後、本処理を終了する。
　なお、すべての画像取得装置１０の視界で対象の３次元空間上の位置における移動量（活動量）が検出されず、かつ、対象の３次元空間上に対して物体位置が存在していなかった場合、対象の３次元空間への物体の侵入場所に対して視界を持つ画像取得装置１０とそれに付随する画像処理部１０２のみを低フレームレートで駆動させ、それ以外の画像取得装置１０とそれに付随する画像処理部１０２を停止してもよい。これにより、さらなる消費電力の低減が見込まれる。この場合の動作は図１１のようになる。
　図１１の例では、電力制御部４０８の電力制御処理において、図１０のフローチャートのステップＳ３０１～ステップＳ３０５に加え、さらに、ステップＳ３１１およびステップＳ３１３を含む。
　抽出部１３０が、物体位置推定部１０４から得られる物体位置に基づき、対象の３次元空間上に物体（物体位置）が存在しているか否か判定する（ステップＳ３１１）。物体が存在している場合は（ステップＳ３１１のＹＥＳ）、ステップＳ３０１に進み、図１０と同様な処理を行うこととなる。
　一方、物体が存在していない場合（ステップＳ３１１のＮＯ）、抽出部１３０は、視界情報記憶部１２２を参照し、対象の３次元空間への物体の侵入場所に対して視界を持つ画像取得装置１０を抽出する。そして、電力制御部４０８が、抽出された画像取得装置１０および対応する画像処理部１０２のみを最小の処理速度で作動させ、それ以外の画像取得装置１０および対応する画像処理部１０２を停止させるように個別に制御する（ステップＳ３１３）。
　以上説明したように、本発明の実施の形態に係る位置推定システム１によれば、物体の活動または移動が小さく画像情報を頻繁に取得する必要がない場合、その状態に値する画像取得装置１０またはそれに付随する画像処理部１０２のフレームレートを下げて駆動することで無駄な処理を省くことができるので、位置推定精度を維持したまま、画像取得装置１０等の消費電力を低減できる。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　たとえば、上記実施形態において、位置推定システム１は、複数の画像取得装置１０を備える構成としたが、これに限定されない。たとえば、頭部検出や顔検出等で、人物の頭部を見つけることで、身長が分かるように構成されている場合、カメラ姿勢などのカメラパラメータを用いることで、人物の３次元位置を推定することができる。このように、人物の部位などを検出して高さが分かるように構成されている場合には、少なくとも１台の画像取得装置１０を備えていればよい。
　本発明によれば、３次元空間上の物体の位置推定に用いられる複数のカメラにおいて、推定物体位置から得られた物体の状態に応じて各カメラ等の作動状態を制御することで、位置推定精度を維持したまま、カメラ等の電力消費を低減できる位置推定システム、そのシステムで使用されるカメラ制御装置、そのカメラ制御装置を制御する方法、およびカメラ制御装置をコンピュータに実現させるためのコンピュータプログラムが提供される。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　画像取得装置と、前記画像取得装置から取得した画像に画像処理を施す画像処理装置とを制御する制御装置が、
　前記画像取得装置から取得した画像に画像処理を施して画像上の物体情報を取得し、
　得られた前記画像上の前記物体情報と、前記画像取得装置が撮像した対象の３次元空間とを対応させて、前記３次元空間上の物体の物体位置を推定し、
　推定された前記３次元空間上の前記物体の前記物体位置に基づき、前記３次元空間上の前記物体の物体状態を特定し、
　特定した前記物体状態に応じて、前記画像取得装置または対応する前記画像処理装置の動作を制御する制御方法。
（付記２）
　付記１に記載の制御方法において、
　前記制御装置が、
　特定した前記物体の前記物体状態に基づいて、前記物体状態に適した前記画像取得装置を抽出し、
　抽出した前記画像取得装置、または対応する前記画像処理装置を、前記物体状態に適した動作を行うように制御する制御方法。
（付記３）
　付記２に記載の制御方法において、
　前記制御装置が、
　前記対象の３次元空間上の前記物体の存在状態を前記物体状態として特定し、
　特定した前記物体の前記存在状態に適した前記画像取得装置を抽出し、
　抽出した前記画像取得装置または対応する前記画像処理装置を、前記物体の前記存在状態に適した動作を行うように制御する制御方法。
（付記４）
　付記２または３に記載の制御方法において、
　前記制御装置が、
　前記対象の３次元空間上の前記物体の密集状態を検出し、前記密集状態の領域を特定して前記物体状態とし、
　特定した前記物体の前記密集状態領域を視界として有する前記画像取得装置を抽出し、
　抽出した前記画像取得装置または対応する前記画像処理装置を、前記物体の前記密集状態に応じた動作を行うように制御する制御方法。
（付記５）
　付記２乃至４いずれかに記載の制御方法において、
　前記制御装置が、
　推定した前記物体の前記物体位置に基づき、前記対象の３次元空間における前記画像取得装置の視界の中で物体の活動量を前記物体状態として特定し、
　前記画像取得装置または対応する前記画像処理装置を、特定した前記画像取得装置の視界の中の前記物体の前記活動量に応じた処理速度で作動するように制御する制御方法。
（付記６）
　付記５に記載の制御方法において、
　前記制御装置が、
　特定した前記物体の前記活動量の最大値に適した処理速度で前記画像取得装置または対応する前記画像処理装置の作動を行うよう制御する制御方法。
（付記７）
　付記２乃至６いずれかに記載の制御方法において、
　前記制御装置が、
　前記対象の３次元空間上に対して物体位置が得られなかった場合、前記対象の３次元空間への物体の侵入場所に対して視界を持つ画像取得装置を抽出し、
　抽出した前記画像取得装置または対応する前記画像処理装置のみを、最小の処理速度で作動させ、それ以外の画像取得装置または対応する画像処理装置を停止させるように制御する制御方法。
（付記８）
　画像取得装置と、前記画像取得装置から取得した画像に画像処理を施す画像処理装置とを制御する制御装置を実現するコンピュータに、
　前記画像取得装置から取得した画像にそれぞれ画像処理を施して画像上の物体情報をそれぞれ取得する手順、
　得られた前記画像上の前記物体情報と、前記画像取得装置が撮像した対象の３次元空間とを対応させて、前記３次元空間上の物体の物体位置を推定する手順、
　推定された前記３次元空間上の前記物体の前記物体位置に基づき、前記３次元空間上の前記物体の物体状態を特定する手順、
　特定した前記物体状態に応じて、前記画像取得装置または対応する前記画像処理装置の動作を制御する手順を実行させるためのプログラム。
（付記９）
　付記８に記載のプログラムにおいて、
　前記物体状態を特定する手順で特定した前記物体の前記物体状態に基づいて、前記物体状態に適した前記画像取得装置を抽出する手順、
　抽出した前記画像取得装置、または対応する前記画像処理装置を、前記物体状態に適した動作を行うように制御する手順をコンピュータにさらに実行させるためのプログラム。
（付記１０）
　付記９に記載のプログラムにおいて、
　前記物体状態を特定する手順で、前記対象の３次元空間上の前記物体の存在状態を前記物体状態として特定し、
　前記物体状態を特定する手順で特定した前記物体の前記存在状態に適した前記画像取得装置を抽出する手順、
　抽出した前記画像取得装置または対応する前記画像処理装置を、前記物体の前記存在状態に適した動作を行うように制御する手順をコンピュータにさらに実行させるためのプログラム。
（付記１１）
　付記９または１０に記載のプログラムにおいて、
　前記物体状態を特定する手順で、前記対象の３次元空間上の前記物体の密集状態を検出し、前記密集状態の領域を特定して前記物体状態とし、
　前記物体状態を特定する手順で特定した前記物体の前記密集状態領域を視界として有する前記画像取得装置を抽出する手順、
　抽出した前記画像取得装置または対応する前記画像処理装置を、前記物体の前記密集状態に応じた動作を行うように制御する手順をコンピュータにさらに実行させるためのプログラム。
（付記１２）
　付記９乃至１１いずれかに記載のプログラムにおいて、
　前記物体状態を特定する手順で、前記物体位置を推定する手順で推定した前記物体の前記物体位置に基づき、前記対象の３次元空間における前記画像取得装置の視界の中で物体の活動量を前記物体状態として特定し、
　前記画像取得装置または対応する前記画像処理装置を、前記物体状態を特定する手順で特定した前記画像取得装置の視界の中の前記物体の前記活動量に応じた処理速度で作動するように制御する手順をコンピュータにさらに実行させるためのプログラム。
（付記１３）
　付記１２に記載のプログラムにおいて、
　前記物体状態を特定する手順で特定した前記物体の前記活動量の最大値に適した処理速度で前記画像取得装置または対応する前記画像処理装置の作動を行うよう制御する手順をコンピュータにさらに実行させるためのプログラム。
（付記１４）
　付記９乃至１３いずれかに記載のプログラムにおいて、
　前記物体位置を推定する手順により前記対象の３次元空間上に対して物体位置が得られなかった場合、前記対象の３次元空間への物体の侵入場所に対して視界を持つ画像取得装置を抽出する手順、
　抽出した前記画像取得装置または対応する前記画像処理装置のみを、最小の処理速度で作動させ、それ以外の画像取得装置または対応する画像処理装置を停止させるように制御する手順をコンピュータにさらに実行させるためのプログラム。
（付記１５）
　画像取得装置と、
　前記画像取得装置から取得した画像に画像処理を施して画像上の物体情報を取得する画像処理手段と、
　得られた前記画像上の前記物体情報と、前記画像取得装置が撮像した対象の３次元空間とを対応させて、前記３次元空間上の物体の物体位置を推定する物体位置推定手段と、
　推定された前記３次元空間上の前記物体の前記物体位置に基づき、前記３次元空間上の前記物体の物体状態を特定する物体状態特定手段と、
　特定した前記物体状態に応じて、前記画像取得装置または対応する前記画像処理手段の動作を制御する制御手段と、を備える位置推定システム。
（付記１６）
　付記１５に記載の位置推定システムにおいて、
　前記物体状態特定手段が特定した前記物体の前記物体状態に基づいて、前記物体状態に適した前記画像取得装置を抽出する抽出手段をさらに備え、
　前記制御手段は、前記抽出手段が抽出した前記画像取得装置、または対応する前記画像処理手段を、前記物体状態に適した動作を行うように制御する位置推定システム。
（付記１７）
　付記１６に記載の位置推定システムにおいて、
　前記物体状態特定手段は、前記対象の３次元空間上の前記物体の存在状態を前記物体状態として特定し、
　前記抽出手段は、前記物体状態特定手段が特定した前記物体の前記存在状態に適した前記画像取得装置を抽出し、
　前記制御手段は、前記抽出手段が抽出した前記画像取得装置または対応する前記画像処理手段を、前記物体の前記存在状態に適した動作を行うように制御する位置推定システム。
（付記１８）
　付記１６または１７に記載の位置推定システムにおいて、
　前記物体状態特定手段は、前記対象の３次元空間上の前記物体の密集状態を検出し、前記密集状態の領域を特定して前記物体状態とし、
　前記抽出手段は、前記物体状態特定手段が特定した前記物体の前記密集状態領域を視界として有する前記画像取得装置を抽出し、
　前記制御手段は、前記抽出手段が抽出した前記画像取得装置または対応する前記画像処理手段を、前記物体の前記密集状態に応じた動作を行うように制御する位置推定システム。
（付記１９）
　付記１６乃至１８いずれかに記載の位置推定システムにおいて、
　前記物体状態特定手段は、前記物体位置推定手段が推定した前記物体の前記物体位置に基づき、前記対象の３次元空間における前記画像取得装置の視界の中で物体の活動量を前記物体状態として特定し、
　前記制御手段は、前記画像取得装置または対応する前記画像処理手段を、前記物体状態特定手段が特定した前記画像取得装置の視界の中の前記物体の前記活動量に応じた処理速度で作動するように制御する位置推定システム。
（付記２０）
　付記１９に記載の位置推定システムにおいて、
　前記制御手段は、前記物体状態特定手段が特定した前記物体の前記活動量の最大値に適した処理速度で前記画像取得装置または対応する前記画像処理手段の作動を行うよう制御する位置推定システム。
（付記２１）
　付記１６乃至２０いずれかに記載の位置推定システムにおいて、
　前記抽出手段は、前記物体位置推定手段により前記対象の３次元空間上に対して物体位置が得られなかった場合、前記対象の３次元空間への物体の侵入場所に対して視界を持つ画像取得装置を抽出し、
　前記制御手段は、前記抽出手段が抽出した前記画像取得装置または対応する前記画像処理手段のみを、最小の処理速度で作動させ、それ以外の画像取得装置または対応する画像処理手段を停止させるように制御する位置推定システム。
　この出願は、２０１１年９月２６日に出願された日本出願特願２０１１－２０９９３０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

  1. 　画像取得装置から取得した画像に画像処理を施して画像上の物体情報を取得する複数の画像処理手段と、
    　得られた前記画像上の前記物体情報と、前記画像取得装置が撮像した対象の３次元空間とを対応させて、前記３次元空間上の物体の物体位置を推定する物体位置推定手段と、
    　推定された前記３次元空間上の前記物体の前記物体位置に基づき、前記３次元空間上の前記物体の物体状態を特定する物体状態特定手段と、
    　特定した前記物体状態に応じて、前記画像取得装置、または対応する前記画像処理手段の動作を制御する制御手段と、を備える制御装置。
  2. 　請求項１に記載の制御装置において、
    　前記物体状態特定手段が特定した前記物体の前記物体状態に基づいて、前記物体状態に適した前記画像取得装置を抽出する抽出手段をさらに備え、
    　前記制御手段は、前記抽出手段が抽出した前記画像取得装置、または対応する前記画像処理手段を、前記物体状態に適した動作を行うように制御する制御装置。
  3. 　請求項２に記載の制御装置において、
    　前記物体状態特定手段は、前記対象の３次元空間上の前記物体の存在状態を前記物体状態として特定し、
    　前記抽出手段は、前記物体状態特定手段が特定した前記物体の前記存在状態に適した前記画像取得装置を抽出し、
    　前記制御手段は、前記抽出手段が抽出した前記画像取得装置または対応する前記画像処理手段を、前記物体の前記存在状態に適した動作を行うように制御する制御装置。
  4. 　請求項２または３に記載の制御装置において、
    　前記物体状態特定手段は、前記対象の３次元空間上の前記物体の密集状態を検出し、前記密集状態の領域を特定して前記物体状態とし、
    　前記抽出手段は、前記物体状態特定手段が特定した前記物体の前記密集状態領域を視界として有する前記画像取得装置を抽出し、
    　前記制御手段は、前記抽出手段が抽出した前記画像取得装置または対応する前記画像処理手段を、前記物体の前記密集状態に応じた動作を行うように制御する制御装置。
  5. 　請求項２乃至４いずれかに記載の制御装置において、
    　前記物体状態特定手段は、前記物体位置推定手段が推定した前記物体の前記物体位置に基づき、前記対象の３次元空間における前記画像取得装置の視界の中で物体の活動量を前記物体状態として特定し、
    　前記制御手段は、前記画像取得装置または対応する前記画像処理手段を、前記物体状態特定手段が特定した前記画像取得装置の視界の中の前記物体の前記活動量に応じた処理速度で作動するように制御する制御装置。
  6. 　請求項５に記載の制御装置において、
    　前記制御手段は、前記物体状態特定手段が特定した前記物体の前記活動量の最大値に適した処理速度で前記画像取得装置または対応する前記画像処理手段の作動を行うよう制御する制御装置。
  7. 　請求項２乃至６いずれかに記載の制御装置において、
    　前記抽出手段は、前記物体位置推定手段により前記対象の３次元空間上に対して物体位置が得られなかった場合、前記対象の３次元空間への物体の侵入場所に対して視界を持つ画像取得装置を抽出し、
    　前記制御手段は、前記抽出手段が抽出した前記画像取得装置または対応する前記画像処理手段のみを、最小の処理速度で作動させ、それ以外の画像取得装置または対応する画像処理手段を停止させるように制御する制御装置。
  8. 　画像取得装置と、前記画像取得装置から取得した画像に画像処理を施す画像処理装置とを制御する制御装置が、
    　前記画像取得装置から取得した画像に画像処理を施して画像上の物体情報を取得し、
    　得られた前記画像上の前記物体情報と、前記画像取得装置が撮像した対象の３次元空間とを対応させて、前記３次元空間上の物体の物体位置を推定し、
    　推定された前記３次元空間上の前記物体の前記物体位置に基づき、前記３次元空間上の前記物体の物体状態を特定し、
    　特定した前記物体状態に応じて、前記画像取得装置または対応する前記画像処理装置の動作を制御する制御方法。
  9. 　画像取得装置と、前記画像取得装置から取得した画像に画像処理を施す画像処理装置とを制御する制御装置を実現するコンピュータに、
    　前記画像取得装置から取得した画像にそれぞれ画像処理を施して画像上の物体情報をそれぞれ取得する手順、
    　得られた前記画像上の前記物体情報と、前記画像取得装置が撮像した対象の３次元空間とを対応させて、前記３次元空間上の物体の物体位置を推定する手順、
    　推定された前記３次元空間上の前記物体の前記物体位置に基づき、前記３次元空間上の前記物体の物体状態を特定する手順、
    　特定した前記物体状態に応じて、前記画像取得装置または対応する前記画像処理装置の動作を制御する手順を実行させるためのプログラム。
  10. 　画像取得装置と、
    　前記画像取得装置から取得した画像に画像処理を施して画像上の物体情報を取得する画像処理手段と、
    　得られた前記画像上の前記物体情報と、前記画像取得装置が撮像した対象の３次元空間とを対応させて、前記３次元空間上の物体の物体位置を推定する物体位置推定手段と、
    　推定された前記３次元空間上の前記物体の前記物体位置に基づき、前記３次元空間上の前記物体の物体状態を特定する物体状態特定手段と、
    　特定した前記物体状態に応じて、前記画像取得装置または対応する前記画像処理手段の動作を制御する制御手段と、を備える位置推定システム。
PCT/JP2012/006132 2011-09-26 2012-09-26 制御装置、制御方法、プログラム、および位置推定システム WO2013046654A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-209930 2011-09-26
JP2011209930 2011-09-26

Publications (1)

Publication Number Publication Date
WO2013046654A1 true WO2013046654A1 (ja) 2013-04-04

Family

ID=47994737

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/006132 WO2013046654A1 (ja) 2011-09-26 2012-09-26 制御装置、制御方法、プログラム、および位置推定システム

Country Status (1)

Country Link
WO (1) WO2013046654A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3282225A4 (en) * 2015-04-06 2018-12-26 Sony Corporation Control device and method, and program
WO2023157651A1 (ja) * 2022-02-17 2023-08-24 ソニーセミコンダクタソリューションズ株式会社 撮像装置および信号処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077887A (ja) * 2000-09-04 2002-03-15 Mitsubishi Electric Corp 自動監視方法および自動監視装置
JP2004266404A (ja) * 2003-02-28 2004-09-24 Hitachi Ltd 追尾型協調監視システム
JP2005086607A (ja) * 2003-09-10 2005-03-31 Hitachi Kokusai Electric Inc カメラ装置およびカメラシステム
JP2007318262A (ja) * 2006-05-23 2007-12-06 Sanyo Electric Co Ltd 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077887A (ja) * 2000-09-04 2002-03-15 Mitsubishi Electric Corp 自動監視方法および自動監視装置
JP2004266404A (ja) * 2003-02-28 2004-09-24 Hitachi Ltd 追尾型協調監視システム
JP2005086607A (ja) * 2003-09-10 2005-03-31 Hitachi Kokusai Electric Inc カメラ装置およびカメラシステム
JP2007318262A (ja) * 2006-05-23 2007-12-06 Sanyo Electric Co Ltd 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TOSHIYUKI YOSHIDA ET AL.: "Adaptive Control of Frame Intervals for Image Sequences based on Statistics of Motion Vectors", PROCEEDINGS OF THE 2004 IEICE GENERAL CONFERENCE, 8 March 2004 (2004-03-08), pages 46 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3282225A4 (en) * 2015-04-06 2018-12-26 Sony Corporation Control device and method, and program
WO2023157651A1 (ja) * 2022-02-17 2023-08-24 ソニーセミコンダクタソリューションズ株式会社 撮像装置および信号処理方法

Similar Documents

Publication Publication Date Title
JP4991595B2 (ja) パーティクルフィルタを使用する追跡システム
JP6872128B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6425856B1 (ja) ビデオ録画方法、サーバー、システム及び記憶媒体
JP6141079B2 (ja) 画像処理システム、画像処理装置、それらの制御方法、及びプログラム
WO2014171258A1 (ja) 情報処理システム、情報処理方法及びプログラム
JP5872981B2 (ja) 撮影機器，動体の撮影方法，撮影プログラム
JP5418072B2 (ja) 監視制御装置及び監視システム
KR20140128885A (ko) 전력 효율적인 이미지 감지 장치, 이미지 감지 장치의 작동 방법 및 눈/시선 추적 시스템
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN110032966B (zh) 用于智能服务的人体接近检测方法、智能服务方法及装置
US10867390B2 (en) Computer vision processing
KR20170053007A (ko) 자세 추정 방법 및 자세 추정 장치
KR101484844B1 (ko) 실시간 영상에 프라이버시 마스킹 툴을 제공하는 장치 및 방법
JP2016085487A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JPWO2014155958A1 (ja) 対象物監視システム、対象物監視方法および監視対象抽出プログラム
JP6219101B2 (ja) 映像監視システム、映像監視方法、映像監視システム構築方法
CN104751164A (zh) 物体运动轨迹捕捉方法及系统
KR20160086605A (ko) 객체 인식 방법 및 장치
JP2022520772A (ja) イベントベース光センサのピクセル配列から非同期的に受信された一連のイベントを処理する方法
JPWO2015029588A1 (ja) 画像処理システム、画像処理方法及びプログラム
CN103810696A (zh) 一种目标对象图像检测方法及装置
Senior et al. Interactive motion analysis for video surveillance and long term scene monitoring
CN113905206A (zh) 用以改进对个体的自动化标识的相机编排技术
JP7107596B2 (ja) 駅監視システム及び駅監視方法
WO2013046654A1 (ja) 制御装置、制御方法、プログラム、および位置推定システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12836895

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12836895

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP