WO2014136499A1 - 監視装置、監視方法および撮像部の配置方法 - Google Patents

監視装置、監視方法および撮像部の配置方法 Download PDF

Info

Publication number
WO2014136499A1
WO2014136499A1 PCT/JP2014/051689 JP2014051689W WO2014136499A1 WO 2014136499 A1 WO2014136499 A1 WO 2014136499A1 JP 2014051689 W JP2014051689 W JP 2014051689W WO 2014136499 A1 WO2014136499 A1 WO 2014136499A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging unit
unit
imaging
angle
wide
Prior art date
Application number
PCT/JP2014/051689
Other languages
English (en)
French (fr)
Inventor
佑樹 小野
Original Assignee
住友電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友電気工業株式会社 filed Critical 住友電気工業株式会社
Publication of WO2014136499A1 publication Critical patent/WO2014136499A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to a monitoring device, a monitoring method, and an imaging unit arrangement method, and more particularly to a monitoring device, a monitoring method, and an imaging unit arrangement method that perform monitoring using a plurality of imaging units.
  • a measuring apparatus measures the position information of a moving body that is simultaneously imaged by a plurality of cameras by sharing the field of view among the plurality of cameras. For example, when measuring a moving object, a measuring apparatus that uses three or more cameras at the same time and dynamically switches to a camera from a position suitable for measuring three-dimensional information of the moving object according to the movement of the moving object (For example, refer to Japanese Patent No. 3631266 (Patent Document 1)).
  • a technique for collating people between multiple cameras has been proposed.
  • a monitoring system see, for example, Japanese Patent No. 3999561 (Patent Document 2) in which feature information of a tracking target is transferred between a plurality of monitoring cameras and each monitoring camera tracks the tracking target using the feature information is known. It has been.
  • Non-Patent Document 1 Patent Document 1
  • Patent Document 2 the techniques described in Non-Patent Document 1, Patent Document 1 and Patent Document 2 have a problem that the cost increases because a plurality of cameras are provided. Therefore, for example, it is conceivable that one camera is set at a high position and this camera is configured to capture an image with a relatively large angle of view. In this case, an increase in cost can be suppressed by reducing the number of cameras, and a wide area can be monitored by imaging from a high position with a large angle of view. However, in this case, since the ratio of the number of pixels in which the monitoring target is captured with respect to the number of effective pixels of the camera is too low, the recognition accuracy of the monitoring target may be reduced.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a monitoring apparatus, a monitoring method, and an arrangement of an imaging unit capable of accurately tracking a monitoring target without providing many cameras. Is to provide a method.
  • a monitoring apparatus includes a first imaging unit that has a fixed angle of view, an imaging direction that can be changed, and a smaller angle of view than the first imaging unit.
  • a second imaging unit that can be adjusted to each other, an extraction unit that extracts an object from each of the images captured by the first imaging unit and the second imaging unit, and the object extracted by the extraction unit Based on the information processing unit for calculating the position and the position of the object calculated by the information processing unit, the second object so that the object is continuously captured in the image captured by the second image capturing unit.
  • a control unit that adjusts the imaging direction of the imaging unit.
  • a monitoring device includes a first imaging unit in which an angle of view is fixed, an imaging direction that can be changed, and is smaller than the first imaging unit.
  • a second imaging unit that can be adjusted to an angle of view; an extraction unit that extracts an object from each image captured by the second imaging unit; an information processing unit that calculates a position of the object extracted by the extraction unit;
  • a control unit that adjusts the imaging direction of the second imaging unit based on the position of the object calculated by the information processing unit so that the object is continuously captured in an image captured by the second imaging unit.
  • a monitoring apparatus is capable of changing the imaging direction with a first imaging unit having a fixed angle of view, and is smaller than the first imaging unit.
  • a second imaging unit that can be adjusted to an angle of view; a third imaging unit that has a fixed angle of view and that captures an area different from the first imaging unit; the first imaging unit; the second imaging unit;
  • An extraction unit that extracts an object from each image captured by the third imaging unit, an information processing unit that calculates a position of the object extracted by the extraction unit, and an information processing unit
  • a control unit that adjusts an imaging direction of the second imaging unit so that the object is continuously captured in an image captured by the second imaging unit based on the position of the object.
  • a monitoring method is capable of changing the imaging direction with a first imaging unit having a fixed angle of view, and is smaller than the first imaging unit.
  • a monitoring method in a monitoring apparatus including a second imaging unit that can be adjusted to an angle of view, the target being selected from at least one of images captured by the first imaging unit and the second imaging unit, respectively.
  • a step of extracting an object; a step of calculating the position of the extracted object; and the object is continuously captured in an image captured by the second imaging unit based on the calculated position of the object. Controlling the second imaging unit.
  • an image pickup unit arrangement method is capable of changing an image pickup direction with a first image pickup unit having a fixed angle of view, and the first image pickup unit.
  • An imaging unit arrangement method in a monitoring device including a second imaging unit that can be adjusted to a smaller angle of view and a third imaging unit that has a fixed angle of view, wherein the third imaging unit is the first imaging unit.
  • the monitoring target can be accurately tracked without providing many cameras.
  • FIG. 1 It is a figure which shows the usage image of the monitoring apparatus which concerns on embodiment of this invention. It is a block diagram which shows the structure of the image processing part of the monitoring apparatus which concerns on embodiment of this invention. It is a block diagram which shows the structure of the information processing part in the image processing part of the monitoring apparatus which concerns on embodiment of this invention. It is a flowchart which shows the whole flow of the monitoring operation
  • pattern 2 which shows the position of the target object from which a real space coordinate is selected by the real space coordinate calculation part of the monitoring apparatus which concerns on embodiment of this invention.
  • image figure 3 which shows the position of the target object from which a real space coordinate is selected by the real space coordinate calculation part of the monitoring apparatus which concerns on embodiment of this invention.
  • image figure 4 which shows the position of the target object from which a real space coordinate is selected by the real space coordinate calculation part of the monitoring apparatus which concerns on embodiment of this invention.
  • image figure (pattern 5) which shows the position of the target object from which a real space coordinate is selected by the real space coordinate calculation part of the monitoring apparatus which concerns on embodiment of this invention.
  • a monitoring apparatus includes a first imaging unit having a fixed angle of view, a first imaging unit that can change an imaging direction and can be adjusted to a smaller angle of view than the first imaging unit.
  • 2 imaging units an extraction unit for extracting an object from each image captured by the first imaging unit and the second imaging unit, and information for calculating the position of the object extracted by the extraction unit Based on the position of the object calculated by the processing unit and the information processing unit, the imaging direction of the second imaging unit so that the object is continuously captured in the image captured by the second imaging unit
  • a control unit for adjusting for adjusting.
  • the second imaging unit that can change the imaging direction tracks the object, and adjusts the angle of view to capture a detailed image of the object. Therefore, the monitoring target can be accurately tracked without providing many imaging units.
  • the second imaging unit of (1) is arranged to be able to image a blind spot area that is not captured by the first imaging unit. In this case, even if the object is present in the blind spot area, the second imaging unit can capture the image while complementing the blind spot area, so that the monitoring performance can be improved.
  • the information processing unit may include the object in an image in which the object is captured when the object is captured in an image captured by the first imaging unit. It is preferable that the position of the object calculated based on the coordinates of the object is the position of the object used by the control unit to control the second imaging unit. In this case, the position of the target can be accurately calculated using a known fixed value related to the first imaging unit, and the second imaging unit can be accurately controlled.
  • the information processing unit of (3) is a case where the object is not reflected in an image captured by the first imaging unit, and the image captured by the second imaging unit is When the object is captured, the control unit calculates the position of the object calculated based on the control information used by the control unit to control the second imaging unit. It is preferable to set the position of the object used for proper control. In this case, even if the object is not captured in the image captured by the first imaging unit, the position of the object can be calculated, and the second imaging unit can be controlled without losing sight of the object. it can.
  • the information processing unit of (3) or (4) is captured by the first imaging unit even when the object is reflected in an image captured by the first imaging unit. If the object is located in the vicinity of the boundary of the image and the object is reflected in the image captured by the second imaging unit, the control is performed to control the second imaging unit. It is preferable that the position of the object calculated based on the control information used by the unit is the position of the object used by the control unit for new control of the second imaging unit. In this case, for an object that is likely to enter the blind spot area and not appear in the image captured by the first imaging unit, a method for calculating the position of the object, which is information used for control of the second imaging unit, is used. By switching in advance to the calculation method when the target object is located in the blind spot area, the position of the target object can be quickly updated when the target object actually moves into the blind spot area. You can prevent losing sight of things.
  • the information processing unit when a plurality of objects are extracted by the extraction unit, gives a priority to each extracted object, The object having the highest priority is determined as an imaging target of the second imaging unit, and the control unit controls the second imaging unit based on the position of the object determined by the information processing unit. It is preferable to do this. In this case, it is possible to preferentially capture an object that needs to be imaged by the second imaging unit.
  • the information processing unit of (6) when a plurality of objects are extracted by the extraction unit, calculates the degree of abnormality of each extracted object, and the calculated object having a high degree of abnormality The higher the priority, the better. In this case, it is possible to appropriately select and image an object that is highly necessary to be imaged.
  • the second imaging unit of any one of (6) to (8) is arranged so as to be able to image a blind spot area that is not captured by the first imaging unit, and a plurality of the information processing units are configured by the extraction unit.
  • the target object is extracted, it is preferable to give a high priority to the target object located in the blind spot area or the target object located near the blind spot area. Since the object located in the blind spot area is not captured in the image captured by the first imaging unit, there is a high possibility that the object will be lost if it is not captured by the second imaging unit.
  • an object that is highly likely to be missed can be preferentially imaged by the second imaging unit, so that high monitoring capability can be realized.
  • a monitoring device includes a first imaging unit in which an angle of view is fixed, and an imaging direction that can be changed and adjusted to a smaller angle of view than the first imaging unit.
  • a second imaging unit capable of extracting an object from each image captured by the second imaging unit; an information processing unit for calculating a position of the object extracted by the extraction unit; and the information processing unit.
  • a control unit that adjusts an imaging direction of the second imaging unit based on the calculated position of the object so that the object is continuously captured in an image captured by the second imaging unit.
  • the second imaging unit that can change the imaging direction tracks the object, and adjusts the angle of view to capture a detailed image of the object. Therefore, the monitoring target can be accurately tracked without providing many imaging units.
  • a monitoring device is capable of changing the imaging direction with a first imaging unit having a fixed angle of view, and adjusting the angle of view to be smaller than that of the first imaging unit.
  • a possible second imaging unit, a third imaging unit having a fixed angle of view and imaging a region different from the first imaging unit, the first imaging unit, the second imaging unit, and the third imaging unit An extraction unit that extracts an object from each of the images captured by the information processing unit, an information processing unit that calculates a position of the object extracted by the extraction unit, and an object that is calculated by the information processing unit.
  • a control unit that adjusts an imaging direction of the second imaging unit based on a position so that the object is continuously captured in an image captured by the second imaging unit.
  • the second imaging unit that can change the imaging direction tracks the object, and adjusts the angle of view to capture a detailed image of the object. Therefore, the monitoring target can be accurately tracked without providing many imaging units.
  • the second imaging unit of (11) is disposed between the first imaging unit and the third imaging unit. In this case, without setting a large number of imaging units that can change the imaging direction, only the second imaging unit captures an object that is present in either the area captured by the first imaging unit or the blind spot area. be able to.
  • the first imaging unit having a fixed angle of view, the imaging direction can be changed, and the angle of view is adjusted to be smaller than that of the first imaging unit.
  • a monitoring method in a monitoring device including a second imaging unit capable of extracting an object from at least one of images captured by the first imaging unit and the second imaging unit, respectively.
  • the second imaging unit capable of changing the imaging direction tracks the object, and adjusts the angle of view to capture a detailed image of the object. Therefore, the monitoring target can be accurately tracked without providing many imaging units.
  • the arrangement method of the imaging unit includes a first imaging unit with a fixed angle of view, an imaging direction that can be changed, and an image smaller than the first imaging unit.
  • An arrangement method of an imaging unit in a monitoring device including a second imaging unit that can be adjusted to a corner and a third imaging unit that has a fixed angle of view, wherein the third imaging unit and the first imaging unit. The step of arranging to image different areas, and the second imaging unit, at least one of the area imaged by the first imaging unit and the area imaged by the third imaging unit, and Disposing a blind spot area that is not imaged by any of the first imaging unit and the third imaging unit so as to be imaged.
  • the second imaging unit that can change the imaging direction tracks the target object and adjusts the angle of view to capture a detailed image of the target object. Therefore, the monitoring target can be accurately tracked without providing many imaging units. Further, even when the object is present in the blind spot area, the second imaging unit can capture the image while complementing the blind spot area, so that the monitoring performance can be improved.
  • FIG. 1 is a diagram illustrating a usage image of a monitoring device according to an embodiment of the present invention.
  • a monitoring apparatus 100 includes an image processing unit 10, a wide-angle camera (first imaging unit) A, a wide-angle camera (third imaging unit) B, and a PTZ (pan / tilt / zoom) camera ( A second imaging unit) P and a PTZ driving unit 11;
  • the imaging area EA imaged by the wide-angle camera A and the imaging area EB imaged by the wide-angle camera B are, for example, different areas that do not overlap each other, and the wide-angle camera A and the wide-angle camera B are respectively the wide-angle of the corresponding imaging area.
  • An image is always captured, and the captured image is output to the image processing unit 10.
  • the PTZ camera P can change the photographing direction up, down, left, and right by changing the optical axis direction by driving a motor or the like.
  • the PTZ camera P can adjust the angle of view based on the control of the PTZ drive unit 11.
  • the PTZ camera P is adjusted to have a smaller angle of view than the wide-angle camera A and the wide-angle camera B by the image processing unit 10 and is imaged by any of the imaging area EA, the imaging area EB, the wide-angle camera A, and the wide-angle camera B.
  • a specific area is picked up by an enlarged image out of the blind spot area that is not used.
  • the PTZ camera P captures an area including a blind spot area, the vicinity of the boundary of the imaging area EA, and the vicinity of the boundary of the imaging area EB with a relatively large angle of view.
  • the PTZ driving unit 11 causes the PTZ camera P to continue the enlarged image of the person. Then, the imaging direction and angle of view of the PTZ camera P are adjusted so as to capture the image. As a result, the PTZ camera P tracks the person and continuously captures enlarged images of the person.
  • the PTZ camera P In the initial state, that is, in the state where no object is being tracked, the PTZ camera P has a protected area such as an important cultural property or a place where the person enters or leaves the imaging area EA or the imaging area EB. A predetermined location such as a specific area to be captured may be imaged. Further, the wide-angle camera A, the wide-angle camera B, and the PTZ camera P each capture an image in parallel. Instead of the wide-angle camera A and the wide-angle camera B, a PTZ camera having a larger maximum angle of view than the PTZ camera P can be used.
  • each area of the blind spot area, the imaging area EA, and the imaging area EB is, for example, an area within 50 pixels inside from the top, bottom, left, and right edges of the image captured by each camera, or each camera An area within 5% inside the horizontal field angle and an area within 5% inside the vertical field angle. That is, for example, when the horizontal angle of view of the wide-angle camera A is 100 °, an area within 5 ° inside from both ends of the horizontal angle of view corresponds to the vicinity of the boundary of the imaging area EA.
  • FIG. 2 is a block diagram showing the configuration of the image processing unit of the monitoring apparatus according to the embodiment of the present invention.
  • image processing unit 10 includes extraction units 12, 13, 14, information processing unit 15, storage unit 16, external output unit 17, and control unit 18.
  • the extraction unit 12 receives the data of the wide-angle image captured by the wide-angle camera A and outputs this data to the storage unit 16. Thereby, the storage unit 16 sequentially stores the data of the wide-angle image of the imaging area EA captured by the wide-angle camera A.
  • the extraction unit 12 extracts an object included in the wide-angle image captured by the wide-angle camera A by using, for example, a background difference method based on the wide-angle image data. Specifically, the extraction unit 12 acquires the brightness value of each pixel in the wide-angle image based on the data of the wide-angle image, and the imaging area EA in which the acquired brightness value of each pixel and the person created in advance are not captured. A background difference value D1 (i, j) that is an absolute value of a difference from the luminance value of each pixel in the background image is calculated.
  • the extraction unit 12 performs binarization processing of “1” or “0” on the wide-angle image based on the background difference value D1 (i, j). Then, the extraction unit 12 reads a plurality of binarized wide-angle images by using a frame approximately the size of a person as a detection frame, and the ratio of “1” in the read detection frame is a predetermined value or more. In some cases, it is determined that a person, that is, an object is shown in this detection frame.
  • the extraction part 12 can also extract a target object not only using the background difference method mentioned above but using methods, such as a threshold process, for example. Specifically, for example, the extraction unit 12 extracts a detection frame in which a pattern different from other portions is captured in the wide-angle image of the imaging area EA captured by the wide-angle camera A, and the pattern captured in the detection frame The degree of difference from the pattern in the other area is calculated. And the extraction part 12 judges that the target object is reflected in the detection frame whose grade of a difference is more than a threshold value.
  • a threshold process for example.
  • the extraction unit 12 extracts a detection frame in which a pattern different from other portions is captured in the wide-angle image of the imaging area EA captured by the wide-angle camera A, and the pattern captured in the detection frame The degree of difference from the pattern in the other area is calculated. And the extraction part 12 judges that the target object is reflected in the detection frame whose grade of a difference is more than a threshold value.
  • the extraction unit 12 outputs, to the information processing unit 15, wide-angle image data in which a detection frame in which it is determined that the object is captured is labeled. Note that when a plurality of different objects are extracted, the extraction unit 12 attaches a different label to the detection frame in which each object is shown.
  • the extraction unit 13 receives wide-angle image data captured by the wide-angle camera B and outputs this data to the storage unit 16.
  • the storage unit 16 sequentially stores the wide-angle image data of the imaging area EB captured by the wide-angle camera B.
  • the extraction unit 13 extracts an object included in the wide-angle image captured by the wide-angle camera B, for example, using a background difference method or performing threshold processing based on the data of the wide-angle image. Then, the extraction unit 13 outputs, to the information processing unit 15, wide-angle image data in which a detection frame in which it is determined that the object is captured is labeled.
  • the extraction unit 14 receives data of an image captured by the PTZ camera P and outputs this data to the storage unit 16. As a result, data of images taken by the PTZ camera P is sequentially stored in the storage unit 16.
  • the extraction unit 14 uses, for example, a background difference method or a threshold process based on data of an image captured by the PTZ camera P, so that an object included in the image captured by the PTZ camera P is included. Extract the product. Then, the extraction unit 14 outputs data of an image in which a detection frame that has been determined to include the object is labeled to the information processing unit 15.
  • the wide-angle camera A, the wide-angle camera B, and the PTZ camera P always capture corresponding imaging regions, and output the captured images, that is, moving images, to the image processing unit 10. For this reason, the extraction units 12, 13, and 14 extract the object for each frame of the moving image output from the corresponding camera. At this time, when the same objects are extracted between different images, the extraction units 12, 13, and 14 attach the same labels to the detection frames in which the same objects are shown.
  • the extraction unit 12 attaches a label X1 to the detection frame in which the object X is captured. And the extraction part 12 acquires the wide-angle image imaged with the wide-angle camera A at the time t + 1, and extracts a target object again from the acquired wide-angle image.
  • the extraction unit 12 extracts an object existing near the position of the detection frame labeled X1 from the wide-angle image captured at time t, the object is the same as the object X. Judge as an object. And the extraction part 12 attaches
  • the extraction unit 12 extracts an object existing in a place away from the position of the detection frame with the label X1 in the wide-angle image captured at time t, the object is the object X.
  • the extraction part 12 attaches
  • the extraction units 13 and 14 extract the object using the method as described above, and label the detection frame in which the extracted object is reflected. In this way, the extraction units 12, 13, and 14 can track each target object by specifying the destination of the extracted one or more target objects.
  • the information processing unit 15 acquires data of an image in which a label is attached to the detection frame in which the object is captured from the extraction units 12, 13, and 14. Then, the information processing unit 15 calculates the position of the object based on the position of the detection frame to which the label is attached. Specifically, the information processing unit 15 calculates real space coordinates that are coordinates in the real space of the object. Further, when the PTZ camera P tracks and captures a tracking target object, the information processing unit 15 is based on the control information of the PTZ camera P such as the imaging direction and the angle of view of the PTZ camera P. It is also possible to calculate real space coordinates of an object that is tracked and imaged by the PTZ camera P.
  • the information processing unit 15 gives priority to each object. To do. For example, the information processing unit 15 calculates the degree of abnormality of each object, and assigns a higher priority as the calculated degree of abnormality is higher. Then, the information processing unit 15 determines the object having the highest priority as the tracking object that is tracked and imaged by the PTZ camera P. The details of assigning priority by the information processing unit 15 will be described later. Then, the information processing unit 15 generates control information of the PTZ camera P based on the real space coordinates of the object determined as the tracking object so that the tracking object is tracked and imaged by the PTZ camera P. Then, the generated control information is output to the control unit 18.
  • the control unit 18 outputs a signal indicating a driving instruction to the PTZ driving unit 11 based on the control information received from the information processing unit 15.
  • the PTZ drive unit 11 adjusts the drive of the PTZ camera P, that is, the imaging direction and the angle of view of the PTZ camera P, based on the signal indicating the drive instruction received from the control unit 18.
  • the PTZ camera P captures an enlarged image of the tracking target determined by the information processing unit 15, and the captured enlarged image is output to the storage unit 16 via the extraction unit 14.
  • the storage unit 16 sequentially stores enlarged image data of the tracking target object that is tracked and imaged by the PTZ camera P.
  • the information processing unit 15 determines whether the imaging area EA, the imaging area EB, and the blind spot area satisfy a predetermined condition. For example, the information processing unit 15 determines that the predetermined condition is satisfied when the degree of abnormality of the tracking target is equal to or greater than a threshold value. In this case, the information processing unit 15 outputs a signal indicating an output instruction to the external output unit 17. After receiving the signal indicating the output instruction from the information processing unit 15, the external output unit 17 stores the enlarged image data of the tracking target in the storage unit 16 and stores the tracking target stored in the storage unit 16. Get enlarged image data. In addition, when the tracking target is shown in a wide-angle image captured by the wide-angle camera A or the wide-angle camera B, the external output unit 17 also acquires the data of the wide-angle image.
  • the external output unit 17 transmits the acquired data to an external monitor or a user's mobile terminal.
  • the external output unit 17 may transmit, for example, a text sentence for reporting that the degree of abnormality of the tracked object is high to an external monitor or a user terminal device.
  • an enlarged image of the person with the highest degree of abnormality and a wide-area image in which the person is shown are displayed in real time.
  • FIG. 3 is a block diagram showing a configuration of the information processing unit in the image processing unit of the monitoring apparatus according to the embodiment of the present invention.
  • the information processing unit 15 includes a real space coordinate calculation unit 22, a priority order assigning unit 23, a tracking target object determination unit 24, a control information generation unit 25, and a notification determination unit 26. .
  • the real space coordinate calculation unit 22 stores in advance camera information such as the installation height from the ground, the depression angle of each camera, the horizontal field angle, and the vertical field angle for the wide angle camera A and the wide angle camera B. In addition, the real space coordinate calculation unit 22 sets the installation height of the PTZ camera P from the ground, the depression angle of the PTZ camera P, the horizontal angle of view, and the vertical in a state where the PTZ camera P is not tracking any object. Camera information such as the angle of view of the direction is stored in advance.
  • the real space coordinate calculation unit 22 acquires, from the extraction units 12, 13, and 14, image data with a label attached to the detection frame in which the object is reflected. Then, when the object is extracted from the wide-angle image captured by the wide-angle camera A or the wide-angle camera B, the real space coordinate calculation unit 22 includes the coordinates of the object in the wide-angle image in which the object is captured, Based on the camera information of the wide-angle camera that captured the wide-angle image of the wide-angle camera A and the wide-angle camera B, the real space coordinates of the object are calculated.
  • the real space coordinate calculation unit 22 calculates the real space coordinates of the object based on the control information of the PTZ camera P. Specifically, as described above, the PTZ camera P adjusts the imaging direction, the angle of view, and the like by the PTZ driving unit 11 and tracks and captures an object. For this reason, when the object is imaged by the PTZ camera P, the real space coordinate calculation unit 22 calculates the real space coordinates of the object based on the control information such as the imaging direction and the angle of view of the PTZ camera P. can do.
  • the PTZ camera P captures the vicinity of the boundary of the imaging area EA, the vicinity of the boundary of the imaging area EB, and the blind spot area with a relatively large angle of view in a state where no object is being tracked.
  • the target object appears in the image captured by the PTZ camera P. Therefore, in this case, the real space coordinate calculation unit 22 is based on the coordinates of the target in the image captured by the PTZ camera P and the camera information of the PTZ camera P stored in advance. Coordinates can be calculated.
  • the real space coordinate calculation unit 22 is configured such that when the same object is captured by a plurality of different cameras, specifically, when the same object is captured by both the wide-angle camera A and the PTZ camera P. Alternatively, when the same object is imaged by both the wide-angle camera B and the PTZ camera P, the real space coordinates of the same object are calculated redundantly. The real space coordinates calculated at this time are the same or approximate values. For this reason, the real space coordinate calculation unit 22 selects one of the real space coordinates calculated redundantly based on the position where the target object exists.
  • the real space coordinate calculation unit 22 uses one coordinate based on the coordinates of the target object in the wide-angle image in which the target object is captured. Only real space coordinates are calculated. This corresponds to the real space coordinate calculation unit 22 selecting one calculated real space coordinate.
  • the real space coordinate calculation unit 22 calculates only one real space coordinate based on the control information of the PTZ camera P when the object is imaged only by the PTZ camera P. This corresponds to the real space coordinate calculation unit 22 selecting one calculated real space coordinate.
  • the real space coordinate calculation unit 22 holds the real space coordinates of each selected object and outputs it to the priority order assigning unit 23.
  • the priority level assigning unit 23 calculates, for example, the degree of abnormality of each object based on the real space coordinates of each object received from the real space coordinate calculating unit 22, and assigns each object based on the calculated degree of abnormality. Give priority to them.
  • the degree of abnormality is, for example, the movement path of a person, the position of a person with respect to a specific area where a protected object such as an important cultural property exists, the length of time a person stays in the specific area, These are values based on actions such as staying for a predetermined time or longer, the movement speed of the person, the posture of the person, and what the person has in his hand. For example, when a certain person stays at the same position for a predetermined time or more, and when the staying position is close to a specific area where important cultural properties exist, the degree of abnormality for each action is added up. Also, when calculating the degree of abnormality, weighting which one of a plurality of behavior criteria such as the position of the person with respect to the specific area and the length of time the person stays in the specific area contributes more You may do it.
  • the priority level assigning unit 23 is not limited to the method described above, and can give priority levels based on the position of each object with respect to the blind spot area. For example, when the target is located in the blind spot area of the wide-angle camera A and the wide-angle camera B, the priority level assigning unit 23 can give a high priority to the target object. Similarly, when the target is located near the boundary of the imaging area EA or the imaging area EB, the priority level assigning unit 23 can similarly give a high priority to the target object.
  • the priority level assigning unit 23 may perform both of the priority order based on the degree of abnormality described above and the priority order based on the position of each object with respect to the blind spot area. In this case, for example, the priority level assigning unit 23 adds the priority level given based on the position of each object with respect to the blind spot area to the priority level given based on the degree of abnormality, and comprehensively adds to each object. Priorities are assigned.
  • the priority order assigning unit 23 outputs information indicating the priority order given to each object and information indicating the degree of abnormality of each object to the tracking object determining unit 24.
  • the tracking target object determination unit 24 determines the target object with the highest priority order as the tracking target object based on the information indicating the priority order received from the priority order giving unit 23. Then, the tracking object determining unit 24 notifies the control information generating unit 25 of the object determined as the tracking object.
  • the control information generation unit 25 acquires the real space coordinates of the target notified from the tracking target determination unit 24 as the tracking target from the real space coordinate calculation unit 22. Then, the control information generation unit 25 generates control information of the PTZ camera P based on the real space coordinates of the tracking target so that the tracking target is tracked and imaged by the PTZ camera P, and the generated control is generated. Information is output to the control unit 18.
  • the tracking object determination unit 24 outputs information indicating the degree of abnormality of the tracking object to the notification determination unit 26. For example, when the degree of abnormality of the tracking target received from the tracking target determination unit 24 is equal to or greater than a threshold, the notification determination unit 26 determines that the predetermined condition is satisfied. In this case, the report determination unit 26 determines to report to an external monitor or a user's mobile terminal, and outputs a signal indicating an output instruction to the external output unit 17.
  • a wide-angle image is newly picked up by the wide-angle camera A and the wide-angle camera B in parallel with the pickup of the enlarged image of the tracking target by the PTZ camera P. Then, when the objects are extracted from the newly captured wide-angle image by the extraction units 12 and 13 and the real space coordinates are calculated by the real space coordinate calculation unit 22 and the real space coordinates are selected, The priority level assigning unit 23 recalculates the degree of abnormality for each object for which the real space coordinates are newly selected, and assigns the priority order again based on the calculated degree of abnormality.
  • a new target object is extracted and the priority order for each target object is updated, so that a target object different from the target object tracked and imaged by the PTZ camera P is newly determined as the tracking target object.
  • the PTZ camera P switches the object to be tracked and starts tracking the object newly determined as the tracking object.
  • FIG. 4 is a flowchart showing the overall flow of the monitoring operation by the monitoring apparatus according to the embodiment of the present invention.
  • the monitoring apparatus 100 reads out a program including each step of the flowchart from a memory (not shown) and executes the program.
  • This program can be installed externally.
  • the installed program is distributed in a state stored in a recording medium, for example.
  • corresponding areas are imaged by wide-angle camera A, wide-angle camera B, and PTZ camera P, respectively.
  • the PTZ camera P captures the vicinity of the boundary of the imaging area EA, the vicinity of the boundary of the imaging area EB, and the blind spot areas of the wide-angle camera A and the wide-angle camera B.
  • the extraction units 12, 13, and 14 of the image processing unit 10 acquire images captured by the corresponding cameras, respectively (step S11).
  • the extraction units 12, 13, and 14 extract the object from the image received from the corresponding camera, and the data of the image with the label attached to the detection frame in which each extracted object is reflected, It outputs to 15 real space coordinate calculation parts 22 and storage part 16 (Step S12). Note that if no object is extracted from any of the images captured by the wide-angle camera A, the wide-angle camera B, and the PTZ camera P, the operations after step S13 are not executed, and the extraction units 12 and 13 of the image processing unit 10 are performed. , 14 again obtains images captured by the corresponding cameras (step S11) and repeats the object extraction process (step S12).
  • the real space coordinate calculation unit 22 calculates the real space coordinates of each object based on the image data received from the extraction units 12, 13, and 14. And the real space coordinate calculation part 22 selects one real space coordinate among the calculated real space coordinates about each target object. In addition, the real space coordinate calculation part 22 selects the said real space coordinate about the target object which calculated only one real space coordinate.
  • the real space coordinate calculation unit 22 holds information indicating the real space coordinates of each selected object and outputs the information to the priority order assigning unit 23 (step S13).
  • the priority level assigning unit 23 calculates the degree of abnormality of each object based on the real space coordinates of each object selected by the real space coordinate calculating unit 22. Then, the priority order assigning unit 23 assigns a priority order to each object based on the calculated degree of abnormality. And the priority provision part 23 outputs the information which shows the priority provided with respect to each target, the information which shows the abnormality degree of each target, etc. to the tracking target determination part 24 (step S14).
  • the tracking target determining unit 24 determines the target given the highest priority as the tracking target based on the priority of each target received from the priority giving unit 23, and the tracking target The control object generation unit 25 is notified of the object determined as (step S15).
  • control information generation unit 25 acquires the real space coordinates of the target notified from the tracking target determination unit 24 as the tracking target from the real space coordinate calculation unit 22. Then, the control information generation unit 25 generates control information of the PTZ camera P based on the real space coordinates of the tracking target acquired from the real space coordinate calculation unit 22 and outputs the generated control information to the control unit 18. .
  • control unit 18 outputs a signal indicating a drive instruction to the PTZ drive unit 11 based on the control information received from the control information generation unit 25.
  • the PTZ drive unit 11 adjusts the drive of the PTZ camera P, that is, the imaging direction and the angle of view of the PTZ camera P, based on the signal indicating the drive instruction received from the control unit 18.
  • the PTZ camera P tracks the tracking object determined by the information processing unit 15, captures an enlarged image of the tracking object, and the captured enlarged image passes through the extraction unit 14 to the storage unit 16. (Step S16).
  • each of the extraction units 12, 13, and 14 obtains an image picked up by the corresponding camera again, and the operations after step S ⁇ b> 11 are repeated.
  • the tracking target determining unit 24 determines the tracking target
  • the tracking target determining unit 24 outputs information indicating the degree of abnormality of the tracking target to the notification determining unit 26.
  • the notification determination unit 26 determines that the predetermined condition is satisfied, and sends it to the external monitor or the user's mobile terminal. It decides to report and outputs a signal indicating an output instruction to the external output unit 17.
  • the external output unit 17 After receiving the signal indicating the output instruction from the notification determination unit 26, the external output unit 17 acquires the data from the storage unit 16 when the enlarged image data of the tracking target is stored in the storage unit 16. . Then, the external output unit 17 transmits the acquired image data to an external monitor, a user portable terminal, or the like.
  • FIG. 5 is a flowchart showing an operation procedure of real space coordinate selection processing shown in FIG.
  • the real space coordinate calculation unit 22 acquires data of an image in which a label is attached to a detection frame in which the object extracted by the extraction units 12, 13, and 14 is shown. Then, the real space coordinate calculation unit 22 calculates real space coordinates for all the objects extracted by the extraction units 12, 13, and 14 (step S21).
  • the real space coordinate calculation unit 22 calculates the object in the wide-angle image in which the object is captured. Based on the coordinates and camera information of the wide-angle camera that captured the wide-angle image of the wide-angle camera A and the wide-angle camera B, the real space coordinates of the object are calculated. Further, when the object is extracted from the image captured by the PTZ camera P, the real space coordinate calculation unit 22 calculates the real space coordinates of the object based on the control information of the PTZ camera P.
  • the real space coordinate calculation part 22 confirms whether the real space coordinate was selected about all the objects (step S22).
  • the real space coordinate calculation unit 22 ends the real space coordinate selection process.
  • the real space coordinate calculation unit 22 selects one of the objects for which no real space coordinates have been selected (step S22). S23).
  • the real space coordinate calculation unit 22 determines whether or not the selected object has been imaged by a plurality of cameras (step S24). For example, when there are two approximate real space coordinates whose degree of difference is equal to or less than a threshold value among the real space coordinates of each target object calculated in step S21, the real space coordinate calculation unit 22 uses these two real space coordinates. Are real space coordinates calculated for the same object, and it can be determined that the object was captured by two different cameras.
  • the target is captured based on the real space coordinates of the target. It is determined whether it is sufficiently inside the area EA or the imaging area EB (step S25).
  • a plurality of patterns based on the position where the object exists will be described.
  • FIG. 6 is an image diagram (pattern 1) showing the position of an object for which real space coordinates are selected by the real space coordinate calculation unit of the monitoring apparatus according to the embodiment of the present invention.
  • pattern 1 a state in which the object X exists sufficiently inside the imaging area EA and both the wide-angle camera A and the PTZ camera P are imaging the object X is referred to as “pattern 1”.
  • the imaging area EA or the imaging area EB is, for example, an area excluding an area near the boundary among the areas.
  • the imaging area EA will be described as an example. Specifically, an area within 50 pixels on the inner side from the top, bottom, left, and right edges of the wide-angle image captured by the wide-angle camera A may be set as an area near the boundary of the imaging area EA. In this case, the area excluding the area near the boundary in the imaging area EA corresponds to the inside of the imaging area EA.
  • a certain ratio from the end of the angle of view of the wide-angle camera may be set as the area near the boundary. More specifically, an area within 5% from both ends of the angle of view of the angle of view of the wide-angle camera A may be set as an area near the boundary of the imaging area EA. Also in this case, the area excluding the area near the boundary in the imaging area EA corresponds to a sufficiently inner side of the imaging area EA. For example, when the horizontal angle of view of the wide-angle camera A is 100 °, the area of the imaging area EA excluding the area within 5 ° on the inner side from both ends of the horizontal angle of view corresponds sufficiently inside the imaging area EA.
  • the real space coordinate calculation unit 22 uses the object X in the wide-angle image captured by the wide-angle camera A as the real-space coordinates of the object X in step S21 shown in FIG. Both real space coordinates based on the coordinates and real space coordinates based on the control information of the PTZ camera P are calculated.
  • step S25 the real space coordinate calculation unit 22 determines that the object X is sufficiently inside the imaging area EA, that is, in the state of “pattern 1”, based on the real space coordinates of the object X, for example.
  • the real space coordinates calculated using the coordinates of the object X in the wide-angle image captured by the wide-angle camera A are selected from the real-space coordinates of the object X calculated in step S21 (step in FIG. 5).
  • FIG. 7 is an image diagram (pattern 2) showing the position of an object for which real space coordinates are selected by the real space coordinate calculation unit of the monitoring apparatus according to the embodiment of the present invention.
  • pattern 2 a state in which the object X is present near the boundary of the imaging area EA and both the wide-angle camera A and the PTZ camera P are imaging the object X is referred to as “pattern 2”.
  • the real space coordinate calculation unit 22 uses the wide-angle camera A as the real space coordinates of the object X in step S21 shown in FIG.
  • the real space coordinates based on the coordinates of the object X in the wide-angle image captured by the above and the real space coordinates based on the control information of the PTZ camera P are calculated.
  • step S25 the real space coordinate calculation unit 22 determines that the object X is near the boundary of the imaging area EA, that is, in the state of “pattern 2”, based on the real space coordinates of the object X, for example.
  • the real space coordinates calculated using the control information of the PTZ camera P are selected from the real space coordinates of the object X calculated in step S21 (step S27 in FIG. 5).
  • FIG. 8 is an image diagram (pattern 3) showing the position of an object for which real space coordinates are selected by the real space coordinate calculation unit of the monitoring apparatus according to the embodiment of the present invention.
  • pattern 3 the state in which the object X is present near the boundary of the imaging region EB and both the wide-angle camera B and the PTZ camera P are imaging the object X.
  • the real space coordinate calculation unit 22 uses the object X in the wide-angle image captured by the wide-angle camera B as the real-space coordinates of the object X in step S21 shown in FIG. Both real space coordinates based on the coordinates and real space coordinates based on the control information of the PTZ camera P are calculated.
  • step S25 the real space coordinate calculation unit 22 determines that the object X is near the boundary of the imaging region EB, that is, in the state of “pattern 3”, based on the real space coordinates of the object X, for example.
  • the real space coordinates calculated using the control information of the PTZ camera P are selected from the real space coordinates of the object X calculated in step S21 (step S27 in FIG. 5). .
  • FIG. 9 is an image diagram (pattern 4) showing the position of an object for which real space coordinates are selected by the real space coordinate calculation unit of the monitoring apparatus according to the embodiment of the present invention.
  • pattern 4 a state in which the object X exists sufficiently inside the imaging region EB and both the wide-angle camera B and the PTZ camera P are imaging the object X.
  • the real space coordinate calculation unit 22 uses the wide-angle camera B as the real space coordinates of the object X in step S21 shown in FIG.
  • the real space coordinates based on the coordinates of the object X in the wide-angle image captured by the above and the real space coordinates based on the control information of the PTZ camera P are calculated.
  • step S25 the real space coordinate calculation unit 22 determines that the object X is sufficiently inside the imaging region EB, that is, in the state of “pattern 4”, based on the real space coordinates of the object X, for example.
  • the real space coordinates calculated using the coordinates of the object X in the wide-angle image captured by the wide-angle camera B are selected from the real-space coordinates of the object X calculated in step S21 (step in FIG. 5).
  • the real space coordinate calculation unit 22 does not capture the selected object with a plurality of cameras, that is, any one of the wide-angle camera A, the wide-angle camera B, and the PTZ camera P.
  • the real space coordinates calculated by different calculation methods are selected according to which camera the camera that captured the target object is (step S28). ).
  • FIG. 10 is an image diagram (pattern 5) showing the position of an object for which real space coordinates are selected by the real space coordinate calculation unit of the monitoring apparatus according to the embodiment of the present invention.
  • pattern 5 a state in which the object X exists in the blind spot area of the wide-angle camera A and the wide-angle camera B and only the PTZ camera P is capturing an image of the object X is referred to as “pattern 5”.
  • the real space coordinate calculation unit 22 calculates the real space coordinates based on the control information of the PTZ camera P as the real space coordinates of the object X in step S21 shown in FIG. Yes. Then, in step S28, the real space coordinate calculation unit 22 captures only the object X based on the real space coordinates of the object X, for example, that is, the state of “pattern 5”.
  • the real space coordinates calculated using the control information of the PTZ camera P in step S21 are selected as in the case of pattern 1 or pattern 4 (step S29 in FIG. 5).
  • FIG. 11 is an image diagram (pattern 6) showing the position of an object for which real space coordinates are selected by the real space coordinate calculation unit of the monitoring apparatus according to the embodiment of the present invention.
  • the object X exists in the imaging area EA
  • the object Y exists at a position different from the object X
  • the PTZ camera P images the object Y, so that the wide-angle camera A state in which only A images the object X is referred to as “pattern 6”.
  • the real space coordinate calculation unit 22 uses the object X in the wide-angle image captured by the wide-angle camera A as the real-space coordinates of the object X in step S21 shown in FIG. Real space coordinates based on the coordinates are calculated.
  • the real space coordinate calculation unit 22 captures the object X only by the wide-angle camera A based on the real space coordinates of the object X and the object Y, for example, “pattern 6”.
  • the real space coordinates calculated using the coordinates of the object X in the wide-angle image captured by the wide-angle camera A in step S21 are selected (step S30 in FIG. 5).
  • FIG. 12 is an image diagram (pattern 7) showing the position of an object for which real space coordinates are selected by the real space coordinate calculation unit of the monitoring apparatus according to the embodiment of the present invention.
  • the object X exists in the imaging region EB
  • the object Y exists at a position different from the object X
  • the PTZ camera P images the object Y, so that the wide-angle camera A state in which only B captures the object X is referred to as “pattern 7”.
  • the real space coordinate calculation unit 22 sets the object X in the wide angle image captured by the wide angle camera B as the real space coordinates of the object X in step S21 shown in FIG. Real space coordinates based on the coordinates are calculated.
  • the real space coordinate calculation unit 22 captures the object X only by the wide-angle camera B based on the real space coordinates of the object X and the object Y, for example, “pattern 7”. If it is determined that the current state is in the state, the real space coordinates calculated using the coordinates of the object X in the wide-angle image captured by the wide-angle camera B in step S21 are selected (step S30 in FIG. 5).
  • Non-Patent Document 1 Patent Document 1
  • Patent Document 2 the techniques described in Non-Patent Document 1, Patent Document 1 and Patent Document 2 have a problem that the cost increases because a plurality of cameras are provided. Therefore, for example, it is conceivable that one camera is set at a high position and this camera is configured to capture an image with a relatively large angle of view. In this case, an increase in cost can be suppressed by reducing the number of cameras, and a wide area can be monitored by imaging from a high position with a large angle of view. However, in this case, since the ratio of the number of pixels in which the monitoring target is captured with respect to the number of effective pixels of the camera is too low, the recognition accuracy of the monitoring target may be reduced.
  • the extraction units 12, 13, and 14 are different from the wide-angle camera A in which the angle of view is fixed and the angle of view is fixed.
  • An object is extracted from an image captured by a corresponding camera among the wide-angle camera B that captures an area and the PTZ camera P that can change the imaging direction and can be adjusted to a smaller angle of view than the wide-angle camera A.
  • the information processing unit 15 calculates the position of the object extracted by the extraction units 12, 13, and 14.
  • the control unit 18 adjusts the imaging direction of the PTZ camera P based on the position of the object calculated by the information processing unit 15 so that the object is continuously captured in the image captured by the PTZ camera P. .
  • the PTZ camera P that can change the imaging direction can track the object and adjust the angle of view to capture a detailed image of the object. Therefore, the monitoring target can be accurately tracked.
  • the PTZ camera P that can change the imaging direction tracks and captures an object in this manner, the area captured by the wide-angle camera A and the area captured by the wide-angle camera B are between Even an object that moves can be monitored without losing sight of the object.
  • the PTZ camera P can track and image an object even if the imaging areas do not overlap between the wide-angle camera A and the wide-angle camera B.
  • the degree of freedom of installation of the wide-angle camera B can be increased.
  • the angle of view of the PTZ camera P can be adjusted in this way, for example, the moving speed of the object is fast, and the adjustment of the imaging direction of the PTZ camera P cannot catch up with the movement of the object.
  • the angle of view of the PTZ camera P it is possible to quickly widen the imaging area and prevent the object from being lost.
  • the monitoring device 100 includes two wide-angle cameras, that is, a wide-angle camera A and a wide-angle camera B.
  • the monitoring apparatus 100 may be configured to include either the wide-angle camera A or the wide-angle camera B, and the cost can be reduced by adopting such a configuration.
  • PTZ camera P is arranged so as to be able to image a blind spot area that is not captured by either wide-angle camera A or wide-angle camera B. With such a configuration, even when the target object is present in the blind spot area, the PTZ camera P can capture the image while complementing the blind spot area, so that the monitoring performance can be improved.
  • the PTZ camera P is disposed between the wide-angle camera A and the wide-angle camera B.
  • an area imaged by the wide-angle camera A, an area imaged by the wide-angle camera B, and a blind spot area only by the PTZ camera P without installing a large number of imaging units that can change the imaging direction. It is possible to image an object existing in any one of them.
  • the PTZ camera P can capture an area captured by the wide-angle camera A and the wide-angle camera B.
  • the angle of view of the wide-angle camera A and the angle of view of the wide-angle camera B are fixed to an angle of view larger than the angle of view of the PTZ camera P.
  • the angle of view of the wide-angle camera A and the wide-angle camera B is large, the moving speed of the object is fast and the change in the imaging direction of the PTZ camera P cannot catch up with the movement of the object.
  • the target object is imaged by the camera A or the wide-angle camera B, and it is possible to prevent the target object from being lost.
  • the cost can be reduced compared to the case where a plurality of imaging units capable of adjusting the angle of view are provided.
  • the wide-angle camera A or the wide-angle camera can be used even when the PTZ camera P is not capturing a wide area.
  • a wide area image captured by the camera B can always be obtained. For this reason, for example, even when the PTZ camera P tracks and captures an object, the surveillance area is newly entered from the wide-area image captured by the wide-angle camera A or the wide-angle camera B. Other objects can be extracted, and the monitoring performance can be improved.
  • the information processing unit 15 is configured such that when the object is reflected in the image captured by the wide-angle camera A or the image captured by the wide-angle camera B, the object is displayed.
  • the position of the object calculated based on the coordinates of the object in the captured image is set as the position of the object used for controlling the PTZ camera P by the control unit 18.
  • the information processing unit 15 is a case where the object is not reflected in either the image captured by the wide-angle camera A or the image captured by the wide-angle camera B. If there is an object captured in the image captured by the PTZ camera P, the position of the object calculated based on the control information used by the control unit 18 to control the PTZ camera P is controlled. The position of the object used for the new control of the PTZ camera P by the unit 18 is used. With such a configuration, the position of the target can be calculated even for an object that is not captured in either the image captured by the wide-angle camera A or the image captured by the wide-angle camera B. The PTZ camera P can be controlled without losing sight of things.
  • the information processing unit 15 is a case where an object is reflected in an image captured by the wide-angle camera A or an image captured by the wide-angle camera B.
  • the PTZ camera P is controlled. Therefore, the position of the object calculated based on the control information used by the control unit 18 is set as the position of the object used for new control of the PTZ camera P by the control unit 18.
  • an object that enters the blind spot region and is likely not to appear in either the image captured by the wide-angle camera A or the image captured by the wide-angle camera B is used for controlling the PTZ camera P.
  • the calculation method of the position of the object that is information to the calculation method in the case where the object is located in the blind spot area when the object actually moves into the blind spot area, The position can be updated quickly, and the object can be prevented from being lost.
  • the information processing unit 15 prioritizes each extracted object. And the object having the highest priority is determined as the object that is continuously captured in the image captured by the PTZ camera P. Further, the control unit 18 controls the PTZ camera P based on the position of the object determined by the information processing unit 15. With such a configuration, it is possible to preferentially capture an object that is highly necessary to be imaged by the PTZ camera P.
  • the information processing unit 15 calculates the degree of abnormality of each extracted object when a plurality of objects are extracted by the extraction units 12, 13, and 14. A higher priority is assigned to an object having a higher degree of abnormality. With such a configuration, it is possible to appropriately select and image an object that needs to be imaged.
  • the information processing unit 15 positions the object away from the specific area when the object is positioned near the specific area that needs to be monitored.
  • the degree of abnormality is calculated higher than the case.
  • the PTZ camera P is arranged so as to be able to image a blind spot area that is not captured by either the wide-angle camera A or the wide-angle camera B.
  • the information processing unit 15 gives high priority to an object located in the blind spot area or an object located near the blind spot area. Give a ranking.
  • the object located in the blind spot area is not captured in either the image captured by the wide-angle camera A or the image captured by the wide-angle camera B. Therefore, if the object is not captured by the PTZ camera P, the object is lost. There is a high possibility that On the other hand, with the configuration as described above, an object that is highly likely to be missed can be preferentially imaged by the PTZ camera P, so that high monitoring ability can be realized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

　画角が固定されている第１撮像部と、撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部と、前記第１撮像部および前記第２撮像部により撮像されたそれぞれの画像中から対象物を抽出する抽出部と、前記抽出部により抽出された前記対象物の位置を算出する情報処理部と、前記情報処理部により算出された前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部の撮像方向を調整する制御部とを備える。

Description

監視装置、監視方法および撮像部の配置方法
　本発明は、監視装置、監視方法および撮像部の配置方法に関し、特に、複数の撮像部を用いて監視を行う監視装置、監視方法および撮像部の配置方法に関する。
　従来、人物監視において、１台のカメラでは視野が限られていることから、視野を共有しない複数のカメラを設け、複数のカメラ間で人物照合を行うことにより特定の人物を追跡して撮像する技術が提案されている（たとえば、「サーベイ論文：視野を共有しない複数カメラ間での人物照合」井尻善久　他、信学技報Vol.111, No.317, pp.117-124,2011年11月（非特許文献１）参照）。
　また、複数のカメラ間で視野を共有することにより、複数のカメラによって同時に撮像された移動体の位置情報を計測する計測装置が提案されている。たとえば、移動物体を計測する場合に同時に３台以上のカメラを用いて、その移動物体の移動にしたがって、その移動物体の３次元情報を計測するに適する位置からのカメラに動的に切替える計測装置（たとえば、特許第３６３１２６６号公報（特許文献１）参照）が知られている。
　また、複数のカメラ間で人物照合を行うための技術が提案されている。たとえば、複数の監視カメラ間で追跡対象の特徴情報を受け渡し、その特徴情報を用いて各監視カメラが追跡対象を追跡する監視システム（たとえば、特許第３９９９５６１号公報（特許文献２）参照）が知られている。
「サーベイ論文：視野を共有しない複数カメラ間での人物照合」井尻善久　他、信学技報 Vol.111, No.317, pp.117-124, 2011年11月
特許第３６３１２６６号公報 特許第３９９９５６１号公報
　ところで、非特許文献１、特許文献１および特許文献２に記載の技術では、複数のカメラを設けているため、コストが増加するという問題がある。そこで、たとえば１つのカメラを高い位置に設定し、このカメラが比較的大きな画角で撮像するように構成することが考えられる。この場合、カメラの台数が減少することによりコストの増加を抑えることができ、かつ、高い位置から大きな画角で撮像することにより広い領域を監視することができる。しかしながら、この場合、カメラの有効画素数に対して監視対象が写る画素数の割合が低すぎることにより、監視対象の認識精度が低下する虞がある。
　この発明は、上述の課題を解決するためになされたもので、その目的は、多くのカメラを設けることなく、監視対象の追跡を精度よく行うことができる監視装置、監視方法および撮像部の配置方法を提供することである。
　上記課題を解決するために、この発明のある局面に係わる監視装置は、画角が固定されている第１撮像部と、撮像方向を変更可能であり、上記第１撮像部よりも小さな画角に調整可能な第２撮像部と、上記第１撮像部および上記第２撮像部により撮像されたそれぞれの画像中から対象物を抽出する抽出部と、上記抽出部により抽出された上記対象物の位置を算出する情報処理部と、上記情報処理部により算出された上記対象物の位置に基づいて、上記対象物が上記第２撮像部により撮像される画像に継続して写るように上記第２撮像部の撮像方向を調整する制御部とを備える。
　また、上記課題を解決するために、この発明のある局面に係わる監視装置は、画角が固定されている第１撮像部、および、撮像方向を変更可能であり前記第１撮像部よりも小さな画角に調整可能な第２撮像部、により撮像されたそれぞれの画像中から対象物を抽出する抽出部と、前記抽出部により抽出された前記対象物の位置を算出する情報処理部と、前記情報処理部により算出された前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部の撮像方向を調整する制御部とを備える。
　また、上記課題を解決するために、この発明のある局面に係わる監視装置は、画角が固定されている第１撮像部と、撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部と、画角が固定されており、前記第１撮像部と異なる領域を撮像する第３撮像部と、前記第１撮像部、前記第２撮像部および前記第３撮像部により撮像されたそれぞれの画像中から対象物を抽出する抽出部と、前記抽出部により抽出された前記対象物の位置を算出する情報処理部と、前記情報処理部により算出された前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部の撮像方向を調整する制御部とを備える。
　また、上記課題を解決するために、この発明のある局面に係わる監視方法は、画角が固定されている第１撮像部と、撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部とを備える監視装置における監視方法であって、前記第１撮像部および前記第２撮像部によりそれぞれ撮像された画像のうち少なくともいずれか１つの画像中から対象物を抽出するステップと、抽出した前記対象物の位置を算出するステップと、算出した前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部を制御するステップとを含む。
　また、上記課題を解決するために、この発明のある局面に係わる撮像部の配置方法は、画角が固定されている第１撮像部と、撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部と、画角が固定されている第３撮像部とを備える監視装置における撮像部の配置方法であって、前記第３撮像部を、前記第１撮像部と異なる領域を撮像するように配置するステップと、前記第２撮像部を、前記第１撮像部により撮像される領域および前記第３撮像部により撮像される領域のうち少なくとも一方の領域、および、前記第１撮像部および前記第３撮像部のいずれによっても撮像されない死角領域を撮像可能に配置するステップとを含む。
　本発明によれば、多くのカメラを設けることなく、監視対象の追跡を精度よく行うことができる。
本発明の実施の形態に係る監視装置の使用イメージを示す図である。 本発明の実施の形態に係る監視装置の画像処理部の構成を示すブロック図である。 本発明の実施の形態に係る監視装置の画像処理部における情報処理部の構成を示すブロック図である。 本発明の実施の形態に係る監視装置による監視動作の全体の流れを示すフローチャートである。 図４に示す実空間座標の選択処理の動作手順を示すフローチャートである。 本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン１）である。 本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン２）である。 本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン３）である。 本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン４）である。 本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン５）である。 本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン６）である。 本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン７）である。
［本発明の実施形態の説明］
　最初に本発明の実施形態の内容を列記して説明する。
　（１）本発明の実施形態に係る監視装置は、画角が固定されている第１撮像部と、撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部と、前記第１撮像部および前記第２撮像部により撮像されたそれぞれの画像中から対象物を抽出する抽出部と、前記抽出部により抽出された前記対象物の位置を算出する情報処理部と、前記情報処理部により算出された前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部の撮像方向を調整する制御部とを備える。
　上記のように構成された監視装置によれば、撮像方向を変更可能な第２撮像部が対象物を追跡し、かつ、画角を小さく調整して対象物の詳細な画像を撮像することができるため、多くの撮像部を設けることなく、監視対象の追跡を精度よく行うことができる。
　（２）前記（１）の前記第２撮像部は、前記第１撮像部によって撮像されない死角領域を撮像可能に配置されるのが好ましい。
　この場合、対象物が死角領域に存在する場合であっても、第２撮像部が死角領域を補完して撮像することができるため、監視性能を向上させることができる。
　（３）前記（１）又は（２）の前記情報処理部は、前記第１撮像部により撮像された画像に前記対象物が写っている場合、前記対象物が写っている画像における前記対象物の座標に基づいて算出した前記対象物の位置を、前記制御部が前記第２撮像部の制御に用いる前記対象物の位置とするのが好ましい。
　この場合、第１撮像部に関する既知の固定値を用いて対象物の位置を正確に算出することができ、第２撮像部を精度よく制御することができる。
　（４）前記（３）の前記情報処理部は、前記第１撮像部により撮像された画像に前記対象物が写っていない場合であり、かつ、前記第２撮像部により撮像された画像に前記対象物が写っている場合、前記第２撮像部を制御するために前記制御部により用いられた制御情報に基づいて算出した前記対象物の位置を、前記制御部が前記第２撮像部の新たな制御に用いる前記対象物の位置とするのが好ましい。
　この場合、第１撮像部により撮像される画像に写らない対象物であっても、当該対象物の位置を算出することができ、当該対象物を見失うことなく第２撮像部を制御することができる。
　（５）前記（３）又は（４）の前記情報処理部は、前記第１撮像部により撮像された画像に前記対象物が写っている場合であっても、前記第１撮像部により撮像された画像の境界付近に前記対象物が位置する場合であり、かつ、前記第２撮像部により撮像された画像に前記対象物が写っている場合、前記第２撮像部を制御するために前記制御部により用いられた制御情報に基づいて算出した前記対象物の位置を、前記制御部が前記第２撮像部の新たな制御に用いる前記対象物の位置とするのが好ましい。
　この場合、死角領域に入り、第１撮像部により撮像される画像に写らなくなる可能性の高い対象物に関しては、第２撮像部の制御に用いるための情報である対象物の位置の算出方法を、対象物が死角領域に位置する場合における算出方法に予め切り替えておくことにより、当該対象物が実際に死角領域内へ移動した場合に当該対象物の位置を迅速に更新することができ、対象物を見失うことを防ぐことができる。
　（６）前記（１）～（５）のいずれかの前記情報処理部は、前記抽出部により複数の対象物が抽出された場合、抽出された各対象物に対して優先順位を付与し、前記優先順位が最も高い対象物を、前記第２撮像部の撮像対象として決定し、前記制御部は、前記情報処理部により決定された対象物の位置に基づいて、前記第２撮像部を制御するのが好ましい。
　この場合、撮像する必要性の高い対象物を優先的に第２撮像部により撮像することができる。
　（７）前記（６）の前記情報処理部は、前記抽出部により複数の対象物が抽出された場合、抽出された各対象物の異常度を算出し、算出した前記異常度が高い対象物ほど、高い優先順位を付与するのが好ましい。
　この場合、撮像する必要性の高い対象物を適切に選択して撮像することができる。
　（８）前記（７）の前記情報処理部は、監視すべき必要性の高い特定領域の付近に対象物が位置する場合、対象物が前記特定領域から離れて位置する場合と比較して、前記異常度を高く算出するのが好ましい。
　この場合、特定領域の付近に位置する対象物を第２撮像部により優先的に撮像して、特定領域を重点的に監視することができる。
　（９）前記（６）～（８）のいずれかの前記第２撮像部は、前記第１撮像部によって撮像されない死角領域を撮像可能に配置され、前記情報処理部は、前記抽出部により複数の対象物が抽出された場合、前記死角領域に位置する対象物、または、前記死角領域の付近に位置する対象物に対して高い優先順位を付与するのが好ましい。
　死角領域に位置する対象物は、第１撮像部により撮像される画像に写らないため、第２撮像部により撮像されない場合、当該対象物を見失ってしまう可能性が高い。これに対して、上記（９）のような構成により、見失う可能性が高い対象物を、第２撮像部により優先的に撮像することができるため、高い監視能力を実現することができる。
　（１０）本発明の実施形態のある局面に係わる監視装置は、画角が固定されている第１撮像部、および、撮像方向を変更可能であり前記第１撮像部よりも小さな画角に調整可能な第２撮像部、により撮像されたそれぞれの画像中から対象物を抽出する抽出部と、前記抽出部により抽出された前記対象物の位置を算出する情報処理部と、前記情報処理部により算出された前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部の撮像方向を調整する制御部とを備える。
　上記のように構成された監視装置によれば、撮像方向を変更可能な第２撮像部が対象物を追跡し、かつ、画角を小さく調整して対象物の詳細な画像を撮像することができるため、多くの撮像部を設けることなく、監視対象の追跡を精度よく行うことができる。
　（１１）本発明の実施形態のある局面に係わる監視装置は、画角が固定されている第１撮像部と、撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部と、画角が固定されており、前記第１撮像部と異なる領域を撮像する第３撮像部と、前記第１撮像部、前記第２撮像部および前記第３撮像部により撮像されたそれぞれの画像中から対象物を抽出する抽出部と、前記抽出部により抽出された前記対象物の位置を算出する情報処理部と、前記情報処理部により算出された前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部の撮像方向を調整する制御部とを備える。
　上記のように構成された監視装置によれば、撮像方向を変更可能な第２撮像部が対象物を追跡し、かつ、画角を小さく調整して対象物の詳細な画像を撮像することができるため、多くの撮像部を設けることなく、監視対象の追跡を精度よく行うことができる。
　（１２）前記（１１）の前記第２撮像部は、前記第１撮像部および前記第３撮像部の間に配置されるのが好ましい。
　この場合、撮像方向を変更可能な撮像部を数多く設置することなく、第２撮像部のみで、第１撮像部により撮像される領域、および、死角領域のいずれかに存在する対象物を撮像することができる。
　（１３）本発明の実施形態のある局面に係わる監視方法は、画角が固定されている第１撮像部と、撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部とを備える監視装置における監視方法であって、前記第１撮像部および前記第２撮像部によりそれぞれ撮像された画像のうち少なくともいずれか１つの画像中から対象物を抽出するステップと、抽出した前記対象物の位置を算出するステップと、算出した前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部を制御するステップとを含む。
　上記のように構成された監視方法によれば、撮像方向を変更可能な第２撮像部が対象物を追跡し、かつ、画角を小さく調整して対象物の詳細な画像を撮像することができるため、多くの撮像部を設けることなく、監視対象の追跡を精度よく行うことができる。
　（１４）本発明の実施形態のある局面に係わる撮像部の配置方法は、画角が固定されている第１撮像部と、撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部と、画角が固定されている第３撮像部とを備える監視装置における撮像部の配置方法であって、前記第３撮像部を、前記第１撮像部と異なる領域を撮像するように配置するステップと、前記第２撮像部を、前記第１撮像部により撮像される領域および前記第３撮像部により撮像される領域のうち少なくとも一方の領域、および、前記第１撮像部および前記第３撮像部のいずれによっても撮像されない死角領域を撮像可能に配置するステップとを含む。
　上記のように構成された撮像部の配置方法によれば、撮像方向を変更可能な第２撮像部が対象物を追跡し、かつ、画角を小さく調整して対象物の詳細な画像を撮像することができるため、多くの撮像部を設けることなく、監視対象の追跡を精度よく行うことができる。
　また、対象物が死角領域に存在する場合であっても、第２撮像部が死角領域を補完して撮像することができるため、監視性能を向上させることができる。
［本発明の実施形態の詳細］
　［構成および基本動作］
　以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
　（監視装置の構成）
　図１は、本発明の実施の形態に係る監視装置の使用イメージを示す図である。
　図１を参照して、監視装置１００は、画像処理部１０と、広角カメラ（第１撮像部）Ａと、広角カメラ（第３撮像部）Ｂと、ＰＴＺ（パン・チルト・ズーム）カメラ（第２撮像部）Ｐと、ＰＴＺ駆動部１１とを備える。
　広角カメラＡにより撮像される撮像領域ＥＡと、広角カメラＢにより撮像される撮像領域ＥＢとは、たとえば互いに重複しない異なる領域であり、広角カメラＡおよび広角カメラＢは、それぞれ対応の撮像領域の広角画像を常時撮像して、撮像画像を画像処理部１０へ出力する。
　ＰＴＺカメラＰは、ＰＴＺ駆動部１１の制御に基づいて、モータ等の駆動によって光軸方向を変えることにより撮影方向を上下左右に変更することができる。また、たとえば、ＰＴＺカメラＰは、ＰＴＺ駆動部１１の制御に基づいて、画角を調整することができる。
　ＰＴＺカメラＰは、たとえば、画像処理部１０により広角カメラＡおよび広角カメラＢより小さな画角に調整されて、撮像領域ＥＡと、撮像領域ＥＢと、広角カメラＡおよび広角カメラＢのいずれによっても撮像されない死角領域とのうち、特定の領域を拡大画像により撮像する。
　具体的には、たとえば、ＰＴＺカメラＰは、初期状態では、比較的大きい画角で、死角領域、撮像領域ＥＡの境界付近、および、撮像領域ＥＢの境界付近を含む領域を撮像する。そして、画像処理部１０が、人物を撮像の対象として、当該人物の拡大画像を撮像するようにＰＴＺ駆動部１１へ指示すると、ＰＴＺ駆動部１１は、ＰＴＺカメラＰが当該人物の拡大画像を継続して撮像するようにＰＴＺカメラＰの撮像方向および画角等を調整する。これにより、ＰＴＺカメラＰは、当該人物を追跡し、当該人物の拡大画像を継続して撮像する。
　なお、ＰＴＺカメラＰは、初期状態、すなわちいずれの対象物も追跡していない状態では、撮像領域ＥＡまたは撮像領域ＥＢのうち人の出入りが多い場所、または、重要文化財などの保護対象が存在する特定領域など、予め設定された場所を撮像していても良い。
　また、広角カメラＡ、広角カメラＢおよびＰＴＺカメラＰは、それぞれ並行して画像の撮像を行う。なお、広角カメラＡおよび広角カメラＢの代わりに、最大画角がＰＴＺカメラＰよりも大きなＰＴＺカメラを用いることもできる。
　また、死角領域、撮像領域ＥＡおよび撮像領域ＥＢの各領域の「境界付近」とは、たとえば、各カメラにより撮像された画像の上下左右端からそれぞれ内側５０ピクセル以内の領域、または、各カメラにおいて水平画角の内側５％以内の領域および垂直画角の内側５％以内の領域などである。すなわち、たとえば広角カメラＡの水平画角が１００°である場合、この水平画角の両端から内側５°以内の領域は、撮像領域ＥＡの境界付近に該当する。
　（画像処理部の構成）
　図２は、本発明の実施の形態に係る監視装置の画像処理部の構成を示すブロック図である。
　図２を参照して、画像処理部１０は、抽出部１２，１３，１４と、情報処理部１５と、記憶部１６と、外部出力部１７と、制御部１８とを含む。
　抽出部１２は、広角カメラＡにより撮像された広角画像のデータを受けて、このデータを記憶部１６へ出力する。これにより、記憶部１６には、広角カメラＡにより撮像された撮像領域ＥＡの広角画像のデータが順次記憶される。
　また、抽出部１２は、広角画像のデータに基づいて、例えば背景差分法を用いることにより、広角カメラＡにより撮像された広角画像に含まれる対象物を抽出する。
　詳細には、抽出部１２は、広角画像のデータに基づいて、広角画像における各画素の輝度値を取得し、取得した各画素の輝度値と、予め作成された人物が写っていない撮像領域ＥＡの背景画像における各画素の輝度値との差の絶対値である背景差分値Ｄ１（ｉ，ｊ）を算出する。
　そして、抽出部１２は、広角画像について、背景差分値Ｄ１（ｉ，ｊ）に基づき「１」または「０」の二値化処理を行う。そして、抽出部１２は、二値化処理された広角画像について、人物の大きさ程度の枠を検出枠として複数読み出し、読み出した検出枠において「１」が与えられている割合が所定値以上である場合には、この検出枠に人物すなわち対象物が写っていると判断する。
　なお、抽出部１２は、上述した背景差分法に限らず、たとえば閾値処理などの方法を用いて対象物を抽出することもできる。
　詳細には、たとえば、抽出部１２は、広角カメラＡにより撮像された撮像領域ＥＡの広角画像中において他の部分とは異なる模様が写っている検出枠を抽出し、この検出枠に写る模様と、他の領域の模様との差異の程度を算出する。そして、抽出部１２は、差異の程度が閾値以上である検出枠に対象物が写っていると判断する。
　そして、抽出部１２は、対象物が写っていると判断した検出枠にラベルを付した広角画像のデータを、情報処理部１５へ出力する。なお、抽出部１２は、複数の異なる対象物を抽出した場合、各対象物が写っている検出枠に異なるラベルを付する。
　抽出部１３は、抽出部１２と同様に、広角カメラＢにより撮像された広角画像のデータを受けて、このデータを記憶部１６へ出力する。これにより、記憶部１６には、広角カメラＢにより撮像された撮像領域ＥＢの広角画像のデータが順次記憶される。
　また、抽出部１３は、広角画像のデータに基づいて、例えば、背景差分法を用いる、または、閾値処理を行うことにより、広角カメラＢにより撮像された広角画像に含まれる対象物を抽出する。そして、抽出部１３は、対象物が写っていると判断した検出枠にラベルを付した広角画像のデータを、情報処理部１５へ出力する。
　抽出部１４は、抽出部１２，１３と同様に、ＰＴＺカメラＰにより撮像された画像のデータを受けて、このデータを記憶部１６へ出力する。これにより、記憶部１６には、ＰＴＺカメラＰにより撮像された画像のデータが順次記憶される。
　また、抽出部１４は、ＰＴＺカメラＰにより撮像された画像のデータに基づいて、例えば、背景差分法を用いる、または、閾値処理を行うことにより、ＰＴＺカメラＰにより撮像された画像に含まれる対象物を抽出する。そして、抽出部１４は、対象物が写っていると判断した検出枠にラベルを付した画像のデータを、情報処理部１５へ出力する。
　また、上述のとおり、広角カメラＡ、広角カメラＢおよびＰＴＺカメラＰは、それぞれ対応の撮像領域を常時撮像し、撮像した画像すなわち動画を画像処理部１０へ出力する。このため、抽出部１２，１３，１４は、それぞれ対応のカメラから出力される動画のフレームごとに、対象物の抽出を行う。このとき、抽出部１２，１３，１４は、異なる画像間で同一の対象物を抽出した場合、同一の対象物が写っている検出枠には同一のラベルを付する。
　たとえば、抽出部１２は、時刻ｔにおいて広角カメラＡにより撮像された広角画像から対象物Ｘを抽出した場合、対象物Ｘが写っている検出枠にラベルＸ１を付する。
　そして、抽出部１２は、時刻ｔ＋１において広角カメラＡにより撮像された広角画像を取得し、取得した広角画像から再び対象物を抽出する。このとき、抽出部１２は、時刻ｔに撮像された広角画像のうちラベルＸ１が付された検出枠の位置付近に存在する対象物を抽出した場合、当該対象物は、対象物Ｘと同一の対象物であると判断する。そして、抽出部１２は、当該対象物が写っている検出枠に同じラベルであるラベルＸ１を付する。
　なお、抽出部１２は、時刻ｔに撮像された広角画像のうちラベルＸ１が付された検出枠の位置から離れた場所に存在する対象物を抽出した場合、当該対象物は、対象物Ｘとは異なる対象物であると判断する。そして、抽出部１２は、当該対象物が写っている検出枠にラベルＸ１とは異なるラベル、たとえばラベルＸ２を付する。
　抽出部１３，１４も同様に、上記のような方法を用いて対象物を抽出して、抽出した対象物が写っている検出枠にラベルを付す。このように、抽出部１２，１３，１４は、抽出した１または複数の対象物の移動先を特定して、各対象物を追跡することができる。
　情報処理部１５は、抽出部１２，１３，１４から対象物が写っている検出枠にラベルが付された画像のデータを取得する。そして、情報処理部１５は、ラベルが付された検出枠の位置に基づいて、対象物の位置を算出する。具体的には、情報処理部１５は、対象物の実空間における座標である実空間座標を算出する。
　また、情報処理部１５は、ＰＴＺカメラＰが対象物である追跡対象物を追跡して撮像している場合、ＰＴＺカメラＰの撮像方向および画角など、ＰＴＺカメラＰの制御情報に基づいて、ＰＴＺカメラＰにより追跡して撮像されている対象物の実空間座標を算出することも可能である。
　また、情報処理部１５は、広角カメラＡ、広角カメラＢおよびＰＴＺカメラＰのうち少なくともいずれか１つのカメラにより撮像された対象物が複数抽出された場合、各対象物に対して優先順位を付与する。たとえば、情報処理部１５は、各対象物の異常度を算出して、算出した異常度が高いほど高い優先順位を付与する。そして、情報処理部１５は、優先順位が最も高い対象物を、ＰＴＺカメラＰにより追跡して撮像される追跡対象物として決定する。なお、情報処理部１５による優先順位の付与の詳細については、後述する。
　そして、情報処理部１５は、追跡対象物として決定した対象物の実空間座標に基づいて、この追跡対象物がＰＴＺカメラＰにより追跡して撮像されるように、ＰＴＺカメラＰの制御情報を生成し、生成した制御情報を制御部１８へ出力する。
　制御部１８は、情報処理部１５から受けた制御情報に基づいて、ＰＴＺ駆動部１１へ駆動指示を示す信号を出力する。
　そして、ＰＴＺ駆動部１１は、制御部１８から受けた駆動指示を示す信号に基づいてＰＴＺカメラＰの駆動、すなわちＰＴＺカメラＰの撮像方向および画角等を調整する。そして、ＰＴＺカメラＰは、情報処理部１５により決定された追跡対象物の拡大画像を撮像し、撮像した拡大画像が、抽出部１４を介して記憶部１６へ出力される。これにより、記憶部１６には、ＰＴＺカメラＰにより追跡して撮像された追跡対象物の拡大画像のデータが順次記憶される。
　また、情報処理部１５は、撮像領域ＥＡ、撮像領域ＥＢおよび死角領域が所定条件を満たすか否かを判断する。たとえば、情報処理部１５は、追跡対象物の異常度が閾値以上である場合、所定条件を満たすと判断する。そして、この場合、情報処理部１５は、外部出力部１７へ出力指示を示す信号を出力する。
　外部出力部１７は、情報処理部１５から出力指示を示す信号を受けた後、記憶部１６に追跡対象物の拡大画像のデータが保存されると、記憶部１６に記憶された追跡対象物の拡大画像のデータを取得する。
　なお、外部出力部１７は、追跡対象物が広角カメラＡまたは広角カメラＢにより撮像された広角画像に写っている場合、当該広角画像のデータも取得する。
　そして、外部出力部１７は、取得したデータを、外部モニタまたはユーザの携帯端末等に送信する。なお、外部出力部１７は、たとえば追跡対象物の異常度が高いことを伝えるためのテキスト文を、外部モニタまたはユーザの端末装置などへ合わせて送信してもよい。これにより、外部モニタまたはユーザの携帯端末等において、たとえば、異常度が最も高い人物の拡大画像および当該人物が写っている広域の画像がリアルタイムで表示される。
　（情報処理部の構成）
　図３は、本発明の実施の形態に係る監視装置の画像処理部における情報処理部の構成を示すブロック図である。
　図３を参照して、情報処理部１５は、実空間座標算出部２２と、優先順位付与部２３と、追跡対象物決定部２４と、制御情報生成部２５と、通報判断部２６とを有する。
　実空間座標算出部２２は、広角カメラＡおよび広角カメラＢについて、地面からの設置高さ、各カメラの俯角、水平方向の画角および垂直方向の画角などのカメラ情報を予め記憶する。また、実空間座標算出部２２は、ＰＴＺカメラＰがいずれの対象物も追跡していない状態における、ＰＴＺカメラＰの地面からの設置高さ、ＰＴＺカメラＰの俯角、水平方向の画角および垂直方向の画角などのカメラ情報を予め記憶する。
　実空間座標算出部２２は、抽出部１２，１３，１４から、対象物が写っている検出枠にラベルが付された画像のデータを取得する。そして、実空間座標算出部２２は、対象物が広角カメラＡまたは広角カメラＢにより撮像された広角画像から抽出された場合、当該対象物が写っている広角画像中における当該対象物の座標と、広角カメラＡおよび広角カメラＢのうち当該広角画像を撮像した広角カメラのカメラ情報とに基づいて、当該対象物の実空間座標を算出する。
　また、実空間座標算出部２２は、対象物がＰＴＺカメラＰにより撮像された画像から抽出された場合、ＰＴＺカメラＰの制御情報に基づいて、当該対象物の実空間座標を算出する。
　詳細には、上述のとおり、ＰＴＺカメラＰは、ＰＴＺ駆動部１１により撮像方向および画角等を調整されて対象物を追跡して撮像する。このため、対象物がＰＴＺカメラＰにより撮像されている場合、実空間座標算出部２２は、ＰＴＺカメラＰの撮像方向および画角などの制御情報に基づいて、当該対象物の実空間座標を算出することができる。
　なお、上述のとおり、ＰＴＺカメラＰは、いずれの対象物も追跡していない状態では、比較的大きい画角で撮像領域ＥＡの境界付近、撮像領域ＥＢの境界付近および死角領域を撮像する。この状態において、対象物が、撮像領域ＥＡの境界付近、撮像領域ＥＢの境界付近および死角領域のうちいずれかの場所に存在する場合、当該対象物はＰＴＺカメラＰにより撮像された画像に写る。したがって、この場合、実空間座標算出部２２は、ＰＴＺカメラＰにより撮像された画像中における当該対象物の座標と、予め記憶したＰＴＺカメラＰのカメラ情報とに基づいて、当該対象物の実空間座標を算出することができる。
　また、実空間座標算出部２２は、同一の対象物が、異なる複数のカメラにより撮像された場合、具体的には、同一の対象物が広角カメラＡおよびＰＴＺカメラＰの双方により撮像された場合、または、同一の対象物が広角カメラＢおよびＰＴＺカメラＰの双方により撮像された場合、同一の対象物の実空間座標を重複して算出する。このとき重複して算出される実空間座標は、同じ値または近似した値である。
　このため、実空間座標算出部２２は、当該対象物が存在する位置に基づいて、重複して算出した実空間座標のうちいずれか一方を選択する。
　なお、実空間座標算出部２２は、対象物が広角カメラＡまたは広角カメラＢにのみ撮像された場合には、当該対象物が写っている広角画像中における当該対象物の座標に基づいて１つの実空間座標のみ算出する。これは、実空間座標算出部２２が、算出した１つの実空間座標を選択することに相当する。
　また、実空間座標算出部２２は、対象物がＰＴＺカメラＰにのみ撮像された場合には、ＰＴＺカメラＰの制御情報に基づいて１つの実空間座標のみ算出する。これは、実空間座標算出部２２が、算出した１つの実空間座標を選択することに相当する。
　そして、実空間座標算出部２２は、選択した各対象物の実空間座標を保持するとともに、優先順位付与部２３へ出力する。
　優先順位付与部２３は、実空間座標算出部２２から受けた各対象物の実空間座標に基づいて、たとえば、各対象物の異常度を算出し、算出した異常度に基づいて各対象物に対して優先順位を付与する。
　ここで、異常度とは、例えば、人物の移動経路、重要文化財などの保護対象が存在する特定領域に対する人物の位置、特定領域内での人物の滞在時間の長さ、特定の場所の徘徊、所定時間以上の滞在、人物の移動速度、人物の姿勢、および、人物が手に持っているものなどの行動に基づく値であり、予め設定されている。たとえば、ある人物が、所定時間以上同じ位置に滞在し、さらに、この滞在している位置が重要文化財の存在する特定領域に近い場合には、それぞれの行動に対する異常度が合算される。また、異常度を算出する際に、上述の特定領域に対する人物の位置や、特定領域内での人物の滞在時間の長さ等の複数の行動基準のうちのいずれをより寄与させるかという重みづけをしても良い。
　そして、優先順位付与部２３は、算出した異常度が高いほど、高い優先順位を対象物に対して付与する。
　なお、優先順位付与部２３は、上述した方法に限らず、死角領域に対する各対象物の位置に基づいて優先順位を付与することも可能である。
　たとえば、優先順位付与部２３は、対象物が広角カメラＡおよび広角カメラＢの死角領域に位置する場合、当該対象物に対して高い優先順位を付与することができる。また、優先順位付与部２３は、対象物が撮像領域ＥＡまたは撮像領域ＥＢの境界付近に位置する場合も同様に、当該対象物に対して高い優先順位を付与することができる。
　なお、優先順位付与部２３は、上述した異常度に基づく優先順位の付与と、死角領域に対する各対象物の位置に基づく優先順位の付与との双方を行っても良い。この場合、優先順位付与部２３は、たとえば、異常度に基づいて付与した優先順位に、死角領域に対する各対象物の位置に基づいて付与した優先順位を加算して、各対象物に対して総合的に優先順位を付与する。
　そして、優先順位付与部２３は、各対象物に対して付与した優先順位を示す情報、および、各対象物の異常度を示す情報を、追跡対象物決定部２４へ出力する。
　追跡対象物決定部２４は、優先順位付与部２３から受けた優先順位を示す情報に基づいて、最も高い優先順位が付与された対象物を追跡対象物として決定する。そして、追跡対象物決定部２４は、追跡対象物として決定した対象物を制御情報生成部２５へ通知する。
　制御情報生成部２５は、追跡対象物決定部２４から追跡対象物として通知された対象物の実空間座標を実空間座標算出部２２から取得する。そして、制御情報生成部２５は、追跡対象物の実空間座標に基づいて、追跡対象物がＰＴＺカメラＰにより追跡して撮像されるようにＰＴＺカメラＰの制御情報を生成して、生成した制御情報を制御部１８へ出力する。
　また、追跡対象物決定部２４は、追跡対象物の異常度を示す情報を通報判断部２６へ出力する。通報判断部２６は、たとえば、追跡対象物決定部２４から受けた追跡対象物の異常度が閾値以上である場合、所定条件を満たすと判断する。そして、この場合、通報判断部２６は、外部モニタまたはユーザの携帯端末等へ通報することを決定して、外部出力部１７へ出力指示を示す信号を出力する。
　なお、ＰＴＺカメラＰによる追跡対象物の拡大画像の撮像と並行して、広角カメラＡおよび広角カメラＢにより新たに広角画像が撮像される。そして、抽出部１２，１３により、新たに撮像された広角画像から対象物が抽出され、実空間座標算出部２２により各対象物の実空間座標の算出および実空間座標の選択が行われると、優先順位付与部２３は、新たに実空間座標が選択された各対象物について異常度を再び算出し、算出した異常度に基づいて優先順位を再び付与する。
　すなわち、新たに対象物が抽出されて、各対象物に対する優先順位が更新されることにより、ＰＴＺカメラＰにより追跡して撮像されていた対象物と異なる対象物が新たに追跡対象物として決定されることがある。この場合、ＰＴＺカメラＰは、追跡する対象物を切り替えて、新たに追跡対象物として決定された対象物の追跡を開始する。
　［動作］
　（監視動作の全体の流れ）
　次に、本発明の実施の形態に係る監視装置１００による監視動作について説明する。図４は、本発明の実施の形態に係る監視装置による監視動作の全体の流れを示すフローチャートである。
　監視装置１００は、フローチャートの各ステップを含むプログラムを図示しないメモリから読み出して実行する。このプログラムは、外部からインストールすることができる。このインストールされるプログラムは、たとえば記録媒体に格納された状態で流通する。
　図４を参照して、まず、広角カメラＡ、広角カメラＢおよびＰＴＺカメラＰによりそれぞれ対応の領域が撮像される。ここでは、ＰＴＺカメラＰは、撮像領域ＥＡの境界付近、撮像領域ＥＢの境界付近、および、広角カメラＡおよび広角カメラＢの死角領域を撮像するものとする。そして、画像処理部１０の抽出部１２，１３，１４は、それぞれ対応のカメラにより撮像された画像を取得する（ステップＳ１１）。
　次に、抽出部１２，１３，１４は、対応のカメラから受けた画像から対象物を抽出し、抽出した各対象物が写っている検出枠にラベルを付した画像のデータを、情報処理部１５の実空間座標算出部２２、および、記憶部１６へ出力する（ステップＳ１２）。
　なお、広角カメラＡ、広角カメラＢおよびＰＴＺカメラＰによりそれぞれ撮像されたいずれの画像からも対象物が抽出されない場合、ステップＳ１３以降の動作は実行されず、画像処理部１０の抽出部１２，１３，１４は、再び、それぞれ対応のカメラにより撮像された画像を取得して（ステップＳ１１）、対象物の抽出処理（ステップＳ１２）を繰り返す。
　次に、実空間座標算出部２２は、抽出部１２，１３，１４から受けた画像のデータに基づいて、各対象物の実空間座標を算出する。そして、実空間座標算出部２２は、各対象物について、算出した実空間座標のうち１つの実空間座標を選択する。なお、実空間座標算出部２２は、１つの実空間座標のみを算出した対象物については、当該実空間座標を選択する。そして、実空間座標算出部２２は、選択した各対象物の実空間座標を示す情報を保持するとともに、優先順位付与部２３へ出力する（ステップＳ１３）。
　次に、優先順位付与部２３は、実空間座標算出部２２により選択された各対象物の実空間座標に基づいて、各対象物の異常度を算出する。そして、優先順位付与部２３は、算出した異常度に基づいて、各対象物に対して優先順位を付与する。そして、優先順位付与部２３は、各対象物に対して付与した優先順位を示す情報および各対象物の異常度を示す情報等を、追跡対象物決定部２４へ出力する（ステップＳ１４）。
　次に、追跡対象物決定部２４は、優先順位付与部２３から受けた各対象物の優先順位に基づいて、最も高い優先順位が付与された対象物を追跡対象物として決定し、追跡対象物として決定した対象物を制御情報生成部２５へ通知する（ステップＳ１５）。
　次に、制御情報生成部２５は、追跡対象物決定部２４から追跡対象物として通知された対象物の実空間座標を実空間座標算出部２２から取得する。そして、制御情報生成部２５は、実空間座標算出部２２から取得した追跡対象物の実空間座標に基づいて、ＰＴＺカメラＰの制御情報を生成し、生成した制御情報を制御部１８へ出力する。
　そして、制御部１８は、制御情報生成部２５から受けた制御情報に基づいて、ＰＴＺ駆動部１１に対する駆動指示を示す信号を出力する。
　そして、ＰＴＺ駆動部１１は、制御部１８から受けた駆動指示を示す信号に基づいてＰＴＺカメラＰの駆動、すなわちＰＴＺカメラＰの撮像方向および画角等を調整する。そして、ＰＴＺカメラＰは、情報処理部１５により決定された追跡対象物を追跡して、この追跡対象物の拡大画像を撮像し、撮像した拡大画像が、抽出部１４を経由して記憶部１６に保存される（ステップＳ１６）。
　そして、抽出部１２，１３，１４は、それぞれ対応のカメラにより撮像された画像を再び取得して、上述のステップＳ１１以降の動作が繰り返される。
　なお、前述のとおり、追跡対象物決定部２４は、追跡対象物を決定すると、当該追跡対象物の異常度を示す情報を通報判断部２６へ出力する。そして、通報判断部２６は、たとえば、追跡対象物決定部２４から受けた追跡対象物の異常度が閾値以上である場合、所定条件を満たすと判断して、外部モニタまたはユーザの携帯端末等へ通報することを決定し、外部出力部１７へ出力指示を示す信号を出力する。
　そして、外部出力部１７は、通報判断部２６から出力指示を示す信号を受けた後、記憶部１６に追跡対象物の拡大画像のデータが保存されると、当該データを記憶部１６から取得する。そして、外部出力部１７は、取得した画像のデータを、外部モニタまたはユーザの携帯端末等に送信する。
　（実空間座標の選択処理）
　図５は、図４に示す実空間座標の選択処理の動作手順を示すフローチャートである。
　図５を参照して、まず、実空間座標算出部２２は、抽出部１２，１３，１４により抽出された対象物が写っている検出枠にラベルが付された画像のデータを取得する。そして、実空間座標算出部２２は、抽出部１２，１３，１４により抽出された全ての対象物について実空間座標を算出する（ステップＳ２１）。
　具体的には、実空間座標算出部２２は、対象物が広角カメラＡまたは広角カメラＢにより撮像された広角画像から抽出された場合、当該対象物が写っている広角画像中における当該対象物の座標と、広角カメラＡおよび広角カメラＢのうち当該広角画像を撮像した広角カメラのカメラ情報とに基づいて、当該対象物の実空間座標を算出する。
　また、実空間座標算出部２２は、対象物がＰＴＺカメラＰにより撮像された画像から抽出された場合、ＰＴＺカメラＰの制御情報に基づいて、当該対象物の実空間座標を算出する。
　次に、実空間座標算出部２２は、全ての対象物について、実空間座標を選択したか否かを確認する（ステップＳ２２）。そして、実空間座標算出部２２は、全ての対象物について、実空間座標を選択した場合（ステップＳ２２において「Ｙｅｓ」）、実空間座標の選択処理を終了する。
　一方、実空間座標算出部２２は、実空間座標を選択していない対象物がある場合（ステップＳ２２において「Ｎｏ」）、実空間座標を選択していない対象物の１つを選択する（ステップＳ２３）。
　次に、実空間座標算出部２２は、選択した対象物が、複数のカメラにより撮像されたか否かを判断する（ステップＳ２４）。たとえば、実空間座標算出部２２は、ステップＳ２１において算出した各対象物の実空間座標のうち、差異の程度が閾値以下である近似した２つの実空間座標がある場合、これら２つの実空間座標は同一の対象物に対して算出した実空間座標であり、当該対象物は２つの異なるカメラにより撮像された、と判断することができる。
　そして、実空間座標算出部２２は、選択した対象物が複数のカメラにより撮像されたと判断した場合（ステップＳ２４において「Ｙｅｓ」）、当該対象物の実空間座標に基づいて、当該対象物が撮像領域ＥＡまたは撮像領域ＥＢの十分内側にいるか否かを判断する（ステップＳ２５）。以下、対象物が存在する位置に基づく複数のパターンについて説明する。
　図６は、本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン１）である。
　図６に示すように、対象物Ｘが撮像領域ＥＡの十分内側に存在し、広角カメラＡおよびＰＴＺカメラＰの双方が対象物Ｘを撮像している状態を「パターン１」と称する。
　なお、撮像領域ＥＡまたは撮像領域ＥＢの「十分内側」とは、たとえば、各領域のうち境界付近の領域を除く領域である。撮像領域ＥＡを例に説明すると、具体的には、広角カメラＡにより撮像された広角画像の上下左右端からそれぞれ内側５０ピクセル以内の領域を撮像領域ＥＡの境界付近の領域としてもよい。この場合、撮像領域ＥＡのうち、境界付近の領域を除く領域が、撮像領域ＥＡの十分内側に該当する。
　また、たとえば、広角カメラの画角のうちの端から一定の割合を境界付近の領域としてもよい。より具体的には、広角カメラＡの画角のうち画角の両端から例えば５％以内の領域を撮像領域ＥＡの境界付近の領域としてもよい。この場合も、撮像領域ＥＡのうち、境界付近の領域を除く領域が、撮像領域ＥＡの十分内側に該当する。例えば、広角カメラＡの水平画角が１００°である場合、この水平画角の両端から内側５°以内の領域を除く撮像領域ＥＡの領域が、撮像領域ＥＡの十分内側に該当する。
　この「パターン１」の状態の場合、実空間座標算出部２２は、図５に示すステップＳ２１において、対象物Ｘの実空間座標として、広角カメラＡにより撮像された広角画像中における対象物Ｘの座標に基づく実空間座標と、ＰＴＺカメラＰの制御情報に基づく実空間座標との双方を算出している。
　そして、実空間座標算出部２２は、ステップＳ２５において、たとえば対象物Ｘの実空間座標に基づいて、対象物Ｘが撮像領域ＥＡの十分内側にいる、すなわち「パターン１」の状態であると判断した場合、ステップＳ２１において算出した対象物Ｘの実空間座標のうち、広角カメラＡにより撮像された広角画像中における対象物Ｘの座標を用いて算出した実空間座標を選択する（図５のステップＳ２６）。
　図７は、本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン２）である。
　図７に示すように、対象物Ｘが撮像領域ＥＡの境界付近に存在し、広角カメラＡおよびＰＴＺカメラＰの双方が対象物Ｘを撮像している状態を「パターン２」と称する。
　この「パターン２」の状態の場合、実空間座標算出部２２は、図５に示すステップＳ２１において、対象物Ｘの実空間座標として、「パターン１」の状態の場合と同様に、広角カメラＡにより撮像された広角画像中における対象物Ｘの座標に基づく実空間座標と、ＰＴＺカメラＰの制御情報に基づく実空間座標との双方を算出している。
　そして、実空間座標算出部２２は、ステップＳ２５において、たとえば対象物Ｘの実空間座標に基づいて、対象物Ｘが撮像領域ＥＡの境界付近にいる、すなわち「パターン２」の状態であると判断した場合、ステップＳ２１において算出した対象物Ｘの実空間座標のうち、ＰＴＺカメラＰの制御情報を用いて算出した実空間座標を選択する（図５のステップＳ２７）。
　図８は、本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン３）である。
　図８に示すように、対象物Ｘが撮像領域ＥＢの境界付近に存在し、広角カメラＢおよびＰＴＺカメラＰの双方が対象物Ｘを撮像している状態を「パターン３」と称する。
　この「パターン３」の状態の場合、実空間座標算出部２２は、図５に示すステップＳ２１において、対象物Ｘの実空間座標として、広角カメラＢにより撮像された広角画像中における対象物Ｘの座標に基づく実空間座標と、ＰＴＺカメラＰの制御情報に基づく実空間座標との双方を算出している。
　そして、実空間座標算出部２２は、ステップＳ２５において、たとえば対象物Ｘの実空間座標に基づいて、対象物Ｘが撮像領域ＥＢの境界付近にいる、すなわち「パターン３」の状態であると判断した場合、パターン２の場合と同様に、ステップＳ２１において算出した対象物Ｘの実空間座標のうち、ＰＴＺカメラＰの制御情報を用いて算出した実空間座標を選択する（図５のステップＳ２７）。
　図９は、本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン４）である。
　図９に示すように、対象物Ｘが撮像領域ＥＢの十分内側に存在し、広角カメラＢおよびＰＴＺカメラＰの双方が対象物Ｘを撮像している状態を「パターン４」と称する。
　この「パターン４」の状態の場合、実空間座標算出部２２は、図５に示すステップＳ２１において、対象物Ｘの実空間座標として、「パターン３」の状態の場合と同様に、広角カメラＢにより撮像された広角画像中における対象物Ｘの座標に基づく実空間座標と、ＰＴＺカメラＰの制御情報に基づく実空間座標との双方を算出している。
　そして、実空間座標算出部２２は、ステップＳ２５において、たとえば対象物Ｘの実空間座標に基づいて、対象物Ｘが撮像領域ＥＢの十分内側にいる、すなわち「パターン４」の状態であると判断した場合、ステップＳ２１において算出した対象物Ｘの実空間座標のうち、広角カメラＢにより撮像された広角画像中における対象物Ｘの座標を用いて算出した実空間座標を選択する（図５のステップＳ２６）。
　再び図５を参照して、実空間座標算出部２２は、選択した対象物が複数のカメラにより撮像されていない、すなわち広角カメラＡ、広角カメラＢおよびＰＴＺカメラＰのうちのいずれか１つのカメラにより撮像されたと判断した場合（ステップＳ２４において「Ｎｏ」）、当該対象物を撮像したカメラがいずれのカメラであるかに応じて、異なる算出方法により算出された実空間座標を選択する（ステップＳ２８）。
　図１０は、本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン５）である。
　図１０に示すように、対象物Ｘが広角カメラＡおよび広角カメラＢの死角領域に存在し、ＰＴＺカメラＰのみが対象物Ｘを撮像している状態を「パターン５」と称する。
　この「パターン５」の状態の場合、実空間座標算出部２２は、図５に示すステップＳ２１において、対象物Ｘの実空間座標として、ＰＴＺカメラＰの制御情報に基づく実空間座標を算出している。
　そして、実空間座標算出部２２は、ステップＳ２８において、たとえば対象物Ｘの実空間座標に基づいて、ＰＴＺカメラＰのみが対象物Ｘを撮像している、すなわち「パターン５」の状態であると判断した場合、パターン１またはパターン４の場合と同様に、ステップＳ２１においてＰＴＺカメラＰの制御情報を用いて算出した実空間座標を選択する（図５のステップＳ２９）。
　図１１は、本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン６）である。
　図１１に示すように、対象物Ｘが撮像領域ＥＡ内に存在し、対象物Ｙが対象物Ｘと異なる位置に存在し、ＰＴＺカメラＰが対象物Ｙを撮像していることにより、広角カメラＡのみが対象物Ｘを撮像している状態を「パターン６」と称する。
　この「パターン６」の状態の場合、実空間座標算出部２２は、図５に示すステップＳ２１において、対象物Ｘの実空間座標として、広角カメラＡにより撮像された広角画像中における対象物Ｘの座標に基づく実空間座標を算出している。
　そして、実空間座標算出部２２は、ステップＳ２８において、たとえば対象物Ｘおよび対象物Ｙの実空間座標に基づいて、広角カメラＡのみが対象物Ｘを撮像している、すなわち「パターン６」の状態であると判断した場合、ステップＳ２１において広角カメラＡにより撮像された広角画像中における対象物Ｘの座標を用いて算出した実空間座標を選択する（図５のステップＳ３０）。
　図１２は、本発明の実施の形態に係る監視装置の実空間座標算出部により実空間座標が選択される対象物の位置を示すイメージ図（パターン７）である。
　図１２に示すように、対象物Ｘが撮像領域ＥＢ内に存在し、対象物Ｙが対象物Ｘと異なる位置に存在し、ＰＴＺカメラＰが対象物Ｙを撮像していることにより、広角カメラＢのみが対象物Ｘを撮像している状態を「パターン７」と称する。
　この「パターン７」の状態の場合、実空間座標算出部２２は、図５に示すステップＳ２１において、対象物Ｘの実空間座標として、広角カメラＢにより撮像された広角画像中における対象物Ｘの座標に基づく実空間座標を算出している。
　そして、実空間座標算出部２２は、ステップＳ２８において、たとえば対象物Ｘおよび対象物Ｙの実空間座標に基づいて、広角カメラＢのみが対象物Ｘを撮像している、すなわち「パターン７」の状態であると判断した場合、ステップＳ２１において広角カメラＢにより撮像された広角画像中における対象物Ｘの座標を用いて算出した実空間座標を選択する（図５のステップＳ３０）。
　ところで、非特許文献１、特許文献１および特許文献２に記載の技術では、複数のカメラを設けているため、コストが増加するという問題がある。そこで、たとえば１つのカメラを高い位置に設定し、このカメラが比較的大きな画角で撮像するように構成することが考えられる。この場合、カメラの台数が減少することによりコストの増加を抑えることができ、かつ、高い位置から大きな画角で撮像することにより広い領域を監視することができる。しかしながら、この場合、カメラの有効画素数に対して監視対象が写る画素数の割合が低すぎることにより、監視対象の認識精度が低下する虞がある。
　これに対して、本発明の実施の形態に係る監視装置１００では、抽出部１２，１３，１４が、画角が固定されている広角カメラＡ、画角が固定されており広角カメラＡと異なる領域を撮像する広角カメラＢ、および、撮像方向を変更可能であり広角カメラＡよりも小さな画角に調整可能なＰＴＺカメラＰのうち対応のカメラにより撮像された画像中から対象物を抽出する。また、情報処理部１５が、抽出部１２，１３，１４により抽出された対象物の位置を算出する。また、制御部１８が、情報処理部１５により算出された対象物の位置に基づいて、対象物がＰＴＺカメラＰにより撮像される画像に継続して写るようにＰＴＺカメラＰの撮像方向を調整する。
　このような構成により、撮像方向を変更可能なＰＴＺカメラＰが対象物を追跡し、かつ、画角を小さく調整して対象物の詳細な画像を撮像することができるため、多くのカメラを設けることなく、監視対象の追跡を精度よく行うことができる。また、このように、撮像方向を変更可能なＰＴＺカメラＰが対象物を追跡して撮像する構成であることにより、広角カメラＡにより撮像される領域と広角カメラＢにより撮像される領域との間を移動する対象物であっても、当該対象物を見失うことなく監視することができる。
　また、このような構成により、広角カメラＡと広角カメラＢとの間で撮像領域が重複していなくても、ＰＴＺカメラＰが対象物を追跡して撮像することができるため、広角カメラＡおよび広角カメラＢの設置の自由度を高めることができる。
　また、このように、ＰＴＺカメラＰの画角が調整可能であることにより、たとえば、対象物の移動速度が速く、ＰＴＺカメラＰの撮像方向の調整が対象物の移動に追い付かない場合であっても、ＰＴＺカメラＰの画角を大きく調整することにより撮像領域をすばやく広げ、当該対象物を見失うことを防ぐことができる。
　なお、上述した実施の形態では、監視装置１００は、２つの広角カメラ、すなわち広角カメラＡおよび広角カメラＢを備える。しかしながら、監視装置１００は、広角カメラＡまたは広角カメラＢのいずれか一方を備える構成であっても良く、このような構成を採用することにより、コストを低く抑えることができる。
　また、本発明の実施の形態に係る監視装置１００では、ＰＴＺカメラＰは、広角カメラＡおよび広角カメラＢのいずれによっても撮像されない死角領域を撮像可能に配置される。
　このような構成により、対象物が死角領域に存在する場合であっても、ＰＴＺカメラＰが死角領域を補完して撮像することができるため、監視性能を向上させることができる。
　また、本発明の実施の形態に係る監視装置１００では、ＰＴＺカメラＰは、広角カメラＡおよび広角カメラＢの間に配置される。
　このような構成により、撮像方向を変更可能な撮像部を数多く設置することなく、ＰＴＺカメラＰのみで、広角カメラＡにより撮像される領域、広角カメラＢにより撮像される領域、および、死角領域のいずれかに存在する対象物を撮像することができる。
　また、このような構成により、広角カメラＡと広角カメラＢとの互いの間隔を大きくあけて設置した場合であっても、ＰＴＺカメラＰが、広角カメラＡにより撮像される領域と、広角カメラＢにより撮像される領域との間の死角領域を補完して撮像することができるため、監視の対象となる領域を広く確保することができる。
　また、本発明の実施の形態に係る監視装置１００では、広角カメラＡの画角および広角カメラＢの画角は、ＰＴＺカメラＰの画角よりも大きい画角に固定されている。
　このように、広角カメラＡおよび広角カメラＢの画角が大きいことにより、対象物の移動速度が速く、ＰＴＺカメラＰの撮像方向の変更が対象物の移動に追い付かない場合であっても、広角カメラＡまたは広角カメラＢにより当該対象物が撮像される可能性が高く、当該対象物を見失うことを防ぐことができる。
　また、このような構成により、画角を調整可能な撮像部を複数設ける場合と比較して、コストを低く抑えることができる。
　また、このように、広角カメラＡおよび広角カメラＢの画角が大きい画角に固定されていることにより、ＰＴＺカメラＰが広い領域を撮像していない場合であっても、広角カメラＡまたは広角カメラＢにより撮像された広い領域の画像を常時得ることができる。このため、たとえば、ＰＴＺカメラＰが対象物を追跡して撮像している場合であっても、広角カメラＡまたは広角カメラＢにより撮像された広い領域の画像中から監視領域内へ新たに入った他の対象物を抽出することが可能であり、監視性能を向上させることができる。
　また、本発明の実施の形態に係る監視装置１００では、情報処理部１５は、広角カメラＡにより撮像された画像または広角カメラＢにより撮像された画像に対象物が写っている場合、対象物が写っている画像における対象物の座標に基づいて算出した対象物の位置を、制御部１８によるＰＴＺカメラＰの制御に用いられる対象物の位置とする。
　このような構成により、広角カメラＡまたは広角カメラＢに関する既知の固定値を用いて対象物の位置を正確に算出することができ、ＰＴＺカメラＰを精度よく制御することができる。
　また、本発明の実施の形態に係る監視装置１００では、情報処理部１５は、広角カメラＡにより撮像された画像および広角カメラＢにより撮像された画像のいずれにも対象物が写っていない場合であり、かつ、ＰＴＺカメラＰにより撮像された画像に対象物が写っている場合、ＰＴＺカメラＰを制御するために制御部１８により用いられた制御情報に基づいて算出した対象物の位置を、制御部１８によるＰＴＺカメラＰの新たな制御に用いられる対象物の位置とする。
　このような構成により、広角カメラＡにより撮像される画像および広角カメラＢにより撮像される画像のいずれにも写らない対象物であっても、当該対象物の位置を算出することができ、当該対象物を見失うことなくＰＴＺカメラＰを制御することができる。
　また、本発明の実施の形態に係る監視装置１００では、情報処理部１５は、広角カメラＡにより撮像された画像または広角カメラＢにより撮像された画像に対象物が写っている場合であっても、広角カメラＡまたは広角カメラＢにより撮像された画像の境界付近に対象物が位置する場合であり、かつ、ＰＴＺカメラＰにより撮像された画像に対象物が写っている場合、ＰＴＺカメラＰを制御するために制御部１８により用いられた制御情報に基づいて算出した対象物の位置を、制御部１８によるＰＴＺカメラＰの新たな制御に用いられる対象物の位置とする。
　このように、死角領域に入り、広角カメラＡにより撮像される画像および広角カメラＢにより撮像される画像のいずれにも写らなくなる可能性の高い対象物に関しては、ＰＴＺカメラＰの制御に用いるための情報である対象物の位置の算出方法を、対象物が死角領域に位置する場合における算出方法に予め切り替えておくことにより、当該対象物が実際に死角領域内へ移動した場合に当該対象物の位置を迅速に更新することができ、対象物を見失うことを防ぐことができる。
　また、本発明の実施の形態に係る監視装置１００では、情報処理部１５は、抽出部１２，１３，１４により複数の対象物が抽出された場合、抽出された各対象物に対して優先順位を付与し、優先順位が最も高い対象物を、ＰＴＺカメラＰにより撮像される画像に継続して写る対象物として決定する。また、制御部１８は、情報処理部１５により決定された対象物の位置に基づいて、ＰＴＺカメラＰを制御する。
　このような構成により、撮像する必要性の高い対象物を優先的にＰＴＺカメラＰにより撮像することができる。
　また、本発明の実施の形態に係る監視装置１００では、情報処理部１５は、抽出部１２，１３，１４により複数の対象物が抽出された場合、抽出された各対象物の異常度を算出し、算出した異常度が高い対象物ほど、高い優先順位を付与する。
　このような構成により、撮像する必要性の高い対象物を適切に選択して撮像することができる。
　また、本発明の実施の形態に係る監視装置１００では、情報処理部１５は、監視すべき必要性の高い特定領域の付近に対象物が位置する場合、対象物が特定領域から離れて位置する場合と比較して、異常度を高く算出する。
　このような構成により、特定領域の付近に位置する対象物をＰＴＺカメラＰにより優先的に撮像して、特定領域を重点的に監視することができる。
　また、本発明の実施の形態に係る監視装置１００では、ＰＴＺカメラＰは、広角カメラＡおよび広角カメラＢのいずれによっても撮像されない死角領域を撮像可能に配置される。また、情報処理部１５は、抽出部１２，１３，１４により複数の対象物が抽出された場合、死角領域に位置する対象物、または、死角領域の付近に位置する対象物に対して高い優先順位を付与する。
　ここで、死角領域に位置する対象物は、広角カメラＡにより撮像される画像および広角カメラＢにより撮像される画像のいずれにも写らないため、ＰＴＺカメラＰにより撮像されない場合、当該対象物を見失ってしまう可能性が高い。これに対して、上記のような構成により、見失う可能性が高い対象物を、ＰＴＺカメラＰにより優先的に撮像することができるため、高い監視能力を実現することができる。
　上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１０　画像処理部
　１１　ＰＴＺ駆動部
　１２，１３，１４　抽出部
　１５　情報処理部
　１６　記憶部
　１７　外部出力部
　１８　制御部
　２２　実空間算出部
　２３　優先順位付与部
　２４　追跡対象物決定部
　２５　制御情報生成部
　２６　通報判断部
　１００　監視装置
　Ａ　広角カメラ（第１撮像部）
　Ｂ　広角カメラ（第３撮像部）
　Ｐ　ＰＴＺカメラ（第２撮像部）

Claims (14)

  1. 　画角が固定されている第１撮像部と、
    　撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部と、
    　前記第１撮像部および前記第２撮像部により撮像されたそれぞれの画像中から対象物を抽出する抽出部と、
    　前記抽出部により抽出された前記対象物の位置を算出する情報処理部と、
    　前記情報処理部により算出された前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部の撮像方向を調整する制御部とを備える、監視装置。
  2. 　前記第２撮像部は、前記第１撮像部によって撮像されない死角領域を撮像可能に配置される、請求項１に記載の監視装置。
  3. 　前記情報処理部は、前記第１撮像部により撮像された画像に前記対象物が写っている場合、前記対象物が写っている画像における前記対象物の座標に基づいて算出した前記対象物の位置を、前記制御部が前記第２撮像部の制御に用いる前記対象物の位置とする、請求項１または請求項２に記載の監視装置。
  4. 　前記情報処理部は、前記第１撮像部により撮像された画像に前記対象物が写っていない場合であり、かつ、前記第２撮像部により撮像された画像に前記対象物が写っている場合、前記第２撮像部を制御するために前記制御部により用いられた制御情報に基づいて算出した前記対象物の位置を、前記制御部が前記第２撮像部の新たな制御に用いる前記対象物の位置とする、請求項３に記載の監視装置。
  5. 　前記情報処理部は、前記第１撮像部により撮像された画像に前記対象物が写っている場合であっても、前記第１撮像部により撮像された画像の境界付近に前記対象物が位置する場合であり、かつ、前記第２撮像部により撮像された画像に前記対象物が写っている場合、前記第２撮像部を制御するために前記制御部により用いられた制御情報に基づいて算出した前記対象物の位置を、前記制御部が前記第２撮像部の新たな制御に用いる前記対象物の位置とする、請求項３または請求項４に記載の監視装置。
  6. 　前記情報処理部は、前記抽出部により複数の対象物が抽出された場合、抽出された各対象物に対して優先順位を付与し、前記優先順位が最も高い対象物を、前記第２撮像部の撮像対象として決定し、
    　前記制御部は、前記情報処理部により決定された対象物の位置に基づいて、前記第２撮像部を制御する、請求項１から請求項５のいずれか１項に記載の監視装置。
  7. 　前記情報処理部は、前記抽出部により複数の対象物が抽出された場合、抽出された各対象物の異常度を算出し、算出した前記異常度が高い対象物ほど、高い優先順位を付与する、請求項６に記載の監視装置。
  8. 　前記情報処理部は、監視すべき必要性の高い特定領域の付近に対象物が位置する場合、対象物が前記特定領域から離れて位置する場合と比較して、前記異常度を高く算出する、請求項７に記載の監視装置。
  9. 　前記第２撮像部は、前記第１撮像部によって撮像されない死角領域を撮像可能に配置され、
    　前記情報処理部は、前記抽出部により複数の対象物が抽出された場合、前記死角領域に位置する対象物、または、前記死角領域の付近に位置する対象物に対して高い優先順位を付与する、請求項６から請求項８のいずれか１項に記載の監視装置。
  10. 　画角が固定されている第１撮像部、および、撮像方向を変更可能であり前記第１撮像部よりも小さな画角に調整可能な第２撮像部、により撮像されたそれぞれの画像中から対象物を抽出する抽出部と、
    　前記抽出部により抽出された前記対象物の位置を算出する情報処理部と、
    　前記情報処理部により算出された前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部の撮像方向を調整する制御部とを備える、監視装置。
  11. 　画角が固定されている第１撮像部と、
    　撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部と、
    　画角が固定されており、前記第１撮像部と異なる領域を撮像する第３撮像部と、
    　前記第１撮像部、前記第２撮像部および前記第３撮像部により撮像されたそれぞれの画像中から対象物を抽出する抽出部と、
    　前記抽出部により抽出された前記対象物の位置を算出する情報処理部と、
    　前記情報処理部により算出された前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部の撮像方向を調整する制御部とを備える、監視装置。
  12. 　前記第２撮像部は、前記第１撮像部および前記第３撮像部の間に配置される、請求項１１に記載の監視装置。
  13. 　画角が固定されている第１撮像部と、
    　撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部とを備える監視装置における監視方法であって、
    　前記第１撮像部および前記第２撮像部によりそれぞれ撮像された画像のうち少なくともいずれか１つの画像中から対象物を抽出するステップと、
    　抽出した前記対象物の位置を算出するステップと、
    　算出した前記対象物の位置に基づいて、前記対象物が前記第２撮像部により撮像される画像に継続して写るように前記第２撮像部を制御するステップとを含む、監視方法。
  14. 　画角が固定されている第１撮像部と、
    　撮像方向を変更可能であり、前記第１撮像部よりも小さな画角に調整可能な第２撮像部と、
    　画角が固定されている第３撮像部とを備える監視装置における撮像部の配置方法であって、
    　前記第３撮像部を、前記第１撮像部と異なる領域を撮像するように配置するステップと、
    　前記第２撮像部を、前記第１撮像部により撮像される領域および前記第３撮像部により撮像される領域のうち少なくとも一方の領域、および、前記第１撮像部および前記第３撮像部のいずれによっても撮像されない死角領域を撮像可能に配置するステップとを含む、撮像部の配置方法。
PCT/JP2014/051689 2013-03-06 2014-01-27 監視装置、監視方法および撮像部の配置方法 WO2014136499A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-044257 2013-03-06
JP2013044257A JP2014175706A (ja) 2013-03-06 2013-03-06 監視装置、監視方法および撮像部の配置方法

Publications (1)

Publication Number Publication Date
WO2014136499A1 true WO2014136499A1 (ja) 2014-09-12

Family

ID=51491025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/051689 WO2014136499A1 (ja) 2013-03-06 2014-01-27 監視装置、監視方法および撮像部の配置方法

Country Status (2)

Country Link
JP (1) JP2014175706A (ja)
WO (1) WO2014136499A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873203A (zh) * 2021-09-30 2021-12-31 杭州华橙软件技术有限公司 一种确定巡航路径的方法、装置、计算机设备和存储介质
CN115620927A (zh) * 2022-10-21 2023-01-17 哈尔滨工业大学 基于正交型立体视觉结构的目标靶六维定位方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017011598A (ja) * 2015-06-25 2017-01-12 株式会社日立国際電気 監視システム
CN106817565A (zh) * 2015-12-02 2017-06-09 奇偶科技股份有限公司 具有全景监视功能的摄像机系统
JP6956574B2 (ja) * 2017-09-08 2021-11-02 キヤノン株式会社 画像処理装置、プログラムおよび方法
US11494934B2 (en) * 2018-03-29 2022-11-08 Mitsubishi Electric Corporation Image processing device, image processing method, and monitoring system
JP7128577B2 (ja) * 2018-03-30 2022-08-31 セコム株式会社 監視装置
JP7049632B2 (ja) * 2018-03-31 2022-04-07 株式会社ウォンツ 車両画像撮影システム
JP7150456B2 (ja) * 2018-04-04 2022-10-11 キヤノン株式会社 撮像システム、情報処理装置、情報処理装置の制御方法、及び、プログラム
JP6725041B2 (ja) * 2019-06-05 2020-07-15 日本電気株式会社 追跡システム、追跡方法および追跡プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343718A (ja) * 2003-04-22 2004-12-02 Matsushita Electric Ind Co Ltd カメラ連携による監視装置
JP2006304342A (ja) * 2004-02-03 2006-11-02 Matsushita Electric Ind Co Ltd 検出領域調整装置
JP2008288870A (ja) * 2007-05-17 2008-11-27 Toshiba Corp 映像監視システムおよび映像監視方法
JP2011048736A (ja) * 2009-08-28 2011-03-10 Fujitsu Ltd 監視制御装置及び監視システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004343718A (ja) * 2003-04-22 2004-12-02 Matsushita Electric Ind Co Ltd カメラ連携による監視装置
JP2006304342A (ja) * 2004-02-03 2006-11-02 Matsushita Electric Ind Co Ltd 検出領域調整装置
JP2008288870A (ja) * 2007-05-17 2008-11-27 Toshiba Corp 映像監視システムおよび映像監視方法
JP2011048736A (ja) * 2009-08-28 2011-03-10 Fujitsu Ltd 監視制御装置及び監視システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873203A (zh) * 2021-09-30 2021-12-31 杭州华橙软件技术有限公司 一种确定巡航路径的方法、装置、计算机设备和存储介质
CN113873203B (zh) * 2021-09-30 2023-09-26 杭州华橙软件技术有限公司 一种确定巡航路径的方法、装置、计算机设备和存储介质
CN115620927A (zh) * 2022-10-21 2023-01-17 哈尔滨工业大学 基于正交型立体视觉结构的目标靶六维定位方法
CN115620927B (zh) * 2022-10-21 2023-08-08 哈尔滨工业大学 基于正交型立体视觉结构的目标靶六维定位方法

Also Published As

Publication number Publication date
JP2014175706A (ja) 2014-09-22

Similar Documents

Publication Publication Date Title
WO2014136499A1 (ja) 監視装置、監視方法および撮像部の配置方法
JP5891061B2 (ja) 映像監視装置、監視システム、監視システム構築方法
JP4568009B2 (ja) カメラ連携による監視装置
US9639759B2 (en) Video processing apparatus and video processing method
JP6574645B2 (ja) 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム
US20230087330A1 (en) Object tracking
WO2014171258A1 (ja) 情報処理システム、情報処理方法及びプログラム
KR101695249B1 (ko) 감시 영상 표시 방법 및 시스템
JP6347211B2 (ja) 情報処理システム、情報処理方法及びプログラム
US20140098996A1 (en) Image display apparatus and image display method
JP6016295B2 (ja) 監視システム
WO2014103732A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
TWI541767B (zh) 藉助於自動產生之巡邏路徑控制一監視系統之方法與裝置
JP6723208B2 (ja) 監視カメラの向上した方向制御
KR101096157B1 (ko) 듀얼 카메라를 이용한 실시간 감시장치
JP2005346425A (ja) 自動追尾装置及び自動追尾方法
JP4594197B2 (ja) 自動追尾装置
JP2006259847A (ja) 自動追尾装置及び自動追尾方法
JP2012198802A (ja) 侵入物検出システム
KR101410985B1 (ko) 감시카메라를 이용한 감시시스템 및 감시장치와 그 감시방법
US8169495B2 (en) Method and apparatus for dynamic panoramic capturing
JP5397281B2 (ja) 監視カメラ端末
JP2014135683A (ja) 撮像制御装置、撮像制御方法および撮像制御プログラム
JP2007172551A (ja) 運転状況推定装置
US20110267463A1 (en) Image capturing device and method for controlling image capturing device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14760666

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14760666

Country of ref document: EP

Kind code of ref document: A1