WO2022180756A1 - 監視カメラの情報送信装置、監視カメラの情報受信装置、及び監視カメラシステム、並びに監視カメラの情報受信方法 - Google Patents

監視カメラの情報送信装置、監視カメラの情報受信装置、及び監視カメラシステム、並びに監視カメラの情報受信方法 Download PDF

Info

Publication number
WO2022180756A1
WO2022180756A1 PCT/JP2021/007232 JP2021007232W WO2022180756A1 WO 2022180756 A1 WO2022180756 A1 WO 2022180756A1 JP 2021007232 W JP2021007232 W JP 2021007232W WO 2022180756 A1 WO2022180756 A1 WO 2022180756A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
camera
analysis data
monitoring camera
unit
Prior art date
Application number
PCT/JP2021/007232
Other languages
English (en)
French (fr)
Inventor
啓友 佐々木
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/007232 priority Critical patent/WO2022180756A1/ja
Priority to GB2311370.7A priority patent/GB2618457A/en
Priority to JP2023501933A priority patent/JPWO2022180756A1/ja
Priority to US18/274,213 priority patent/US20240098224A1/en
Publication of WO2022180756A1 publication Critical patent/WO2022180756A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present disclosure relates to a surveillance camera information transmission device, a surveillance camera information reception device, a surveillance camera system, and a surveillance camera information reception method.
  • Patent Document 1 in a surveillance camera network provided with a plurality of surveillance cameras including a first surveillance camera and a second surveillance camera, color information of an object to be monitored photographed by the first surveillance camera is transmitted to the second surveillance camera. is obtained in advance from the first monitoring camera, and the second monitoring camera increases the sensitivity or resolution of the color information so that the monitoring target is aligned with the shooting angle of view of the second monitoring camera.
  • a technique has been disclosed that enables a surveillance object to be clearly photographed from the moment it enters.
  • Patent Document 1 Although information regarding the color of a single monitoring target is taken into account, there is a problem in that it is not possible to appropriately deal with events that satisfy conditions regarding features other than color. . For example, when it is predicted that multiple monitored targets will enter the surveillance area of the camera itself, or if a certain monitored target is predicted to enter at high speed, it is difficult to capture these monitored targets clearly. There is a problem.
  • An object of the present invention is to provide an information receiving device for a surveillance camera that changes the
  • the information receiving device for the surveillance camera includes: a reception control unit that receives video analysis data, which is analysis data of video captured by another surveillance camera, via a communication network; a video analysis data analysis unit that analyzes the received video analysis data with reference to the camera linkage table and the video change table and issues a video control request for the self-monitoring camera based on the analysis result; a video control unit that changes at least one parameter related to shooting by the self-monitoring camera in accordance with the video control request; with The detection areas of the surveillance cameras connected to the communication network and the identification information of the surveillance cameras linked to each detection area are registered in the camera linkage table,
  • the image change table defines a non-color condition for changing the at least one parameter and a change content of the at least one parameter when the non-color condition is satisfied, and the non-color
  • the conditions include a first condition relating to the case where there are a plurality of moving bodies within the angle of view of the self-monitoring camera, or
  • the surveillance camera information receiving device when an event occurs that satisfies the conditions related to the features other than the color of the monitored object, it is possible to change the settings related to shooting.
  • FIG. 10 is a diagram for showing an operation by a deep learning inference processing unit;
  • FIG. 10 is a diagram for showing an operation by a deep learning inference processing unit;
  • FIG. 10 is a diagram for showing an operation by a deep learning inference processing unit;
  • FIG. 10 is a diagram for showing an operation by a deep learning inference processing unit;
  • FIG. 10 is a diagram for showing an operation by a deep learning inference processing unit;
  • FIG. 10 is a diagram for showing an operation by a deep learning inference processing unit;
  • FIG. 10 is a diagram for showing an operation by a deep learning inference processing unit;
  • FIG. 10 is a diagram for showing an operation by a deep learning inference processing unit;
  • FIG. 10 is a diagram for showing an operation by a deep learning inference processing unit;
  • FIG. 10 is a diagram for showing an operation by a deep learning inference processing unit;
  • FIG. 2 is a plan view looking down from above on a floor on which a plurality of cameras A to F are installed;
  • 4 is a diagram showing an image at the angle of view of camera E.
  • FIG. 4 is a diagram showing an image at the angle of view of camera D.
  • FIG. It is an example of a camera cooperation table. It is a figure which shows an example of video analysis data.
  • FIG. 10 is a diagram showing another example of video analysis data; It is a figure which shows an example of a video change table.
  • FIG. 10 is a diagram showing an operation example of processing by a video analysis data analysis unit;
  • FIG. 2 is a diagram showing a configuration example of hardware of an information transmitting device of a monitoring camera and an information receiving device of a monitoring camera
  • FIG. 5 is a diagram showing another configuration example of the hardware of the information transmitting device of the monitoring camera and the information receiving device of the monitoring camera
  • 4 is a flow chart of a surveillance camera and an information transmission device for the surveillance camera
  • 4 is a flow chart of a surveillance camera and an information receiving device for the surveillance camera
  • FIG. 10 is a diagram showing still another example of the video change table
  • FIG. 1 is a system configuration diagram of a surveillance camera system 30 according to Embodiment 1.
  • a monitoring camera system 30 includes a monitoring camera 10 and a monitoring camera 20, and the monitoring cameras 10 and 20 are connected via a communication network NW.
  • the monitoring camera 10 has a function of analyzing captured images by deep learning, and can determine from the image V1 that a moving object such as a person or a drone has entered the angle of view of the imaging unit of the monitoring camera 10.
  • the surveillance camera 10 can also track the person who has entered and determine from the angle of view that the person has left.
  • the video analysis data analyzed by the monitoring camera 10 is transmitted to the communication network NW, and the monitoring camera 20 receives and analyzes the data, thereby changing the operating conditions related to the image quality of the video V2 captured by the monitoring camera 20. can.
  • the video analysis data transmitted to the communication network NW includes, for example, data indicating the name of the camera that originated the data, and object type indicating the type of the object shown in the video. data, appearance time data indicating when the object appeared within the angle of view, and exit time data indicating when the object left the angle of view.
  • a monitoring device that monitors video data transmitted from the monitoring camera 10 and the monitoring camera 20 and a recording device (not shown) that records the video data may be connected to the communication network NW.
  • FIG. 2 is a block diagram showing a configuration example of the surveillance camera 10 and the surveillance camera 20 that constitute the surveillance camera system 30.
  • the monitoring camera 10 receives visible light Y, performs predetermined signal processing on data obtained from the visible light Y, and outputs a data series Z.
  • the monitoring camera 20 receives a data series W from the communication network NW as an input, and performs predetermined signal processing on the data series W to obtain visible light X as an input. do.
  • the surveillance camera 10 includes an imaging unit 135, an information transmission device 100 for the surveillance camera 10, a camera cooperation table 160, and a detection area table 122.
  • the information transmission device 100 also includes an image quality adjustment unit 130 , a video data storage unit 125 , a deep learning inference processing unit 120 , a video analysis data generation unit 115 and a transmission control unit 110 .
  • each component included in the surveillance camera 10 and the information transmission device 100 will be described with reference to FIG. 2 .
  • the imaging unit 135 captures an image within the angle of view of the surveillance camera 10 .
  • Image data captured by the imaging unit 135 is sent to the image quality adjustment unit 130 .
  • the imaging unit 135 is realized by an image sensor such as a CCD (Charged Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the image quality adjustment unit 130 performs various image quality adjustments such as hue adjustment by AWB (Auto White Balance), exposure correction by AE (Auto Exposure), focus adjustment by AF (Auto Focus), and sharpness adjustment.
  • the image quality adjustment unit 130 performs image quality adjustment on the imaged data sent from the image pickup unit 135 , and the image data whose image quality has been adjusted is sent to the image data storage unit 125 .
  • the video data storage unit 125 temporarily stores the video data sent from the image quality adjustment unit 130 , and the video data stored in the video data storage unit 125 is referred to by the deep learning inference processing unit 120 .
  • the video data storage unit 125 is shown as a component included in the information transmission device 100, but it may be provided as a component of the surveillance camera 10 instead of a component included in the information transmission device 100. good.
  • the deep learning inference processing unit 120 holds a neural network that has been trained in advance so that it can detect people and their movements.
  • the deep learning inference processing unit 120 performs deep learning inference processing on the video data acquired from the video data storage unit 125 using a trained neural network, thereby determining whether or not a person has appeared in the video data. It has a function of detecting that a person is moving within the image and that an appearing person has left the image data.
  • the detection area table 122 holds area information within the angle of view, and the area information is referred to by the deep learning inference processing unit 120 . Appearance information and exit information of a person detected by the inference of the deep learning inference processing unit 120 are associated with area information.
  • the detection area table 122 is implemented by, for example, a memory included in the surveillance camera 10 .
  • FIG. 3A shows an example of the detection area table 122
  • FIG. 3B shows a diagram in which the detection area is superimposed on the actual angle of view.
  • detection area 1, detection area 2, and detection area 3 are registered.
  • coordinates defining the detection area 1 coordinates 1 (829, 250), coordinates 2 (829, 1919), coordinates 3 (1079, 1919), and coordinates 4 (1079, 250) are set.
  • a detection area 1 is defined within a rectangular area formed by these coordinates 1 to 4 .
  • the coordinates defining each area are set for the detection area 2 and the detection area 3 as well.
  • the detection area can be specified manually when the monitoring camera is installed.
  • FIG. 3B shows a diagram in which detection area 1, detection area 2, and detection area 3 are superimposed on the actual angle of view.
  • FIGS. 4A to 4D examples of detecting the appearance of a person, detecting that a person is moving in an image, and detecting the exit of a person, which are realized by the deep learning inference processing unit 120.
  • the monitoring target Obj is not detected because it is not within the angle of view of the monitoring camera.
  • the deep learning inference processing unit 120 detects the monitored object Obj as a person, and assigns an identification number for distinguishing the monitored object Obj individually. A number is assigned, and the area information acquired from the detection area table 122 is referenced to associate the detection area 3 with the monitoring target Obj.
  • the deep learning inference processor 120 transmits this detection information to the video analysis data generator 115 .
  • the monitored object Obj detected in FIG. 4B moves rightward and enters the detection area 1, and then, as shown in FIG. Exit outside the angle of view.
  • the deep learning inference processing unit 120 refers to the area information acquired from the detection area table 122 and associates the detection area 1 .
  • the deep learning inference processing unit 120 transmits information that associates the detected monitoring target Obj with the detection area to the video analysis data creation unit 115 .
  • the detection area set for each camera and the camera name (camera identification information) associated with the set detection area are registered in the camera linkage table 160.
  • the camera linkage table 160 is used for video analysis. It is referred to by the data creation unit 115 .
  • the camera linkage table 160 is implemented by, for example, a memory included in the surveillance camera 10 .
  • FIG. 5A is a plan view looking down on the floor on which the cameras A to F are installed.
  • the dashed lines in FIG. 5A are lines for indicating the range of the horizontal angle of view of each camera.
  • 5B is an image at the angle of view of camera E
  • FIG. 5C is an image at the angle of view of camera D.
  • FIG. 5D is an example of the camera linkage table 160.
  • FIG. The camera linkage settings for camera D and camera E in the camera linkage table 160 will be specifically described below.
  • camera linkage 1 of camera D is set so that detection area 1 and camera A are linked.
  • Camera linkage means a setting indicating, for a detection area set in a certain camera, another camera linked with respect to this detection area.
  • the camera installed ahead of the detection area 1 of camera D is camera A, so camera A is set as the linked camera for detection area 1 of camera D. It is
  • camera linkage 2 of camera D is set so that detection area 2 and camera E are linked. This is because the camera installed ahead of the detection area 2 of the camera D is the camera E, as shown in FIGS. 5C and 5A.
  • camera linkage 1 of camera E is set so that detection area 1 and camera D are linked. This is because the camera installed ahead of the detection area 1 of the camera E is the camera D, as shown in FIGS. 5B and 5A.
  • camera linkage 2 of camera E is set so that detection area 2 and camera B are linked. This is because the camera installed beyond the detection area 2 of camera E is camera B, as shown in FIGS. 5B and 5A.
  • camera linkage 3 of camera E is set so that detection area 3 and camera F are linked. This is because the camera installed ahead of the detection area 3 of the camera E is the camera F, as shown in FIGS. 5B and 5A.
  • the camera linkage table may include linkage tables for all cameras, or may include only the linkage table for the own camera. Also, the number of other cameras associated with the detection area of a certain camera need not be one, and multiple cameras may be associated.
  • the video analysis data creation unit 115 sets the detection information transmitted from the deep learning inference processing unit 120, the camera linkage information acquired by referring to the camera linkage table 160, and the name of the own camera as the transmission source. Use to create video analytics data.
  • the video analysis data creation unit 115 transmits the video analysis data to the transmission control unit 110 .
  • FIG. 6A and 6B show examples of video analysis data created by the video analysis data creation unit 115.
  • the video analysis data consists of the camera name of the sender, the identification number for distinguishing each monitoring target, the target type, the time when the monitoring target appeared in the camera's angle of view, and the monitoring target's position within the camera's angle of view. It has the time of exit, the area where the monitored object appeared within the angle of view of the camera, the area where the monitored object exited from the angle of view of the camera, and the name of the camera associated with the exited area.
  • the monitoring camera E detects the appearance of a person assigned the identification number XXXXXXXX in the detection area 3 at 11:20:32 on September 22, 2020. means that In addition, in the video analysis data D2 in FIG. 6B , the monitoring camera E detects that the person assigned the identification number XXXXXXX left the detection area 1 at 11:20:37 on September 22, 2020, and this This means that the camera associated with the exit area 1 is the camera D.
  • the transmission control unit 110 broadcasts the video analysis data received from the video analysis data creation unit 115 to the communication network NW. Instead of transmission by broadcast, the transmission control unit 110 may unicast or multicast the video analysis data to the linked cameras.
  • the monitoring camera 20 includes an information receiving device 200 for the monitoring camera 20, a camera linkage table 260, an image change table 265, an imaging unit 235, and a lens 280.
  • the information receiving device 200 includes a reception control section 250 , a video analysis data analysis section 255 and a video control section 270 .
  • the video control unit 270 includes a video main control unit 271 , an image quality adjustment unit 272 , a lens control unit 273 and a video encoding unit 274 .
  • each component included in the surveillance camera 20 and the information receiving device 200 will be described with reference to FIG.
  • the reception control unit 250 receives the video analysis data transmitted by the surveillance camera 10 via the communication network NW, and transmits the received video analysis data to the video analysis data analysis unit 255 .
  • the detection areas of the cameras and the names of the cameras linked thereto are registered in the camera linkage table 260, and are referred to by the video analysis data analysis unit 255.
  • the camera cooperation table 260 is implemented by, for example, a memory included in the information receiving device 200 .
  • a specific example of the camera linkage table 260 is a table such as that shown in FIG. 5D.
  • the camera cooperation table 260 may have the same content as the camera cooperation table 160 .
  • the camera cooperation table 260 may hold only a table related to its own camera. For example, in the case of surveillance camera F, a table consisting of only the items in the table shown in FIG. 5D and the row for camera F may be held.
  • the image change table 265 contains predetermined conditions (hereinafter sometimes referred to as non-color conditions) regarding features other than color of the monitoring target, and parameters related to image quality when each condition of the non-color conditions is satisfied.
  • a change method, a parameter change method related to video encoding, and a view angle change method are defined.
  • the video change table 265 is implemented by, for example, a memory included in the information receiving device 200 .
  • a specific example of the video change table 265 will now be described with reference to FIG. As shown in FIG. 7, the image change table 265 defines a plurality of conditions regarding the feature of the number of people within the angle of view.
  • condition 1 that ⁇ the number of people in the angle of view is 1''
  • condition 2 that ⁇ the number of people in the angle of view is 2''
  • condition 2 that ⁇ the number of people in the angle of view is 3 or more''
  • Condition 3 is defined as "become”. Both conditions are defined for the case where the number of people within the angle of view increases.
  • condition 2 includes cases where "the number of people in the angle of view changes from 0 to 2" and cases in which "the number of people in the angle of view changes from 1 to 2". is included, but the case where "the number of people in the angle of view is changed from three to two" is not included.
  • resolution and sharpness are shown as parameters related to image quality
  • bit rate and Q value Quality Factor
  • the parameters related to image quality, the parameters related to video coding, and the angle of view are changed compared to the setting when the number of people in the angle of view is 0.
  • Method is defined. For example, when Condition 1 is satisfied, the camera settings are changed so that the resolution remains the same, the bit rate remains the same, the sharpness remains the same, the Q value increases, and the angle of view remains the same. That is, the resolution, bit rate and sharpness are the same as those set when the number of people in the angle of view is 0, and the Q value is higher than the set value when the number of people in the angle of view is 0. is the setting when the number of people in the angle of view is 0.
  • condition 2 the camera settings are changed so that the resolution remains the same, the bit rate increases, the sharpness remains the same, the Q value increases, and the angle of view remains the same.
  • condition 3 the camera settings are changed so that the resolution remains the same, the bit rate is increased, the sharpness is increased, the Q value is increased, and the angle of view is zoomed out.
  • the resolution remains the same regardless of which condition is met, but it may be changed to increase the resolution when any condition is met.
  • the resolution may be increased when condition 3 is satisfied.
  • the video analysis data analysis unit 255 refers to the camera link information held by the camera link table 260 and the video change information held by the video change table 265, and extracts the video analysis data transmitted by the reception control unit 250. After analysis, a video control request is issued to the video main control unit 271 based on the analysis result.
  • camera D analyzes the video analysis data example using the camera link table 260 and the video change table 265.
  • camera D receives video analysis data D-T1, video analysis data DT2, video analysis data DT3, and video analysis data D-T4 from communication network NW. Suppose that they are received in order.
  • the video analysis data D-T1 indicates that a person (identification number: XXXXXXXX) has appeared in the detection area 3 of camera E. Since the video analysis data DT1 is not necessary for the camera D, the video analysis data analysis section 255 of the camera D discards the received video analysis data DT1.
  • Video analysis data D-T2 indicates that a person (identification number: YYYYYYYY) has left detection area 1 of camera B, and that camera A is the camera linked to detection area 1, which is the exit area. Since the linked camera is camera A, camera D does not need this video analysis data DT2. Therefore, the video analysis data analysis unit 255 of camera D discards the received video analysis data DT2.
  • Video analysis data D-T3 indicates that a person (identification number: XXXXXXXX) has left detection area 1 of camera E, and that camera D is the camera linked to detection area 1, which is the exit area. Since camera D is the linked camera, camera D needs video analysis data D-T3.
  • the detection area in the angle of view of camera D where a person who has left detection area 1 of camera E appears is detection area 2.
  • FIG. Assuming that there is no person within the current angle of view of camera D, in order to satisfy condition 1 of image change table 265, image analysis data analysis unit 255 of camera D determines that when a person (identification number: XXXXXX) appears, Pre-increase the Q value of the predicted detection region 2. By increasing the Q value, the video encoding compression rate can be decreased. to obtain high-quality images from
  • Video analysis data D-T4 indicates that a person (identification number: ZZZZZZZZZ) has left detection area 2 of camera A, and that camera D is the camera that cooperates with detection area 2, which is the exit area. Since the linked camera is camera D, camera D needs video analysis data T4. According to the camera linkage table 260, the area in the angle of view of camera D where a person appears after exiting detection area 2 of camera A is detection area 1. FIG. If there is already one person (identification number: XXXXXXXXX) within the current angle of view of camera D, Condition 2 of the image change table 265 is satisfied.
  • the image analysis data analysis unit 255 of the camera D increases in advance the Q value of the detection area 1 in which a person (identification number: ZZZZZZZZ) is predicted to appear. Since the video encoding compression rate can be lowered by increasing the Q value, the video analysis data analysis unit 255 of camera D increases the Q value in advance so that a person (identification number :ZZZZZZZZ) appears, or immediately after it appears, to obtain a high-quality video. Furthermore, the image analysis data analysis unit 255 of camera D increases the bit rate in advance so that the image quality of the entire screen can be maintained even if the angle of view increases due to the increase in the number of people. back.
  • the image analysis data analysis unit 255 of camera D uses the image change table 265 of FIG. You may perform control similar to the example mentioned above using.
  • the video main control unit 271 receives the video control request transmitted from the video analysis data analysis unit 255, and transmits an image quality adjustment request to the image quality adjustment unit 272 according to the content of the video control request. Then, it transmits a field angle control request (lens control request) to the lens control unit 273 and transmits a video encoding change request to the video encoding unit 274 .
  • the imaging unit 235 images the scene within the angle of view of the surveillance camera.
  • the imaging unit 235 is implemented by an image sensor such as a CCD (Charged Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging data captured by the imaging unit 235 is sent to the image quality adjustment unit 272 .
  • the lens control unit 273 receives a lens control request from the video main control unit 271 . Upon receiving the request for changing the angle of view, the lens control unit 273 requests the lens 280 to control the angle of view (lens control). The lens 280 receives a view angle control request (lens control request) from the lens control unit 273 and changes the zoom magnification of the lens.
  • the image quality adjustment unit 272 executes the video processing request requested by the video main control unit 271 on the imaging data sent from the imaging unit 235 .
  • the image quality adjustment unit 272 receives a request for resolution change, the image quality adjustment unit 272 changes the size of the imaging data to the designated resolution.
  • the image quality adjustment unit 272 adjusts the image quality of the imaging data with the specified sharpness.
  • the video encoding unit 274 performs video encoding on the video data whose image quality has been adjusted by the image quality adjusting unit 272 .
  • the video encoding unit 274 receives a bit rate change request
  • the video encoding unit 274 video-encodes the video data at the specified bit rate.
  • the video encoding unit 274 receives a request to change the Q value
  • the video encoding unit 274 video-encodes the video data with the specified Q value.
  • the video encoding unit 274 transmits the video data whose image quality has been adjusted by the image quality adjusting unit 272 or the video data encoded by the video encoding unit 274 to, for example, a monitoring device connected to the communication network NW.
  • information transmitting device 100 or information receiving device 200 comprises processor 301 and memory 302 connected to processor 301 .
  • the program stored in the memory 302 is read out by the processor 301 and executed, whereby the image quality adjustment unit 130, the deep learning inference processing unit 120, the video analysis data creation unit 115, and the transmission control unit 110 of the information transmission device 100 are executed. is realized.
  • the video data storage unit 125 is implemented by the memory 302 .
  • the image data storage unit 125 is a component of the surveillance camera 10 instead of the information transmission device 100 , the image data storage unit 125 is implemented by a memory (not shown) of the surveillance camera 10 . Further, the program stored in the memory 302 is read out by the processor 301 and executed, whereby the reception control unit 250, the video analysis data analysis unit 255, the video main control unit 271, and the image quality adjustment unit 272 of the information receiving device 200 , a lens control unit 273 and a video encoding unit 274 are implemented. Programs may be implemented as software, firmware, or a combination of software and firmware.
  • Examples of the memory 302 include nonvolatile or volatile semiconductors such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), and EEPROM (Electrically-EPROM). Memory, magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD are included.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory EPROM (Erasable Programmable Read Only Memory)
  • EEPROM Electrical-EPROM
  • Memory magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD are included.
  • the information transmitting device 100 or the information receiving device 200 includes a processing circuit 303 instead of the processor 301 and memory 302.
  • the processing circuit 303 implements the image quality adjustment unit 130 , the deep learning inference processing unit 120 , the video analysis data creation unit 115 and the transmission control unit 110 of the information transmission device 100 .
  • the processing circuit 303 realizes the reception control unit 250, the video analysis data analysis unit 255, the video main control unit 271, the image quality adjustment unit 272, the lens control unit 273, and the video encoding unit 274 of the information receiving device 200. .
  • the processing circuit 303 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • step ST101 the imaging unit 135 of the monitoring camera 10 captures an image within the angle of view of the monitoring camera 10.
  • the imaging unit 135 sends the captured imaging data to the image quality adjustment unit 130 of the information transmitting device 100 .
  • step ST102 the image quality adjustment unit 130 performs various image quality adjustments such as hue adjustment by AWB, exposure correction by AE, focus adjustment by AF, and sharpness adjustment.
  • the image quality adjustment unit 130 sends the image data for which the image quality has been adjusted to the image data storage unit 125 .
  • step ST103 the video data storage unit 125 temporarily stores the video data sent from the image quality adjustment unit 130.
  • the deep learning inference processing unit 120 acquires video data stored in the video data storage unit 125, and performs deep learning inference processing on the acquired video data using a trained neural network. .
  • inference processing it is detected that a person has appeared in the image data, that the person that has appeared is moving within the image, and that the person that has appeared has left the image data.
  • the deep learning inference processing unit 120 refers to the detection area table 122 and transmits to the video analysis data creation unit 115 information in which the appearance information or exit information of a person and the area information of the detection area are associated.
  • step ST105 the video analysis data creation unit 115 obtains the detection information transmitted from the deep learning inference processing unit 120, the camera linkage information obtained by referring to the camera linkage table 160, and the name of the own camera as the transmission source. to create video analytics data.
  • the video analysis data creation unit 115 transmits the video analysis data to the transmission control unit 110 .
  • step ST106 the transmission control section 110 transmits the video analysis data received from the video analysis data creation section 115 to the communication network NW.
  • step ST111 the reception control unit 250 receives the video analysis data transmitted by the monitoring camera 10 via the communication network NW, and transmits the received video analysis data to the video analysis data analysis unit 255.
  • video analysis data analysis section 255 refers to camera link table 260 and video change table 265 to analyze the video analysis data transmitted by reception control section 250, and based on the analysis results A video control request is made to the control unit 271 .
  • the image change table 265 defines a non-color condition for changing at least one parameter related to imaging by the monitoring camera 20, and a change content of at least one parameter when the non-color condition is satisfied.
  • the non-color condition includes a condition regarding the case where the number of moving objects within the angle of view of the monitoring camera 20 is plural. Examples of parameters include resolution, bitrate, sharpness, Q factor, and angle of view.
  • the image control unit 270 receives the image control request transmitted from the image analysis data analysis unit 255, and according to the contents of the image control request, the image captured by the monitoring camera 20 or the image related to the imaged image. control. That is, the image control unit 270 performs control so as to change the value of the parameter according to the content of the image control request. More specifically, the video main control unit 271 of the video control unit 270 receives the video control request transmitted from the video analysis data analysis unit 255, and responds to the content of the video control request to the image quality adjustment unit 272. , a lens control request is sent to the lens control unit 273 , and a video encoding change request is sent to the video encoding unit 274 .
  • the image quality adjustment unit 272 executes the image processing request requested by the image main control unit 271 on the imaging data imaged by the imaging unit 235 .
  • the video encoding unit 274 performs video encoding on the video data whose image quality has been adjusted by the image quality adjusting unit 130 .
  • the lens control section 273 receives a lens control request from the video main control section 271 .
  • the lens control unit 273 requests the lens 280 to perform lens control.
  • the lens 280 receives a lens control request from the lens control unit 273 and changes the zoom magnification of the lens.
  • the surveillance camera information transmission device, the surveillance camera information reception device, or the surveillance camera system that considers the feature of the number of moving objects as described above can be widely used in a system for detecting the movement of people. be. For example, it can be used in a system that monitors the landing of an escalator that starts operating when a person approaches. In such an escalator monitoring system, the information receiving device of the monitoring camera receives the operation signal of the escalator, thereby making it possible to adjust in advance the image quality of the camera monitoring the escalator landing area.
  • the information receiving device 200 for the surveillance camera described above can also be used in a system for monitoring elevator boarding and alighting areas.
  • the information receiving device of the monitoring camera receives the stop floor signal of the elevator, thereby making it possible to adjust in advance the image quality of the camera monitoring the boarding area of the elevator stop floor.
  • the monitoring camera system 30 including the information transmitting device 100 of the monitoring camera and the information receiving device 200 of the monitoring camera described above can be used as a system for monitoring moving devices other than people, such as automobiles, automatic transport devices, and drones. is also possible.
  • the surveillance camera information transmission device 100 can detect the appearance of a person, the movement of a person within an image, and the exit of a person through deep learning.
  • the information transmitting device 100 of the monitoring camera By configuring the information transmitting device 100 of the monitoring camera to transmit video analysis data based on these detections to the communication network NW, the information receiving device 200 of the monitoring camera that has received the video analysis data transmits the video analysis data of the monitoring camera.
  • the image quality Before people appear in the angle of view of the monitoring camera connected to the information receiving device 200, it is possible to change the image quality to suit the number of people appearing in the angle of view and the appearance positions of people appearing in the angle of view. As a result, the person can be clearly photographed from the time the person enters the photographing angle of view.
  • Embodiment 2 In the first embodiment described above, an example of the image change table 265 that adjusts the image of the surveillance camera according to the feature of the number of people within the angle of view is disclosed. Surveillance camera systems may be modified.
  • the trained neural network held by the deep learning inference processing unit 120 of the information transmission device 100 of the surveillance camera is the size of the person's field angle and the number of people per unit time. Pre-learning is further performed so that it can also detect that a person is moving at high speed from the amount of movement. Then, the deep learning inference processing unit 120 performs deep learning inference processing on the video data acquired from the video data storage unit 125, so that the appearance of a person in the video data as in the first embodiment, In addition to the movement of an appearing person within the video data and the exit of the appearing person from the video data, it has a function to detect that a person is moving at high speed. The deep learning inference processing unit 120 transmits this detection information to the video analysis data creation unit 115 .
  • the image analysis data analysis unit 255 of the information receiving device 200 of the surveillance camera refers to, for example, the image change table shown in FIG.
  • condition 1 of the image change table a setting change condition is stipulated that a person moving at high speed enters the angle of view. Since the average walking speed of an adult is about 1.3 [m/s], any numerical value of 1.4 [m/s] or more may be used as a criterion for whether or not the walking speed is high.
  • condition 1 of the image change table a setting change condition is stipulated that a person moving at high speed enters the angle of view. Since the average walking speed of an adult is about 1.3 [m/s], any numerical value of 1.4 [m/s] or more may be used as a criterion for whether or not the walking speed is high.
  • the setting change when condition 1 is satisfied is as follows: resolution remains the same, bit rate increases, sharpness remains the same, Q value increases, angle of view zooms out, frame rate
  • the content of the setting change is defined to increase the
  • the image change table of FIG. 12 may be integrated with or separated from the image change table of FIG.
  • the information transmission device 100 of the surveillance camera can detect a person moving at high speed by deep learning, and the image analysis data by the information transmission device 100 of the surveillance camera is transmitted to the communication network NW.
  • the information receiving device 200 of the monitoring camera that received the video analysis data is suitable for people moving at high speed before a person appears within the angle of view of the monitoring camera connected to the information receiving device 200 of the monitoring camera. It is possible to change the image quality. As a result, the person can be clearly photographed from the time the person enters the photographing angle of view.
  • a surveillance camera information receiving device (200) includes a reception control unit (250) that receives video analysis data, which is analysis data of a video imaged by another surveillance camera (10), via a communication network. , with reference to the camera link table (260) and the video change table (265), analyze the received video analysis data, and based on the analysis result, make a video control request for the self-monitoring camera (20). an analysis unit (255); and a video control unit (270) that changes at least one parameter related to photography of the self-monitoring camera according to the video control request, and the camera linkage table is connected to the communication network.
  • the detection area of the surveillance camera and the identification information of the surveillance camera linked to each detection area are registered, and the image change table includes a non-color condition for changing the at least one parameter, and change content of the at least one parameter when a non-color condition is satisfied, and the non-color condition includes a first or a second condition relating to the speed of a moving object within the angle of view of the self-monitoring camera, and the video analysis data analysis unit detects that the received video analysis data satisfies the non-color condition Then, the video control request is made according to the content of the change.
  • the surveillance camera information receiving device is the surveillance camera information receiving device according to Supplementary Note 1, wherein the video control unit receives the video control request and outputs an image quality adjustment request requesting image quality adjustment, an image quality adjustment request, and an image quality adjustment request.
  • a video main control unit (271) that transmits a field angle control request requesting angle control or a video encoding change request requesting a video encoding change, and receiving the image quality adjustment request and adjusting image quality.
  • the information transmission device (100) for a surveillance camera holds a neural network pre-learned so as to be able to detect the detection or movement of a moving object, and deep-layers the image data captured by the surveillance camera (10).
  • a deep learning inference processing unit that performs learning inference processing, and refers to a detection area table that holds area information within an angle of view to determine the appearance, movement, or exit of the moving object in the detection area in the video data.
  • a deep learning inference processing unit (120) that detects and outputs detection information, and a camera linkage table in which detection areas of surveillance cameras and identification information of surveillance cameras that cooperate with each detection area are registered, The detection area in which the appearance, movement, or exit of the moving object included in the detection information is detected, the identification information of the other monitoring camera (20) linked to the detection area, and the identification information of the self-monitoring camera (10)
  • the surveillance camera information transmission device according to Supplementary Note 4 is the surveillance camera information transmission device according to Supplementary Note 3, wherein the deep learning inference processing unit performs the deep learning inference processing so that the moving object is 1.4 [m /s].
  • a surveillance camera system (30) according to appendix 5 includes the surveillance camera information reception device of appendix 1 or 2 and the surveillance camera information transmission device of appendix 3 or 4.
  • a surveillance camera information receiving method includes a step of receiving video analysis data, which is analysis data of a video captured by another surveillance camera (10), via a communication network (ST111); a step of analyzing the received video analysis data with reference to the video change table and making a video control request for the self-monitoring camera (20) based on the analysis result, wherein the camera linkage table contains the communication Detection areas of surveillance cameras connected to a network and identification information of surveillance cameras linked to each detection area are registered, and at least one parameter related to photography of the self-monitoring camera is changed in the image change table.
  • a non-color condition for performing the above-described non-color condition and a change content of the at least one parameter when the non-color condition is satisfied are defined. number is plural, or a second condition regarding the speed of a moving object within the angle of view of the self-monitoring camera, and the received video analysis data satisfies the non-color condition. case, the step of making the video control request according to the change content (ST112), and the step of changing the at least one parameter according to the video control request (ST113).
  • the information receiving device for a surveillance camera can be installed in a surveillance camera and used as a surveillance camera.
  • Surveillance camera 20 Surveillance camera, 30 Surveillance camera system, 100 Information transmission device, 110 Transmission control unit, 115 Video analysis data creation unit, 120 Deep learning inference processing unit, 122 Detection area table, 125 Video data storage unit, 130 Image quality Adjustment unit 135 Imaging unit 160 Camera cooperation table 200 Information receiving device 235 Imaging unit 250 Reception control unit 255 Video analysis data analysis unit 260 Camera cooperation table 265 Video change table 270 Video control unit 271 Video Main control unit 272 Image quality adjustment unit 273 Lens control unit 274 Video encoding unit 280 Lens 301 Processor 302 Memory 303 Processing circuit.
  • Information transmission device 110 Transmission control unit, 115 Video analysis data creation unit, 120 Deep learning inference processing unit, 122 Detection area table, 125 Video data storage unit, 130 Image quality Adjustment unit 135 Imaging unit 160 Camera cooperation table 200 Information receiving device 235 Imaging unit 250 Reception control unit 255 Video analysis data analysis unit 260 Camera cooperation table 265 Video change table 270 Video control unit 271 Video Main control unit 272 Image quality adjustment unit 2

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

監視カメラの情報受信装置は、他の監視カメラ（１０）により撮像された映像の解析データである映像解析データを、通信ネットワークを介して受信する受信制御部（２５０）と、カメラ連携テーブル（２６０）と映像変更テーブル（２６５）を参照して、受信した映像解析データを解析して、解析結果に基づいて自監視カメラ（２０）についての映像制御要求を行う映像解析データ解析部（２５５）と、前記映像制御要求に従って、前記自監視カメラの撮影に関する少なくとも１つのパラメータを変更する映像制御部（２７０）と、を備え、前記カメラ連携テーブルには、前記通信ネットワークに接続された監視カメラの検知領域と、各検知領域に連携する監視カメラの識別情報とが登録されており、前記映像変更テーブルには、前記少なくとも１つのパラメータを変更するための非色彩条件と、前記非色彩条件が満たされた場合の前記少なくとも１つのパラメータの変更内容とが定義されており、前記非色彩条件には、自監視カメラの画角内の移動体の数が複数の場合に関する第１の条件、又は前記自監視カメラの画角内の移動体の速度に関する第２の条件が含まれており、前記映像解析データ解析部は、前記受信した映像解析データが前記非色彩条件を満たす場合に、前記変更内容に従って前記映像制御要求を行う。

Description

監視カメラの情報送信装置、監視カメラの情報受信装置、及び監視カメラシステム、並びに監視カメラの情報受信方法
　本開示は、監視カメラの情報送信装置、監視カメラの情報受信装置、及び監視カメラシステム、並びに監視カメラの情報受信方法に関する。
　特許文献１には、第１の監視カメラ及び第２の監視カメラを含む複数の監視カメラを備えた監視カメラネットワークにおいて、第１の監視カメラが撮影した監視対象の色情報を第２の監視カメラが第１の監視カメラから事前に取得し、第２の監視カメラが、その色情報に対して感度を高くし又は解像度を上げることにより、その監視対象が第２の監視カメラの撮影画角に進入してきた時から監視対象を鮮明に撮影できるようにした技術が開示されている。
特開２００６－２９５６０４号公報
　特許文献１の技術によれば、単一の監視対象の色に関する情報については考慮されているが、色以外の特徴に関する条件を満たすような事象が生じる場合に適切に対処できないという問題点がある。例えば、自カメラの監視領域内に、複数の監視対象が進入することが予測される場合又はある監視対象が高速で進入することが予測される場合に、これらの監視対象を鮮明に撮影できないという問題点がある。
　本開示はこのような問題点を解決するためになされたものであり、実施形態の一側面によれば、監視対象の色以外の特徴に関する条件を満たすような事象が生じる場合に、撮影に関する設定を変更する監視カメラの情報受信装置を提供することを目的とする。
　実施形態による監視カメラの情報受信装置の一側面によれば、監視カメラの情報受信装置は、
　他の監視カメラにより撮像された映像の解析データである映像解析データを、通信ネットワークを介して受信する受信制御部と、
　カメラ連携テーブルと映像変更テーブルを参照して、受信した映像解析データを解析して、解析結果に基づいて自監視カメラについての映像制御要求を行う映像解析データ解析部と、
　前記映像制御要求に従って、前記自監視カメラの撮影に関する少なくとも１つのパラメータを変更する映像制御部と、
を備え、
　前記カメラ連携テーブルには、前記通信ネットワークに接続された監視カメラの検知領域と、各検知領域に連携する監視カメラの識別情報とが登録されており、
　前記映像変更テーブルには、前記少なくとも１つのパラメータを変更するための非色彩条件と、前記非色彩条件が満たされた場合の前記少なくとも１つのパラメータの変更内容とが定義されており、前記非色彩条件には、自監視カメラの画角内の移動体の数が複数の場合に関する第１の条件、又は前記自監視カメラの画角内の移動体の速度に関する第２の条件が含まれており、
　前記映像解析データ解析部は、前記受信した映像解析データが前記非色彩条件を満たす場合に、前記変更内容に従って前記映像制御要求を行う。
　実施形態による監視カメラの情報受信装置の一側面によれば、監視対象の色以外の特徴に関する条件を満たすような事象が生じる場合に、撮影に関する設定を変更することができる。
監視カメラの情報送信装置と監視カメラの情報受信装置を含む監視カメラシステムのシステム構成例である。 監視カメラの情報送信装置の構成例と監視カメラの情報受信装置の構成例を示すブロック図である。 検知領域テーブルの一例を示す図である。 検知領域を実際の画角に重畳した図である。 深層学習推論処理部による動作を示すための図である。 深層学習推論処理部による動作を示すための図である。 深層学習推論処理部による動作を示すための図である。 深層学習推論処理部による動作を示すための図である。 複数のカメラＡ～Ｆが設置されたフロアを上から見下ろした平面図である。 カメラＥの画角における映像を示す図である。 カメラＤの画角における映像を示す図である。 カメラ連携テーブルの例である。 映像解析データの一例を示す図である。 映像解析データの他の例を示す図である。 映像変更テーブルの一例を示す図である。 映像解析データ解析部の処理の動作例を示す図である。 監視カメラの情報送信装置及び監視カメラの情報受信装置のハードウェアの一構成例を示す図である。 監視カメラの情報送信装置及び監視カメラの情報受信装置のハードウェアの他の構成例を示す図である。 監視カメラ及び監視カメラの情報送信装置のフロチャートである。 監視カメラ及び監視カメラの情報受信装置のフロチャートである。 映像変更テーブルの更に別の例を示す図である。
　以下、図面を参照しつつ、本開示に係る種々の実施の形態について詳細に説明する。なお、図面全体において同一符号を付された構成要素は、同一又は類似の構成又は機能を有するものとする。
実施の形態１．
＜構成＞
（監視カメラシステム）
　図１を参照して、実施の形態１によるの監視カメラシステム３０のシステム構成について説明する。図１は、実施の形態１によるの監視カメラシステム３０のシステム構成図である。図１に示されているように、監視カメラシステム３０は、監視カメラ１０と監視カメラ２０を備え、監視カメラ１０と監視カメラ２０は通信ネットワークＮＷを介して接続されている。監視カメラ１０は撮影した映像を深層学習によって解析する機能を持ち、監視カメラ１０の撮像部の画角内に人やドローン等の移動体が進入してきたことを映像Ｖ１から判断することができる。監視カメラ１０は、その進入してきた人を追尾して、画角からその人が退出したことを判断することもできる。監視カメラ１０が解析した映像解析データは通信ネットワークＮＷに送信され、そのデータを監視カメラ２０が受信して解析することで、監視カメラ２０が撮像する映像Ｖ２の画質に関する動作条件を変更することができる。
　図１に示されているように、通信ネットワークＮＷに送信される映像解析データには、例えば、データの発信元のカメラ名を示すデータ、映像に映っている対象の種別を示す対象種別を示すデータ、その対象が画角内に出現した時刻を示す出現時刻を示すデータ、その対象が画角から退出した時刻を示す退出時間を示すデータが含まれる。
　通信ネットワークＮＷには、監視カメラ１０及び監視カメラ２０から送信される映像データを監視する監視装置（不図示）、及びその映像データを記録する記録装置（不図示）が接続されていてもよい。
（監視カメラ、及び監視カメラの情報送信装置）
　次に、図２を参照して、監視カメラシステム３０を構成する、監視カメラ１０及び監視カメラ２０の構成例について説明する。図２は、監視カメラシステム３０を構成する、監視カメラ１０及び監視カメラ２０の構成例を示すブロック図である。図２に示されているように、監視カメラ１０は、可視光Ｙを入力とし、可視光Ｙから得られたデータに対して所定の信号処理を行ってデータ系列Ｚを出力する。また、図２に示されているように、監視カメラ２０は、通信ネットワークＮＷからのデータ系列Ｗを入力とするとともに、データ系列Ｗに対して所定の信号処理を行って可視光Ｘを入力とする。
　図２に示されているように、監視カメラ１０は、撮像部１３５と、監視カメラ１０のための情報送信装置１００と、カメラ連携テーブル１６０と、検知領域テーブル１２２と、を備える。また、情報送信装置１００は、画質調整部１３０、映像データ格納部１２５、深層学習推論処理部１２０、映像解析データ作成部１１５、及び送信制御部１１０を備える。以下、図２を参照して、監視カメラ１０及び情報送信装置１００が備える各構成部について説明する。
　撮像部１３５は、監視カメラ１０の画角内の映像を撮像する。撮像部１３５により撮像された撮像データは画質調整部１３０に送られる。撮像部１３５は、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサにより実現される。
　画質調整部１３０では、ＡＷＢ（Ａｕｔｏ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）による色合い調整、ＡＥ（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）による露出補正、ＡＦ（Ａｕｔｏ　Ｆｏｃｕｓ）によるフォーカス調整、シャープネス調整などの様々な画質調整が行われる。画質調整部１３０は、撮像部１３５より送られた撮像データに対して画質調整を実行し、画質調整された映像データは映像データ格納部１２５に送られる。
　映像データ格納部１２５は画質調整部１３０より送られた映像データを一時保存し、映像データ格納部１２５に保存された映像データは深層学習推論処理部１２０から参照される。なお、図２では、映像データ格納部１２５は、情報送信装置１００が備える構成部として示しているが、情報送信装置１００が備える構成部でなく、監視カメラ１０の構成部として備えられていてもよい。
　深層学習推論処理部１２０は、人の検知、及び人の移動を検出できるよう予め学習されたニューラルネットワークを保持している。深層学習推論処理部１２０は映像データ格納部１２５から取得した映像データに対して、学習済みニューラルネットワークを用いて深層学習の推論処理を行うことにより、映像データ内に人が出現したこと、出現した人が映像内を移動していること、出現した人が映像データ内から退出したことを検出する機能を有する。
　検知領域テーブル１２２は、画角内の領域情報を保持しており、領域情報は深層学習推論処理部１２０から参照される。深層学習推論処理部１２０の推論によって検出された人の出現情報と人の退出情報は、領域情報と関連付けられる。検知領域テーブル１２２は、例えば、監視カメラ１０が備えるメモリにより実現される。
　ここで、図３Ａ及び図３Ｂを参照して、検知領域テーブル１２２について説明する。図３Ａは検知領域テーブル１２２の一例を示し、図３Ｂは検知領域を実際の画角に重畳した図を示す。図３Ａの例には、検知領域１、検知領域２及び検知領域３が登録されている。検知領域１を規定する座標として、座標１（８２９，２５０）、座標２（８２９，１９１９）、座標３（１０７９，１９１９）、及び座標４（１０７９，２５０）が設定されている。これらの座標１～４により形成される四角形の領域内が検知領域１として定められる。図３Ａの例では、検知領域２及び検知領域３についても、それぞれの領域を規定する座標が設定されている。検知領域は監視カメラの設置時などに人の手によって指定することが可能である。図３Ｂは、検知領域１、検知領域２、及び検知領域３を実際の画角に重畳した図を示す。
　次に、図４Ａ～図４Ｄを参照して、深層学習推論処理部１２０によって実現する、人の出現の検出、人が映像内を移動していることの検出、人の退出の検出の例について説明する。図４Ａによると、監視対象Ｏｂｊは監視カメラの画角に入っていないので検出されない。次に図４Ｂによると、監視対象Ｏｂｊが監視カメラの画角に入ることで、深層学習推論処理部１２０は監視対象Ｏｂｊを人として検知し、監視対象Ｏｂｊを個々に区別するための識別番号を採番し、検知領域テーブル１２２から取得した領域情報を参照して検知領域３を監視対象Ｏｂｊに関連付ける。深層学習推論処理部１２０は、この検知情報を映像解析データ作成部１１５に送信する。次に図４Ｃに示されているように図４Ｂで検出した監視対象Ｏｂｊが右方向へ移動して検知領域１に進入し、続いて図４Ｄに示されているように監視対象Ｏｂｊは監視カメラの画角外へ退出する。深層学習推論処理部１２０は、検知領域テーブル１２２から取得した領域情報を参照して検知領域１を関連付ける。深層学習推論処理部１２０は、検出した監視対象Ｏｂｊと検知領域とを関連付けた情報を映像解析データ作成部１１５に送信する。
　図２において、カメラ連携テーブル１６０には、各カメラに設定された検知領域と、設定された検知領域に連携するカメラ名称（カメラ識別情報）とが登録されており、カメラ連携テーブル１６０は映像解析データ作成部１１５から参照される。カメラ連携テーブル１６０は、例えば、監視カメラ１０が備えるメモリにより実現される。
　ここで、図５Ａ～図５Ｄを参照して、カメラ連携テーブル１６０の具体例について説明する。図５Ａは、カメラＡ～カメラＦが設置されたフロアを上から見下ろした平面図である。図５Ａにおける破線は、各カメラの水平方向の画角の範囲を示すための線である。図５ＢはカメラＥの画角における映像であり、図５ＣはカメラＤの画角における映像である。図５Ｄはカメラ連携テーブル１６０の例である。以下、カメラ連携テーブル１６０におけるカメラＤとカメラＥのカメラ連携設定について、具体的に説明する。
　図５Ｄに示されているように、カメラＤのカメラ連携１として、検知領域１とカメラＡが連携するように設定されている。カメラ連携とは、あるカメラに設定された検知領域について、この検知領域に関して連携される他のカメラを示す設定を意味する。図５Ｃ及び図５Ａに示されているように、カメラＤの検知領域１の先に設置されたカメラはカメラＡであるので、カメラＤの検知領域１について、連携されるカメラとしてカメラＡが設定されている。
　図５Ｄに示されているように、カメラＤのカメラ連携２として、検知領域２とカメラＥが連携するように設定されている。これは、図５Ｃ及び図５Ａに示されているように、カメラＤの検知領域２の先に設置されたカメラはカメラＥだからである。
　図５Ｄに示されているように、カメラＥのカメラ連携１として、検知領域１とカメラＤが連携するように設定されている。これは、図５Ｂ及び図５Ａに示されているように、カメラＥの検知領域１の先に設置されたカメラはカメラＤだからである。
　図５Ｄに示されているように、カメラＥのカメラ連携２として、検知領域２とカメラＢが連携するように設定されている。これは、図５Ｂ及び図５Ａに示されているように、カメラＥの検知領域２の先に設置されたカメラはカメラＢだからである。
　図５Ｄに示されているように、カメラＥのカメラ連携３として、検知領域３とカメラＦが連携するように設定されている。これは、図５Ｂ及び図５Ａに示されているように、カメラＥの検知領域３の先に設置されたカメラはカメラＦだからである。
　カメラ連携テーブルには、全カメラ分の連携テーブルが各カメラに組み込まれていてもよいし、自カメラの連携テーブルだけが組み込まれていてもよい。また、あるカメラの検知領域に連携される別のカメラの数は１つである必要はなく、複数のカメラが連携されてもよい。
　図２において、映像解析データ作成部１１５は、深層学習推論処理部１２０から送信された検知情報と、カメラ連携テーブル１６０を参照して取得するカメラ連携の情報と、発信元として自カメラの名称を使用して、映像解析データを作成する。映像解析データ作成部１１５は、映像解析データを送信制御部１１０に送信する。
　図６Ａ及び図６Ｂに、映像解析データ作成部１１５が作成する映像解析データの例を示す。映像解析データは、発信元のカメラ名称と、監視対象を個々に区別するための識別番号と、対象種別と、監視対象がカメラ画角内に出現した時刻と、監視対象がカメラ画角内から退出した時刻と、監視対象がカメラ画角内に出現した領域と、監視対象がカメラ画角内から退出した領域と、退出した領域と連携するカメラ名称を持つ。具体的には、図６Ａに示された映像解析データＤ１では、監視カメラＥが識別番号ＸＸＸＸＸＸＸＸの付与された人を２０２０年０９月２２日の１１時２０分３２秒に検知領域３で出現検知したことを意味する。また、図６Ｂの映像解析データＤ２では、監視カメラＥにより識別番号ＸＸＸＸＸＸＸＸの付与された人が２０２０年０９月２２日の１１時２０分３７秒に検知領域１から退出したことを検出し、この退出領域１に連携するカメラはカメラＤであることを意味する。
　図２において、送信制御部１１０は、映像解析データ作成部１１５から受信した映像解析データを、通信ネットワークＮＷにブロードキャストする。ブロードキャストによる送信に替えて、送信制御部１１０は、映像解析データを、連携されたカメラにユニキャスト又はマルチキャストしてもよい。
（監視カメラ、及び監視カメラの情報受信装置）
　次に、監視カメラ２０の構成について説明する。図２に示されているように、監視カメラ２０は、監視カメラ２０のための情報受信装置２００と、カメラ連携テーブル２６０と、映像変更テーブル２６５と、撮像部２３５と、レンズ２８０とを備える。情報受信装置２００は、受信制御部２５０と、映像解析データ解析部２５５と、映像制御部２７０とを備える。映像制御部２７０は、映像主制御部２７１と、画質調整部２７２と、レンズ制御部２７３と、映像符号化部２７４とを備える。以下、図２を参照して、監視カメラ２０及び情報受信装置２００が備える各構成部について説明する。
　受信制御部２５０は、監視カメラ１０が送信した映像解析データを通信ネットワークＮＷを介して受信し、受信した映像解析データを映像解析データ解析部２５５に送信する。
　カメラ連携テーブル２６０には、カメラの検知領域とそれに連携するカメラ名称とが登録されており、映像解析データ解析部２５５から参照される。カメラ連携テーブル２６０は、例えば、情報受信装置２００が備えるメモリにより実現される。カメラ連携テーブル２６０の具体例は、図５Ｄに示されたようなテーブルである。すなわち、カメラ連携テーブル２６０は、カメラ連携テーブル１６０と同内容であってもよい。あるいは、カメラ連携テーブル２６０は、自カメラに関するテーブルだけを保持してもよい。例えば、監視カメラＦの場合、図５Ｄに示されたテーブルの内、項目と、カメラＦの行だけからなるテーブルを保持してもよい。
　映像変更テーブル２６５には、監視対象の色彩以外の特徴に関する所定の条件（以下、非色彩条件と称する場合がある。）と、非色彩条件の各条件が満たされたときに画質に係るパラメータの変更方法、映像符号化に係るパラメータの変更方法、及び画角の変更方法が定義されている。映像変更テーブル２６５は、例えば、情報受信装置２００が備えるメモリにより実現される。ここで、図７を参照して、映像変更テーブル２６５の具体例について説明する。図７に示されているように、映像変更テーブル２６５には、画角内の人数という特徴に関する複数の条件が規定されている。より詳細には、「画角内の人数が１人になる」という条件１と、「画角内の人数が２人になる」という条件２と、「画角内の人数が３人以上になる」という条件３とが定義されている。何れの条件も、画角内の人数が増える場合について定めている。例えば、条件２に即して説明すると、条件２には、「画角内の人数が０人から２人になる」場合と、「画角内の人数が１人から２人になる」場合とが含まれるが、「画角内の人数が３人から２人になる」場合は含まれない。図７の例において、画質に係るパラメータとして解像度及びシャープネスが示され、映像符号化に係るパラメータとしてビットレート及びＱ値（Ｑｕａｌｉｔｙ　Ｆａｃｔｏｒ）が示されている。
　映像変更テーブル２６５には、各条件が満たされたときに、画質に係るパラメータ、映像符号化に係るパラメータ、及び画角を、画角内の人数が０人である場合の設定に比べた変更方法が定義されている。例えば、条件１が満たされた場合、解像度はそのままで、ビットレートはそのままで、シャープネスはそのままで、Ｑ値は上げて、画角はそのままとするように、カメラの設定が変更される。すなわち、解像度、ビットレート及びシャープネスは画角内の人数が０人の場合の設定値と同じで、Ｑ値は画角内の人数が０人の場合の設定値よりも上げられて、画角は画角内の人数が０人の場合の設定のままとする。
　条件２が満たされた場合、解像度はそのままで、ビットレートは上げて、シャープネスはそのままで、Ｑ値は上げて、画角はそのままとするように、カメラの設定が変更される。条件３が満たされた場合、解像度はそのままで、ビットレートは上げて、シャープネスは上げて、Ｑ値は上げて、画角はズームアウトするように、カメラの設定が変更される。
　図７の例では、何れの条件が満たされた場合であっても解像度はそのままとなっているが、何れかの条件が満たされた場合に解像度を上げるように変更してもよい。例えば、条件３が満たされた場合に、解像度を上げるようにしてもよい。
　人数が減少する場合については、より多い人数から２人になった場合や、より多い人数から１人になった場合等のように個別に複数の条件を定めて、各種パラメータを変更するようにしてもよい。あるいは、画角内の人数が０人になった場合に、各種パラメータをデフォルト値（０人の場合の設定値）に戻すようにしてもよい。
　図２に戻り、映像解析データ解析部２５５は、カメラ連携テーブル２６０が持つカメラ連携情報と、映像変更テーブル２６５が持つ映像変更情報とを参照して、受信制御部２５０が送信した映像解析データを解析して、解析結果に基づいて映像主制御部２７１に対して映像制御要求を行う。
　ここで、図８を参照して、映像解析データ解析部２５５の処理について、カメラＤが映像解析データ例を、カメラ連携テーブル２６０及び映像変更テーブル２６５を用いて解析する場合に即して説明する。図８に示されているように、カメラＤは、通信ネットワークＮＷから、映像解析データＤ－Ｔ１、映像解析データＤ－Ｔ２、映像解析データＤ－Ｔ３、及び映像解析データＤ－Ｔ４を、この順に受信するとする。
　映像解析データＤ－Ｔ１は、カメラＥの検知領域３に人（識別番号：ＸＸＸＸＸＸＸＸ）が出現したことを示している。この映像解析データＤ－Ｔ１はカメラＤにとって必要でないので、カメラＤの映像解析データ解析部２５５は受信した映像解析データＤ－Ｔ１を破棄する。
　映像解析データＤ－Ｔ２は、カメラＢの検知領域１から人（識別番号：ＹＹＹＹＹＹＹＹ）が退出したこと、及び退出領域である検知領域１に連携するカメラはカメラＡであることを示している。連携するカメラはカメラＡであるので、この映像解析データＤ－Ｔ２はカメラＤにとって必要でない。そのため、カメラＤの映像解析データ解析部２５５は受信した映像解析データＤ－Ｔ２を破棄する。
　映像解析データＤ－Ｔ３は、カメラＥの検知領域１から人（識別番号：ＸＸＸＸＸＸＸＸ）が退出したこと、及び退出領域である検知領域１に連携するカメラがカメラＤであることを示している。連携するカメラはカメラＤであるので、映像解析データＤ－Ｔ３はカメラＤにとって必要である。カメラ連携テーブル２６０によると、カメラＥの検知領域１から退出した人が出現する、カメラＤの画角における検知領域は検知領域２である。現在のカメラＤの画角内に人が一人もいないとした場合、映像変更テーブル２６５の条件１を満たすため、カメラＤの映像解析データ解析部２５５は、人（識別番号：ＸＸＸＸＸＸＸＸ）が出現すると予測される検知領域２のＱ値を事前に上げる。Ｑ値を上げることにより映像の符号化圧縮率は下げられるので、Ｑ値を事前に上げておくことにより、カメラＤの画角内に人（識別番号：ＸＸＸＸＸＸＸＸ）が出現した時又は出現した直後から高品質な映像が得られるようにする。
　映像解析データＤ－Ｔ４は、カメラＡの検知領域２から人（識別番号：ＺＺＺＺＺＺＺＺ）が退出したこと、及び退出領域である検知領域２に連携するカメラがカメラＤであることを示している。連携するカメラはカメラＤであるので、映像解析データＴ４はカメラＤにとって必要である。カメラ連携テーブル２６０によると、カメラＡの検知領域２から退出した人が出現する、カメラＤの画角における領域は検知領域１である。現在のカメラＤの画角内に人（識別番号：ＸＸＸＸＸＸＸＸ）が既に１人いる場合、映像変更テーブル２６５の条件２が満たされる。そこで、カメラＤの映像解析データ解析部２５５は、人（識別番号：ＺＺＺＺＺＺＺＺ）が出現すると予測される検知領域１のＱ値を事前に上げる。Ｑ値を上げることにより映像の符号化圧縮率は下げられるので、カメラＤの映像解析データ解析部２５５は、Ｑ値を事前に上げておくことにより、カメラＤの画角内に人（識別番号：ＺＺＺＺＺＺＺＺ）が出現した時又は出現した直後から高品質な映像が得られるようにする。さらに、カメラＤの映像解析データ解析部２５５は、ビットレートを事前に上げることにより、人が増えたことで画角内の複雑さが増しても画面全体の映像品質が保たれるようにしておく。
　図８の例ではカメラＤの画角内の異なる検知領域に一人ずつ進入することによりカメラＤの画角内に複数人存在することが想定される場合を示したが、カメラＤの画角内の同一の検地領域に複数人が進入することによりカメラＤの画角内に複数人存在することが想定される場合も、カメラＤの映像解析データ解析部２５５は図７の映像変更テーブル２６５を用いて上述した例と同様の制御を行ってよい。
　図２に戻り、映像主制御部２７１は、映像解析データ解析部２５５から送信された映像制御要求を受信し、映像制御要求の内容に応じて、画質調整部２７２に対して画質調整要求を送信し、レンズ制御部２７３に画角制御要求（レンズ制御要求）を送信し、映像符号化部２７４に映像符号化変更要求を送信する。その一方、撮像部２３５は、監視カメラの画角内のシーンを撮像する。撮像部２３５は、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサにより実現される。撮像部２３５により撮像された撮像データは画質調整部２７２に送られる。
　レンズ制御部２７３は、映像主制御部２７１からレンズ制御要求を受信する。レンズ制御部２７３は画角変更の要求を受信した場合、レンズ２８０に対して画角制御（レンズ制御）を要求する。レンズ２８０は、レンズ制御部２７３から画角制御要求（レンズ制御要求）を受信し、レンズのズーム倍率を変更する。
　画質調整部２７２は、撮像部２３５より送られた撮像データに対して、映像主制御部２７１から要求された映像処理要求を実行する。画質調整部２７２は、解像度変更の要求を受信した場合は、撮像データを指定された解像度にサイズ変更する。画質調整部２７２は、シャープネス変更の要求を受信した場合は、撮像データを指定されたシャープネスで画質調整する。
　映像符号化部２７４は、画質調整部２７２により画質調整された映像データに対して、映像符号化を実行する。映像符号化部２７４は、ビットレート変更の要求を受信した場合は、映像データを指定されたビットレートで映像符号化する。映像符号化部２７４は、Ｑ値変更の要求を受信した場合は、映像データを指定されたＱ値で映像符号化する。映像符号化部２７４は、画質調整部２７２により画質調整された映像データ、又は映像符号化部２７４により符号化された映像データを、例えば、通信ネットワークＮＷに接続された監視装置に送信する。
　次に、図９Ａ及び図９Ｂを参照して、情報送信装置１００及び情報受信装置２００のハードウェアの構成例について説明する。一例として、図９Ａに示されているように、情報送信装置１００又は情報受信装置２００は、プロセッサ３０１、及びプロセッサ３０１に接続されたメモリ３０２を備える。メモリ３０２に格納されたプログラムがプロセッサ３０１に読み出されて実行されることにより、情報送信装置１００の画質調整部１３０、深層学習推論処理部１２０、映像解析データ作成部１１５、及び送信制御部１１０が実現される。映像データ格納部１２５は、メモリ３０２により実現される。なお、映像データ格納部１２５が情報送信装置１００でなく監視カメラ１０の構成部である場合には、映像データ格納部１２５は、監視カメラ１０の不図示のメモリにより実現される。また、メモリ３０２に格納されたプログラムがプロセッサ３０１に読み出されて実行されることにより、情報受信装置２００の受信制御部２５０、映像解析データ解析部２５５、映像主制御部２７１、画質調整部２７２、レンズ制御部２７３、及び映像符号化部２７４が実現される。プログラムは、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組合せとして実現される。メモリ３０２の例には、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤが含まれる。
　別の例として、図９Ｂに示されているように、情報送信装置１００又は情報受信装置２００は、プロセッサ３０１及びメモリ３０２に替えて、処理回路３０３を備える。この場合、処理回路３０３により、情報送信装置１００の画質調整部１３０、深層学習推論処理部１２０、映像解析データ作成部１１５、及び送信制御部１１０が実現される。また、処理回路３０３により、情報受信装置２００の受信制御部２５０、映像解析データ解析部２５５、映像主制御部２７１、画質調整部２７２、レンズ制御部２７３、及び映像符号化部２７４が実現される。処理回路３０３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又は、これらの組合せである。
＜動作＞
　次に、図１０を参照して、監視カメラ１０及び監視カメラ１０の情報送信装置１００の動作について説明する。
　ステップＳＴ１０１において、監視カメラ１０の撮像部１３５は、監視カメラ１０の画角内の映像を撮像する。撮像部１３５は、撮像した撮像データを、情報送信装置１００の画質調整部１３０に送る。
　ステップＳＴ１０２において、画質調整部１３０は、ＡＷＢによる色合い調整、ＡＥによる露出補正、ＡＦによるフォーカス調整、シャープネス調整などの様々な画質調整を行う。画質調整部１３０は、画質調整を行った映像データを、映像データ格納部１２５に送る。
　ステップＳＴ１０３において、映像データ格納部１２５は、画質調整部１３０より送られた映像データを一時保存する。
　ステップＳＴ１０４において、深層学習推論処理部１２０は、映像データ格納部１２５に保存されている映像データを取得し、取得した映像データに対して、学習済みニューラルネットワークを用いて深層学習の推論処理を行う。推論処理により、映像データ内に人が出現したこと、出現した人が映像内を移動していること、出現した人が映像データ内から退出したことを検出する。深層学習推論処理部１２０は、検知領域テーブル１２２を参照して、人の出現情報又は退出情報と検知領域の領域情報とが関連付けられた情報を、映像解析データ作成部１１５に送信する。
　ステップＳＴ１０５において、映像解析データ作成部１１５は、深層学習推論処理部１２０から送信された検知情報と、カメラ連携テーブル１６０を参照して取得するカメラ連携の情報と、発信元として自カメラの名称とを使用して、映像解析データを作成する。映像解析データ作成部１１５は、映像解析データを送信制御部１１０に送信する。
　ステップＳＴ１０６において、送信制御部１１０は、映像解析データ作成部１１５から受信した映像解析データを通信ネットワークＮＷに送信する。
　次に、図１１を参照して、監視カメラ２０及び監視カメラ２０の情報受信装置２００の動作について説明する。
　ステップＳＴ１１１において、受信制御部２５０は、監視カメラ１０が送信した映像解析データを通信ネットワークＮＷを介して受信し、受信した映像解析データを映像解析データ解析部２５５に送信する。
　ステップＳＴ１１２において、映像解析データ解析部２５５は、カメラ連携テーブル２６０と、映像変更テーブル２６５とを参照して、受信制御部２５０が送信した映像解析データを解析して、解析結果に基づいて映像主制御部２７１に対して映像制御要求を行う。カメラ連携テーブル２６０には、通信ネットワークＮＷに接続された監視カメラの検知領域と、各検知領域に連携する監視カメラの識別情報とが登録されている。映像変更テーブル２６５には、監視カメラ２０の撮影に関する少なくとも１つのパラメータを変更するための非色彩条件と、非色彩条件が満たされた場合の少なくとも１つのパラメータの変更内容とが定義されており、非色彩条件には、監視カメラ２０の画角内の移動体の数が複数の場合に関する条件が含まれている。パラメータの例には、解像度、ビットレート、シャープネス、Ｑ値、及び画角が含まれる。映像解析データ解析部２５５は、受信した映像解析データが非色彩条件を満たす場合に、定義された変更内容に従って映像制御要求を行う。
　ステップＳＴ１１３において、映像制御部２７０は、映像解析データ解析部２５５から送信された映像制御要求を受信し、映像制御要求の内容に応じて、監視カメラ２０により撮像される映像又は撮像された映像に関する制御を行う。すなわち、映像制御部２７０は、映像制御要求の内容に応じてパラメータの値を変更するように制御を行う。より具体的には、映像制御部２７０の映像主制御部２７１は、映像解析データ解析部２５５から送信された映像制御要求を受信し、映像制御要求の内容に応じて、画質調整部２７２に対して画質調整要求を送信し、レンズ制御部２７３にレンズ制御要求を送信し、映像符号化部２７４に映像符号化変更要求を送信する。画　質調整部２７２は、撮像部２３５により撮像された撮像データに対して、映像主制御部２７１から要求された映像処理要求を実行する。映像符号化部２７４は、画質調整部１３０で画質調整された映像データに対して、映像符号化を実行する。レンズ制御部２７３は、映像主制御部２７１からレンズ制御要求を受信する。レンズ制御部２７３は画角変更の要求を受信した場合、レンズ２８０に対してレンズ制御を要求する。レンズ２８０は、レンズ制御部２７３からレンズ制御要求を受信し、レンズのズーム倍率を変更する。
　以上で説明したような移動体の数という特徴を考慮する監視カメラの情報送信装置、監視カメラの情報受信装置、又は監視カメラシステムは、人の移動を検知するシステムにおいて広く利用することが可能である。例えば、人が近づくことで動作を開始するエスカレータの降り場を監視するシステムにおいて利用することができる。このようなエスカレータの監視システムにおいて、監視カメラの情報受信装置は、エスカレータの動作信号を受信することで、エスカレータの降り場を監視するカメラの画質を事前調整することが可能となる。
　さらに、上述の監視カメラの情報受信装置２００は、エレベータの乗降場を監視するシステムにおいて利用することも可能である。このようなエレベータの監視システムにおいて、監視カメラの情報受信装置は、エレベータの停車階数信号を受信することでエレベータの停止階の乗降場を監視するカメラの画質を事前調整することが可能となる。
　また、上述した監視カメラの情報送信装置１００及び監視カメラの情報受信装置２００を備える監視カメラシステム３０は、自動車や自動搬送装置やドローンなど、人以外の移動装置の監視をするシステムとして利用することも可能である。
　以上で説明したように、監視カメラの情報送信装置１００は、深層学習によって人の出現の検出、人が映像内を移動していることの検出、人の退出を検出できる。監視カメラの情報送信装置１００を、これらの検知に基づく映像解析データを通信ネットワークＮＷに発信するように構成することで、その映像解析データを受信した監視カメラの情報受信装置２００は、監視カメラの情報受信装置２００と接続された監視カメラの画角内に人が出現する前に、画角内に現れる人数や、画角内に現れる人の出現位置に適した画質に変更することが可能になり、人が撮影画角に進入してきた時から、その人を鮮明に撮影することが可能となる。
実施の形態２．
　上述の実施の形態１では、画角内の人数という特徴によって監視カメラの映像を調整する映像変更テーブル２６５の例を開示したが、人の移動速度という特徴によって監視カメラの映像を調整するように監視カメラシステムを変形してもよい。
　人の移動速度によって監視カメラの映像を調整するため、監視カメラの情報送信装置１００の深層学習推論処理部１２０が保持する学習済みニューラルネットワークは、人の画角内サイズと単位時間当たりの人の移動量とから、人が高速で移動していることも検出できるように更に事前学習する。そして、深層学習推論処理部１２０は、映像データ格納部１２５より取得した映像データに対して、深層学習の推論処理を行うことにより、実施の形態１と同様に映像データ内への人の出現、出現した人の映像データ内での移動、出現した人の映像データ内からの退出に加え、人が高速で移動していることを検出する機能を持つ。深層学習推論処理部１２０はこれらの検知情報を映像解析データ作成部１１５に送信する。
　人の移動速度によって監視カメラの映像を調整するため、監視カメラの情報受信装置２００の映像解析データ解析部２５５は、例えば、図１２に示されているような映像変更テーブルを参照する。図１２において、映像変更テーブルの条件１として、画角内に高速で移動する人が進入するという設定変更条件が規定されている。大人の平均的歩行速度は約１．３［ｍ／ｓ］であるので、高速か否かの基準として１．４［ｍ／ｓ］以上の任意の数値を用いてよい。図１２の映像変更テーブルにおいて、条件１が満たされたときの設定変更内容として、解像度はそのままで、ビットレートは上げ、シャープネスはそのままで、Ｑ値を上げ、画角をズームアウトし、フレームレートを上げるという設定変更内容が定められている。なお、図１２の映像変更テーブルは、図７の映像変更テーブルと一体化されていても、別体であってもよい。
　以上説明したように、監視カメラの情報送信装置１００が深層学習によって高速に移動する人を検出でき、監視カメラの情報送信装置１００による映像解析データを通信ネットワークＮＷに発信するように構成することで、その映像解析データを受信した監視カメラの情報受信装置２００は、監視カメラの情報受信装置２００と接続された監視カメラの画角内に人が出現する前に、高速に移動する人に適した画質に変更することが可能となる。これにより、人が撮影画角に進入してきた時から、その人を鮮明に撮影することが可能となる。
＜付記＞
　以上で説明した種々の実施形態のいくつかの側面について、以下にてまとめる。
（付記１）
　付記１による監視カメラの情報受信装置（２００）は、他の監視カメラ（１０）により撮像された映像の解析データである映像解析データを、通信ネットワークを介して受信する受信制御部（２５０）と、カメラ連携テーブル（２６０）と映像変更テーブル（２６５）を参照して、受信した映像解析データを解析して、解析結果に基づいて自監視カメラ（２０）についての映像制御要求を行う映像解析データ解析部（２５５）と、前記映像制御要求に従って、前記自監視カメラの撮影に関する少なくとも１つのパラメータを変更する映像制御部（２７０）と、を備え、前記カメラ連携テーブルには、前記通信ネットワークに接続された監視カメラの検知領域と、各検知領域に連携する監視カメラの識別情報とが登録されており、前記映像変更テーブルには、前記少なくとも１つのパラメータを変更するための非色彩条件と、前記非色彩条件が満たされた場合の前記少なくとも１つのパラメータの変更内容とが定義されており、前記非色彩条件には、自監視カメラの画角内の移動体の数が複数の場合に関する第１の条件、又は前記自監視カメラの画角内の移動体の速度に関する第２の条件が含まれており、前記映像解析データ解析部は、前記受信した映像解析データが前記非色彩条件を満たす場合に、前記変更内容に従って前記映像制御要求を行う。
（付記２）
　付記２による監視カメラの情報受信装置は、付記１の監視カメラの情報受信装置であって、前記映像制御部は、前記映像制御要求を受信して、画質の調整を要求する画質調整要求、画角の制御を要求する画角制御要求、又は映像の符号化の変更を要求する映像符号化変更要求を送信する映像主制御部（２７１）と、前記画質調整要求を受信して画質を調整する画質調整部（２７２）と、前記画角制御要求を受信して画角を調整するレンズ制御部（２７３）と、前記映像符号化変更要求を受信して映像符号化の方法を変更する映像符号化部（２７４）と、を備える。
（付記３）
　付記３による監視カメラの情報送信装置（１００）は、移動体の検知又は移動を検出できるように予め学習されたニューラルネットワークを保持し、監視カメラ（１０）により撮像された撮像データに対して深層学習の推論処理を行う深層学習推論処理部であって、画角内の領域情報を保持した検知領域テーブルを参照して、前記映像データ内の検知領域における前記移動体の出現、移動又は退出を検出して、検知情報を出力する深層学習推論処理部（１２０）と、監視カメラの検知領域と各検知領域に連携する監視カメラの識別情報とが登録されたカメラ連携テーブルを参照して、前記検知情報に含まれる前記移動体の出現、移動又は退出が検出された検知領域と、該検知領域に連携する他監視カメラ（２０）の識別情報と、自監視カメラ（１０）の識別情報とを含んだ映像解析データを作成する映像解析データ作成部（１１５）と、作成された映像解析データを通信ネットワークに送信する送信制御部（１１０）と、を備える。
（付記４）
　付記４による監視カメラの情報送信装置は、付記３の監視カメラの情報送信装置であって、前記深層学習推論処理部は、前記深層学習の推論処理を行うことにより移動体が１．４［ｍ／ｓ］以上の速度で移動することを検出できる。
（付記５）
　付記５による監視カメラシステム（３０）は、付記１又は２の監視カメラの情報受信装置と、付記３又は４の監視カメラの情報送信装置と、を備える。
（付記６）
　付記６による監視カメラの情報受信方法は、他の監視カメラ（１０）により撮像された映像の解析データである映像解析データを、通信ネットワークを介して受信するステップ（ＳＴ１１１）と、カメラ連携テーブルと映像変更テーブルを参照して、受信した映像解析データを解析して、解析結果に基づいて自監視カメラ（２０）についての映像制御要求を行うステップであって、前記カメラ連携テーブルには、前記通信ネットワークに接続された監視カメラの検知領域と、各検知領域に連携する監視カメラの識別情報とが登録されており、前記映像変更テーブルには、前記自監視カメラの撮影に関する少なくとも１つのパラメータを変更するための非色彩条件と、前記非色彩条件が満たされた場合の前記少なくとも１つのパラメータの変更内容とが定義されており、前記非色彩条件には、自監視カメラの画角内の移動体の数が複数の場合に関する第１の条件、又は前記自監視カメラの画角内の移動体の速度に関する第２の条件が含まれており、前記受信した映像解析データが前記非色彩条件を満たす場合に、前記変更内容に従って前記映像制御要求を行うステップ（ＳＴ１１２）と、前記映像制御要求に従って、前記少なくとも１つのパラメータを変更するステップ（ＳＴ１１３）と、を備える。
　なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。
　本開示に係る監視カメラの情報受信装置は、監視カメラに実装して監視カメラとして利用することができる。
　１０　監視カメラ、２０　監視カメラ、３０　監視カメラシステム、１００　情報送信装置、１１０　送信制御部、１１５　映像解析データ作成部、１２０　深層学習推論処理部、１２２　検知領域テーブル、１２５　映像データ格納部、１３０　画質調整部、１３５　撮像部、１６０　カメラ連携テーブル、２００　情報受信装置、２３５　撮像部、２５０　受信制御部、２５５　映像解析データ解析部、２６０　カメラ連携テーブル、２６５　映像変更テーブル、２７０　映像制御部、２７１　映像主制御部、２７２　画質調整部、２７３　レンズ制御部、２７４　映像符号化部、２８０　レンズ、３０１　プロセッサ、３０２　メモリ、３０３　処理回路。

Claims (6)

  1. 　監視カメラの情報受信装置であって、
    　他の監視カメラにより撮像された映像の解析データである映像解析データを、通信ネットワークを介して受信する受信制御部と、
    　カメラ連携テーブルと映像変更テーブルを参照して、受信した映像解析データを解析して、解析結果に基づいて自監視カメラについての映像制御要求を行う映像解析データ解析部と、
    　前記映像制御要求に従って、前記自監視カメラの撮影に関する少なくとも１つのパラメータを変更する映像制御部と、
    を備え、
    　前記カメラ連携テーブルには、前記通信ネットワークに接続された監視カメラの検知領域と、各検知領域に連携する監視カメラの識別情報とが登録されており、
    　前記映像変更テーブルには、前記少なくとも１つのパラメータを変更するための非色彩条件と、前記非色彩条件が満たされた場合の前記少なくとも１つのパラメータの変更内容とが定義されており、前記非色彩条件には、自監視カメラの画角内の移動体の数が複数の場合に関する第１の条件、又は前記自監視カメラの画角内の移動体の速度に関する第２の条件が含まれており、
    　前記映像解析データ解析部は、前記受信した映像解析データが前記非色彩条件を満たす場合に、前記変更内容に従って前記映像制御要求を行う、
    監視カメラの情報受信装置。
  2. 　前記映像制御部は、前記映像制御要求を受信して、画質の調整を要求する画質調整要求、画角の制御を要求する画角制御要求、又は映像の符号化の変更を要求する映像符号化変更要求を送信する映像主制御部と、
    　前記画質調整要求を受信して画質を調整する画質調整部と、
    　前記画角制御要求を受信して画角を調整するレンズ制御部と、
    　前記映像符号化変更要求を受信して映像符号化の方法を変更する映像符号化部と、
    を備えた請求項１に記載の監視カメラの情報受信装置。
  3. 　監視カメラの情報送信装置であって、
    　移動体の検知又は移動を検出できるように予め学習されたニューラルネットワークを保持し、監視カメラにより撮像された撮像データに対して深層学習の推論処理を行う深層学習推論処理部であって、画角内の領域情報を保持した検知領域テーブルを参照して、前記映像データ内の検知領域における前記移動体の出現、移動又は退出を検出して、検知情報を出力する深層学習推論処理部と、
    　監視カメラの検知領域と各検知領域に連携する監視カメラの識別情報とが登録されたカメラ連携テーブルを参照して、前記検知情報に含まれる前記移動体の出現、移動又は退出が検出された検知領域と、該検知領域に連携する他監視カメラの識別情報と、自監視カメラの識別情報とを含んだ映像解析データを作成する映像解析データ作成部と、
    　作成された映像解析データを通信ネットワークに送信する送信制御部と、
    を備えた監視カメラの情報送信装置。
  4. 　前記深層学習推論処理部は、前記深層学習の推論処理を行うことにより移動体が１．４［ｍ／ｓ］以上の速度で移動することを検出できる請求項３に記載の監視カメラの情報送信装置。
  5. 　請求項１又は２に記載の監視カメラの情報受信装置と、
    　請求項３又は４に記載の監視カメラの情報送信装置と、
    を備えた監視カメラシステム。
  6. 　監視カメラの情報受信方法であって、
    　他の監視カメラにより撮像された映像の解析データである映像解析データを、通信ネットワークを介して受信するステップと、
    　カメラ連携テーブルと映像変更テーブルを参照して、受信した映像解析データを解析して、解析結果に基づいて自監視カメラについての映像制御要求を行うステップであって、前記カメラ連携テーブルには、前記通信ネットワークに接続された監視カメラの検知領域と、各検知領域に連携する監視カメラの識別情報とが登録されており、前記映像変更テーブルには、前記自監視カメラの撮影に関する少なくとも１つのパラメータを変更するための非色彩条件と、前記非色彩条件が満たされた場合の前記少なくとも１つのパラメータの変更内容とが定義されており、前記非色彩条件には、自監視カメラの画角内の移動体の数が複数の場合に関する第１の条件、又は前記自監視カメラの画角内の移動体の速度に関する第２の条件が含まれており、前記受信した映像解析データが前記非色彩条件を満たす場合に、前記変更内容に従って前記映像制御要求を行うステップと、
    　前記映像制御要求に従って、前記少なくとも１つのパラメータを変更するステップと、
    を備えた、監視カメラの情報受信方法。
PCT/JP2021/007232 2021-02-26 2021-02-26 監視カメラの情報送信装置、監視カメラの情報受信装置、及び監視カメラシステム、並びに監視カメラの情報受信方法 WO2022180756A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2021/007232 WO2022180756A1 (ja) 2021-02-26 2021-02-26 監視カメラの情報送信装置、監視カメラの情報受信装置、及び監視カメラシステム、並びに監視カメラの情報受信方法
GB2311370.7A GB2618457A (en) 2021-02-26 2021-02-26 Monitoring camera information transmitting device, monitoring camera information receiving device, monitoring camera system, and monitoring camera information
JP2023501933A JPWO2022180756A1 (ja) 2021-02-26 2021-02-26
US18/274,213 US20240098224A1 (en) 2021-02-26 2021-02-26 Monitoring camera information transmitting device, monitoring camera information receiving device, monitoring camera system, and monitoring camera information receiving method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/007232 WO2022180756A1 (ja) 2021-02-26 2021-02-26 監視カメラの情報送信装置、監視カメラの情報受信装置、及び監視カメラシステム、並びに監視カメラの情報受信方法

Publications (1)

Publication Number Publication Date
WO2022180756A1 true WO2022180756A1 (ja) 2022-09-01

Family

ID=83048898

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007232 WO2022180756A1 (ja) 2021-02-26 2021-02-26 監視カメラの情報送信装置、監視カメラの情報受信装置、及び監視カメラシステム、並びに監視カメラの情報受信方法

Country Status (4)

Country Link
US (1) US20240098224A1 (ja)
JP (1) JPWO2022180756A1 (ja)
GB (1) GB2618457A (ja)
WO (1) WO2022180756A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295604A (ja) * 2005-04-12 2006-10-26 Matsushita Electric Ind Co Ltd 監視カメラ及び監視システムの制御方法
JP2006310901A (ja) * 2005-04-26 2006-11-09 Victor Co Of Japan Ltd 監視システム及び監視方法
JP2007135093A (ja) * 2005-11-11 2007-05-31 Sony Corp 映像監視システム及び方法
JP2018006910A (ja) * 2016-06-29 2018-01-11 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001086910A (ja) * 1999-09-22 2001-04-03 Mamiya Op Co Ltd 魚釣用錘

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295604A (ja) * 2005-04-12 2006-10-26 Matsushita Electric Ind Co Ltd 監視カメラ及び監視システムの制御方法
JP2006310901A (ja) * 2005-04-26 2006-11-09 Victor Co Of Japan Ltd 監視システム及び監視方法
JP2007135093A (ja) * 2005-11-11 2007-05-31 Sony Corp 映像監視システム及び方法
JP2018006910A (ja) * 2016-06-29 2018-01-11 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム

Also Published As

Publication number Publication date
GB202311370D0 (en) 2023-09-06
US20240098224A1 (en) 2024-03-21
GB2618457A (en) 2023-11-08
JPWO2022180756A1 (ja) 2022-09-01

Similar Documents

Publication Publication Date Title
US8044992B2 (en) Monitor for monitoring a panoramic image
CN109698905B (zh) 控制设备、摄像设备、控制方法和计算机可读存储介质
US8451329B2 (en) PTZ presets control analytics configuration
US20200236290A1 (en) Image-capturing apparatus
CN111107276B (zh) 信息处理设备及其控制方法、存储介质以及摄像系统
JP2009177472A (ja) 画像処理方法、画像処理装置及び撮像装置
JP2011130271A (ja) 撮像装置および映像処理装置
CN108810400B (zh) 控制设备、控制方法和记录介质
JP2006087083A (ja) 撮像装置及び撮像装置の制御方法
JP2011130271A5 (ja)
KR101591396B1 (ko) 촬상 장치, 통신 방법 및 기억 매체 및 통신 시스템
JP2013223104A (ja) カメラおよびカメラシステム
JP2007067510A (ja) 映像撮影システム
WO2022180756A1 (ja) 監視カメラの情報送信装置、監視カメラの情報受信装置、及び監視カメラシステム、並びに監視カメラの情報受信方法
CN114697528A (zh) 图像处理器、电子设备及对焦控制方法
JP5256060B2 (ja) 撮像装置
US20120188437A1 (en) Electronic camera
KR20120046509A (ko) 카메라 초점조절 장치와 방법
US9807311B2 (en) Imaging apparatus, video data transmitting apparatus, video data transmitting and receiving system, image processing method, and program
JP7250433B2 (ja) 撮像装置、制御方法及びプログラム
US11838634B2 (en) Method of generating a digital video image using a wide-angle field of view lens
CN117280708A (zh) 利用基于ai的对象识别的监控摄像机的快门值调节
KR102148749B1 (ko) 영상 감시 네트워크 시스템 및 그의 영상 감시 방법
US20190052804A1 (en) Image capturing device and control method
JP4438396B2 (ja) 監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21927858

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023501933

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 202311370

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20210226

WWE Wipo information: entry into national phase

Ref document number: 18274213

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21927858

Country of ref document: EP

Kind code of ref document: A1