WO2022074726A1 - 映像処理装置、映像処理方法及び映像監視システム - Google Patents

映像処理装置、映像処理方法及び映像監視システム Download PDF

Info

Publication number
WO2022074726A1
WO2022074726A1 PCT/JP2020/037820 JP2020037820W WO2022074726A1 WO 2022074726 A1 WO2022074726 A1 WO 2022074726A1 JP 2020037820 W JP2020037820 W JP 2020037820W WO 2022074726 A1 WO2022074726 A1 WO 2022074726A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
model
unit
monitored object
video data
Prior art date
Application number
PCT/JP2020/037820
Other languages
English (en)
French (fr)
Inventor
智孝 田中
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/037820 priority Critical patent/WO2022074726A1/ja
Publication of WO2022074726A1 publication Critical patent/WO2022074726A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to a video processing device, a video processing method, and a video monitoring system.
  • a video processing device including a mask processing unit that masks the monitored object included in the video (see, for example, Patent Document 1).
  • the image of the monitored object becomes a blurred image, and the privacy of the monitored object is protected.
  • the mask processing unit enhances the blurring of the image so that it becomes difficult to distinguish the face of the monitored object
  • the image of the monitored object is imaged. Not only that, but also the image around the monitored object may be blurred. If not only the image of the monitored object but also the image around the monitored object becomes blurred, it may be difficult to understand where the monitored object exists. was there.
  • This disclosure is made to solve the above-mentioned problems, and is an image processing device and an image processing capable of protecting the privacy of the monitored object without causing blurring of the image around the monitored object.
  • the purpose is to get a method.
  • the video processing apparatus includes a video data receiving unit that receives video data indicating the video of the monitoring area captured by the camera, and a monitoring included in the video indicated by the video data received by the video data receiving unit.
  • the monitored object detection unit that detects the object
  • the model generation unit that generates the monitored object model that simulates the monitored object detected by the monitored object detection unit, and the monitored area do not include the monitored object.
  • a model synthesizer that synthesizes the monitored object model generated by the model generator to the background image that is the image of the monitoring area at the time, and a video output unit that outputs the image after the monitored object model is synthesized by the model synthesizer. It is designed to be equipped with.
  • FIG. It is a block diagram which shows the image surveillance system including the image processing apparatus 3 which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the camera 1-1 to 1-N. It is a block diagram which shows the image processing apparatus 3 which concerns on Embodiment 1.
  • FIG. It is a hardware block diagram which shows the hardware of the image processing apparatus 3 which concerns on Embodiment 1.
  • FIG. It is a hardware block diagram of the computer when the image processing apparatus 3 is realized by software, firmware and the like.
  • It is a flowchart which shows the image processing method which is the processing procedure of the image processing apparatus 3 which concerns on Embodiment 1.
  • FIG. It is explanatory drawing which shows an example of the background image. It is explanatory drawing which shows an example of a normal image.
  • FIG. 1 It is explanatory drawing which shows an example of a model composite video. It is a flowchart which shows the generation process of the monitored object model by a model generation part 24. It is a block diagram which shows the camera 1-1 to 1-N of the image surveillance system which concerns on Embodiment 2. FIG. It is a block diagram which shows the image processing apparatus 3 which concerns on Embodiment 2. FIG.
  • FIG. 1 is a configuration diagram showing a video monitoring system including the video processing device 3 according to the first embodiment.
  • FIG. 2 is a configuration diagram showing cameras 1-1 to 1-N of the video surveillance system according to the first embodiment.
  • FIG. 3 is a configuration diagram showing a video processing device 3 according to the first embodiment.
  • FIG. 4 is a hardware configuration diagram showing the hardware of the video processing apparatus 3 according to the first embodiment.
  • the cameras 1-1 to 1-N are connected to the video processing device 3 via the network 2.
  • N is an integer of 2 or more.
  • the camera 1-n photographs the surveillance area and transmits video data indicating the video of the surveillance area to the video processing device 3 via the network 2.
  • the image capturing unit 11 photographs the monitoring area and outputs the image of the monitoring area to the encoding unit 12.
  • the encoding unit 12 uses the video output from the video imaging unit 11 as H. It is encoded by a compression format such as 264 or MPEG4, and video data showing the encoded video is output to the video data transmission unit 13.
  • the video data transmission unit 13 transmits video data to the video processing device 3 via the network 2.
  • N cameras 1-1 to 1-N are provided. However, this is only an example, and it is sufficient that one or more cameras 1 are provided.
  • the cameras 1-1 to 1-N are not distinguished, they are expressed as "camera 1".
  • the network 2 is a transmission path such as the Internet or a LAN (Local Area Network), and propagates the video data transmitted from the camera 1 to the video processing device 3.
  • the video processing device 3 includes a video data receiving unit 21, a video data recording unit 22, a monitored object detection unit 23, a model generation unit 24, a model synthesis unit 25, an operation reception unit 26, and a video output unit 27.
  • the interface unit 4 is a man-machine interface realized by, for example, a keyboard, a mouse, or a touch panel.
  • the monitor 5 is realized by, for example, a liquid crystal display. The monitor 5 displays the video output from the video processing device 3.
  • the video data receiving unit 21 is realized by, for example, the video data receiving circuit 31 shown in FIG.
  • the video data receiving unit 21 is connected to the network 2.
  • the video data receiving unit 21 receives the video data transmitted from the camera 1 and outputs the video data to the video data recording unit 22.
  • the video data recording unit 22 is realized by, for example, the video data recording circuit 32 shown in FIG.
  • the video data recording unit 22 records video data showing a background image which is a video of the monitoring area when the monitoring target body is not included in the monitoring area.
  • the monitored object may be a "human", an "animal”, a “car”, a "bicycle", or the like.
  • the video data showing the background video may be transmitted from the camera 1 or may be given from other than the camera 1.
  • the video processing device 3 includes a video data recording unit 22. However, this is only an example, and the video data recording unit 22 may be provided outside the video processing device 3.
  • the monitored object detection unit 23 is realized by, for example, the monitored object detection circuit 33 shown in FIG.
  • the monitoring target object detection unit 23 acquires video data showing a normal video which is a video of the monitoring area captured by the camera 1 and video data showing a background video from the video data recording unit 22.
  • the monitored object detection unit 23 restores the normal image by performing decoding processing on the image data showing the normal image.
  • the monitored object detection unit 23 restores the background image by performing decoding processing on the image data showing the background image.
  • the monitored object detection unit 23 detects the monitored object included in the normal image by comparing the restored normal image with the restored background image.
  • the monitored object detection unit 23 outputs the image of the monitored object to the model generation unit 24, outputs the background image to the model synthesis unit 25, and outputs the normal image to the image output unit 27.
  • the model generation unit 24 is realized by, for example, the model generation circuit 34 shown in FIG.
  • the model generation unit 24 generates a monitoring target body model that simulates the monitoring target body detected by the monitoring target body detection unit 23.
  • the model generation unit 24 outputs the monitored object model to the model synthesis unit 25.
  • the model synthesis unit 25 is realized by, for example, the model synthesis circuit 35 shown in FIG.
  • the model synthesis unit 25 acquires a background image from the monitored object detection unit 23, and acquires a monitored object model from the model generation unit 24.
  • the model synthesis unit 25 synthesizes the monitored object model generated by the model generation unit 24 with the background image.
  • the model synthesizing unit 25 outputs a background image (hereinafter referred to as “model synthesizing image”) after synthesizing the monitored object model to the image output unit 27.
  • the operation reception unit 26 is realized by, for example, the operation reception circuit 36 shown in FIG.
  • the operation receiving unit 26 inputs an ID assigned to the observer. , Accepts ID input operations.
  • the operation reception unit 26 confirms the authority level of the observer based on the ID assigned to the observer.
  • the operation reception unit 26 outputs the authority level information indicating the authority level of the observer to the video output unit 27.
  • the video output unit 27 is realized by, for example, the video output circuit 37 shown in FIG.
  • the video output unit 27 acquires the authority level information output from the operation reception unit 26, and confirms the authority possessed by the observer from the authority level information. If the observer has the authority to view only the model composite video, the video output unit 27 acquires the model composite video from the model composite video 25 and outputs the model composite video to the monitor 5. If the observer has the authority to view not only the model composite video but also the normal video, the video output unit 27 acquires the model composite video from the model synthesizer 25 and detects the monitored object. A normal image is acquired from the unit 23. The video output unit 27 outputs one or more of the normal video and the model composite video to the monitor 5.
  • FIG. 3 a video data receiving unit 21, a video data recording unit 22, a monitored object detection unit 23, a model generation unit 24, a model synthesis unit 25, an operation reception unit 26, and a video output unit, which are components of the video processing device 3, are used. It is assumed that each of the 27 is realized by the dedicated hardware as shown in FIG. That is, the video processing device 3 is realized by the video data receiving circuit 31, the video data recording circuit 32, the monitored object detection circuit 33, the model generation circuit 34, the model synthesis circuit 35, the operation reception circuit 36, and the video output circuit 37. I'm assuming something.
  • the video data recording circuit 32 is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EPROM (Electrically), or the like.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory an EPROM (Erasable Programmable Read Only Memory)
  • EPROM Erasable Programmable Read Only Memory
  • a sexual or volatile semiconductor memory a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, or a DVD (Digital Versaille Disc) is applicable.
  • Each of the video data receiving circuit 31, the monitored object detection circuit 33, the model generation circuit 34, the model synthesis circuit 35, the operation reception circuit 36, and the video output circuit 37 may be, for example, a single circuit, a composite circuit, or a programmed processor.
  • a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof is applicable.
  • the components of the video processing device 3 are not limited to those realized by dedicated hardware, but the video processing device 3 is realized by software, firmware, or a combination of software and firmware. It is also good.
  • the software or firmware is stored as a program in the memory of the computer.
  • a computer means hardware that executes a program, and corresponds to, for example, a CPU (Central Processing Unit), a central processing unit, a processing unit, a computing device, a microprocessor, a microcomputer, a processor, or a DSP (Digital Signal Processor). do.
  • FIG. 5 is a hardware configuration diagram of a computer when the video processing device 3 is realized by software, firmware, or the like.
  • the video data recording unit 22 is configured on the memory 41 of the computer.
  • a program for causing a computer to execute each processing procedure in the video data receiving unit 21, the monitored object detection unit 23, the model generation unit 24, the model synthesis unit 25, the operation reception unit 26, and the video output unit 27 is stored in the memory 41. Will be done.
  • the processor 42 of the computer executes the program stored in the memory 41.
  • FIG. 4 shows an example in which each of the components of the video processing device 3 is realized by dedicated hardware
  • FIG. 5 shows an example in which the video processing device 3 is realized by software, firmware, or the like. ..
  • this is only an example, and some components in the video processing device 3 may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.
  • FIG. 6 is a flowchart showing a video processing method which is a processing procedure of the video processing apparatus 3 according to the first embodiment.
  • the camera 1 Before the monitor of the monitored object starts monitoring the monitored object, the camera 1 is operated to take a picture of the monitored area when the monitored object is not included in the monitored area.
  • the camera 1 transmits video data showing a background video, which is a video of the monitoring area when the monitoring target is not included in the monitoring area, to the video processing device 3 via the network 2.
  • FIG. 7 is an explanatory diagram showing an example of a background image.
  • the background image may be updated by the camera 1 periodically taking a picture of the monitoring area when the monitoring target body is not included.
  • the video data receiving unit 21 of the video processing device 3 receives video data indicating the background video transmitted from the camera 1.
  • the video data receiving unit 21 outputs video data indicating a background video to the video data recording unit 22.
  • the video data recording unit 22 records video data indicating a background video.
  • the operation reception unit 26 When the observer of the monitored object operates the interface unit 4 before starting the monitoring of the monitored object, for example, the operation reception unit 26 performs an operation of inputting the ID assigned to the observer. , Accepts ID input operations. The operation reception unit 26 confirms the authority level of the observer of the monitored object based on the ID assigned to the observer. In the video monitoring system shown in FIG. 1, it is assumed that the authority level of the observer is classified into, for example, authority level L0, authority level L1 and authority level L2.
  • the authority level L0 is a level at which the observer does not have the authority to view all of the model composite video and the normal video.
  • the authority level L1 is a level at which the observer can view only the model composite video and does not have the right to view the normal video.
  • the authority level L2 is a level at which the observer has the authority to view not only the model composite video but also the normal video.
  • the operation reception unit 26 outputs the authority level information indicating the authority level of the observer to
  • the camera 1 photographs the monitoring area during monitoring.
  • the camera 1 transmits video data indicating a normal video, which is a video of the monitoring area, to the video processing device 3 via the network 2.
  • FIG. 8 is an explanatory diagram showing an example of a normal image. In the example of FIG. 8, humans and automobiles are included in the normal video as monitoring objects.
  • the video data receiving unit 21 of the video processing device 3 receives video data indicating a normal video transmitted from the camera 1 (step ST1 in FIG. 6).
  • the video data receiving unit 21 outputs video data indicating a normal video to the video data recording unit 22.
  • the video data recording unit 22 records video data indicating a normal video.
  • the monitored object detection unit 23 acquires video data showing a background video and video data showing a normal video from the video data recording unit 22.
  • the monitored object detection unit 23 restores the background image by performing decoding processing on the image data showing the background image.
  • the monitored object detection unit 23 restores the normal image by performing decoding processing on the image data showing the normal image.
  • the monitored object detection unit 23 detects the monitored object included in the normal image by comparing the restored background image with the restored normal image (step ST2 in FIG. 6).
  • the monitored object included in the normal image is the difference between the background image and the normal image.
  • the monitored object detection unit 23 outputs the detected image of the monitored object to the model generation unit 24, and outputs the restored normal image to the image output unit 27.
  • the monitored object detection unit 23 outputs the restored background image to the model synthesis unit 25.
  • the monitored object detection unit 23 detects the monitored object by comparing the background image with the normal image.
  • this is only an example, and even if the monitored object detection unit 23 detects the monitored object from the normal image by performing a known image analysis process such as "OpenCV" or "Tensorflow”. good.
  • the model generation unit 24 acquires an image of the monitored object from the monitored object detection unit 23.
  • the model generation unit 24 generates a monitored object model simulating the monitored object (step ST3 in FIG. 6).
  • the monitored object model may be a 2D (Dimensions) model or a 3D model.
  • the model generation unit 24 outputs the monitored object model to the model synthesis unit 25.
  • FIG. 10 is a flowchart showing the generation process of the monitored object model by the model generation unit 24.
  • the model generation unit 24 identifies the type of the monitored object by performing a known image analysis process such as “OpenCV” or “Tensorflow” (step ST11 in FIG. 10). That is, the model generation unit 24 identifies whether the monitored object is, for example, a “human”, an “animal”, a “car”, or a “bicycle”.
  • a basic model of a monitored object model simulating a human being for example, a basic model of a monitored object model simulating an animal, a basic model of a monitored object model simulating a car, and a bicycle are stored.
  • the basic model of the simulated monitored object model is stored.
  • the model generation unit 24 selects a basic model corresponding to the type of the monitored object from a plurality of basic models stored in the internal memory based on the identification result of the type of the monitored object (FIG. 10). Step ST12).
  • the model generation unit 24 selects a basic model of the monitored object model simulating a human, and the monitored object is, for example, an "automobile”. If it is identified as, the basic model of the monitored object model simulating a car is selected.
  • the model generation unit 24 extracts the characteristics of the monitored object by performing a known image analysis process (step ST13 in FIG. 10). That is, for example, if the model generation unit 24 identifies that the monitored object is a "human", the model generation unit 24 extracts the height, physique, type of clothing, color of clothing, and the like as the characteristics of the monitored object. .. As the type of clothes, trousers, skirts, Japanese clothes, etc. can be considered. Further, the model generation unit 24 extracts the position of a human as a feature of the monitored body. The position of the human is the coordinates of the area in which the human is reflected in the image of the surveillance area.
  • the model generation unit 24 identifies that the monitored object is an "automobile"
  • the model generation unit 24 extracts the overall length, vehicle width, vehicle height, color, etc. of the vehicle as the characteristics of the monitored object. Further, the model generation unit 24 extracts the position of the automobile as a feature of the monitored object.
  • the position of the car is the coordinates of the area where the car is shown in the image of the surveillance area.
  • the model generation unit 24 customizes the selected basic model according to the characteristics of the monitored object (step ST14 in FIG. 10). That is, for example, if the model generation unit 24 identifies that the monitored object is a "human", the model generation unit 24 adjusts the size of the basic model according to the height and physique of the extracted human. Further, the model generation unit 24 changes the clothes worn by the basic model according to the type of the extracted clothes, and the color of the clothes worn by the basic model according to the color of the extracted clothes. To change. For example, if the model generation unit 24 identifies that the monitored object is a "vehicle", the model generation unit 24 adjusts the size of the basic model according to the total length, width, and height of the extracted vehicle.
  • model generation unit 24 changes the color of the basic model according to the color of the extracted automobile.
  • the model generation unit 24 outputs the customized basic model to the model synthesis unit 25 as a monitored object model. Further, the model generation unit 24 outputs the position information indicating the position of the monitored object to the model synthesis unit 25.
  • the model generation unit 24 selects the basic model of the monitored object model by identifying the type of the monitored object, and selects the basic model according to the characteristics of the monitored object. Is customized. However, this is only an example, and the model generation unit 24 may estimate the shape of the monitored object from the characteristics of the monitored object and generate a monitored object model having the estimated shape. For example, the operation receiving unit 26 may accept the setting contents regarding the reproducibility of the monitored object model for the monitored object. In this case, the model generation unit 24 generates the monitored object model with the reproducibility according to the setting contents. Further, if the monitored object is a "human" and the model generation unit 24 can extract the gender of the monitored object as a feature of the monitored object, the model generation unit 24 responds to the gender of the monitored object.
  • the monitored object model may be color-coded.
  • the model synthesis unit 25 acquires a background image from the monitored object detection unit 23.
  • the model synthesis unit 25 acquires each of the monitored object model and the position information of the monitored object from the model generation unit 24.
  • the model synthesis unit 25 identifies the position of the monitored object included in the video of the monitored area based on the position information of the monitored object.
  • the model synthesizing unit 25 synthesizes the monitored object model at the specified position in the background image (step ST4 in FIG. 6). Since the process itself of synthesizing the monitored object model with the background image is a known technique, detailed description thereof will be omitted.
  • the model synthesizing unit 25 outputs a model synthesizing image, which is a background image after synthesizing the monitored object model, to the image output unit 27.
  • FIG. 9 is an explanatory diagram showing an example of a model composite video.
  • a model composite image an image including a monitored object model simulating a human being and a monitored object model simulating an automobile is shown.
  • the reproducibility of the monitored object model simulating an automobile is higher than the reproducibility of the monitored object model simulating a human being. That is, the degree of similarity between the monitored object model simulating an automobile and the automobile which is the monitored object is higher than the degree of similarity between the monitored object model simulating a human being and the human being who is the monitored object.
  • the image around the monitored object model is not blurred unlike the case where the monitored object is masked. Therefore, it does not become difficult to understand where the monitored object exists.
  • the observer determines whether or not the monitored object is behaving suspiciously even if the monitored object is behaving suspiciously. I can't. However, if the location of the monitored object is known, the observer may be able to determine whether or not the monitored object is behaving suspiciously.
  • the video output unit 27 acquires the authority level information indicating the authority level of the observer from the operation reception unit 26. If the supervisor's authority level is the authority level L0 (step ST5 in FIG. 6: YES), the video output unit 27 determines that all of the model composite video and the normal video cannot be viewed, and determines that the model composite video and the normal video cannot be viewed. Both normal images are not output to the monitor 5. The video output unit 27 determines that if the supervisor's authority level is the authority level L1 (when step ST5: NO and step ST6: YES in FIG. 6), only the model composite video can be viewed. Then, the model composite image is acquired from the model synthesizer 25. The video output unit 27 outputs the model composite video to the monitor 5 (step ST7 in FIG. 6). The monitor 5 displays the model composite video output from the video output unit 27.
  • the video output unit 27 can view not only the model composite video but also the normal video. to decide. Then, the video output unit 27 acquires the model composite video from the model synthesis unit 25, and acquires the normal video from the monitored object detection unit 23. The video output unit 27 outputs one or more of the normal video and the model composite video to the monitor 5 according to the setting contents of the video to be displayed (step ST8 in FIG. 6). Specifically, the video output unit 27 outputs the normal video to the monitor 5 if the video to be displayed is set to the normal video, and if the video to be displayed is set to the model composite video, the video output unit 27 outputs the normal video to the monitor 5.
  • the model composite video is output to the monitor 5. Further, if the video to be displayed is both a normal video and a model composite video, the video output unit 27 outputs both the normal video and the model composite video to the monitor 5.
  • the observer can set the image to be displayed by operating the interface unit 4, and the setting content of the image to be displayed is accepted by the operation reception unit 26.
  • the monitor 5 displays the video to be displayed, that is, one or more of the normal video and the model composite video output from the video output unit 27. If the video to be displayed contains normal video, the privacy of the monitored object will not be protected. Therefore, it is usually assumed that the video to be displayed is set so that the normal video is not included. However, when it is necessary to specify the monitored object rather than protecting the privacy of the monitored object, the image to be displayed may be set to include a normal image.
  • the monitoring target body detection unit 23 detects the monitoring target body included in the normal video restored from the video data recorded in the video data recording unit 22.
  • the monitored object detection unit 23 restores the real-time video from the video data received by the video data receiving unit 21 and detects the monitored object included in the real-time video. You may try to do it.
  • the model synthesis unit 25 outputs the model composition video to the video output unit 27.
  • the model synthesis unit 25 outputs the model composition video to the video data recording unit 22, the video data recording unit 22 records the model composition video, and the video output unit 27 outputs the video.
  • the model composite video recorded by the data recording unit 22 may be output to the monitor 5.
  • FIG. 11 is a configuration diagram showing cameras 1-1 to 1-N of the video surveillance system according to the second embodiment.
  • the camera 1 shown in FIG. 11 includes a video image pickup unit 11, an encoding unit 12, a video data transmission unit 13, a monitored object detection unit 23, a model generation unit 24, and a model synthesis unit 25.
  • FIG. 12 is a configuration diagram showing a video processing device 3 according to the second embodiment.
  • the video processing device 3 shown in FIG. 12 includes a video data receiving unit 21, a video data recording unit 22, an operation receiving unit 26, and a video output unit 27.
  • the image capturing unit 11 of the camera 1 photographs the monitoring area when the monitoring target body is not included in the monitoring area.
  • the image capturing unit 11 outputs a background image, which is an image of the monitoring area when the monitoring area does not include the monitoring object, to the monitoring object detection unit 23. Further, the image capturing unit 11 captures a surveillance area during monitoring, and outputs a normal image which is an image of the monitoring area to each of the monitored object detection unit 23 and the encoding unit 12.
  • the monitored object detection unit 23 of the camera 1 performs substantially the same processing as the monitored object detection unit 23 shown in FIG. That is, the monitored object detection unit 23 of the camera 1 detects the monitored object included in the image in the monitored area by comparing the background image output from the image capturing unit 11 with the normal image. The monitored object detection unit 23 of the camera 1 outputs the detected image of the monitored object to the model generation unit 24, and outputs the background image to the model synthesis unit 25.
  • the model generation unit 24 of the camera 1 performs substantially the same processing as the model generation unit 24 shown in FIG. That is, the model generation unit 24 of the camera 1 acquires the image of the monitored object from the monitored object detection unit 23. The model generation unit 24 of the camera 1 generates a monitoring target body model simulating the monitoring target body, and outputs the monitoring target body model to the model synthesis unit 25. Further, the model generation unit 24 of the camera 1 outputs position information indicating the position of the monitored object to the model synthesis unit 25.
  • the model synthesis unit 25 of the camera 1 performs substantially the same processing as the model composition unit 25 shown in FIG. That is, the model synthesis unit 25 of the camera 1 acquires the background image from the monitoring target body detection unit 23. The model synthesis unit 25 of the camera 1 acquires the position information of the monitored object model and the monitored object from the model generation unit 24, respectively. The model synthesis unit 25 of the camera 1 identifies the position of the monitored object included in the video of the monitored area based on the position information of the monitored object. The model synthesis unit 25 of the camera 1 synthesizes the monitored object model at a specified position in the background image. The model synthesizing unit 25 outputs the model synthesizing image, which is the background image after synthesizing the monitored object model, to the encoding unit 12.
  • the encoding unit 12 of the camera 1 acquires a normal image output from the image capturing unit 11 and a model composite image output from the model composition unit 25.
  • the encoding unit 12 of the camera 1 displays a normal image in H. It is encoded by a compression format such as 264 or MPEG4, and video data showing the encoded normal video is output to the video data transmission unit 13.
  • the encoding unit 12 of the camera 1 displays the model composite image in H. It is encoded by a compression format such as 264 or MPEG4, and video data showing the encoded model composite video is output to the video data transmission unit 13.
  • the video data transmission unit 13 of the camera 1 transmits video data indicating the encoded normal video to the video processing device 3 via the network 2. Further, the video data transmission unit 13 of the camera 1 transmits video data showing the encoded model composite video to the video processing device 3 via the network 2.
  • the video output unit 27 of the video processing device 3 acquires the authority level information indicating the authority level of the observer from the operation reception unit 26.
  • the video output unit 27 determines that only the model composite video can be viewed if the supervisor's authority level is the authority level L1, and acquires video data indicating the model composite video from the video data recording unit 22. do.
  • the video output unit 27 restores the model composite video by performing decoding processing on the video data indicating the model composite video.
  • the video output unit 27 outputs the model composite video to the monitor 5.
  • the monitor 5 displays the model composite video output from the video output unit 27.
  • the video output unit 27 determines that not only the model composite video can be viewed but also the normal video can be viewed. Then, the video output unit 27 acquires video data indicating a model composite video and video data indicating a normal video from the video data recording unit 22. The video output unit 27 performs decoding processing on one or more video data among the video data showing the normal video and the video data showing the model composite video according to the setting contents of the video to be displayed, thereby performing the normal video and the normal video and the model composite video. Restore one or more of the model composite images. The video output unit 27 outputs one or more of the normal video and the model composite video to the monitor 5 according to the setting contents of the video to be displayed. The monitor 5 is the display target output from the video output unit 27. A video, that is, one or more of a normal video and a model composite video is displayed.
  • the camera 1 includes the monitoring target body detection unit 23, the model generation unit 24, and the model synthesis unit 25, the surroundings of the monitoring target body are similarly similar to the video processing device 3 shown in FIG. It is possible to protect the privacy of the monitored object without causing blurring of the image.
  • any combination of the embodiments can be freely combined, any component of the embodiment can be modified, or any component can be omitted in each embodiment.
  • This disclosure is suitable for video processing equipment, video processing methods and video surveillance systems.
  • 1,1-1 to 1-N camera 2 network, 3 video processor, 4 interface unit, 5 monitor, 11 video imaging unit, 12 encoding unit, 13 video data transmission unit, 21 video data reception unit, 22 video data Recording unit, 23 Monitoring object detection unit, 24 model generation unit, 25 model synthesis unit, 26 operation reception unit, 27 video output unit, 31 video data reception circuit, 32 video data recording circuit, 33 monitoring object detection circuit, 34 Model generation circuit, 35 model synthesis circuit, 36 operation reception circuit, 37 video output circuit, 41 memory, 42 processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

カメラ（１）により撮影された監視エリアの映像を示す映像データを受信する映像データ受信部（２１）と、映像データ受信部（２１）により受信された映像データが示す映像に含まれている監視対象体を検出する監視対象体検出部（２３）と、監視対象体検出部（２３）により検出された監視対象体を模擬した監視対象体モデルを生成するモデル生成部（２４）と、監視エリアに監視対象体が含まれていないときの監視エリアの映像である背景映像に、モデル生成部（２４）により生成された監視対象体モデルを合成するモデル合成部（２５）と、モデル合成部（２５）による監視対象体モデル合成後の映像を出力する映像出力部（２７）とを備えるように、映像処理装置（３）を構成した。

Description

映像処理装置、映像処理方法及び映像監視システム
　本開示は、映像処理装置、映像処理方法及び映像監視システムに関するものである。
　監視エリアの映像を処理する映像処理装置の中には、映像に含まれている監視対象体をマスク処理するマスク処理部を備える映像処理装置がある（例えば、特許文献１を参照）。当該マスク処理部によって、マスク処理が行われることで、監視対象体の映像がぼけた映像になり、監視対象体のプライバシーが保護される。
特開２０１９－１８６７７７号公報
　従来の映像処理装置では、監視対象体のプライバシーを保護するために、マスク処理部が、監視対象体の顔の判別が困難になるように、映像のぼけ具合いを高めると、監視対象体の映像だけでなく、監視対象体の周囲の映像まで、ぼけた映像になることがある。監視対象体の映像だけでなく、監視対象体の周囲の映像まで、ぼけた映像になると、監視対象体が、どのような所に存在しているのかが分かり難くなってしまうことがあるという課題があった。
　本開示は、上記のような課題を解決するためになされたもので、監視対象体の周囲の映像のぼけを招くことなく、監視対象体のプライバシーを保護することができる映像処理装置及び映像処理方法を得ることを目的とする。
　本開示に係る映像処理装置は、カメラにより撮影された監視エリアの映像を示す映像データを受信する映像データ受信部と、映像データ受信部により受信された映像データが示す映像に含まれている監視対象体を検出する監視対象体検出部と、監視対象体検出部により検出された監視対象体を模擬した監視対象体モデルを生成するモデル生成部と、監視エリアに監視対象体が含まれていないときの監視エリアの映像である背景映像に、モデル生成部により生成された監視対象体モデルを合成するモデル合成部と、モデル合成部による監視対象体モデル合成後の映像を出力する映像出力部とを備えるようにしたものである。
　本開示によれば、監視対象体の周囲の映像のぼけを招くことなく、監視対象体のプライバシーを保護することができる。
実施の形態１に係る映像処理装置３を含む映像監視システムを示す構成図である。 カメラ１－１～１－Ｎを示す構成図である。 実施の形態１に係る映像処理装置３を示す構成図である。 実施の形態１に係る映像処理装置３のハードウェアを示すハードウェア構成図である。 映像処理装置３が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。 実施の形態１に係る映像処理装置３の処理手順である映像処理方法を示すフローチャートである。 背景映像の一例を示す説明図である。 通常映像の一例を示す説明図である。 モデル合成映像の一例を示す説明図である。 モデル生成部２４による監視対象体モデルの生成処理を示すフローチャートである。 実施の形態２に係る映像監視システムのカメラ１－１～１－Ｎを示す構成図である。 実施の形態２に係る映像処理装置３を示す構成図である。
　以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る映像処理装置３を含む映像監視システムを示す構成図である。
　図２は、実施の形態１に係る映像監視システムのカメラ１－１～１－Ｎを示す構成図である。
　図３は、実施の形態１に係る映像処理装置３を示す構成図である。
　図４は、実施の形態１に係る映像処理装置３のハードウェアを示すハードウェア構成図である。
　カメラ１－１～１－Ｎは、ネットワーク２を介して、映像処理装置３と接続されている。Ｎは、２以上の整数である。
　カメラ１－ｎ（ｎ＝１，・・・，Ｎ）は、映像撮像部１１、エンコード部１２及び映像データ送信部１３を備えている。
　カメラ１－ｎは、監視エリアを撮影し、ネットワーク２を介して、監視エリアの映像を示す映像データを映像処理装置３に送信する。
　映像撮像部１１は、監視エリアを撮影し、監視エリアの映像をエンコード部１２に出力する。
　エンコード部１２は、映像撮像部１１から出力された映像を、Ｈ．２６４、又は、ＭＰＥＧ４等の圧縮形式によって符号化し、符号化後の映像を示す映像データを映像データ送信部１３に出力する。
　映像データ送信部１３は、ネットワーク２を介して、映像データを映像処理装置３に送信する。
　図１に示す映像監視システムでは、Ｎ台のカメラ１－１～１－Ｎが設けられている。しかし、これは一例に過ぎず、１台以上のカメラ１が設けられていればよい。以下、カメラ１－１～１－Ｎを区別しない場合、「カメラ１」のように表記する。
　ネットワーク２は、インターネット、又は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等の伝送経路であり、カメラ１から送信された映像データを映像処理装置３まで伝搬させる。
　映像処理装置３は、映像データ受信部２１、映像データ記録部２２、監視対象体検出部２３、モデル生成部２４、モデル合成部２５、操作受付部２６及び映像出力部２７を備えている。
　インタフェース部４は、例えば、キーボード、マウス、又は、タッチパネルによって実現されているマンマシンインタフェースである。
　モニタ５は、例えば、液晶ディスプレイによって実現される。
　モニタ５は、映像処理装置３から出力された映像を表示する。
　映像データ受信部２１は、例えば、図４に示す映像データ受信回路３１によって実現される。
　映像データ受信部２１は、ネットワーク２と接続されている。
　映像データ受信部２１は、カメラ１から送信された映像データを受信し、映像データを映像データ記録部２２に出力する。
　映像データ記録部２２は、例えば、図４に示す映像データ記録回路３２によって実現される。
　映像データ記録部２２は、映像データ受信部２１から出力された映像データのほか、監視エリアに監視対象体が含まれていないときの監視エリアの映像である背景映像を示す映像データを記録する。監視対象体としては、「人間」、「動物」、「自動車」、又は、「自転車」等が考えられる。
　背景映像を示す映像データは、カメラ１から送信されたものであってもよいし、カメラ１以外から与えられたものであってもよい。
　図１に示す映像監視システムでは、映像処理装置３が、映像データ記録部２２を備えている。しかし、これは一例に過ぎず、映像データ記録部２２が、映像処理装置３の外部に設けられていてもよい。
　監視対象体検出部２３は、例えば、図４に示す監視対象体検出回路３３によって実現される。
　監視対象体検出部２３は、映像データ記録部２２から、カメラ１により撮影された監視エリアの映像である通常映像を示す映像データと、背景映像を示す映像データとを取得する。
　監視対象体検出部２３は、通常映像を示す映像データに対するデコード処理を実施することによって、通常映像を復元する。
　監視対象体検出部２３は、背景映像を示す映像データに対するデコード処理を実施することによって、背景映像を復元する。
　監視対象体検出部２３は、復元した通常映像と復元した背景映像とを比較することによって、通常映像に含まれている監視対象体を検出する。
　監視対象体検出部２３は、監視対象体の映像をモデル生成部２４に出力し、背景映像をモデル合成部２５に出力し、通常映像を映像出力部２７に出力する。
　モデル生成部２４は、例えば、図４に示すモデル生成回路３４によって実現される。
　モデル生成部２４は、監視対象体検出部２３により検出された監視対象体を模擬した監視対象体モデルを生成する。
　モデル生成部２４は、監視対象体モデルをモデル合成部２５に出力する。
　モデル合成部２５は、例えば、図４に示すモデル合成回路３５によって実現される。
　モデル合成部２５は、監視対象体検出部２３から、背景映像を取得し、モデル生成部２４から、監視対象体モデルを取得する。
　モデル合成部２５は、背景映像に、モデル生成部２４により生成された監視対象体モデルを合成する。
　モデル合成部２５は、監視対象体モデル合成後の背景映像（以下「モデル合成映像」という）を映像出力部２７に出力する。
　操作受付部２６は、例えば、図４に示す操作受付回路３６によって実現される。
　操作受付部２６は、監視対象体の監視者が、監視対象体の監視を開始する前に、インタフェース部４を操作することによって、例えば、監視者に割り当てられているＩＤの入力操作を行うと、ＩＤの入力操作を受け付ける。
　操作受付部２６は、監視者に割り当てられているＩＤに基づいて、監視者の権限レベルを確認する。
　操作受付部２６は、監視者の権限レベルを示す権限レベル情報を映像出力部２７に出力する。
　映像出力部２７は、例えば、図４に示す映像出力回路３７によって実現される。
　映像出力部２７は、操作受付部２６から出力された権限レベル情報を取得し、権限レベル情報から、監視者が有している権限を確認する。
　映像出力部２７は、監視者が、モデル合成映像のみを閲覧する権限を有していれば、モデル合成部２５から、モデル合成映像を取得し、モデル合成映像をモニタ５に出力する。
　映像出力部２７は、監視者が、モデル合成映像の閲覧だけでなく、通常映像についても閲覧する権限を有していれば、モデル合成部２５から、モデル合成映像を取得し、監視対象体検出部２３から、通常映像を取得する。
　映像出力部２７は、通常映像及びモデル合成映像のうち、１つ以上の映像をモニタ５に出力する。
　図３では、映像処理装置３の構成要素である映像データ受信部２１、映像データ記録部２２、監視対象体検出部２３、モデル生成部２４、モデル合成部２５、操作受付部２６及び映像出力部２７のそれぞれが、図４に示すような専用のハードウェアによって実現されるものを想定している。即ち、映像処理装置３が、映像データ受信回路３１、映像データ記録回路３２、監視対象体検出回路３３、モデル生成回路３４、モデル合成回路３５、操作受付回路３６及び映像出力回路３７によって実現されるものを想定している。
　ここで、映像データ記録回路３２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいは、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）が該当する。
　映像データ受信回路３１、監視対象体検出回路３３、モデル生成回路３４、モデル合成回路３５、操作受付回路３６及び映像出力回路３７のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。
　映像処理装置３の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、映像処理装置３が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
　ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）が該当する。
　図５は、映像処理装置３が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
　映像処理装置３が、ソフトウェア又はファームウェア等によって実現される場合、映像データ記録部２２がコンピュータのメモリ４１上に構成される。映像データ受信部２１、監視対象体検出部２３、モデル生成部２４、モデル合成部２５、操作受付部２６及び映像出力部２７におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムがメモリ４１に格納される。そして、コンピュータのプロセッサ４２がメモリ４１に格納されているプログラムを実行する。
　また、図４では、映像処理装置３の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図５では、映像処理装置３がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、映像処理装置３における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
　次に、図１に示す映像監視システムの動作について説明する。
　図６は、実施の形態１に係る映像処理装置３の処理手順である映像処理方法を示すフローチャートである。
　監視対象体の監視者が、監視対象体の監視を開始する前に、監視エリアに監視対象体が含まれていないときに、カメラ１を操作することによって、カメラ１に監視エリアを撮影させる。
　カメラ１は、ネットワーク２を介して、監視エリアに監視対象体が含まれていないときの監視エリアの映像である背景映像を示す映像データを映像処理装置３に送信する。
　図７は、背景映像の一例を示す説明図である。
　なお、カメラ１が、監視対象体が含まれていないときの監視エリアを定期的に撮影することによって、背景映像を更新するようにしてもよい。
　映像処理装置３の映像データ受信部２１は、カメラ１から送信された背景映像を示す映像データを受信する。
　映像データ受信部２１は、背景映像を示す映像データを映像データ記録部２２に出力する。
　映像データ記録部２２は、背景映像を示す映像データを記録する。
　監視対象体の監視者が、監視対象体の監視を開始する前に、インタフェース部４を操作することによって、例えば、監視者に割り当てられているＩＤの入力操作を行うと、操作受付部２６は、ＩＤの入力操作を受け付ける。
　操作受付部２６は、監視者に割り当てられているＩＤに基づいて、監視対象体の監視者の権限レベルを確認する。
　図１に示す映像監視システムでは、監視者の権限レベルが、例えば、権限レベルＬ０、権限レベルＬ１及び権限レベルＬ２の３つに分類されているものとする。
　権限レベルＬ０は、監視者が、モデル合成映像及び通常映像の全てを閲覧する権限を有しないレベルである。
　権限レベルＬ１は、監視者が、モデル合成映像のみの閲覧が可能であり、通常映像を閲覧する権限を有しないレベルである。
　権限レベルＬ２は、監視者が、モデル合成映像の閲覧だけでなく、通常映像についても閲覧する権限を有するレベルである。
　操作受付部２６は、監視者の権限レベルを示す権限レベル情報を映像出力部２７に出力する。
　カメラ１は、監視中に、監視エリアを撮影する。
　カメラ１は、ネットワーク２を介して、監視エリアの映像である通常映像を示す映像データを映像処理装置３に送信する。
　図８は、通常映像の一例を示す説明図である。
　図８の例では、監視対象体として、人間及び自動車のそれぞれが、通常映像に含まれている。
　映像処理装置３の映像データ受信部２１は、カメラ１から送信された通常映像を示す映像データを受信する（図６のステップＳＴ１）。
　映像データ受信部２１は、通常映像を示す映像データを映像データ記録部２２に出力する。
　映像データ記録部２２は、通常映像を示す映像データを記録する。
　監視対象体検出部２３は、映像データ記録部２２から、背景映像を示す映像データと、通常映像を示す映像データとを取得する。
　監視対象体検出部２３は、背景映像を示す映像データに対するデコード処理を実施することによって、背景映像を復元する。
　監視対象体検出部２３は、通常映像を示す映像データに対するデコード処理を実施することによって、通常映像を復元する。
　監視対象体検出部２３は、復元した背景映像と、復元した通常映像とを比較することによって、通常映像に含まれている監視対象体を検出する（図６のステップＳＴ２）。通常映像に含まれている監視対象体は、背景映像と、通常映像との差分である。
　監視対象体検出部２３は、検出した監視対象体の映像をモデル生成部２４に出力し、復元した通常映像を映像出力部２７に出力する。
　また、監視対象体検出部２３は、復元した背景映像をモデル合成部２５に出力する。
　図１に示す映像監視システムでは、監視対象体検出部２３が、背景映像と通常映像とを比較することによって、監視対象体を検出している。しかし、これは一例に過ぎず、監視対象体検出部２３が、“ＯｐｅｎＣＶ”又は“Ｔｅｎｓｏｒｆｌｏｗ”等の公知の画像解析処理を実施することによって、通常映像から監視対象体を検出するようにしてもよい。
　モデル生成部２４は、監視対象体検出部２３から、監視対象体の映像を取得する。
　モデル生成部２４は、監視対象体を模擬した監視対象体モデルを生成する（図６のステップＳＴ３）。監視対象体モデルは、２Ｄ（Ｄｉｍｅｎｓｉｏｎｓ）のモデルでもよいし、３Ｄのモデルでもよい。
　モデル生成部２４は、監視対象体モデルをモデル合成部２５に出力する。
　以下、モデル生成部２４による監視対象体モデルの生成処理を具体的に説明する。
　図１０は、モデル生成部２４による監視対象体モデルの生成処理を示すフローチャートである。
　モデル生成部２４は、“ＯｐｅｎＣＶ”又は“Ｔｅｎｓｏｒｆｌｏｗ”等の公知の画像解析処理を実施することによって、監視対象体の種類を識別する（図１０のステップＳＴ１１）。
　即ち、モデル生成部２４は、監視対象体が、例えば、「人間」、「動物」、「自動車」、又は、「自転車」であるのかを識別する。
　モデル生成部２４の内部メモリには、例えば、人間を模擬した監視対象体モデルの基本モデル、動物を模擬した監視対象体モデルの基本モデル、自動車を模擬した監視対象体モデルの基本モデル、自転車を模擬した監視対象体モデルの基本モデルが記憶されている。
　モデル生成部２４は、監視対象体の種類の識別結果に基づいて、内部メモリに記憶されている複数の基本モデルの中から、監視対象体の種類に対応する基本モデルを選択する（図１０のステップＳＴ１２）。
　即ち、モデル生成部２４は、例えば、監視対象体が「人間」であると識別すれば、人間を模擬した監視対象体モデルの基本モデルを選択し、例えば、監視対象体が「自動車」であると識別すれば、自動車を模擬した監視対象体モデルの基本モデルを選択する。
　モデル生成部２４は、公知の画像解析処理を実施することによって、監視対象体の特徴を抽出する（図１０のステップＳＴ１３）。
　即ち、モデル生成部２４は、例えば、監視対象体が「人間」であると識別すれば、監視対象体の特徴として、人間の身長、体格、服装の種類、又は、服装の色等を抽出する。服装の種類としては、ズボン、スカート、又は、和服等が考えられる。また、モデル生成部２４は、監視対象体の特徴として、人間の位置を抽出する。人間の位置は、監視エリアの映像において、人間が映っている領域の座標である。
　モデル生成部２４は、例えば、監視対象体が「自動車」であると識別すれば、監視対象体の特徴として、自動車の全長、車幅、車高、又は、色等を抽出する。また、モデル生成部２４は、監視対象体の特徴として、自動車の位置を抽出する。自動車の位置は、監視エリアの映像において、自動車が映っている領域の座標である。
　モデル生成部２４は、監視対象体の特徴に応じて、選択した基本モデルをカスタマイズする（図１０のステップＳＴ１４）。
　即ち、モデル生成部２４は、例えば、監視対象体が「人間」であると識別すれば、抽出した人間の身長及び体格に応じて、基本モデルの大きさを調整する。また、モデル生成部２４は、抽出した服装の種類に応じて、基本モデルが身に着けている服装を変更し、抽出した服装の色に応じて、基本モデルが身に着けている服装の色を変更する。
　モデル生成部２４は、例えば、監視対象体が「自動車」であると識別すれば、抽出した自動車の全長、車幅及び車高に応じて、基本モデルの大きさを調整する。また、モデル生成部２４は、抽出した自動車の色に応じて、基本モデルの色を変更する。
　モデル生成部２４は、監視対象体モデルとして、カスタマイズ後の基本モデルをモデル合成部２５に出力する。
　また、モデル生成部２４は、監視対象体の位置を示す位置情報をモデル合成部２５に出力する。
　図１に示す映像監視システムでは、モデル生成部２４が、監視対象体の種類を識別することによって、監視対象体モデルの基本モデルを選択し、監視対象体の特徴に応じて、選択した基本モデルをカスタマイズしている。
　しかし、これは一例に過ぎず、モデル生成部２４が、監視対象体の特徴から、監視対象体の形状を推定し、推定した形状を有する監視対象体モデルを生成するようにしてもよい。
　監視対象体に対する監視対象体モデルの再現度についての設定内容は、例えば、操作受付部２６が、受け付けるようにしてもよい。この場合、モデル生成部２４は、設定内容に応じた再現度で監視対象体モデルを生成する。
　また、監視対象体が「人間」であり、モデル生成部２４が、監視対象体の特徴として、監視対象体の性別を抽出することができれば、モデル生成部２４が、監視対象体の性別に応じて、監視対象体モデルを色分けするようにしてもよい。
　モデル合成部２５は、監視対象体検出部２３から、背景映像を取得する。
　モデル合成部２５は、モデル生成部２４から、監視対象体モデル及び監視対象体の位置情報のそれぞれを取得する。
　モデル合成部２５は、監視対象体の位置情報に基づいて、監視エリアの映像に含まれている監視対象体の位置を特定する。
　モデル合成部２５は、背景映像の中の特定した位置に監視対象体モデルを合成する（図６のステップＳＴ４）。背景映像に監視対象体モデルを合成する処理自体は、公知の技術であるため詳細な説明を省略する。
　モデル合成部２５は、監視対象体モデル合成後の背景映像であるモデル合成映像を映像出力部２７に出力する。
　図９は、モデル合成映像の一例を示す説明図である。
　図９の例では、モデル合成映像として、人間を模擬した監視対象体モデルと、自動車を模擬した監視対象体モデルとを含む映像が表されている。図９の例では、自動車を模擬した監視対象体モデルの再現度が、人間を模擬した監視対象体モデルの再現度よりも高くなっている。
　即ち、自動車を模擬した監視対象体モデルと監視対象体である自動車との類似度が、人間を模擬した監視対象体モデルと監視対象体である人間との類似度よりも高くなっている。
　モデル合成部２５によって、監視対象体モデルが背景映像に合成される場合、監視対象体がマスク処理される場合と異なり、監視対象体モデルの周囲の映像がぼけることがない。したがって、監視対象体が、どのような所に存在しているのかが分かり難くなってしまうことがない。
　監視対象体が、どのような所に存在しているのかが分からなくなると、監視者は、監視対象体が不審な行動をしていても、不審な行動をしているか否かを判別することができない。しかし、監視対象体が、どのような所に存在しているのかが分かれば、監視者は、監視対象体が不審な行動をしているか否かを判別できることがある。
　映像出力部２７は、操作受付部２６から、監視者の権限レベルを示す権限レベル情報を取得する。
　映像出力部２７は、監視者の権限レベルが、権限レベルＬ０であれば（図６のステップＳＴ５：ＹＥＳの場合）、モデル合成映像及び通常映像の全てを閲覧できないと判断し、モデル合成映像及び通常映像の双方をモニタ５に出力しない。
　映像出力部２７は、監視者の権限レベルが、権限レベルＬ１であれば（図６のステップＳＴ５：ＮＯ、かつ、ステップＳＴ６：ＹＥＳの場合）、モデル合成映像のみの閲覧が可能であると判断し、モデル合成部２５から、モデル合成映像を取得する。
　映像出力部２７は、モデル合成映像をモニタ５に出力する（図６のステップＳＴ７）。
　モニタ５は、映像出力部２７から出力されたモデル合成映像を表示する。
　映像出力部２７は、監視者の権限レベルが、権限レベルＬ２であれば（図６のステップＳＴ６：ＮＯの場合）、モデル合成映像の閲覧だけでなく、通常映像についても閲覧が可能であると判断する。
　そして、映像出力部２７は、モデル合成部２５から、モデル合成映像を取得し、監視対象体検出部２３から、通常映像を取得する。
　映像出力部２７は、表示対象の映像の設定内容に従って、通常映像及びモデル合成映像のうち、１つ以上の映像をモニタ５に出力する（図６のステップＳＴ８）。
　具体的には、映像出力部２７は、表示対象の映像が、通常映像に設定されていれば、通常映像をモニタ５に出力し、表示対象の映像が、モデル合成映像に設定されていれば、モデル合成映像をモニタ５に出力する。
　また、映像出力部２７は、表示対象の映像が、通常映像及びモデル合成映像の双方であれば、通常映像及びモデル合成映像の双方をモニタ５に出力する。なお、監視者がインタフェース部４を操作することで、表示対象の映像を設定することができ、表示対象の映像の設定内容は、操作受付部２６によって受け付けられる。
　モニタ５は、映像出力部２７から出力された表示対象の映像、即ち、通常映像及びモデル合成映像のうち、１つ以上の映像を表示する。
　表示対象の映像に通常映像が含まれている場合、監視対象体のプライバシーが保護されなくなる。したがって、通常は、表示対象の映像に通常映像が含まれないように設定される運用が想定される。しかし、監視対象体のプライバシーを保護するよりも、監視対象体を特定する必要がある場合、表示対象の映像に通常映像が含まれるように設定されることがある。
　以上の実施の形態１では、カメラ１により撮影された監視エリアの映像を示す映像データを受信する映像データ受信部２１と、映像データ受信部２１により受信された映像データが示す映像に含まれている監視対象体を検出する監視対象体検出部２３と、監視対象体検出部２３により検出された監視対象体を模擬した監視対象体モデルを生成するモデル生成部２４と、監視エリアに監視対象体が含まれていないときの監視エリアの映像である背景映像に、モデル生成部２４により生成された監視対象体モデルを合成するモデル合成部２５と、モデル合成部２５による監視対象体モデル合成後の映像を出力する映像出力部２７とを備えるように、映像処理装置３を構成した。したがって、映像処理装置３は、監視対象体の周囲の映像のぼけを招くことなく、監視対象体のプライバシーを保護することができる。
　図１に示す映像監視システムでは、映像出力部２７が、監視者の権限レベルに基づいて、閲覧が可能な映像がモデル合成映像のみであるのか、モデル合成映像及び通常映像の双方であるのかを判断している。そして、映像出力部２７が、当該判断に基づいて、いずれかの映像をモニタ５に出力している。
　しかし、これは一例に過ぎず、例えば、表示対象の映像がモデル合成映像に設定されていれば、映像出力部２７が、モデル合成映像をモニタ５に出力し、表示対象の映像が通常映像に設定されていれば、映像出力部２７が、通常映像をモニタ５に出力するようにしてもよい。表示対象の映像の設定は、操作受付部２６が受け付けることができる。
　図１に示す映像監視システムでは、監視者の権限レベルが、権限レベルＬ２であり、表示対象の映像に通常映像が含まれていれば、映像出力部２７が、映像データ記録部２２に記録されている映像データから復元された通常映像をモニタ５に出力している。しかし、これは一例に過ぎず、映像出力部２７が、映像データ受信部２１により受信された映像データから、リアルタイムの映像として、通常映像を復元し、当該通常映像をモニタ５に出力するようにしてもよい。
　図１に示す映像監視システムでは、監視対象体検出部２３が、映像データ記録部２２に記録されている映像データから復元した通常映像に含まれている監視対象体を検出している。しかし、これは一例に過ぎず、監視対象体検出部２３が、映像データ受信部２１により受信された映像データから、リアルタイムの映像を復元し、リアルタイムの映像に含まれている監視対象体を検出するようにしてもよい。
　図１に示す映像監視システムでは、モデル合成部２５が、モデル合成映像を映像出力部２７に出力するようにしている。しかし、これは一例に過ぎず、モデル合成部２５が、モデル合成映像を映像データ記録部２２に出力して、映像データ記録部２２が、モデル合成映像を記録し、映像出力部２７が、映像データ記録部２２により記録されているモデル合成映像をモニタ５に出力するようにしてもよい。
実施の形態２．
　実施の形態２では、カメラ１が、監視対象体検出部２３、モデル生成部２４及びモデル合成部２５を含んでいる映像監視システムについて説明する。
　実施の形態２に係る映像監視システムの構成は、実施の形態１に係る映像監視システムの構成と同様であり、実施の形態２に係る映像監視システムを示す構成図は、図１である。
　図１１は、実施の形態２に係る映像監視システムのカメラ１－１～１－Ｎを示す構成図である。
　図１１に示すカメラ１は、映像撮像部１１、エンコード部１２及び映像データ送信部１３のほかに、監視対象体検出部２３、モデル生成部２４及びモデル合成部２５を備えている。
　図１２は、実施の形態２に係る映像処理装置３を示す構成図である。
　図１２に示す映像処理装置３は、映像データ受信部２１、映像データ記録部２２、操作受付部２６及び映像出力部２７を備えている。
　次に、実施の形態２に係る映像監視システムの動作について説明する。
　カメラ１の映像撮像部１１は、監視エリアに監視対象体が含まれていないときに、監視エリアを撮影する。
　映像撮像部１１は、監視エリアに監視対象体が含まれていないときの監視エリアの映像である背景映像を監視対象体検出部２３に出力する。
　また、映像撮像部１１は、監視中に、監視エリアを撮影し、監視エリアの映像である通常映像を監視対象体検出部２３及びエンコード部１２のそれぞれに出力する。
　カメラ１の監視対象体検出部２３は、図３に示す監視対象体検出部２３と概ね同様の処理を実施する。
　即ち、カメラ１の監視対象体検出部２３は、映像撮像部１１から出力された背景映像と通常映像とを比較することによって、監視エリアの映像に含まれている監視対象体を検出する。
　カメラ１の監視対象体検出部２３は、検出した監視対象体の映像をモデル生成部２４に出力し、背景映像をモデル合成部２５に出力する。
　カメラ１のモデル生成部２４は、図３に示すモデル生成部２４と概ね同様の処理を実施する。
　即ち、カメラ１のモデル生成部２４は、監視対象体検出部２３から、監視対象体の映像を取得する。
　カメラ１のモデル生成部２４は、監視対象体を模擬した監視対象体モデルを生成し、監視対象体モデルをモデル合成部２５に出力する。
　また、カメラ１のモデル生成部２４は、監視対象体の位置を示す位置情報をモデル合成部２５に出力する。
　カメラ１のモデル合成部２５は、図３に示すモデル合成部２５と概ね同様の処理を実施する。
　即ち、カメラ１のモデル合成部２５は、監視対象体検出部２３から、背景映像を取得する。
　カメラ１のモデル合成部２５は、モデル生成部２４から、監視対象体モデル及び監視対象体の位置情報のそれぞれを取得する。
　カメラ１のモデル合成部２５は、監視対象体の位置情報に基づいて、監視エリアの映像に含まれている監視対象体の位置を特定する。
　カメラ１のモデル合成部２５は、背景映像の中の特定した位置に監視対象体モデルを合成する。
　モデル合成部２５は、監視対象体モデル合成後の背景映像であるモデル合成映像をエンコード部１２に出力する。
　カメラ１のエンコード部１２は、映像撮像部１１から出力された通常映像と、モデル合成部２５から出力されたモデル合成映像とを取得する。
　カメラ１のエンコード部１２は、通常映像を、Ｈ．２６４、又は、ＭＰＥＧ４等の圧縮形式によって符号化し、符号化後の通常映像を示す映像データを映像データ送信部１３に出力する。
　カメラ１のエンコード部１２は、モデル合成映像を、Ｈ．２６４、又は、ＭＰＥＧ４等の圧縮形式によって符号化し、符号化後のモデル合成映像を示す映像データを映像データ送信部１３に出力する。
　カメラ１の映像データ送信部１３は、ネットワーク２を介して、符号化後の通常映像を示す映像データを映像処理装置３に送信する。
　また、カメラ１の映像データ送信部１３は、ネットワーク２を介して、符号化後のモデル合成映像を示す映像データを映像処理装置３に送信する。
　映像処理装置３の映像データ受信部２１は、カメラ１から送信された通常映像を示す映像データを受信し、受信した映像データを映像データ記録部２２に出力する。
　また、映像処理装置３の映像データ受信部２１は、カメラ１から送信されたモデル合成映像を示す映像データを受信し、受信した映像データを映像データ記録部２２に出力する。
　映像処理装置３の映像データ記録部２２は、通常映像を示す映像データを記録し、モデル合成映像を示す映像データを記録する。
　映像処理装置３の映像出力部２７は、操作受付部２６から、監視者の権限レベルを示す権限レベル情報を取得する。
　映像出力部２７は、監視者の権限レベルが、権限レベルＬ１であれば、モデル合成映像のみの閲覧が可能であると判断し、映像データ記録部２２から、モデル合成映像を示す映像データを取得する。
　映像出力部２７は、モデル合成映像を示す映像データに対するデコード処理を実施することによって、モデル合成映像を復元する。
　映像出力部２７は、モデル合成映像をモニタ５に出力する。
　モニタ５は、映像出力部２７から出力されたモデル合成映像を表示する。
　映像出力部２７は、監視者の権限レベルが、権限レベルＬ２であれば、モデル合成映像の閲覧だけでなく、通常映像についても閲覧が可能であると判断する。
　そして、映像出力部２７は、映像データ記録部２２から、モデル合成映像を示す映像データと、通常映像を示す映像データとを取得する。
　映像出力部２７は、表示対象の映像の設定内容に従って、通常映像を示す映像データ及びモデル合成映像を示す映像データのうち、１つ以上の映像データに対するデコード処理を実施することによって、通常映像及びモデル合成映像のうち、１つ以上の映像を復元する。
　映像出力部２７は、表示対象の映像の設定内容に従って、通常映像及びモデル合成映像のうち、１つ以上の映像をモニタ５に出力する
　モニタ５は、映像出力部２７から出力された表示対象の映像、即ち、通常映像及びモデル合成映像のうち、１つ以上の映像を表示する。
　以上より、カメラ１が、監視対象体検出部２３、モデル生成部２４及びモデル合成部２５を含んでいる映像監視システムでも、図３に示す映像処理装置３と同様に、監視対象体の周囲の映像のぼけを招くことなく、監視対象体のプライバシーを保護することができる。
　なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　本開示は、映像処理装置、映像処理方法及び映像監視システムに適している。
　１，１－１～１－Ｎ　カメラ、２　ネットワーク、３　映像処理装置、４　インタフェース部、５　モニタ、１１　映像撮像部、１２　エンコード部、１３　映像データ送信部、２１　映像データ受信部、２２　映像データ記録部、２３　監視対象体検出部、２４　モデル生成部、２５　モデル合成部、２６　操作受付部、２７　映像出力部、３１　映像データ受信回路、３２　映像データ記録回路、３３　監視対象体検出回路、３４　モデル生成回路、３５　モデル合成回路、３６　操作受付回路、３７　映像出力回路、４１　メモリ、４２　プロセッサ。

Claims (6)

  1. 　カメラにより撮影された監視エリアの映像を示す映像データを受信する映像データ受信部と、
    　前記映像データ受信部により受信された映像データが示す映像に含まれている監視対象体を検出する監視対象体検出部と、
    　前記監視対象体検出部により検出された監視対象体を模擬した監視対象体モデルを生成するモデル生成部と、
    　前記監視エリアに前記監視対象体が含まれていないときの前記監視エリアの映像である背景映像に、前記モデル生成部により生成された監視対象体モデルを合成するモデル合成部と、
    　前記モデル合成部による監視対象体モデル合成後の映像を出力する映像出力部と
    　を備えた映像処理装置。
  2. 　前記モデル生成部は、
    　前記監視対象体検出部により検出された監視対象体の種類を識別し、前記監視対象体の種類の識別結果に基づいて、互いに異なる複数の監視対象体モデルにおけるそれぞれの基本モデルの中から、前記監視対象体を模擬した基本モデルを選択し、
    　前記監視対象体の特徴を抽出し、前記監視対象体の特徴に基づいて、選択した基本モデルをカスタマイズし、前記監視対象体を模擬した監視対象体モデルとして、カスタマイズ後の基本モデルを前記モデル合成部に出力することを特徴とする請求項１記載の映像処理装置。
  3. 　前記映像出力部は、前記監視対象体の監視者が、前記モデル合成部による監視対象体モデル合成後の映像であるモデル合成映像を閲覧する権限を有している場合に限り、前記モデル合成映像を出力することを特徴とする請求項１記載の映像処理装置。
  4. 　映像データ受信部が、カメラにより撮影された監視エリアの映像を示す映像データを受信し、
    　監視対象体検出部が、前記映像データ受信部により受信された映像データが示す映像に含まれている監視対象体を検出し、
    　モデル生成部が、前記監視対象体検出部により検出された監視対象体を模擬した監視対象体モデルを生成し、
    　モデル合成部が、前記監視エリアに前記監視対象体が含まれていないときの前記監視エリアの映像である背景映像に、前記モデル生成部により生成された監視対象体モデルを合成し、
    　映像出力部が、前記モデル合成部による監視対象体モデル合成後の映像を出力する
    　映像処理方法。
  5. 　監視エリアを撮影し、前記監視エリアの映像を示す映像データを送信するカメラと、
    　前記カメラから送信された映像データを受信する映像データ受信部と、
    　前記映像データ受信部により受信された映像データが示す映像に含まれている監視対象体を検出する監視対象体検出部と、
    　前記監視対象体検出部により検出された監視対象体を模擬した監視対象体モデルを生成するモデル生成部と、
    　前記監視エリアに前記監視対象体が含まれていないときの前記監視エリアの映像である背景映像に、前記モデル生成部により生成された監視対象体モデルを合成するモデル合成部と、
    　前記モデル合成部による監視対象体モデル合成後の映像を出力する映像出力部と、
    　前記映像出力部から出力された監視対象体モデル合成後の映像を表示するモニタと
    　を備えた映像監視システム。
  6. 　前記カメラは、前記監視対象体検出部、前記モデル生成部及び前記モデル合成部を含んでおり、前記監視エリアの映像を示す映像データのほかに、前記モデル合成部による監視対象体モデル合成後の映像を示す映像データを送信し、
    　前記映像データ受信部は、前記カメラから送信された前記監視エリアの映像を示す映像データを受信して、当該映像データが示す前記監視エリアの映像を前記映像出力部に出力し、前記カメラから送信された監視対象体モデル合成後の映像を示す映像データを受信して、当該映像データが示す監視対象体モデル合成後の映像を前記映像出力部に出力することを特徴とする請求項５記載の映像監視システム。
PCT/JP2020/037820 2020-10-06 2020-10-06 映像処理装置、映像処理方法及び映像監視システム WO2022074726A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/037820 WO2022074726A1 (ja) 2020-10-06 2020-10-06 映像処理装置、映像処理方法及び映像監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/037820 WO2022074726A1 (ja) 2020-10-06 2020-10-06 映像処理装置、映像処理方法及び映像監視システム

Publications (1)

Publication Number Publication Date
WO2022074726A1 true WO2022074726A1 (ja) 2022-04-14

Family

ID=81126708

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/037820 WO2022074726A1 (ja) 2020-10-06 2020-10-06 映像処理装置、映像処理方法及び映像監視システム

Country Status (1)

Country Link
WO (1) WO2022074726A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286468A (ja) * 2004-03-29 2005-10-13 Mitsubishi Electric Corp マスキング機能付き監視システムおよびカメラ、並びに該カメラとともに用いられるマスク解除装置
WO2008078624A1 (ja) * 2006-12-22 2008-07-03 Panasonic Corporation 映像出力装置
JP2017046196A (ja) * 2015-08-27 2017-03-02 キヤノン株式会社 画像情報生成装置、画像情報生成方法、画像処理システム及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286468A (ja) * 2004-03-29 2005-10-13 Mitsubishi Electric Corp マスキング機能付き監視システムおよびカメラ、並びに該カメラとともに用いられるマスク解除装置
WO2008078624A1 (ja) * 2006-12-22 2008-07-03 Panasonic Corporation 映像出力装置
JP2017046196A (ja) * 2015-08-27 2017-03-02 キヤノン株式会社 画像情報生成装置、画像情報生成方法、画像処理システム及びプログラム

Similar Documents

Publication Publication Date Title
CN107223332B (zh) 基于声学相机的音频视觉场景分析
JP6732522B2 (ja) 画像処理装置、画像処理方法およびプログラム
US8558889B2 (en) Method and system for security system tampering detection
JP2010136032A (ja) 映像監視システム
JP6882868B2 (ja) 画像処理装置、画像処理方法、システム
JP2019092076A (ja) 画像処理装置、画像処理方法、及びプログラム
IL249739A (en) Secure video acquisition and verification system and method
US9436894B2 (en) Image alignment apparatus and image alignment method of using the same
Visentini-Scarzanella et al. Video jitter analysis for automatic bootleg detection
CN112215037B (zh) 对象追踪方法及装置、电子设备及计算机可读存储介质
JP2021530823A (ja) ニューラルネットワークのトレーニング方法、視線追跡方法及び装置並びに電子機器
JP2023539865A (ja) リアルタイムなクロススペクトルオブジェクトの関連付け及び深度推定
JP2005515733A (ja) 画像撮影システムにおいて画像エラーを識別ないし表示するための方法と装置
KR20170083256A (ko) 뎁스 영상 기반 감시 영상 제공 장치 및 방법
WO2022074726A1 (ja) 映像処理装置、映像処理方法及び映像監視システム
JP2007172378A (ja) 注視対象物体特定装置
JP2004054442A (ja) 顔検出装置、顔検出方法および顔検出プログラム
US10282633B2 (en) Cross-asset media analysis and processing
WO2020022362A1 (ja) 動き検出装置、特性検出装置、流体検出装置、動き検出システム、動き検出方法、プログラム、および、記録媒体
Sanjana et al. Real-Time Piracy Detection Based on Thermogram Analysis and Machine Learning Techniques
JP2010225092A (ja) 画像処理装置、及び画像処理システム
JP6912970B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP2008146132A (ja) 画像検出装置、プログラム及び画像検出方法
JP6780639B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
Kim et al. AR timewarping: A temporal synchronization framework for real-Time sensor fusion in head-mounted displays

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20956675

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20956675

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP