WO2024038517A1 - 映像処理システム、映像処理方法、及び画質制御装置 - Google Patents

映像処理システム、映像処理方法、及び画質制御装置 Download PDF

Info

Publication number
WO2024038517A1
WO2024038517A1 PCT/JP2022/031076 JP2022031076W WO2024038517A1 WO 2024038517 A1 WO2024038517 A1 WO 2024038517A1 JP 2022031076 W JP2022031076 W JP 2022031076W WO 2024038517 A1 WO2024038517 A1 WO 2024038517A1
Authority
WO
WIPO (PCT)
Prior art keywords
image quality
video
area
control device
quality control
Prior art date
Application number
PCT/JP2022/031076
Other languages
English (en)
French (fr)
Inventor
勇人 逸身
浩一 二瓶
フロリアン バイエ
勝彦 高橋
康敬 馬場崎
隆平 安藤
君 朴
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/031076 priority Critical patent/WO2024038517A1/ja
Publication of WO2024038517A1 publication Critical patent/WO2024038517A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding

Definitions

  • the present disclosure relates to a video processing system, a video processing method, and an image quality control device.
  • a device installed at the site determines the area of interest, lowers the image quality of areas other than the area, and transmits the video to the means for analysis.
  • Patent Document 1 is known as a related technology.
  • Patent Document 1 describes a technique for transmitting video in a device that transmits video via a network so as to improve the image quality of an area watched by a viewer.
  • the amount of video data to be transmitted can be reduced to a certain extent by suppressing the image quality of areas other than the gaze area.
  • the image quality of the gaze area is always kept high, so it may not be possible to appropriately reduce the amount of data. For example, when there are many regions of interest, there are few regions where image quality can be degraded, making it difficult to reduce the amount of data.
  • the overall image quality of the video is lowered, the amount of data will be reduced, but there is a risk that the recognition rate will be lowered at the receiving end.
  • the present disclosure aims to provide a video processing system, a video processing method, and an image quality control device that can appropriately control the amount of video data.
  • a video processing system includes an image quality control device and a detection device, and the image quality control device includes an image quality control unit that controls the image quality of each area of the video, and a video processing system that controls the quality of the video.
  • a transmitting means for transmitting information to a detecting device, the detecting device notifying the image quality control device of the detection result of the detecting means;
  • the image quality control device further includes determining means for determining the image quality of each area of the video controlled by the image quality control means, according to the detection result notified from the notification means. be.
  • a video processing method is a video processing method in a video processing system including an image quality control device and a detection device, wherein the image quality control device controls the image quality of each region of the video, and controls the image quality of each region of the video.
  • transmits the controlled video to the detection device the detection device detects information regarding the object in the transmitted video, notifies the image quality control device of the detected detection result, and controls the image quality control.
  • the apparatus determines the image quality of each region of the video to be controlled according to the notified detection result.
  • An image quality control device includes: an image quality control unit that controls the image quality of each region of an image; and a transmission unit that transmits the image whose image quality has been controlled to a detection device that detects information about an object in the image. , determining means for determining the image quality of each region of the image controlled by the image quality control means, according to the detection result notified from the detection device.
  • FIG. 1 is a configuration diagram showing an overview of a video processing system according to an embodiment.
  • FIG. 1 is a configuration diagram showing an overview of an image quality control device according to an embodiment.
  • FIG. 1 is a configuration diagram showing an overview of a detection device according to an embodiment.
  • 1 is a configuration diagram showing an overview of a video processing system according to an embodiment.
  • FIG. 1 is a diagram for explaining an overview of a video processing method according to an embodiment.
  • FIG. 1 is a configuration diagram showing the basic configuration of a remote monitoring system according to an embodiment.
  • 1 is a configuration diagram showing a configuration example of a terminal according to Embodiment 1.
  • FIG. 1 is a configuration diagram showing an example configuration of a center server according to Embodiment 1.
  • FIG. 3 is a flowchart illustrating an example of the operation of the remote monitoring system according to the first embodiment. 7 is a flowchart illustrating an operation example of sharpening area switching processing according to the first embodiment.
  • FIG. 3 is a diagram for explaining video acquisition processing according to the first embodiment.
  • FIG. 3 is a diagram for explaining object detection processing according to the first embodiment.
  • FIG. 3 is a diagram for explaining sharpening region determination processing according to the first embodiment.
  • FIG. 3 is a diagram for explaining sharpening area switching processing according to the first embodiment.
  • FIG. 3 is a diagram for explaining sharpening area switching processing according to the first embodiment.
  • FIG. 2 is a configuration diagram showing a configuration example of a terminal according to Embodiment 2.
  • FIG. 2 is a configuration diagram showing a configuration example of a center server according to a second embodiment.
  • FIG. 7 is a configuration diagram showing a configuration example of a terminal according to Embodiment 3;
  • FIG. 7 is a configuration diagram showing a configuration example of a center server according to Embodiment 3;
  • FIG. 1 is a configuration diagram showing an overview of the hardware of a computer according to an embodiment.
  • FIG. 1 shows a schematic configuration of a video processing system 30 according to an embodiment.
  • the video processing system 30 is applicable to, for example, a remote monitoring system that transmits on-site video via a network and monitors the transmitted video.
  • the video processing system 30 includes an image quality control device 10 and a detection device 20.
  • the image quality control device 10 is a device that controls the image quality of images shot at the scene.
  • the detection device 20 is a device that detects objects and the like from a video whose image quality is controlled by the image quality control device 10.
  • the image quality control device 10 may be used as a terminal, and the detection device 20 may be used as a server.
  • the image quality control device 10 or the detection device 20 may be implemented on the cloud using virtualization technology or the like.
  • FIG. 2 shows a schematic configuration of the image quality control device 10
  • FIG. 3 shows a schematic configuration of the detection device 20.
  • the image quality control device 10 includes an image quality control section 11, a transmitting section 12, and a determining section 13.
  • the image quality control unit 11 controls the image quality of each area of the video.
  • the video includes an object such as a person performing work or a work object used by the person during work, and the image quality control unit 11 controls the image quality of a region including the object.
  • the image quality control unit 11 may sharpen a region containing an object, or may sharpen a region containing an object selected according to predetermined conditions. That is, the image quality of the area including the object may be made higher than that of other areas, and the image quality of the other areas may be made lower.
  • the transmitter 12 transmits the quality-controlled video to the detection device 20 via the network.
  • the detection device 20 includes a detection section 21 and a notification section 22.
  • the detection unit 21 receives the video transmitted from the transmission unit 12 and detects information regarding an object in the received video. For example, the detection unit 21 may detect an object in the video as information regarding the object, or may recognize the behavior of the object detected in the video.
  • the notification unit 22 notifies the image quality control device 10 of the detection result of the detection unit 21 via the network. For example, when the detection unit 21 detects an object, the notification unit 22 notifies the type of the detected object, and when the detection unit 21 recognizes the behavior of the object, the notification unit 22 notifies the type of the behavior of the recognized object.
  • the determining unit 13 of the image quality control device 10 determines the image quality of each area of the video controlled by the image quality control unit 11, according to the detection result notified from the notification unit 22.
  • the determining unit 13 determines the image quality of each region of the video depending on whether information regarding an object is detected by the detecting unit 21. For example, when the detection unit 21 detects an object, the determination unit 13 determines the image quality of each region of the video according to the detection result of the object, and when the detection unit 21 recognizes the behavior of the object, the determination unit 13 The image quality of each area of the video is determined according to the recognition results. If information regarding the object is detected, the determining unit 13 may change the image quality of the detected area and the image quality of other areas.
  • the determining unit 13 determines that the detected area does not need any further analysis, and excludes the detected area from the sharpened area. , determine another area as the sharpening area. In other words, the determining unit 13 may determine the detected area to be a low image quality area, and determine the other area to be a high image quality area. Further, the determining unit 13 may maintain the image quality of each region of the video when information regarding the object is not detected. For example, if no action or object is detected in the area that has been made clearer, it is determined that further analysis is necessary, and the area continues to be made clearer.
  • the video processing system 30 may be configured by one device or may be configured by multiple devices. As shown in FIG. 4, the video processing system 30 is not limited to the device configuration shown in FIGS. That's fine. Part or all of the video processing system 30 may be located at the edge or in the cloud. For example, in a system that monitors images taken at the site via a network, the edge is a device placed at or near the site, and is also a device close to the terminal as a layer of the network.
  • FIG. 5 shows a video processing method according to an embodiment.
  • the video processing method according to the embodiment is executed by the image quality control device 10 and the detection device 20 of the video processing system 30 shown in FIGS. 1 to 3.
  • the image quality control device 10 controls the image quality of each area of the video (S11).
  • the image quality control device 10 detects objects from camera images and controls the image quality of the images based on the object detection results. For example, the image quality control device 10 sharpens a region including an object.
  • the image quality control device 10 transmits the quality-controlled video to the detection device 20 via the network (S12).
  • the detection device 20 receives the transmitted video and detects information regarding the object in the received video (S13). For example, the detection device 20 recognizes the behavior of an object in the video.
  • the detection device 20 notifies the image quality control device 10 of the detected detection result via the network (S14). For example, the detection device 20 notifies the object behavior recognition result.
  • the image quality control device 10 determines the image quality of each area of the video to be controlled according to the notified detection results (S15). For example, the image quality control device 10 determines the area to be sharpened according to the action recognition result of the detection device 20. For example, an area where the action has already been recognized is removed from the area to be sharpened, and another area is determined to be the area to be sharpened. When there are multiple sharpened regions, the sharpened regions may be narrowed down based on the action recognition results. Furthermore, returning to S11, the image quality control device 10 controls the image quality of each area of the video based on the determined image quality.
  • the server notifies the terminal of the recognition results of objects and actions, and the terminal controls the image quality of each region of the video according to the recognition results. This makes it possible to maintain the necessary recognition accuracy while suppressing the bit rate (communication amount).
  • FIG. 6 illustrates the basic configuration of the remote monitoring system 1.
  • the remote monitoring system 1 is a system that monitors an area where images are taken by a camera.
  • the system will be described as a system for remotely monitoring the work of workers at the site.
  • the site may be an area where people and machines operate, such as a work site such as a construction site or a factory, a plaza where people gather, a station, or a school.
  • the work will be described as construction work, civil engineering work, etc., but is not limited thereto.
  • the remote monitoring system can be said to be a video processing system that processes videos, and also an image processing system that processes images.
  • the remote monitoring system 1 includes a plurality of terminals 100, a center server 200, a base station 300, and an MEC 400.
  • the terminal 100, base station 300, and MEC 400 are placed on the field side, and the center server 200 is placed on the center side.
  • the center server 200 is located in a data center or the like that is located away from the site.
  • the field side is also called the edge side of the system, and the center side is also called the cloud side.
  • Terminal 100 and base station 300 are communicably connected via network NW1.
  • the network NW1 is, for example, a wireless network such as 4G, local 5G/5G, LTE (Long Term Evolution), or wireless LAN.
  • the network NW1 is not limited to a wireless network, but may be a wired network.
  • Base station 300 and center server 200 are communicably connected via network NW2.
  • the network NW2 includes, for example, core networks such as 5GC (5th Generation Core network) and EPC (Evolved Packet Core), the Internet, and the like.
  • 5GC Fifth Generation Core network
  • EPC Evolved Packet Core
  • the network NW2 is not limited to a wired network, but may be a wireless network.
  • the terminal 100 and the center server 200 are communicably connected via the base station 300.
  • the base station 300 and MEC 400 are communicably connected by any communication method, the base station 300 and MEC 400 may be one device.
  • the terminal 100 is a terminal device connected to the network NW1, and is also a video transmitting device that transmits on-site video. Further, the terminal 100 is an image quality control device that controls the image quality of on-site video.
  • the terminal 100 acquires an image captured by a camera 101 installed at the site, and transmits the acquired image to the center server 200 via the base station 300. Note that the camera 101 may be placed outside the terminal 100 or inside the terminal 100.
  • the terminal 100 compresses the video from the camera 101 to a predetermined bit rate and transmits the compressed video.
  • the terminal 100 has a compression efficiency optimization function 102 that optimizes compression efficiency and a video transmission function 103.
  • the compression efficiency optimization function 102 performs ROI control that controls the image quality of a ROI (Region of Interest) within a video.
  • ROI is a predetermined area within an image.
  • the ROI may be an area that includes a recognition target of the video recognition function 201 of the center server 200, or may be an area that the user should focus on.
  • the compression efficiency optimization function 102 reduces the bit rate by lowering the image quality of the region around the ROI while maintaining the image quality of the ROI including the person or object.
  • the video transmission function 103 transmits the quality-controlled video to the center server 200.
  • the compression efficiency optimization function 102 may include an image quality control unit that controls the image quality of each region of the video.
  • the terminal 100 may include a transmitting unit that transmits a video whose image quality is controlled, and a determining unit that determines the image quality of each area of the video controlled by the image quality control unit.
  • the base station 300 is a base station device of the network NW1, and is also a relay device that relays communication between the terminal 100 and the center server 200.
  • the base station 300 is a local 5G base station, a 5G gNB (next Generation Node B), an LTE eNB (evolved Node B), a wireless LAN access point, or the like, but may also be another relay device.
  • MEC 400 is an edge processing device placed on the edge side of the system.
  • the MEC 400 is an edge server that controls the terminal 100, and has a compression bit rate control function 401 and a terminal control function 402 that control the bit rate of the terminal.
  • the compression bit rate control function 401 controls the bit rate of the terminal 100 through adaptive video distribution control and QoE (quality of experience) control.
  • Adaptive video distribution control is a video distribution control method that controls the bit rate, etc. of distributed video according to network conditions.
  • the compression bit rate control function 401 predicts the recognition accuracy obtained when inputting the video to a recognition model by suppressing the bit rate of the distributed video according to the communication environment of the networks NW1 and NW2, A bit rate is assigned to the video distributed by the camera 101 of each terminal 100 so that recognition accuracy is improved.
  • the terminal control function 402 controls the terminal 100 to transmit video at the assigned bit rate.
  • Terminal 100 encodes the video at the allocated bit rate and transmits the encoded video.
  • the frame rate of the video to be distributed may be controlled depending on the network situation.
  • the center server 200 is a server installed on the center side of the system.
  • the center server 200 may be one or more physical servers, or may be a cloud server built on the cloud or other virtualized servers.
  • the center server 200 is a monitoring device that monitors on-site work by analyzing and recognizing on-site camera images.
  • the center server 200 is also a video receiving device that receives video transmitted from the terminal 100.
  • the center server 200 is a detection device that detects objects and the like from images whose image quality is controlled by the terminal 100.
  • the center server 200 has a video recognition function 201, an alert generation function 202, a GUI drawing function 203, and a screen display function 204.
  • the video recognition function 201 inputs the video transmitted from the terminal 100 into a video recognition AI (Artificial Intelligence) engine to recognize the type of work performed by the worker, that is, the type of behavior of the person.
  • the image recognition function 201 may include a detection unit that detects information regarding an object in the image.
  • the center server 200 may include a notification unit that notifies the terminal 100 of the detection result of the detection unit.
  • the alert generation function 202 generates an alert according to the recognized work.
  • the GUI drawing function 203 displays a GUI (Graphical User Interface) on the screen of a display device.
  • the screen display function 204 displays images of the terminal 100, recognition results, alerts, etc. on the GUI. Note that, if necessary, any of the functions may be omitted or any of the functions may be included.
  • the center server 200 does not need to include the alert generation function 202, the GUI drawing function 203, and the screen display function 204.
  • Embodiment 1 Next, Embodiment 1 will be described. In this embodiment, an example will be described in which a sharpening area is determined based on the action recognition result.
  • FIG. 6 shows an example of the configuration of terminal 100 according to this embodiment
  • FIG. 8 shows an example of the configuration of center server 200 according to this embodiment.
  • each device is an example, and other configurations may be used as long as the operation according to the present embodiment described later is possible.
  • some functions of the terminal 100 may be placed in the center server 200 or other devices, or some functions of the center server 200 may be placed in the terminal 100 or other devices.
  • the functions of the MEC 400 including the compression bit rate control function may be placed in the center server 200, the terminal 100, or the like.
  • the center server 200 may be implemented on the cloud.
  • the terminal 100 includes a video acquisition section 110, an object detection section 120, an object detection section 120, a sharpening area determination section 130, an image quality control section 140, a terminal communication section 150, and an action recognition result acquisition section 160.
  • the terminal 100 corresponds to the image quality control device 10 in FIG.
  • the video acquisition unit 110 acquires the video captured by the camera 101.
  • the video captured by the camera is also referred to as input video hereinafter.
  • the input video includes a person who is a worker working on a site, a work object used by the person, and the like.
  • the video acquisition unit 110 is also an image acquisition unit that acquires a plurality of time-series images, that is, frames.
  • the object detection unit 120 detects an object within the acquired input video.
  • the object detection unit 120 detects an object in each image included in the input video and recognizes the type of the detected object.
  • the object type may be represented by an object label or an object class.
  • the object detection unit 120 may identify the type of object in the video and provide a label or class corresponding to the identified type.
  • the object detection unit 120 extracts a rectangular area containing an object from each image included in the input video, and recognizes the object type of the object within the extracted rectangular area.
  • the rectangular area is a bounding box or an object area. Note that the object area including the object is not limited to a rectangular area, but may be a circular area, an irregularly shaped silhouette area, or the like.
  • the object detection unit 120 calculates the feature amount of the image of the object included in the rectangular area, and recognizes the object based on the calculated feature amount. For example, the object detection unit 120 recognizes objects in an image using an object recognition engine that uses machine learning such as deep learning. Objects can be recognized by machine learning the features of the object's image and the type of object.
  • the object detection result includes the object type, position information of a rectangular area including the object, a score of the object type, and the like.
  • the position information of the object is, for example, the coordinates of each vertex of a rectangular area, but it may also be the position of the center of the rectangular area, or the position of any point on the object.
  • the object type score is the probability of the detected object type, that is, the reliability or confidence level.
  • the behavior recognition result acquisition unit 160 acquires the behavior recognition result that the terminal communication unit 150 receives from the center server 200.
  • the action recognition result includes the action type, the score of the action type, the type of the object of the recognized action, the position information of the rectangular area containing the object, and the like.
  • the behavior type may be represented by a behavior label or a behavior class. For example, a label or class may be assigned that corresponds to the type of behavior recognized from the video.
  • the score of the behavior type is the certainty of the recognized behavior type, that is, the degree of reliability or certainty.
  • the object indicated by the action recognition result is, for example, a person who is the target of action recognition, but may also include a work object used by the person in work. Further, the action recognition result may include an image, feature amount, importance level, etc. of the object area.
  • the degree of importance is the degree of importance of the recognized action, and may also be the priority to be clarified.
  • the sharpening region determination unit 130 determines a sharpening region for sharpening the image quality in the acquired input video, based on the detection result of the object detected in the input video.
  • the sharpening area determining unit 130 may decide the areas of all detected objects to be sharpening areas. Further, the sharpening area determination unit 130 may determine the sharpening area based on position information of an object having a predetermined object type among the detected objects detected in the input video. For example, an area of an object having the object type in the gaze target list stored in the storage unit of the terminal 100 may be selected as the sharpening area. Alternatively, an object region with an object type score higher than a predetermined value or a predetermined number of object regions in ascending order of object type scores may be selected as the sharpening region.
  • the sharpening area determining unit 130 acquires the action recognition result from the center server 200
  • the sharpening area determining unit 130 corresponds to the determining unit 13 in FIG. 1.
  • a sharpening area in the input video is determined.
  • the sharpening region determining unit 130 may decide the sharpening region based only on the object detection result or the action recognition result, or may decide the sharpening region based on the object detection result and the action recognition result. You may also decide on the area where the For example, the sharpened area may be determined by narrowing down the area selected based on the object detection result based on the action recognition result.
  • the sharpening region may be determined based only on the object detection results. As will be described later, upon acquiring the action recognition result, the sharpening region determining unit 130 switches the sharpening region in the input video based on the obtained action recognition result. The sharpening region determining unit 130 determines whether or not to sharpen the region indicated by the object position information included in the action recognition result, depending on whether or not the object's action is recognized. If multiple objects are detected from the input video, match the area where the object was detected with the area indicated by the action recognition results, and decide whether to sharpen the object detection area narrowed down by the matching results. You may.
  • the sharpening region determination unit 130 may determine the sharpening region according to the degree of importance. For example, a priority may be assigned to each area according to the activity type or importance level, and the sharpening area may be determined based on the assigned priority.
  • the area with the highest priority may be determined as the sharpening area, or a predetermined number of areas from the top in descending order of priority may be determined as the sharpening area.
  • the time period for clarifying the area indicated by the action recognition result may be determined according to the action recognition result.
  • the time to be sharpened may be associated with each action in advance, and the time to be sharpened or the time to be excluded from sharpening may be determined according to the action type of the action recognition result.
  • the center server 200 may determine the sharpening area according to the action recognition result, and the center server may notify the terminal 100 of information on the clearing area.
  • the image quality control unit 140 controls the image quality of the input video based on the determined sharpening area.
  • the image quality control section 140 corresponds to the image quality control section 11 in FIG.
  • the sharpening area is an area where the image quality is made clearer than other areas, that is, a high image quality area where the image quality is made higher than other areas.
  • the sharpened region is also the ROI.
  • the other areas are low image quality areas or unsharpened areas.
  • the image quality control unit 140 is an encoder that encodes input video using a predetermined encoding method.
  • the image quality control unit 140 supports H. 264 and H.
  • the image is encoded using a video encoding method such as H.265.
  • the image quality control unit 140 compresses the sharpened area and other areas at predetermined compression rates, that is, bit rates, thereby encoding the sharpened area so that the image quality becomes a predetermined quality. That is, the image quality of the sharpened area is made higher than that of other areas by changing the compression ratio of the sharpened area and other areas. It can also be said that the image quality of other areas is lower than that of the sharpened area. For example, the image quality can be lowered by slowing down the change in pixel values between adjacent pixels.
  • the image quality control unit 140 may encode the input video so that the bit rate is assigned by the compression bit rate control function 401 of the MEC 400.
  • the image quality of the high image quality area and the low image quality area may be controlled within the range of the allocated bit rate.
  • the image quality control unit 140 may determine the bit rate based on the communication quality between the terminal 100 and the center server 200.
  • the image quality of the high image quality area and the low image quality area may be controlled within a bit rate range based on communication quality.
  • Communication quality is, for example, communication speed, but may also be other indicators such as transmission delay or error rate.
  • Terminal 100 may include a communication quality measurement unit that measures communication quality. For example, the communication quality measurement unit determines the bit rate of video transmitted from the terminal 100 to the center server 200 according to the communication speed.
  • the communication speed may be measured based on the amount of data received by the base station 300 or the center server 200, and the communication quality measurement unit may acquire the measured communication speed from the base station 300 or the center server 200. Further, the communication quality measurement unit may estimate the communication speed based on the amount of data transmitted from the terminal communication unit 150 per unit time.
  • the terminal communication unit 150 transmits the encoded data encoded by the image quality control unit 140 to the center server 200 via the base station 300.
  • the terminal communication unit 150 is a transmitting unit that transmits video whose image quality is controlled.
  • the terminal communication section 150 corresponds to the transmitting section 12 in FIG.
  • the terminal communication unit 150 is also a receiving unit that receives the action recognition results transmitted from the center server 200 via the base station 300.
  • the terminal communication unit 150 is an interface that can communicate with the base station 300, and is, for example, a wireless interface such as 4G, local 5G/5G, LTE, or wireless LAN, but may also be a wireless or wired interface of any other communication method. good.
  • the terminal communication unit 150 may include a first terminal communication unit that transmits encoded data and a second terminal communication unit that receives action recognition results.
  • the first terminal communication section and the second terminal communication section may be communication sections using the same communication method, or may be communication sections using different communication methods.
  • the center server 200 includes a center communication section 210, a decoder 220, an object detection section 230, an object tracking section 240, a feature extraction section 250, a posture estimation section 260, an action recognition section 270, an action recognition result A notification section 280 is provided.
  • the center server 200 corresponds to the detection device 20 in FIG. 2.
  • the center communication unit 210 receives encoded data transmitted from the terminal 100 via the base station 300.
  • the center communication unit 210 is a receiving unit that receives video whose image quality is controlled. Furthermore, the center communication unit 210 is also a transmitter that transmits the behavior recognition result recognized by the behavior recognition unit 270 to the terminal 100 via the base station 300.
  • the center communication unit 210 is an interface capable of communicating with the Internet or a core network, and is, for example, a wired interface for IP communication, but may be a wired or wireless interface of any other communication method.
  • Center communication unit 210 may include a first center communication unit that receives encoded data and a second center communication unit that transmits behavior recognition results.
  • the first center communication section and the second center communication section may be communication sections using the same communication method, or may be communication sections using different communication methods.
  • the decoder 220 decodes encoded data received from the terminal 100. Decoder 220 is a decoding unit that decodes encoded data. The decoder 220 is also a restoring unit that restores encoded data, that is, compressed data, using a predetermined encoding method. The decoder 220 corresponds to the encoding method of the terminal 100, for example, H. 264 and H. The video is decoded using a video encoding method such as H.265. The decoder 220 decodes each area according to the compression rate and bit rate, and generates a decoded video. The decoded video is hereinafter also referred to as received video.
  • the object detection unit 230 detects an object in the received video received from the terminal 100. For example, like the object detection unit 120 of the terminal 100, the object detection unit 230 recognizes objects using an object recognition engine using machine learning. That is, the object detection unit 230 extracts a rectangular area including an object from each image of the received video, and recognizes the object type of the object within the extracted rectangular area.
  • the object detection result includes the object type, position information of a rectangular area including the object, a score of the object type, and the like.
  • the object tracking unit 240 tracks the detected object in the received video.
  • the object tracking unit 240 performs object matching in each image included in the received video based on the object detection result, and associates the matched objects in each image.
  • each detected object may be identified and tracked by assigning a tracking ID to the detected object.
  • objects are tracked by associating objects between images based on the distance or overlap between a rectangular area of an object detected in a previous image and a rectangular area of an object detected in a next image.
  • the feature extraction unit 250 extracts the feature amount of the object image for each object tracked by the object tracking unit 240.
  • the feature extraction unit 250 extracts feature amounts used by the behavior recognition unit 270 to recognize the behavior of an object.
  • Features in two-dimensional space or features in space and time in the temporal direction may be extracted.
  • the feature extraction unit 250 extracts the feature amount of the image of the object using a feature extraction engine that uses machine learning such as deep learning.
  • the feature extraction engine may be a CNN (Convolutional Neural Network), an RNN (Recurrent Neural Network), or another neural network.
  • the posture estimation unit 260 estimates the posture of each object tracked by the object tracking unit 240.
  • the posture estimation unit 260 may estimate the skeleton of a person, which is the detected object, as the posture of the object.
  • the posture estimation unit 260 estimates the posture of an object in an image using a skeleton estimation engine or a posture estimation engine that uses machine learning such as deep learning.
  • the behavior recognition unit 270 recognizes the behavior of the object based on the feature extraction results and the posture estimation results.
  • the behavior recognition section 270 corresponds to the detection section 21 in FIG. 2 .
  • the object detection section 230 may correspond to the detection section 21 in FIG. 2.
  • the behavior recognition unit 270 recognizes the behavior of the object based on the extracted feature amount of the image of the object and the estimated posture of the object. For example, it recognizes the work a person performs using an object or the unsafe behavior that puts the person in danger. Note that the present invention is not limited to action recognition, and may be other video recognition processing.
  • the behavior recognition unit 270 recognizes the type of behavior of each object.
  • the behavior recognition unit 270 recognizes the behavior of an object using a behavior recognition engine that uses machine learning such as deep learning. By machine learning the characteristics of the video of the person performing the task and the type of behavior, it is possible to recognize the behavior of the person in the video.
  • the behavior recognition engine may be CNN, RNN, or other neural network.
  • the action recognition result includes the action type, the score of the action type, the object type, the object position information, and the like.
  • the object type and position information is the object type and position information detected by the object detection unit 230.
  • the action recognition result may include an image and feature amount of the area of the detected object. Further, importance levels may be associated with behavior types and object types, and the importance levels according to the recognized behavior types and object types may be included in the behavior recognition results.
  • the behavior recognition result notifying unit 280 notifies the terminal 100 of the behavior recognition result, which is the result of recognizing the behavior of the object.
  • the behavior recognition result notification unit 280 corresponds to the notification unit 22 in FIG. 2 .
  • the behavior recognition result notification unit 280 transmits the behavior recognition result output by the behavior recognition unit 270 to the terminal 100 via the center communication unit 210.
  • FIG. 9 shows an example of the operation of the remote monitoring system 1 according to the present embodiment
  • FIG. 10 shows an example of the operation of the sharpening area switching process (S124) in FIG. 9.
  • the terminal 100 executes S111 to S115 and S123 to S124 and the center server 200 executes S116 to S122
  • the present invention is not limited to this, and any device may execute each process.
  • the terminal 100 acquires an image from the camera 101 (S111).
  • the camera 101 generates an image of the scene
  • the image acquisition unit 110 acquires the image output from the camera 101, that is, the input image.
  • the input video image includes three people P1 to P3 working at the site.
  • person P3 is working with a hammer.
  • the terminal 100 detects an object based on the acquired input video (S112).
  • the object detection unit 120 uses an object recognition engine to detect a rectangular area within an image included in the input video, and recognizes the object type of the object within the detected rectangular area. For each detected object, the object detection unit 120 outputs the object type, position information of the rectangular area of the object, the score of the object type, etc. as an object detection result. For example, when object detection is performed from the image in FIG. 11, as shown in FIG. 12, persons P1 to P3 and a hammer are detected, and rectangular areas of the persons P1 to P3 and a rectangular area of the hammer are detected.
  • the terminal 100 determines a sharpening area based on the object detection result (S113).
  • the sharpening region determining unit 130 may decide all object regions or object regions having a predetermined object type as the sharpening region. Further, the sharpening region determination unit 130 may decide, as the sharpening region, an object region whose object type score is larger than a predetermined value. Set the area of the object selected as the sharpening area to the currently selected sharpening area. For example, in the example of FIG. 12, if the score of person P1 is larger than a predetermined value and the scores of person P2, person P3, and the hammer are smaller than the predetermined values, the rectangular area of person P1 is sharpened as shown in FIG. Decide on the area.
  • the image quality control unit 140 encodes the input video using a predetermined video encoding method.
  • the image quality control unit 140 may encode the input video to the bit rate assigned by the compression bit rate control function 401 of the MEC 400, or may encode the input video to the bit rate assigned by the compression bit rate control function 401 of the MEC 400, or encode the input video to the bit rate assigned by the compression bit rate control function 401 of the MEC 400, or You can also encode with bitrate.
  • the image quality control unit 140 encodes the input video so that the sharpened area has higher image quality than other areas within a range of bit rates depending on the allocated bit rate and communication quality.
  • the sharpened area is made to have high image quality and the other areas are made to have low image quality.
  • the image quality of the rectangular area of the person P1 is increased, and the image quality of other areas including the person P2, the person P3, and the hammer is reduced.
  • the terminal 100 transmits the encoded data to the center server 200 (S115), and the center server 200 receives the encoded data (S116).
  • the terminal communication unit 150 transmits encoded data obtained by encoding the input video to the base station 300.
  • the base station 300 transfers the received encoded data to the center server 200 via the core network or the Internet.
  • Center communication unit 210 receives the transferred encoded data from base station 300.
  • the center server 200 decodes the received encoded data (S117).
  • the decoder 220 decodes the encoded data according to the compression rate and bit rate of each area, and generates a decoded video, that is, a received video.
  • the center server 200 detects an object in the received video based on the received video (S118).
  • the object detection unit 230 uses an object recognition engine to detect objects in the received video.
  • the object detection unit 230 outputs the type of the detected object, the position information of the rectangular area including the object, the score of the object type, etc. as an object detection result.
  • the center server 200 tracks the detected object in the received video (S119).
  • the object tracking unit 240 tracks objects in the received video based on object detection results in the received video.
  • the object tracking unit 240 assigns a tracking ID to each detected object, and tracks the object identified by the tracking ID in each image.
  • the center server 200 extracts the feature amount of the image of the object and estimates the posture of the object (S120).
  • the feature extraction unit 250 uses a feature extraction engine to extract the feature amount of the image of the tracked object.
  • the posture estimation unit 260 estimates the posture of the tracked object using a posture estimation engine.
  • the center server 200 recognizes the behavior of the object based on the feature extraction results and the posture estimation results (S121).
  • the behavior recognition unit 270 uses a behavior recognition engine to recognize the behavior of the object in the received video based on the extracted feature amount of the object and the estimated posture of the object.
  • the behavior recognition unit 270 outputs the behavior type of the recognized object, the position information of the object, the score of the behavior type, etc. as a behavior recognition result. For example, as shown in FIG. 13, when the rectangular area of the person P1 is of high image quality, the person P1 is detected and tracked, and the behavior of the person P1 is recognized from the feature amount and posture of the person P1.
  • the center server 200 notifies the terminal 100 of the recognized action recognition result (S122), and the terminal 100 acquires the action recognition result (S123).
  • the behavior recognition result notification unit 280 notifies the terminal of the behavior recognition result output by the behavior recognition unit 270 via the center communication unit 210.
  • the center communication unit 210 transmits the action recognition results to the base station 300 via the Internet or the core network.
  • Base station 300 transfers the received action recognition results to terminal 100.
  • Terminal communication unit 150 receives the transferred action recognition results from base station 300.
  • the behavior recognition result acquisition unit 160 acquires the behavior recognition result received by the terminal communication unit 150.
  • the terminal 100 performs a sharpening region switching process to switch the sharpening region based on the obtained action recognition result (S124).
  • the sharpening region determining unit 130 selects a sharpening region based on the action recognition result, and switches the sharpening region determined in S113. Note that it may be determined whether or not to execute the sharpening area switching process. For example, if a predetermined amount of time has passed since the last sharpening area switching process, if a specific object or action has been recognized, or if all object areas have been sharpened, the sharpening area switching process will be executed. It doesn't have to be executed. In this case, the currently selected sharpening area may be reset and the sharpening area may be determined based on the object detection result, similar to S113.
  • the sharpening region determining unit 130 matches the obtained action recognition result with the object detection result of the input video (S201). That is, the center server 200 performs matching between the object whose action has been recognized and the object which the terminal 100 has detected, and extracts from the detected objects objects that match the object whose action has been recognized.
  • the sharpening region determining unit 130 compares the object as a result of action recognition and the object as a result of object detection, and determines whether the object whose action has been recognized and the detected object are the same, that is, whether they match. do.
  • the sharpening area determination unit 130 performs matching based on, for example, the type of object, the position information of the object, and the like.
  • the sharpening region may be determined based on the object detection result, similarly to S113.
  • the sharpening region determining unit 130 determines whether the action of the object that matches the action recognition result has been recognized (S202).
  • the sharpening area determining unit 130 determines that the behavior has been recognized when the score of the behavior type included in the behavior recognition result is greater than a predetermined value, and determines that the behavior has been recognized when the score of the behavior type is smaller than the predetermined value. It is determined that it has not been recognized.
  • the sharpening region determining unit 130 selects another region as the sharpening region (S203).
  • the sharpening region determining unit 130 excludes the matched object region, that is, the object region currently selected as the sharpening region, from the sharpening region, and removes the other object regions from the sharpening region.
  • Select to sharpen area to toggle the sharpen area. Sets the area of the object newly selected as the sharpening area to the currently selected sharpening area. If multiple object areas are detected, the next area to be sharpened is selected from among the areas that have not been selected as sharpening areas, and each time an action is recognized, the selected object area is sequentially selected. Switch.
  • the next area to be sharpened may be selected based on the object type detected by object detection or the score of the object type, or may be selected at random. Note that if there is no area to be sharpened next or if the action type is a predetermined action, the selection of the current sharpening area may be maintained without switching the sharpening area to another area. That is, in this case, the area of the matched object may be selected as the sharpening area.
  • the area of the person P3 is excluded from the sharpening area, and one of the person P2, the person P3, and the hammer is selected as the sharpening area.
  • the object type scores of person P2, person P3, and a hammer are compared, and if the object type score of person P2 is large, the rectangular area of person P2 is sharpened as shown in FIG. decided on. Thereafter, when the action of the person P2 has been recognized, the rectangular area of the person P3 and the hammer is determined as the sharpening area, as shown in FIG.
  • the sharpening area determining unit 130 selects the area of the matched object as the sharpening area (S204). That is, in this case, the current sharpening area selection is maintained. For example, in the example of FIG. 13, if the action of the person P1 is not recognized, the state in which the rectangular area of the person P1 is selected as the sharpening area continues. Thereafter, the processing from S114 onwards is repeated.
  • the sharpening area to be sharpened on the terminal is determined based on the action recognition result of the center server. For example, an area that can be recognized by the center server is once excluded from the sharpening area, and other areas that cannot be recognized are preferentially selected as the sharpening area. Thereby, important areas can be narrowed down based on the object detection results of the terminal and the action recognition results of the center server, and the sharpening areas can be changed from recognized areas to unrecognized areas. By lowering the priority for sharpening those that have already been recognized by the center server, a wider range of actions can be recognized, thereby reducing the number of missed recognitions. Therefore, it is possible to appropriately reduce the amount of video data transmitted from the terminal while ensuring the recognition accuracy of action recognition.
  • Embodiment 2 Next, a second embodiment will be described. In this embodiment, an example will be described in which a sharpening area is determined based on an object detection result. Note that this embodiment can be implemented in combination with Embodiment 1, and each configuration shown in Embodiment 1 may be used as appropriate.
  • FIG. 16 shows a configuration example of the terminal 100 according to the present embodiment
  • FIG. 17 shows a configuration example of the center server 200 according to the present embodiment.
  • configurations that are different from Embodiment 1 will be mainly explained.
  • the terminal 100 includes an object detection result acquisition section 161 instead of the action recognition result acquisition section 160 of the first embodiment.
  • the center server 200 includes an object detection result notification section 281 instead of the action recognition result notification section 280 of the first embodiment.
  • the other configurations are the same as in the first embodiment.
  • the terminal 100 may further include an object detection result acquisition section 161 in addition to the configuration of the first embodiment.
  • the center server 200 may further include an object detection result notification section 281.
  • the object detection result notification unit 281 of the center server 200 notifies the terminal 100 of the object detection result detected by the center server 200.
  • the object detection result notification unit 281 transmits the object detection result output by the object detection unit 230 to the terminal 100 via the center communication unit 210.
  • the object detection result includes the object type, position information of a rectangular area including the object, a score of the object type, and the like.
  • the object detection result acquisition unit 161 of the terminal 100 acquires the object detection result received from the center server 200 via the terminal communication unit 150.
  • the sharpening area determination unit 130 determines a sharpening area in the input video based on the obtained object detection result.
  • the method for determining the sharpened region based on the object detection result is the same as the method for determining the sharpened region based on the action recognition result in the first embodiment. That is, the sharpening region determination unit 130 determines whether or not to sharpen the region indicated by the object position information included in the object detection result, depending on whether or not an object is detected.
  • the area indicated by the detection result is excluded from the sharpening area, and another area is selected as the sharpening area. Further, if no object is detected, for example, if the score of the object type is smaller than a predetermined value, the area indicated by the detection result is selected as the sharpening area.
  • the sharpening area to be sharpened at the terminal is determined based on the object detection result of the center server. Even in this case, as in the first embodiment, it is possible to appropriately reduce the amount of video data while ensuring the accuracy of object detection.
  • Embodiment 3 Next, Embodiment 3 will be described. In this embodiment, an example will be described in which a sharpening area is determined based on a face authentication result. Note that this embodiment can be implemented in combination with Embodiment 1 or 2, and each configuration shown in Embodiment 1 or 2 may be used as appropriate.
  • FIG. 18 shows a configuration example of the terminal 100 according to the present embodiment
  • FIG. 19 shows a configuration example of the center server 200 according to the present embodiment.
  • configurations that are different from Embodiment 1 will be mainly explained. Note that this embodiment may be applied to the second embodiment.
  • the terminal 100 includes a face authentication result acquisition section 162 instead of the action recognition result acquisition section 160 of the first embodiment.
  • the center server 200 includes a face authentication section 282 instead of the action recognition result notification section 280 of the first embodiment.
  • terminal 100 may further include face authentication result acquisition section 162.
  • the center server 200 may further include a face authentication section 282.
  • the face authentication unit 282 of the center server 200 performs face authentication of a person detected by object detection. For example, an image of a person's face and identification information for identifying the person are stored in association with each other in the storage unit.
  • the face authentication unit 282 extracts the face of a person in the video and matches the extracted face with the face of the person registered in the storage unit.
  • the face authentication unit 282 may authenticate the face of a person in the image using a face authentication engine that uses machine learning such as deep learning.
  • the face authentication unit 282 transmits the face authentication matching rate and the position information of the person to the terminal 100 via the center communication unit 210 as the face authentication result.
  • the face authentication result acquisition unit 162 of the terminal 100 acquires the face authentication result received from the center server 200 via the terminal communication unit 150.
  • the sharpening area determination unit 130 determines the sharpening area in the input video based on the obtained face authentication result.
  • the sharpening area determination unit 130 determines whether or not to sharpen the area indicated by the position information of the person included in the face authentication result, depending on whether the face is authenticated or not. If the face has been authenticated, for example, if the matching rate is greater than a predetermined value, the area indicated by the face authentication result is excluded from the sharpening area, and another area is selected as the sharpening area. Furthermore, if the face has not been authenticated, for example, if the matching rate is smaller than a predetermined value, the area indicated by the face authentication result is selected as the sharpening area.
  • the sharpening area to be sharpened on the terminal is determined based on the face authentication result of the center server. Even in this case, as in the first and second embodiments, it is possible to appropriately reduce the amount of video data while ensuring the accuracy of action recognition and object detection.
  • Each configuration in the embodiments described above is configured by hardware, software, or both, and may be configured from one piece of hardware or software, or from multiple pieces of hardware or software.
  • Each device and each function (processing) may be realized by a computer 40 having a processor 41 such as a CPU (Central Processing Unit) and a memory 42 as a storage device, as shown in FIG.
  • a program for performing the method (video processing method) in the embodiment may be stored in the memory 42, and each function may be realized by having the processor 41 execute the program stored in the memory 42.
  • These programs include instructions (or software code) that, when loaded into a computer, cause the computer to perform one or more of the functions described in the embodiments.
  • the program may be stored on a non-transitory computer readable medium or a tangible storage medium.
  • computer readable or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drive (SSD) or other memory technology, CD - Including ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
  • the program may be transmitted on a transitory computer-readable medium or a communication medium.
  • transitory computer-readable or communication media includes electrical, optical, acoustic, or other forms of propagating signals.
  • the image quality control device includes: an image quality control means for controlling the image quality of each area of the video; a transmission means for transmitting the image quality-controlled video to the detection device;
  • the detection device includes: detection means for detecting information regarding an object in the video transmitted from the transmission means; Notifying means for notifying the image quality control device of the detection result of the detecting means,
  • the image quality control device includes: further comprising determining means for determining the image quality of each area of the video controlled by the image quality controlling means, according to the detection result notified from the notifying means; Video processing system.
  • the detection means detects an object in the video as information regarding the object, The determining means determines the image quality of each region of the image controlled by the image quality controlling means according to the detection result of the object.
  • the video processing system described in Appendix 1. The detection means recognizes the behavior of the object in the video as information regarding the object, The determining means determines the image quality of each region of the image controlled by the image quality controlling means according to the recognition result of the behavior of the object.
  • the video processing system according to appendix 1 or 2.
  • the determining means determines the image quality of each region of the image depending on whether information regarding the object is detected by the detecting means.
  • the video processing system according to any one of Supplementary Notes 1 to 3.
  • the determining means changes the image quality of the area where the object is detected and the image quality of other areas, when information regarding the object is detected by the detecting means.
  • the video processing system described in Appendix 4. (Appendix 6)
  • the determining means maintains the image quality of each region of the image when the detecting means does not detect information regarding the object.
  • a video processing method in a video processing system comprising an image quality control device and a detection device
  • the image quality control device includes: Control the image quality of each area of the video, transmitting the image quality-controlled video to the detection device;
  • the detection device includes: detecting information about objects in the transmitted video; Notifying the image quality control device of the detected detection result;
  • the image quality control device includes: determining the image quality of each area of the video to be controlled according to the notified detection result;
  • Video processing method (Appendix 8)
  • the detection device detects an object in the video as information regarding the object,
  • the image quality control device determines the image quality of each region of the image to be controlled according to the detection result of the object.
  • the detection device recognizes the behavior of the object in the video as information regarding the object,
  • the image quality control device determines the image quality of each region of the image to be controlled according to the recognition result of the behavior of the object.
  • the video processing method according to appendix 7 or 8. (Appendix 10)
  • the image quality control device determines the image quality of each region of the image depending on whether information regarding the object is detected.
  • the video processing method according to any one of Supplementary Notes 7 to 9. (Appendix 11)
  • the image quality control device changes the image quality of the area where the object is detected and the image quality of other areas when information regarding the object is detected.
  • the image quality control device maintains the image quality of each region of the image when information regarding the object is not detected.
  • the video processing method according to appendix 10 or 11.
  • (Appendix 13) an image quality control means for controlling the image quality of each area of the video; transmitting means for transmitting the quality-controlled video to a detection device that detects information about an object in the video; determining means for determining the image quality of each region of the video controlled by the image quality control means, according to the detection result notified from the detection device;
  • An image quality control device comprising: (Appendix 14) The detection device detects an object in the video as information regarding the object, The determining means determines the image quality of each region of the image controlled by the image quality controlling means, according to the detection result of the object.
  • the image quality control device according to appendix 13.
  • the detection device recognizes the behavior of the object in the video as information regarding the object,
  • the determining means determines the image quality of each region of the image controlled by the image quality controlling means, according to the recognition result of the behavior of the object.
  • the image quality control device according to appendix 13 or 14.
  • the determining means determines the image quality of each region of the video depending on whether information regarding the object is detected by the detection device.
  • the image quality control device according to any one of Supplementary Notes 13 to 15.
  • the determining means changes the image quality of the area where the object is detected and the image quality of other areas, when information regarding the object is detected by the detection device.
  • the determining means maintains the image quality of each region of the video when information regarding the object is not detected by the detection device.
  • the image quality control device according to appendix 16 or 17.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

映像処理システム（３０）は、画質制御装置（１０）と、検出装置（２０）と、を備える。画質制御装置（１０）は、映像の各領域の画質を制御する画質制御部（１１）と、画質が制御された映像を検出装置（２０）へ送信する送信部（１２）と、を備える。検出装置（２０）は、送信部（１２）から送信された映像内の物体に関する情報を検出する検出部（２１）と、検出部（２１）の検出結果を画質制御装置（１０）に通知する通知部（２２）と、を備える。画質制御装置（１０）は、通知部（２２）から通知された検出結果に応じて、画質制御部（１１）が制御する映像の各領域の画質を決定する決定部（１３）をさらに備える。

Description

映像処理システム、映像処理方法、及び画質制御装置
　本開示は、映像処理システム、映像処理方法、及び画質制御装置に関する。
　現場で撮影した映像を、離れた場所で解析して行動や物体の認識を実施する技術がある。その際、通信負荷を抑えるために、現場に設置された装置で注目したい領域を判定して、当該領域以外の領域の画質を低下させて、解析を実施する手段へ映像を送信する。
　関連する技術として、例えば、特許文献１が知られている。特許文献１では、ネットワークを介して映像を伝送する装置において、視聴者の注視する領域の画質が上がるように映像を伝送する技術が記載されている。
特開２０２０－４３５３３号公報
　特許文献１などの関連する技術では、注視領域以外の領域の画質を抑えることで、ある程度まで伝送する映像のデータ量を低減することができる。しかしながら、関連する技術では、注視領域の画質を常に高画質にするため、適切にデータ量を低減できない場合がある。例えば、注視領域が多い場合、画質を落とせる領域が少ないため、データ量を下げることが困難である。また、映像全体の画質を下げると、データ量が下がるものの、受信先で認識率が低下する恐れがある。
　本開示は、このような課題に鑑み、映像のデータ量を適切に制御することが可能な映像処理システム、映像処理方法、及び画質制御装置を提供することを目的とする。
　本開示に係る映像処理システムは、画質制御装置と、検出装置と、を備え、前記画質制御装置は、映像の各領域の画質を制御する画質制御手段と、前記画質が制御された映像を前記検出装置へ送信する送信手段と、を備え、前記検出装置は、前記送信手段から送信された映像内の物体に関する情報を検出する検出手段と、前記検出手段の検出結果を前記画質制御装置に通知する通知手段と、を備え、前記画質制御装置は、前記通知手段から通知された検出結果に応じて、前記画質制御手段が制御する映像の各領域の画質を決定する決定手段をさらに備えるものである。
　本開示に係る映像処理方法は、画質制御装置と、検出装置と、を備えた映像処理システムにおける映像処理方法であって、前記画質制御装置は、映像の各領域の画質を制御し、前記画質が制御された映像を前記検出装置へ送信し、前記検出装置は、前記送信された映像内の物体に関する情報を検出し、前記検出された検出結果を前記画質制御装置に通知し、前記画質制御装置は、前記通知された検出結果に応じて、前記制御する映像の各領域の画質を決定するものである。
　本開示に係る画質制御装置は、映像の各領域の画質を制御する画質制御手段と、前記画質が制御された映像を、前記映像内の物体に関する情報を検出する検出装置へ送信する送信手段と、前記検出装置から通知された検出結果に応じて、前記画質制御手段が制御する映像の各領域の画質を決定する決定手段と、を備えるものである。
　本開示によれば、映像のデータ量を適切に制御することが可能な映像処理システム、映像処理方法、及び画質制御装置を提供することができる。
実施の形態に係る映像処理システムの概要を示す構成図である。 実施の形態に係る画質制御装置の概要を示す構成図である。 実施の形態に係る検出装置の概要を示す構成図である。 実施の形態に係る映像処理システムの概要を示す構成図である。 実施の形態に係る映像処理方法の概要を説明するための図である。 実施の形態に係る遠隔監視システムの基本構成を示す構成図である。 実施の形態１に係る端末の構成例を示す構成図である。 実施の形態１に係るセンターサーバの構成例を示す構成図である。 実施の形態１に係る遠隔監視システムの動作例を示すフローチャートである。 実施の形態１に係る鮮明化領域切替処理の動作例を示すフローチャートである。 実施の形態１に係る映像取得処理を説明するための図である。 実施の形態１に係る物体検出処理を説明するための図である。 実施の形態１に係る鮮明化領域決定処理を説明するための図である。 実施の形態１に係る鮮明化領域切替処理を説明するための図である。 実施の形態１に係る鮮明化領域切替処理を説明するための図である。 実施の形態２に係る端末の構成例を示す構成図である。 実施の形態２に係るセンターサーバの構成例を示す構成図である。 実施の形態３に係る端末の構成例を示す構成図である。 実施の形態３に係るセンターサーバの構成例を示す構成図である。 実施の形態に係るコンピュータのハードウェアの概要を示す構成図である。
　以下、図面を参照して実施の形態について説明する。各図面においては、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略される。
（実施の形態の概要）
　まず、実施の形態の概要について説明する。図１は、実施の形態に係る映像処理システム３０の概要構成を示している。映像処理システム３０は、例えば、ネットワークを介して現場の映像を送信し、送信した映像を監視する遠隔監視システムに適用可能である。
　図１に示すように、映像処理システム３０は、画質制御装置１０、検出装置２０を備えている。画質制御装置１０は、現場で撮影された映像の画質を制御する装置である。検出装置２０は、画質制御装置１０により画質が制御された映像から物体等を検出する装置である。例えば、画質制御装置１０を端末とし、検出装置２０をサーバとしてもよい。画質制御装置１０、または、検出装置２０は、仮想化技術等を用いてクラウド上に実装されてもよい。
　図２は、画質制御装置１０の概要構成を示し、図３は、検出装置２０の概要構成を示している。図２に示すように、画質制御装置１０は、画質制御部１１、送信部１２、決定部１３を備えている。
　画質制御部１１は、映像の各領域の画質を制御する。例えば、映像には、作業を行う人物や人物が作業で使用する作業物体などの物体が含まれ、画質制御部１１は、物体を含む領域の画質を制御する。例えば、画質制御部１１は、物体を含む領域を鮮明化してもよいし、所定の条件によって選択された物体を含む領域を鮮明化してもよい。すなわち、物体を含む領域を他の領域よりも高画質化し、他の領域を低画質化してもよい。送信部１２は、画質が制御された映像を、ネットワークを介して検出装置２０へ送信する。
　図３に示すように、検出装置２０は、検出部２１、通知部２２を備えている。検出部２１は、送信部１２から送信された映像を受信し、受信した映像内の物体に関する情報を検出する。例えば、検出部２１は、物体に関する情報として、映像内の物体を検出してもよいし、映像内で検出された物体の行動を認識してもよい。通知部２２は、検出部２１の検出結果を、ネットワークを介して画質制御装置１０に通知する。例えば、通知部２２は、検出部２１が物体を検出する場合、検出した物体の種別を通知し、検出部２１が物体の行動を認識する場合、認識した物体の行動の種別を通知する。
　画質制御装置１０の決定部１３は、通知部２２から通知された検出結果に応じて、画質制御部１１が制御する映像の各領域の画質を決定する。決定部１３は、検出部２１により物体に関する情報が検出されているかに応じて、映像の各領域の画質を決定する。例えば、決定部１３は、検出部２１が物体を検出する場合、物体の検出結果に応じて、映像の各領域の画質を決定し、検出部２１が物体の行動を認識する場合、物体の行動の認識結果に応じて、映像の各領域の画質を決定する。決定部１３は、物体に関する情報が検出されている場合、検出された領域の画質と他の領域の画質を変更してもよい。例えば、決定部１３は、鮮明化した領域で行動や物体が検出された場合、検出済みの領域についてはそれ以上の解析が不要であると判断し、検出済みの領域を鮮明化領域から除外し、他の領域を鮮明化領域に決定する。言い換えると、決定部１３は、検出済みの領域を低画質化領域に決定し、他の領域を高画質化領域に決定してもよい。また、決定部１３は、物体に関する情報が検出されていない場合、映像の各領域の画質を維持してもよい。例えば、鮮明化した領域で行動や物体が検出されない場合、引き続き解析が必要であると判断し、当該領域の鮮明化を継続する。
　なお、映像処理システム３０は、１つの装置により構成してもよいし、複数の装置により構成してもよい。図４に示すように、映像処理システム３０は、図２及び図３に示した装置構成に限らず、画質制御部１１、送信部１２、決定部１３、検出部２１、通知部２２を備えていればよい。映像処理システム３０の一部または全部をエッジまたはクラウドに配置してもよい。例えば、ネットワークを介して現場で撮影された映像を監視するシステムにおいて、エッジは現場や現場の近くに配置された装置であり、また、ネットワークの階層として端末に近い装置である。
　図５は、実施の形態に係る映像処理方法を示している。例えば、実施の形態に係る映像処理方法は、図１～図３に示した、映像処理システム３０の画質制御装置１０及び検出装置２０により実行される。
　図５に示すように、まず、画質制御装置１０は、映像の各領域の画質を制御する（Ｓ１１）。画質制御装置１０は、カメラ映像から物体を検出し、物体の検出結果に基づいて、映像の画質を制御する。例えば、画質制御装置１０は、物体を含む領域を鮮明化する。次に、画質制御装置１０は、画質が制御された映像を、ネットワークを介して検出装置２０へ送信する（Ｓ１２）。
　次に、検出装置２０は、送信された映像を受信し、受信した映像内の物体に関する情報を検出する（Ｓ１３）。例えば、検出装置２０は、映像内の物体の行動を認識する。次に、検出装置２０は、検出された検出結果を、ネットワークを介して画質制御装置１０に通知する（Ｓ１４）。例えば、検出装置２０は、物体の行動認識結果を通知する。
　次に、画質制御装置１０は、通知された検出結果に応じて、制御する映像の各領域の画質を決定する（Ｓ１５）。例えば、画質制御装置１０は、検出装置２０の行動認識結果に応じて、鮮明化する領域を決定する。例えば、すでに行動認識できた領域は鮮明化領域から外し、他の領域を鮮明化領域に決定する。鮮明化領域が複数ある場合に、行動認識結果に基づいて、鮮明化領域を絞り込んでもよい。さらに、Ｓ１１に戻り、画質制御装置１０は、決定した画質に基づいて、映像の各領域の画質を制御する。
　画質制御装置のような端末から検出装置のようなサーバへ映像を送信するシステムでは、端末からサーバへ映像を送信する際、高画質化したい領域が多いと、全てを高画質化することが困難な場合がある。この場合、ネットワークの状況や通信負荷低減のためにビットレートを下げようとしても、ビットレートを下げることができない。例えば、映像に人物が大勢映っている場合や、認識対象の建機や工具が画面の大部分を占める場合に、ビットレートを下げることができない。一方で、サーバ側では、低画質化した領域の認識精度が下がるため、映像全体を低画質化することはできない。そこで、実施の形態では、サーバから端末に物体や行動の認識結果を通知し、端末が認識結果に応じて映像の各領域の画質を制御する。これにより、ビットレート（通信量）を抑えつつ、必要な認識精度を確保することができる。
（遠隔監視システムの基本構成）
　次に、実施の形態を適用するシステムの一例である遠隔監視システムについて説明する。図６は、遠隔監視システム１の基本構成を例示している。遠隔監視システム１は、カメラが撮影した映像により、当該撮影されたエリアを監視するシステムである。本実施形態においては、以降現場における作業員の作業を遠隔で監視するシステムであるものとして説明する。例えば、現場は工事現場や工場などの作業現場、人の集まる広場、駅、学校など、人や機械が動作するエリアであってもよい。本実施形態においては、以降作業は建設作業や土木作業等として説明するが、これに限られない。なお、映像は、時系列の複数の画像、すなわちフレームを含むため、映像と画像とは互いに言い換え可能である。すなわち、遠隔監視システムは、映像を処理する映像処理システムであり、また、画像を処理する画像処理システムであるとも言える。
　図６に示すように、遠隔監視システム１は、複数の端末１００、センターサーバ２００、基地局３００、ＭＥＣ４００を備えている。端末１００、基地局３００及びＭＥＣ４００は、現場側に配置され、センターサーバ２００は、センター側に配置されている。例えば、センターサーバ２００は、現場から離れた位置に配置されているデータセンタ等に配置されている。現場側はシステムのエッジ側とも呼称し、センター側はクラウド側とも呼称する。
　端末１００と基地局３００との間は、ネットワークＮＷ１により通信可能に接続される。ネットワークＮＷ１は、例えば、４Ｇ、ローカル５Ｇ／５Ｇ、ＬＴＥ（Long Term Evolution）、無線ＬＡＮなどの無線ネットワークである。なお、ネットワークＮＷ１は、無線ネットワークに限らず、有線ネットワークでもよい。基地局３００とセンターサーバ２００との間は、ネットワークＮＷ２により通信可能に接続される。ネットワークＮＷ２は、例えば、５ＧＣ（5th Generation Core network）やＥＰＣ（Evolved Packet Core）などのコアネットワーク、インターネットなどを含む。なお、ネットワークＮＷ２は、有線ネットワークに限らず、無線ネットワークでもよい。端末１００とセンターサーバ２００との間は、基地局３００を介して、通信可能に接続されているとも言える。基地局３００とＭＥＣ４００の間は任意の通信方法により通信可能に接続されるが、基地局３００とＭＥＣ４００は、１つの装置でもよい。
　端末１００は、ネットワークＮＷ１に接続される端末装置であり、現場の映像を送信する映像送信装置でもある。また、端末１００は、現場の映像の画質を制御する画質制御装置である。端末１００は、現場に設置されたカメラ１０１が撮影した映像を取得し、取得した映像を、基地局３００を介して、センターサーバ２００へ送信する。なお、カメラ１０１は、端末１００の外部に配置されてもよいし、端末１００の内部に配置されてもよい。
　端末１００は、カメラ１０１の映像を所定のビットレートに圧縮し、圧縮した映像を送信する。端末１００は、圧縮効率を最適化する圧縮効率最適化機能１０２、映像送信機能１０３を有する。圧縮効率最適化機能１０２は、映像内のＲＯＩ（Region of Interest）の画質を制御するＲＯＩ制御を行う。ＲＯＩは、映像内の所定の領域である。ＲＯＩは、センターサーバ２００の映像認識機能２０１の認識対象を含む領域であってもよいし、ユーザが注視すべき領域でもよい。圧縮効率最適化機能１０２は、人物や物体を含むＲＯＩの画質を維持しながら、その周りの領域の画質を低画質にすることでビットレートを削減する。映像送信機能１０３は、画質が制御された映像をセンターサーバ２００へ送信する。圧縮効率最適化機能１０２は、映像の各領域の画質を制御する画質制御部を含んでもよい。端末１００は、画質が制御された映像を送信する送信部や、画質制御部が制御する映像の各領域の画質を決定する決定部を備えていてもよい。
　基地局３００は、ネットワークＮＷ１の基地局装置であり、端末１００とセンターサーバ２００の間の通信を中継する中継装置でもある。例えば、基地局３００は、ローカル５Ｇの基地局、５ＧのｇＮＢ（next Generation Node B）、ＬＴＥのｅＮＢ（evolved Node B）、無線ＬＡＮのアクセスポイント等であるが、その他の中継装置でもよい。
　ＭＥＣ（Multi-access Edge Computing）４００は、システムのエッジ側に配置されたエッジ処理装置である。ＭＥＣ４００は、端末１００を制御するエッジサーバであり、端末のビットレートを制御する圧縮ビットレート制御機能４０１、端末制御機能４０２を有する。圧縮ビットレート制御機能４０１は、適応映像配信制御やＱｏＥ（quality of experience）制御により端末１００のビットレートを制御する。適応映像配信制御とは、ネットワークの状況に応じて配信する映像のビットレート等を制御する映像配信制御方法である。例えば、圧縮ビットレート制御機能４０１は、配信される映像のビットレートを抑えることによって当該映像を認識モデルに入力した際に得られる認識精度を、ネットワークＮＷ１及びＮＷ２の通信環境に応じて予測し、認識精度が良くなるように各端末１００のカメラ１０１の配信する映像にビットレートを割り当てる。端末制御機能４０２は、割り当てられたビットレートの映像を送信するように端末１００を制御する。端末１００は、割り当て得られたビットレートとなるように映像をエンコードし、エンコードした映像を送信する。なお、ビットレートの制御に限らず、ネットワークの状況に応じて配信する映像のフレームレートを制御してもよい。
　センターサーバ２００は、システムのセンター側に設置されたサーバである。センターサーバ２００は、１つまたは複数の物理的なサーバでもよいし、クラウド上に構築されたクラウドサーバやその他の仮想化サーバでもよい。センターサーバ２００は、現場のカメラ映像を分析や認識することで、現場の作業を監視する監視装置である。センターサーバ２００は、端末１００から送信された映像を受信する映像受信装置でもある。また、センターサーバ２００は、端末１００により画質が制御された映像から物体等を検出する検出装置である。
　センターサーバ２００は、映像認識機能２０１、アラート生成機能２０２、ＧＵＩ描画機能２０３、画面表示機能２０４を有する。映像認識機能２０１は、端末１００から送信された映像を映像認識ＡＩ（Artificial Intelligence）エンジンに入力することにより、作業員が行う作業、すなわち人物の行動の種類を認識する。映像認識機能２０１は、映像内の物体に関する情報を検出する検出部を含んでもよい。センターサーバ２００は、検出部の検出結果を端末１００に通知する通知部を備えていてもよい。
　アラート生成機能２０２は、認識された作業に応じてアラートを生成する。ＧＵＩ描画機能２０３は、表示装置の画面にＧＵＩ（Graphical User Interface）を表示する。画面表示機能２０４は、ＧＵＩに端末１００の映像や認識結果、アラート等を表示する。なお、必要に応じて、いずれかの機能を省略してもよいし、いずれかの機能を備えていてもよい。例えば、センターサーバ２００は、アラート生成機能２０２、ＧＵＩ描画機能２０３、画面表示機能２０４を備えていなくてもよい。
（実施の形態１）
　次に、実施の形態１について説明する。本実施の形態では、行動認識結果に基づいて、鮮明化領域を決定する例について説明する。
　まず、本実施の形態に係る遠隔監視システムの構成について説明する。本実施の形態に係る遠隔監視システム１の基本構成は、図６に示した通りである。ここでは、端末１００とセンターサーバ２００の構成例について説明する。図７は、本実施の形態に係る端末１００の構成例を示しており、図８は、本実施の形態に係るセンターサーバ２００の構成例を示している。
　なお、各装置の構成は一例であり、後述の本実施の形態に係る動作が可能であれば、その他の構成でもよい。例えば、端末１００の一部の機能をセンターサーバ２００や他の装置に配置してもよいし、センターサーバ２００の一部の機能を端末１００や他の装置に配置してもよい。また、圧縮ビットレート制御機能を含むＭＥＣ４００の機能をセンターサーバ２００や端末１００等に配置してもよい。また、センターサーバ２００は、クラウド上に実装されてもよい。
　図７に示すように、端末１００は、映像取得部１１０、物体検出部１２０、物体検出部１２０、鮮明化領域決定部１３０、画質制御部１４０、端末通信部１５０、行動認識結果取得部１６０を備えている。例えば、端末１００は、図１の画質制御装置１０に対応する。
　映像取得部１１０は、カメラ１０１が撮影した映像を取得する。カメラが撮影した映像は、以下入力映像とも称する。例えば、入力映像には現場で作業を行う作業員である人物や、人物が使用する作業物体等が含まれる。映像取得部１１０は、時系列の複数の画像、すなわちフレームを取得する画像取得部でもある。
　物体検出部１２０は、取得された入力映像内の物体を検出する。物体検出部１２０は、入力映像に含まれる各画像内の物体を検出し、検出した物体の種別を認識する。物体種別は、物体ラベルや物体クラスにより表されてもよい。例えば、物体検出部１２０は、映像内の物体の種別を識別し、識別した種別に対応するラベルやクラスを付与してもよい。物体検出部１２０は、入力映像に含まれる各画像から物体を含む矩形領域を抽出し、抽出した矩形領域内の物体の物体種別を認識する。矩形領域は、バウンディングボックス、または、物体領域である。なお、物体を含む物体領域は、矩形領域に限らず、円形や不定形のシルエット等の領域でもよい。物体検出部１２０は、矩形領域に含まれる物体の画像の特徴量を算出し、算出した特徴量に基づいて物体を認識する。例えば、物体検出部１２０は、ディープラーニングなどの機械学習を用いた物体認識エンジンにより画像内の物体を認識する。物体の画像の特徴と物体の種別を機械学習することで物体を認識できる。物体の検出結果には、物体種別、物体を含む矩形領域の位置情報、物体種別のスコア等が含まれる。物体の位置情報は、例えば、矩形領域の各頂点の座標であるが、矩形領域の中心の位置でもよいし、物体の任意の点の位置でもよい。物体種別のスコアは、検出した物体種別の確からしさ、すなわち信頼度または確信度である。
　行動認識結果取得部１６０は、端末通信部１５０がセンターサーバ２００から受信する行動認識結果を取得する。行動認識結果は、行動種別、行動種別のスコア、認識した行動の物体の種別、物体を含む矩形領域の位置情報等を含む。行動種別は、行動ラベルや行動クラスにより表されてもよい。例えば、映像から認識された行動の種別に対応するラベルやクラスが付与されてもよい。行動種別のスコアは、認識した行動種別の確からしさ、すなわち信頼度または確信度である。行動認識結果が示す物体は、例えば、行動認識の対象となる人物であるが、人物が作業で使用する作業物体を含んでもよい。また、行動認識結果は、物体の領域の画像や特徴量、重要度等を含んでもよい。重要度は、認識した行動の重要度であり、鮮明化する優先度でもよい。
　鮮明化領域決定部１３０は、入力映像内で検出した物体の検出結果に基づいて、取得された入力映像における画質を鮮明化する鮮明化領域を決定する。鮮明化領域決定部１３０は、検出された全ての物体の領域を鮮明化領域に決定してもよい。また、鮮明化領域決定部１３０は、入力映像内で検出した検出物体のうち所定の物体種別を有する物体の位置情報に基づいて、鮮明化領域を決定してもよい。例えば、端末１００の記憶部に記憶された注視対象リストの物体種別を有する物体の領域を鮮明化領域に選択してもよい。また、物体種別のスコアが所定値よりも大きい物体の領域や、物体種別のスコアが高い順に上位から所定の数の物体の領域を、鮮明化領域に選択してもよい。
　また、鮮明化領域決定部１３０は、センターサーバ２００から行動認識結果を取得した場合、鮮明化領域決定部１３０は、図１の決定部１３に対応する。取得した行動認識結果に基づいて、入力映像における鮮明化領域を決定する。例えば、鮮明化領域決定部１３０は、物体の検出結果のみ、または、行動認識結果のみに基づいて、鮮明化領域を決定してもよいし、物体の検出結果及び行動認識結果に基づいて、鮮明化領域を決定してもよい。例えば、物体の検出結果に基づいて選択した領域を、行動認識結果に基づいて絞り込むことで、鮮明化領域を決定してもよい。センターサーバ２００から行動認識結果を取得していない場合、例えば、センターサーバ２００が行動認識を行う前の段階では、物体の検出結果のみに基づいて、鮮明化領域を決定してもよい。鮮明化領域決定部１３０は、後述のように、行動認識結果を取得すると、取得した行動認識結果に基づいて、入力映像における鮮明化領域を切り替える。鮮明化領域決定部１３０は、行動認識結果に含まれる物体の位置情報が示す領域について、物体の行動が認識されているか否かに応じて、当該領域を鮮明化するか否か決定する。入力映像から複数の物体が検出されている場合、物体が検出された領域と行動認識結果が示す領域とのマッチングを行い、マッチング結果により絞り込まれた物体検出領域について、鮮明化するか否か決定してもよい。例えば、物体の行動が認識されている場合、認識結果が示す領域を鮮明化領域から除外し、他の領域を鮮明化領域に選択する。また、物体の行動が認識されていない場合、認識結果が示す領域を鮮明化領域に選択する。すなわち、認識結果が示す領域の鮮明化を継続する。例えば、物体の行動が認識されているか否かは、行動認識結果の行動種別のスコアに基づいて判定してもよい。また、鮮明化領域決定部１３０は、行動認識結果に重要度が含まれている場合、重要度に応じて鮮明化領域を決定してもよい。例えば、行動種別や重要度に応じて各領域に優先度を割り当て、割り当てた優先度に基づいて鮮明化領域を決定してもよい。この場合、優先度が最も高い領域を鮮明化領域に決定してもよいし、優先度が高い順に上位から所定の数の領域を鮮明化領域に決定してもよい。また、行動認識結果に応じて、行動認識結果が示す領域を鮮明化する時間を決定してもよい。例えば、予め行動ごとに鮮明化する時間を対応付けておき、行動認識結果の行動種別に応じて、鮮明化する時間、または、鮮明化から除外する時間を決定してもよい。なお、センターサーバ２００で行動認識結果に応じて鮮明化領域を決定し、センターサーバから鮮明化領域の情報を端末１００へ通知してもよい。
　画質制御部１４０は、決定した鮮明化領域に基づいて、入力映像の画質を制御する。例えば、画質制御部１４０は、図１の画質制御部１１に対応する。鮮明化領域は、他の領域よりも画質を鮮明化する領域、すなわち、他の領域よりも画質を高画質化する高画質化領域である。鮮明化領域は、ＲＯＩでもある。他の領域は、低画質化領域、または、非鮮明化領域である。画質制御部１４０は、所定の符号化方式により入力映像をエンコードするするエンコーダである。画質制御部１４０は、例えば、Ｈ．２６４やＨ．２６５などの映像符号化方式によりエンコードする。画質制御部１４０は、鮮明化領域と他の領域をそれぞれ所定の圧縮率、すなわちビットレートで圧縮することで、鮮明化領域の画質が所定の品質となるようにエンコードする。すなわち、鮮明化領域と他の領域の圧縮率を変えることで鮮明化領域を他の領域よりも高画質化する。その他の領域を鮮明化領域よりも低画質化しているとも言える。例えば、隣接ピクセル間の画素値の変化を緩やかにすることで、低画質化することができる。
　また、画質制御部１４０は、ＭＥＣ４００の圧縮ビットレート制御機能４０１から割り当てられたビットレートとなるように入力映像をエンコードしてもよい。割り当てられたビットレートの範囲で、高画質化領域及び低画質化領域の画質を制御してもよい。また、画質制御部１４０は、端末１００とセンターサーバ２００間の通信品質に基づいて、ビットレートを決定してもよい。通信品質に基づいたビットレートの範囲で、高画質化領域及び低画質化領域の画質を制御してもよい。通信品質は、例えば、通信速度であるが、伝送遅延や誤り率などその他の指標でもよい。端末１００は、通信品質を測定する通信品質測定部を備えていてもよい。例えば、通信品質測定部は、通信速度に応じて端末１００からセンターサーバ２００へ送信する映像のビットレートを決定する。基地局３００またはセンターサーバ２００が受信するデータ量に基づいて通信速度を測定し、通信品質測定部は、基地局３００またはセンターサーバ２００から測定された通信速度を取得してもよい。また、通信品質測定部は、端末通信部１５０から送信する単位時間当たりのデータ量に基づいて通信速度を推定してもよい。
　端末通信部１５０は、画質制御部１４０がエンコードしたエンコードデータを、基地局３００を介して、センターサーバ２００へ送信する。端末通信部１５０は、画質が制御された映像を送信する送信部である。例えば、端末通信部１５０は、図１の送信部１２に対応する。また、端末通信部１５０は、センターサーバ２００から送信された行動認識結果を、基地局３００を介して受信する受信部でもある。端末通信部１５０は、基地局３００と通信可能なインタフェースであり、例えば、４Ｇ、ローカル５Ｇ／５Ｇ、ＬＴＥ、無線ＬＡＮ等の無線インタフェースであるが、その他の任意の通信方式の無線または有線インタフェースでもよい。端末通信部１５０は、エンコードデータを送信する第１の端末通信部と、行動認識結果を受信する第２の端末通信部を含んでもよい。第１の端末通信部と第２の端末通信部は、同じ通信方式の通信部でもよいし、別の通信方式の通信部でもよい。
　また、図８に示すように、センターサーバ２００は、センター通信部２１０、デコーダ２２０、物体検出部２３０、物体追跡部２４０、特徴抽出部２５０、姿勢推定部２６０、行動認識部２７０、行動認識結果通知部２８０を備えている。例えば、センターサーバ２００は、図２の検出装置２０に対応する。
　センター通信部２１０は、端末１００から送信されたエンコードデータを、基地局３００を介して受信する。センター通信部２１０は、画質が制御された映像を受信する受信部である。また、センター通信部２１０は、行動認識部２７０が認識した行動認識結果を、基地局３００を介して端末１００へ送信する送信部でもある。センター通信部２１０は、インターネットやコアネットワークと通信可能なインタフェースであり、例えば、ＩＰ通信用の有線インタフェースであるが、その他の任意の通信方式の有線または無線インタフェースでもよい。センター通信部２１０は、エンコードデータを受信する第１のセンター通信部と、行動認識結果を送信する第２のセンター通信部を含んでもよい。第１のセンター通信部と第２のセンター通信部は、同じ通信方式の通信部でもよいし、別の通信方式の通信部でもよい。
　デコーダ２２０は、端末１００から受信したエンコードデータをデコードする。デコーダ２２０は、エンコードデータを復号化する復号化部である。デコーダ２２０は、所定の符号化方式によりエンコードデータ、すなわち圧縮データを復元する復元部でもある。デコーダ２２０は、端末１００の符号化方式に対応し、例えば、Ｈ．２６４やＨ．２６５などの動画符号化方式によりデコードする。デコーダ２２０は、各領域の圧縮率やビットレートに応じてデコードし、デコードした映像を生成する。デコードした映像を、以下受信映像とも称する。
　物体検出部２３０は、端末１００から受信した受信映像内の物体を検出する。例えば、物体検出部２３０は、端末１００の物体検出部１２０と同様、機械学習を用いた物体認識エンジンにより物体を認識する。すなわち、物体検出部２３０は、受信映像の各画像から物体を含む矩形領域を抽出し、抽出した矩形領域内の物体の物体種別を認識する。物体の検出結果には、物体種別、物体を含む矩形領域の位置情報、物体種別のスコア等が含まれる。
　物体追跡部２４０は、検出された受信映像内の物体を追跡、すなわちトラッキングする。物体追跡部２４０は、物体の検出結果に基づいて、受信映像に含まれる各画像の物体のマッチングを行い、各画像でマッチングした物体間を対応付ける。例えば、検出された物体にトラッキングＩＤを割り当てることで、各物体を識別してトラッキングしてもよい。例えば、前の画像で検出された物体の矩形領域と次の画像で検出された物体の矩形領域との間の距離や重なりにより画像間の物体を対応付けることで、物体をトラッキングする。
　特徴抽出部２５０は、物体追跡部２４０がトラッキングした物体ごとに、物体の画像の特徴量を抽出する。特徴抽出部２５０は、行動認識部２７０が物体の行動を認識するために使用する特徴量を抽出する。画像の２次元空間の特徴量や時間方向の時空間の特徴量を抽出してもよい。例えば、特徴抽出部２５０は、ディープラーニングなどの機械学習を用いた特徴抽出エンジンにより物体の画像の特徴量を抽出する。特徴抽出エンジンは、ＣＮＮ（Convolutional Neural Network）やＲＮＮ（Recurrent Neural Network）でもよいし、その他のニューラルネットワークでもよい。
　姿勢推定部２６０は、物体追跡部２４０がトラッキングした物体ごとに、物体の姿勢を推定する。姿勢推定部２６０は、物体の姿勢として、検出した物体である人物の骨格を推定してもよい。例えば、姿勢推定部２６０は、ディープラーニングなどの機械学習を用いた骨格推定エンジンや姿勢推定エンジンにより、画像内の物体の姿勢を推定する。
　行動認識部２７０は、特徴抽出結果及び姿勢推定結果に基づいて、物体の行動を認識する。例えば、行動認識部２７０は、図２の検出部２１に対応する。なお、物体検出部２３０が、図２の検出部２１に対応してもよい。行動認識部２７０は、抽出された物体の画像の特徴量と、推定された物体の姿勢に基づいて、物体の行動を認識する。例えば、人物が物体を使用して行う作業や、人物が危険な状態となる不安全行動などを認識する。なお、行動認識に限らず、その他の映像認識処理でもよい。行動認識部２７０は、物体ごとに、物体の行動の種別を認識する。例えば、行動認識部２７０は、ディープラーニングなどの機械学習を用いた行動認識エンジンにより、物体の行動を認識する。作業を行う人物の映像の特徴と行動種別を機械学習することで、映像内の人物の行動を認識できる。行動認識エンジンは、ＣＮＮやＲＮＮでもよいし、その他のニューラルネットワークでもよい。行動認識結果は、上記のように、行動種別、行動種別のスコア、物体の種別、物体の位置情報等を含む。物体の種別及び位置情報は、物体検出部２３０が検出した物体の種別及び位置情報である。行動認識結果は、検出した物体の領域の画像や特徴量を含んでもよい。また、行動種別や物体種別に重要度を対応付けておき、認識した行動種別や物体種別に応じた重要度を、行動認識結果に含めてもよい。
　行動認識結果通知部２８０は、物体の行動を認識した結果である行動認識結果を端末１００へ通知する。例えば、行動認識結果通知部２８０は、図２の通知部２２に対応する。行動認識結果通知部２８０は、行動認識部２７０が出力した行動認識結果を、センター通信部２１０を介して、端末１００へ送信する。
　次に、本実施の形態に係る遠隔監視システムの動作について説明する。図９は、本実施の形態に係る遠隔監視システム１の動作例を示し、図１０は、図９の鮮明化領域切替処理（Ｓ１２４）の動作例を示している。例えば、端末１００がＳ１１１～Ｓ１１５、Ｓ１２３～Ｓ１２４を実行し、センターサーバ２００がＳ１１６～Ｓ１２２を実行するとして説明するが、これに限らず、いずれの装置が各処理を実行してもよい。
　図９に示すように、端末１００は、カメラ１０１から映像を取得する（Ｓ１１１）。カメラ１０１は、現場を撮影した映像を生成し、映像取得部１１０は、カメラ１０１から出力される映像、すなわち入力映像を取得する。例えば、図１１に示すように、入力映像の画像には、現場で作業を行う３人の人物Ｐ１～Ｐ３が含まれている。例えば、人物Ｐ３は、ハンマーを持って作業を行っている。
　続いて、端末１００は、取得した入力映像に基づいて物体を検出する（Ｓ１１２）。物体検出部１２０は、物体認識エンジンを用いて、入力映像に含まれる画像内の矩形領域を検出し、検出した矩形領域内の物体の物体種別を認識する。物体検出部１２０は、検出した各物体について、物体種別、物体の矩形領域の位置情報、物体種別のスコア等を物体検出結果として出力する。例えば、図１１の画像から物体検出を行うと、図１２のように、人物Ｐ１～Ｐ３及びハンマーを検出し、人物Ｐ１～Ｐ３の矩形領域とハンマーの矩形領域を検出する。
　続いて、端末１００は、物体検出結果に基づいて、鮮明化領域を決定する（Ｓ１１３）。この段階では、まだセンターサーバ２００が映像から行動を認識していないため、行動認識結果を使用せずに鮮明化領域を決定する。例えば、鮮明化領域決定部１３０は、全ての物体の領域、または、所定の物体種別を有する物体の領域を鮮明化領域に決定してもよい。また、鮮明化領域決定部１３０は、物体種別のスコアが所定値よりも大きい物体の領域を鮮明化領域に決定してもよい。鮮明化領域に選択した物体の領域を、選択中の鮮明化領域にセットする。例えば、図１２の例で、人物Ｐ１のスコアが所定値よりも大きく、人物Ｐ２、人物Ｐ３及びハンマーのスコアが所定値よりも小さい場合、図１３のように、人物Ｐ１の矩形領域を鮮明化領域に決定する。
　続いて、端末１００は、決定した鮮明化領域に基づいて、入力映像をエンコードする（Ｓ１１４）。画質制御部１４０は、所定の映像符号化方式により入力映像をエンコードする。例えば、画質制御部１４０は、ＭＥＣ４００の圧縮ビットレート制御機能４０１から割り当てられたビットレートとなるように入力映像をエンコードしてもよいし、端末１００とセンターサーバ２００の間の通信品質に応じたビットレートでエンコードしてもよい。画質制御部１４０は、割り当てられたビットレートや通信品質に応じたビットレートの範囲で、鮮明化領域が他の領域よりも高画質となるように、入力映像をエンコードする。例えば、鮮明化領域の圧縮率を他の領域の圧縮率よりも下げることで、鮮明化領域を高画質化し、他の領域を低画質化する。図１３のように、人物Ｐ１の矩形領域が鮮明化領域に選択された場合、人物Ｐ１の矩形領域を高画質化し、人物Ｐ２、人物Ｐ３及びハンマーを含む他の領域を低画質化する。
　続いて、端末１００は、エンコードしたエンコードデータをセンターサーバ２００へ送信し（Ｓ１１５）、センターサーバ２００は、エンコードデータを受信する（Ｓ１１６）。端末通信部１５０は、入力映像をエンコードしたエンコードデータを基地局３００へ送信する。基地局３００は、受信したエンコードデータを、コアネットワークやインターネットを介して、センターサーバ２００へ転送する。センター通信部２１０は、転送されたエンコードデータを、基地局３００から受信する。
　続いて、センターサーバ２００は、受信したエンコードデータをデコードする（Ｓ１１７）。デコーダ２２０は、各領域の圧縮率やビットレートに応じてエンコードデータをデコードし、デコードした映像、すなわち受信映像を生成する。
　続いて、センターサーバ２００は、受信した受信映像に基づいて、受信映像内の物体を検出する（Ｓ１１８）。物体検出部２３０は、物体認識エンジンを用いて、受信映像内の物体を検出する。物体検出部２３０は、検出した物体の種別、物体を含む矩形領域の位置情報、物体種別のスコア等を、物体検出結果として出力する。
　続いて、センターサーバ２００は、検出された受信映像内の物体を追跡する（Ｓ１１９）。物体追跡部２４０は、受信映像の物体検出結果に基づいて、受信映像内の物体をトラッキングする。物体追跡部２４０は、検出された各物体にトラッキングＩＤを割り当て、トラッキングＩＤにより識別される物体を各画像でトラッキングする。
　続いて、センターサーバ２００は、トラッキングした物体ごとに、物体の画像の特徴量を抽出し、物体の姿勢を推定する（Ｓ１２０）。特徴抽出部２５０は、特徴抽出エンジンを用いて、トラッキングされた物体の画像の特徴量を抽出する。姿勢推定部２６０は、姿勢推定エンジンを用いて、トラッキングされた物体の姿勢を推定する。
　続いて、センターサーバ２００は、特徴抽出結果及び姿勢推定結果に基づいて、物体の行動を認識する（Ｓ１２１）。行動認識部２７０は、行動認識エンジンを用いて、抽出された物体の特徴量と推定された物体の姿勢に基づいて、受信映像における物体の行動を認識する。行動認識部２７０は、認識した物体の行動の種別、物体の位置情報、行動種別のスコア等を行動認識結果として出力する。例えば、図１３のように、人物Ｐ１の矩形領域を高画質化されている場合、人物Ｐ１を検出及びトラッキングし、人物Ｐ１の特徴量及び姿勢から、人物Ｐ１の行動を認識する。
　続いて、センターサーバ２００は、認識した行動認識結果を端末１００へ通知し（Ｓ１２２）、端末１００は、行動認識結果を取得する（Ｓ１２３）。行動認識結果通知部２８０は、行動認識部２７０が出力した行動認識結果を、センター通信部２１０を介して、端末へ通知する。センター通信部２１０は、行動認識結果を、インターネットやコアネットワークを介して、基地局３００へ送信する。基地局３００は、受信した行動認識結果を端末１００へ転送する。端末通信部１５０は、転送された行動認識結果を、基地局３００から受信する。行動認識結果取得部１６０は、端末通信部１５０が受信した行動認識結果を取得する。
　続いて、端末１００は、取得した行動認識結果に基づいて、鮮明化領域を切り替える鮮明化領域切替処理を行う（Ｓ１２４）。鮮明化領域切替処理では、鮮明化領域決定部１３０は、行動認識結果に基づいて、鮮明化領域を選択し、Ｓ１１３で決定した鮮明化領域を切り替える。なお、鮮明化領域切替処理を実行するか否か判定してもよい。例えば、前回、鮮明化領域切替処理を実行してから所定時間経過した場合や、所定の物体や行動が認識された場合、全ての物体の領域が鮮明化済の場合、鮮明化領域切替処理を実行しなくてもよい。この場合、選択中の鮮明化領域をリセットし、Ｓ１１３と同様に、物体検出結果に基づいて、鮮明化領域を決定してもよい。
　鮮明化領域切替処理では、図１０に示すように、鮮明化領域決定部１３０は、取得した行動認識結果と、入力映像の物体検出結果とのマッチングを行う（Ｓ２０１）。すなわち、センターサーバ２００が行動を認識した物体と、端末１００が検出した物体とのマッチングを行い、検出した物体の中から行動認識した物体にマッチングする物体を抽出する。鮮明化領域決定部１３０は、行動認識結果の物体と物体検出結果の物体とを比較し、行動を認識した物体と検出した物体が同じであるか否か、すなわち、マッチングするか否かを判定する。鮮明化領域決定部１３０は、例えば、物体の種別、物体の位置情報等に基づいてマッチングを行う。例えば、物体の種別が一致し、物体間の距離が所定の閾値以下の場合に、マッチングすると判定する。さらに、物体の画像の特徴量を使用して、物体の画像が類似している場合に、マッチングすると判定してもよい。なお、マッチングする物体が抽出できない場合、Ｓ１１３と同様に、物体検出結果に基づいて、鮮明化領域を決定してもよい。
　次に、鮮明化領域決定部１３０は、行動認識結果とマッチングした物体の行動が認識済みか否か判定する（Ｓ２０２）。鮮明化領域決定部１３０は、行動認識結果に含まれる行動種別のスコアが所定値よりも大きい場合、行動が認識済みであると判定し、行動種別のスコアが所定値よりも小さい場合、行動が認識済みではないと判定する。
　行動認識済みであると判定された場合、鮮明化領域決定部１３０は、他の領域を鮮明化領域に選択する（Ｓ２０３）。鮮明化領域決定部１３０は、行動が認識されている場合、マッチングした物体の領域、すなわち、現在鮮明化領域に選択している物体の領域を鮮明化領域から除外し、その他の物体の領域を鮮明化領域に選択して、鮮明化領域を切り替える。新たに鮮明化領域に選択した物体の領域を、選択中の鮮明化領域にセットする。複数の物体の領域が検出されている場合、鮮明化領域に選択されていない領域の中から、次に鮮明化する領域を選択し、行動が認識される毎に、選択する物体の領域を順次切り替える。次に鮮明化する領域は、物体検出により検出した物体種別や、物体種別のスコアに基づいて選択してもよいし、ランダムに選択してもよい。なお、次に鮮明化する領域がない場合や、行動種別が所定の行動の場合、鮮明化領域を他の領域に切り替えずに、現在の鮮明化領域の選択を維持してもよい。すなわち、この場合、マッチングした物体の領域を鮮明化領域に選択してもよい。
　図１３の例で、人物Ｐ１の行動が認識されている場合、人物Ｐ３の領域を鮮明化領域から除外し、人物Ｐ２、人物Ｐ３、ハンマーのいずれかを鮮明化領域に選択する。例えば、物体検出結果から、人物Ｐ２と、人物Ｐ３及びハンマーの物体種別のスコアを比較し、人物Ｐ２の物体種別のスコアが大きい場合、図１４のように、人物Ｐ２の矩形領域を鮮明化領域に決定する。その後、人物Ｐ２が行動認識済みとなった場合、図１５のように、人物Ｐ３及びハンマーの矩形領域を鮮明化領域に決定する。
　また、行動認識済みではないと判定された場合、鮮明化領域決定部１３０は、マッチングした物体の領域を、鮮明化領域に選択する（Ｓ２０４）。すなわち、この場合、現在の鮮明化領域の選択を維持する。例えば、図１３の例で、人物Ｐ１の行動が認識されない場合、人物Ｐ１の矩形領域を鮮明化領域に選択した状態を継続する。その後、Ｓ１１４以降の処理を繰り返す。
　以上のように、本実施の形態では、センターサーバの行動認識結果に基づいて、端末で鮮明化する鮮明化領域を決定する。例えば、センターサーバで認識できている領域を鮮明化領域から一度除外し、認識できていない他の領域を優先的に鮮明化領域に選択する。これにより、端末の物体検出結果とセンターサーバの行動認識結果から重要領域を絞込むことができ、鮮明化領域を認識済の領域から未認識の領域に回すことができる。センターサーバで認識済みのものは鮮明化する優先度を下げることで、より多くの範囲の行動を認識することができるため、認識の取りこぼしを低減することが可能となる。したがって、行動認識の認識精度を確保しつつ、端末から送信する映像のデータ量を適切に低減することができる。
（実施の形態２）
　次に、実施の形態２について説明する。本実施の形態では、物体検出結果に基づいて、鮮明化領域を決定する例について説明する。なお、本実施の形態は、実施の形態１と組み合わせて実施することが可能であり、実施の形態１で示した各構成を適宜使用してもよい。
　図１６は、本実施の形態に係る端末１００の構成例を示しており、図１７は、本実施の形態に係るセンターサーバ２００の構成例を示している。ここでは、主に実施の形態１と異なる構成について説明する。
　図１６に示すように、端末１００は、実施の形態１の行動認識結果取得部１６０の代わりに、物体検出結果取得部１６１を備えている。また、図１７に示すように、センターサーバ２００は、実施の形態１の行動認識結果通知部２８０の代わりに、物体検出結果通知部２８１を備えている。その他の構成は、実施の形態１と同様である。なお、端末１００は、実施の形態１の構成に加えて、さらに物体検出結果取得部１６１を備えていてもよい。センターサーバ２００は、実施の形態１の構成に加えて、さらに物体検出結果通知部２８１を備えていてもよい。
　センターサーバ２００の物体検出結果通知部２８１は、センターサーバ２００で検出した物体検出結果を、端末１００へ通知する。物体検出結果通知部２８１は、物体検出部２３０が出力した物体検出結果を、センター通信部２１０を介して、端末１００へ送信する。物体検出結果は、物体種別、物体を含む矩形領域の位置情報、物体種別のスコア等を含む。
　端末１００の物体検出結果取得部１６１は、端末通信部１５０を介して、センターサーバ２００から受信する物体検出結果を取得する。鮮明化領域決定部１３０は、取得した物体検出結果に基づいて、入力映像における鮮明化領域を決定する。物体検出結果に基づいた鮮明化領域の決定方法は、実施の形態１の行動認識結果に基づいた鮮明化領域の決定方法と同様である。すなわち、鮮明化領域決定部１３０は、物体検出結果に含まれる物体の位置情報が示す領域について、物体が検出されているか否かに応じて、鮮明化するか否か決定する。物体が検出されている場合、例えば、物体種別のスコアが所定値よりも大きい場合、検出結果が示す領域を鮮明化領域から除外し、他の領域を鮮明化領域に選択する。また、物体が検出されていない場合、例えば、物体種別のスコアが所定値よりも小さい場合、検出結果が示す領域を鮮明化領域に選択する。
　以上のように、本実施の形態では、センターサーバの物体検出結果に基づいて、端末で鮮明化する鮮明化領域を決定する。この場合でも、実施の形態１と同様に、物体検出の検出精度を確保しつつ、映像のデータ量を適切に低減することができる。
（実施の形態３）
　次に、実施の形態３について説明する。本実施の形態では、顔認証結果に基づいて、鮮明化領域を決定する例について説明する。なお、本実施の形態は、実施の形態１または２と組み合わせて実施することが可能であり、実施の形態１または２で示した各構成を適宜使用してもよい。
　図１８は、本実施の形態に係る端末１００の構成例を示しており、図１９は、本実施の形態に係るセンターサーバ２００の構成例を示している。ここでは、主に実施の形態１と異なる構成について説明する。なお、実施の形態２に本実施の形態を適用してもよい。
　図１８に示すように、端末１００は、実施の形態１の行動認識結果取得部１６０の代わりに、顔認証結果取得部１６２を備えている。また、図１９に示すように、センターサーバ２００は、実施の形態１の行動認識結果通知部２８０の代わりに、顔認証部２８２を備えている。その他の構成は、実施の形態１と同様である。なお、端末１００は、実施の形態１の構成に加えて、さらに顔認証結果取得部１６２を備えていてもよい。センターサーバ２００は、実施の形態１の構成に加えて、さらに顔認証部２８２を備えていてもよい。
　センターサーバ２００の顔認証部２８２は、物体検出により検出した人物の顔認証を行う。例えば、記憶部に、人物の顔の画像と人物を識別する識別情報とを対応付けて記憶しておく。顔認証部２８２は、映像内の人物の顔を抽出し、抽出した顔を記憶部に登録された人物の顔と照合する。例えば、顔認証部２８２は、ディープラーニングなどの機械学習を用いた顔認証エンジンにより画像内の人物の顔を認証してもよい。顔認証部２８２は、顔認証のマッチング率及び人物の位置情報を、顔認証結果として、センター通信部２１０を介して端末１００へ送信する。
　端末１００の顔認証結果取得部１６２は、端末通信部１５０を介して、センターサーバ２００から受信する顔認証結果を取得する。鮮明化領域決定部１３０は、取得した顔認証結果に基づいて、入力映像における鮮明化領域を決定する。鮮明化領域決定部１３０は、顔認証結果に含まれる人物の位置情報が示す領域について、顔が認証されているか否かに応じて、鮮明化するか否か決定する。顔が認証されている場合、例えば、マッチング率が所定値よりも大きい場合、顔認証結果が示す領域を鮮明化領域から除外し、他の領域を鮮明化領域に選択する。また、顔が認証されていない場合、例えば、マッチング率が所定値よりも小さい場合、顔認証結果が示す領域を鮮明化領域に選択する。
　以上のように、本実施の形態では、センターサーバの顔認証結果に基づいて、端末で鮮明化する鮮明化領域を決定する。この場合でも、実施の形態１や２と同様に、行動認識や物体検出の精度を確保しつつ、映像のデータ量を適切に低減することができる。
　なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置及び各機能（処理）を、図２０に示すような、ＣＰＵ（Central Processing Unit）等のプロセッサ４１及び記憶装置であるメモリ４２を有するコンピュータ４０により実現してもよい。例えば、メモリ４２に実施形態における方法（映像処理方法）を行うためのプログラムを格納し、各機能を、メモリ４２に格納されたプログラムをプロセッサ４１で実行することにより実現してもよい。
　これらのプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
　以上、実施の形態を参照して本開示を説明したが、本開示は上記実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　画質制御装置と、検出装置と、を備え、
　前記画質制御装置は、
　　映像の各領域の画質を制御する画質制御手段と、
　　前記画質が制御された映像を前記検出装置へ送信する送信手段と、を備え、
　前記検出装置は、
　　前記送信手段から送信された映像内の物体に関する情報を検出する検出手段と、
　　前記検出手段の検出結果を前記画質制御装置に通知する通知手段と、を備え、
　前記画質制御装置は、
　　前記通知手段から通知された検出結果に応じて、前記画質制御手段が制御する映像の各領域の画質を決定する決定手段をさらに備える、
　映像処理システム。
（付記２）
　前記検出手段は、前記物体に関する情報として、前記映像内の物体を検出し、
　前記決定手段は、前記物体の検出結果に応じて、前記画質制御手段が制御する映像の各領域の画質を決定する、
　付記１に記載の映像処理システム。
（付記３）
　前記検出手段は、前記物体に関する情報として、前記映像内の物体の行動を認識し、
　前記決定手段は、前記物体の行動の認識結果に応じて、前記画質制御手段が制御する映像の各領域の画質を決定する、
　付記１または２に記載の映像処理システム。
（付記４）
　前記決定手段は、前記検出手段により前記物体に関する情報が検出されているかに応じて、前記映像の各領域の画質を決定する、
　付記１から３のいずれか一項に記載の映像処理システム。
（付記５）
　前記決定手段は、前記検出手段により前記物体に関する情報が検出されている場合、前記物体が検出された領域の画質と他の領域の画質を変更する、
　付記４に記載の映像処理システム。
（付記６）
　前記決定手段は、前記検出手段により前記物体に関する情報が検出されていない場合、前記映像の各領域の画質を維持する、
　付記４または５に記載の映像処理システム。
（付記７）
　画質制御装置と、検出装置と、を備えた映像処理システムにおける映像処理方法であって、
　前記画質制御装置は、
　　映像の各領域の画質を制御し、
　　前記画質が制御された映像を前記検出装置へ送信し、
　前記検出装置は、
　　前記送信された映像内の物体に関する情報を検出し、
　　前記検出された検出結果を前記画質制御装置に通知し、
　前記画質制御装置は、
　　前記通知された検出結果に応じて、前記制御する映像の各領域の画質を決定する、
　映像処理方法。
（付記８）
　前記検出装置は、前記物体に関する情報として、前記映像内の物体を検出し、
　前記画質制御装置は、前記物体の検出結果に応じて、前記制御する映像の各領域の画質を決定する、
　付記７に記載の映像処理方法。
（付記９）
　前記検出装置は、前記物体に関する情報として、前記映像内の物体の行動を認識し、
　前記画質制御装置は、前記物体の行動の認識結果に応じて、前記制御する映像の各領域の画質を決定する、
　付記７または８に記載の映像処理方法。
（付記１０）
　前記画質制御装置は、前記物体に関する情報が検出されているかに応じて、前記映像の各領域の画質を決定する、
　付記７から９のいずれか一項に記載の映像処理方法。
（付記１１）
　前記画質制御装置は、前記物体に関する情報が検出されている場合、前記物体が検出された領域の画質と他の領域の画質を変更する、
　付記１０に記載の映像処理方法。
（付記１２）
　前記画質制御装置は、前記物体に関する情報が検出されていない場合、前記映像の各領域の画質を維持する、
　付記１０または１１に記載の映像処理方法。
（付記１３）
　映像の各領域の画質を制御する画質制御手段と、
　前記画質が制御された映像を、前記映像内の物体に関する情報を検出する検出装置へ送信する送信手段と、
　前記検出装置から通知された検出結果に応じて、前記画質制御手段が制御する映像の各領域の画質を決定する決定手段と、
　を備える、画質制御装置。
（付記１４）
　前記検出装置は、前記物体に関する情報として、前記映像内の物体を検出し、
　前記決定手段は、前記物体の検出結果に応じて、前記画質制御手段が制御する映像の各領域の画質を決定する、
　付記１３に記載の画質制御装置。
（付記１５）
　前記検出装置は、前記物体に関する情報として、前記映像内の物体の行動を認識し、
　前記決定手段は、前記物体の行動の認識結果に応じて、前記画質制御手段が制御する映像の各領域の画質を決定する、
　付記１３または１４に記載の画質制御装置。
（付記１６）
　前記決定手段は、前記検出装置により前記物体に関する情報が検出されているかに応じて、前記映像の各領域の画質を決定する、
　付記１３から１５のいずれか一項に記載の画質制御装置。
（付記１７）
　前記決定手段は、前記検出装置により前記物体に関する情報が検出されている場合、前記物体が検出された領域の画質と他の領域の画質を変更する、
　付記１６に記載の画質制御装置。
（付記１８）
　前記決定手段は、前記検出装置により前記物体に関する情報が検出されていない場合、前記映像の各領域の画質を維持する、
　付記１６または１７に記載の画質制御装置。
１　　　遠隔監視システム
１０　　画質制御装置
１１　　画質制御部
１２　　送信部
１３　　決定部
２０　　検出装置
２１　　検出部
２２　　通知部
３０　　映像処理システム
４０　　コンピュータ
４１　　プロセッサ
４２　　メモリ
１００　端末
１０１　カメラ
１０２　圧縮効率最適化機能
１０３　映像送信機能
１１０　映像取得部
１２０　物体検出部
１３０　鮮明化領域決定部
１４０　画質制御部
１５０　端末通信部
１６０　行動認識結果取得部
１６１　物体検出結果取得部
１６２　顔認証結果取得部
２００　センターサーバ
２０１　映像認識機能
２０２　アラート生成機能
２０３　ＧＵＩ描画機能
２０４　画面表示機能
２１０　センター通信部
２２０　デコーダ
２３０　物体検出部
２４０　物体追跡部
２５０　特徴抽出部
２６０　姿勢推定部
２７０　行動認識部
２８０　行動認識結果通知部
２８１　物体検出結果通知部
２８２　顔認証部
３００　基地局
４００　ＭＥＣ
４０１　圧縮ビットレート制御機能
４０２　端末制御機能

Claims (18)

  1. 　画質制御装置と、検出装置と、を備え、
    　前記画質制御装置は、
    　　映像の各領域の画質を制御する画質制御手段と、
    　　前記画質が制御された映像を前記検出装置へ送信する送信手段と、を備え、
    　前記検出装置は、
    　　前記送信手段から送信された映像内の物体に関する情報を検出する検出手段と、
    　　前記検出手段の検出結果を前記画質制御装置に通知する通知手段と、を備え、
    　前記画質制御装置は、
    　　前記通知手段から通知された検出結果に応じて、前記画質制御手段が制御する映像の各領域の画質を決定する決定手段をさらに備える、
    　映像処理システム。
  2. 　前記検出手段は、前記物体に関する情報として、前記映像内の物体を検出し、
    　前記決定手段は、前記物体の検出結果に応じて、前記画質制御手段が制御する映像の各領域の画質を決定する、
    　請求項１に記載の映像処理システム。
  3. 　前記検出手段は、前記物体に関する情報として、前記映像内の物体の行動を認識し、
    　前記決定手段は、前記物体の行動の認識結果に応じて、前記画質制御手段が制御する映像の各領域の画質を決定する、
    　請求項１または２に記載の映像処理システム。
  4. 　前記決定手段は、前記検出手段により前記物体に関する情報が検出されているかに応じて、前記映像の各領域の画質を決定する、
    　請求項１から３のいずれか一項に記載の映像処理システム。
  5. 　前記決定手段は、前記検出手段により前記物体に関する情報が検出されている場合、前記物体が検出された領域の画質と他の領域の画質を変更する、
    　請求項４に記載の映像処理システム。
  6. 　前記決定手段は、前記検出手段により前記物体に関する情報が検出されていない場合、前記映像の各領域の画質を維持する、
    　請求項４または５に記載の映像処理システム。
  7. 　画質制御装置と、検出装置と、を備えた映像処理システムにおける映像処理方法であって、
    　前記画質制御装置は、
    　　映像の各領域の画質を制御し、
    　　前記画質が制御された映像を前記検出装置へ送信し、
    　前記検出装置は、
    　　前記送信された映像内の物体に関する情報を検出し、
    　　前記検出された検出結果を前記画質制御装置に通知し、
    　前記画質制御装置は、
    　　前記通知された検出結果に応じて、前記制御する映像の各領域の画質を決定する、
    　映像処理方法。
  8. 　前記検出装置は、前記物体に関する情報として、前記映像内の物体を検出し、
    　前記画質制御装置は、前記物体の検出結果に応じて、前記制御する映像の各領域の画質を決定する、
    　請求項７に記載の映像処理方法。
  9. 　前記検出装置は、前記物体に関する情報として、前記映像内の物体の行動を認識し、
    　前記画質制御装置は、前記物体の行動の認識結果に応じて、前記制御する映像の各領域の画質を決定する、
    　請求項７または８に記載の映像処理方法。
  10. 　前記画質制御装置は、前記物体に関する情報が検出されているかに応じて、前記映像の各領域の画質を決定する、
    　請求項７から９のいずれか一項に記載の映像処理方法。
  11. 　前記画質制御装置は、前記物体に関する情報が検出されている場合、前記物体が検出された領域の画質と他の領域の画質を変更する、
    　請求項１０に記載の映像処理方法。
  12. 　前記画質制御装置は、前記物体に関する情報が検出されていない場合、前記映像の各領域の画質を維持する、
    　請求項１０または１１に記載の映像処理方法。
  13. 　映像の各領域の画質を制御する画質制御手段と、
    　前記画質が制御された映像を、前記映像内の物体に関する情報を検出する検出装置へ送信する送信手段と、
    　前記検出装置から通知された検出結果に応じて、前記画質制御手段が制御する映像の各領域の画質を決定する決定手段と、
    　を備える、画質制御装置。
  14. 　前記検出装置は、前記物体に関する情報として、前記映像内の物体を検出し、
    　前記決定手段は、前記物体の検出結果に応じて、前記画質制御手段が制御する映像の各領域の画質を決定する、
    　請求項１３に記載の画質制御装置。
  15. 　前記検出装置は、前記物体に関する情報として、前記映像内の物体の行動を認識し、
    　前記決定手段は、前記物体の行動の認識結果に応じて、前記画質制御手段が制御する映像の各領域の画質を決定する、
    　請求項１３または１４に記載の画質制御装置。
  16. 　前記決定手段は、前記検出装置により前記物体に関する情報が検出されているかに応じて、前記映像の各領域の画質を決定する、
    　請求項１３から１５のいずれか一項に記載の画質制御装置。
  17. 　前記決定手段は、前記検出装置により前記物体に関する情報が検出されている場合、前記物体が検出された領域の画質と他の領域の画質を変更する、
    　請求項１６に記載の画質制御装置。
  18. 　前記決定手段は、前記検出装置により前記物体に関する情報が検出されていない場合、前記映像の各領域の画質を維持する、
    　請求項１６または１７に記載の画質制御装置。
PCT/JP2022/031076 2022-08-17 2022-08-17 映像処理システム、映像処理方法、及び画質制御装置 WO2024038517A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/031076 WO2024038517A1 (ja) 2022-08-17 2022-08-17 映像処理システム、映像処理方法、及び画質制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/031076 WO2024038517A1 (ja) 2022-08-17 2022-08-17 映像処理システム、映像処理方法、及び画質制御装置

Publications (1)

Publication Number Publication Date
WO2024038517A1 true WO2024038517A1 (ja) 2024-02-22

Family

ID=89941576

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/031076 WO2024038517A1 (ja) 2022-08-17 2022-08-17 映像処理システム、映像処理方法、及び画質制御装置

Country Status (1)

Country Link
WO (1) WO2024038517A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019140472A (ja) * 2018-02-08 2019-08-22 株式会社Ｓｏｋｅｎ 遠隔操縦される車両に搭載される画像送信装置
US20200322626A1 (en) * 2017-12-19 2020-10-08 Huawei Technologies Co., Ltd. Image coding method, action recognition method, and action recognition apparatus
WO2021130918A1 (ja) * 2019-12-25 2021-07-01 富士通株式会社 画像処理システム及び画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200322626A1 (en) * 2017-12-19 2020-10-08 Huawei Technologies Co., Ltd. Image coding method, action recognition method, and action recognition apparatus
JP2019140472A (ja) * 2018-02-08 2019-08-22 株式会社Ｓｏｋｅｎ 遠隔操縦される車両に搭載される画像送信装置
WO2021130918A1 (ja) * 2019-12-25 2021-07-01 富士通株式会社 画像処理システム及び画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUO YUNDI; ZOU BEIJI; REN JU; LIU QINGQING; ZHANG DEYU; ZHANG YAOXUE: "Distributed and Efficient Object Detection via Interactions Among Devices, Edge, and Cloud", IEEE TRANSACTIONS ON MULTIMEDIA, IEEE, USA, vol. 21, no. 11, 1 November 2019 (2019-11-01), USA, pages 2903 - 2915, XP011752248, ISSN: 1520-9210, DOI: 10.1109/TMM.2019.2912703 *

Similar Documents

Publication Publication Date Title
US11107231B2 (en) Object detection device, object detection method, and object detection program
CN111079670A (zh) 人脸识别方法、装置、终端和介质
US10863185B2 (en) Systems and methods for hybrid video encoding
US20190130582A1 (en) Exclusion zone in video analytics
WO2013118491A1 (ja) カメラ装置、サーバ装置、画像監視システム、画像監視システム制御方法及び画像監視システム制御プログラム
US12087048B2 (en) Video analysis method and system, and information processing device, transmits image frame to cloud server based on difference between analysis result on the edge side and result predicted on a cloud server
CN113691733B (zh) 视频抖动检测方法、装置、电子设备和存储介质
US10115005B2 (en) Methods and systems of updating motion models for object trackers in video analytics
CN104185078A (zh) 视频监控处理方法、装置及系统
CN103679742A (zh) 对象跟踪方法和装置
CN110889314A (zh) 图像处理方法、装置、电子设备、服务器及系统
JP5950605B2 (ja) 画像処理システム、及び、画像処理方法
CN115346171A (zh) 一种输电线路监控方法、装置、设备及存储介质
JP2014236312A (ja) 設定装置および設定方法
WO2024038517A1 (ja) 映像処理システム、映像処理方法、及び画質制御装置
WO2024042705A1 (ja) 映像処理システム、映像処理方法、及び映像処理装置
KR102290857B1 (ko) 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치
WO2024047791A1 (ja) 映像処理システム、映像処理方法、及び映像処理装置
WO2024047747A1 (ja) 映像処理システム、映像処理方法、及び映像処理装置
WO2024047748A1 (ja) 映像処理システム、映像処理方法、及び映像処理装置
WO2024047790A1 (ja) 映像処理システム、映像処理装置及び映像処理方法
WO2024047794A1 (ja) 映像処理システム、映像処理装置及び映像処理方法
CN114973081A (zh) 一种高空抛物检测方法、装置、电子设备及存储介质
CN114550146A (zh) 图像处理方法、装置、设备及计算机存储介质
CN112560726A (zh) 目标检测置信度确定方法、路侧设备及云控平台

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22955691

Country of ref document: EP

Kind code of ref document: A1