WO2024176352A1 - 人物検出装置、人物検出システム、人物検出方法及び非一時的なコンピュータ可読媒体 - Google Patents

人物検出装置、人物検出システム、人物検出方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2024176352A1
WO2024176352A1 PCT/JP2023/006230 JP2023006230W WO2024176352A1 WO 2024176352 A1 WO2024176352 A1 WO 2024176352A1 JP 2023006230 W JP2023006230 W JP 2023006230W WO 2024176352 A1 WO2024176352 A1 WO 2024176352A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
person
roadway
score
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/006230
Other languages
English (en)
French (fr)
Inventor
久弘 大場
浩介 遠野
雅人 左貝
大介 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2025501978A priority Critical patent/JPWO2024176352A5/ja
Priority to PCT/JP2023/006230 priority patent/WO2024176352A1/ja
Publication of WO2024176352A1 publication Critical patent/WO2024176352A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding

Definitions

  • the present disclosure relates to a person detection device, a person detection system, a person detection method, and a non-transitory computer-readable medium.
  • the area in which the person appears may be masked from the perspective of protecting personal information. In order to mask the area in which the person appears in the video footage, it is necessary to accurately detect the person from the captured video.
  • Patent Document 1 describes a technology for detecting people from an image captured by a camera. Specifically, Patent Document 1 describes dividing a captured image into congested areas and uncongested areas, acquiring a person determination threshold for each area according to the congestion level, generating a threshold map, and detecting people for each of multiple areas using the person determination threshold that corresponds to the area based on the threshold map.
  • Patent Document 1 describes changing the person determination threshold for each area depending on the congestion level, but it does not perform person detection for the purpose of masking, and therefore cannot solve the problem.
  • the present disclosure has been made to solve these problems, and aims to provide a human detection device, a human detection system, a human detection method, and a non-transitory computer-readable medium that are capable of detecting people accurately and suitably.
  • the human detection device includes an acquisition means for acquiring a captured image, an object detection means for detecting a predetermined detection object from the image based on a predetermined object detection score threshold, an adjustment means for lowering the human detection score threshold in a predetermined range of an area in the image that includes the detection object below the human detection score threshold in other areas, and a human detection means for detecting a human from the image based on the human detection score threshold.
  • the human detection system includes a photographing device installed in a vehicle for photographing an image of the surroundings of the vehicle, and a human detection device capable of communicating with the photographing device, the human detection device including an acquisition means for acquiring the image photographed by the photographing device, a target detection means for detecting a predetermined detection target from the image based on a predetermined target detection score threshold, an adjustment means for lowering the threshold of the human detection score in a predetermined range of an area in the image that includes the detection target below the threshold of the human detection score in other areas, and a human detection means for detecting a person from the image based on the threshold of the human detection score.
  • the human detection method is a method in which a computer acquires a captured video image, detects a predetermined detection target from the video image based on a predetermined target detection score threshold, lowers the human detection score threshold in a predetermined range of an area in the video image that includes the detection target below the human detection score threshold in other areas, and detects a person from the video image based on the human detection score threshold.
  • a non-transitory computer-readable medium stores a person detection program that causes a computer to execute the following processes: acquiring a captured image; detecting a predetermined detection target from the image based on a predetermined target detection score threshold; lowering the person detection score threshold in a predetermined range of an area in the image that includes the detection target below the person detection score threshold in other areas; and detecting a person from the image based on the person detection score threshold.
  • FIG. 11 is a block diagram showing a configuration of a human detection device according to a first embodiment. 4 is a diagram showing an example of an image acquired by an acquisition unit according to the first embodiment; FIG. 4 is a flowchart showing a human detection method according to the first embodiment.
  • FIG. 11 is a block diagram showing a configuration of a human detection system according to a second embodiment.
  • FIG. 11 is a block diagram showing a configuration of a human detection device according to a second embodiment.
  • 13 is a diagram showing an example of an image acquired by an acquisition unit according to a second embodiment;
  • FIG. 10 is a flowchart illustrating a human detection method according to a second embodiment.
  • FIG. 11 is a block diagram showing a configuration of a human detection device according to a third embodiment. 13 is a diagram showing an example of an image acquired by an acquisition unit according to a third embodiment;
  • FIG. 10 is a flowchart illustrating a human detection method according to a third embodiment.
  • FIG. 1 is a block diagram showing a configuration of a human detection device 100 according to the first embodiment.
  • the human detection device 100 includes an acquisition unit 110 as an acquisition unit, an object detection unit 120 as an object detection unit, an adjustment unit 130 as an adjustment unit, and a human detection unit 140 as a human detection unit.
  • the human detection device 100 is connected to a network 500 (not shown).
  • the network 500 may be wired or wireless.
  • a photographing device 310 (not shown) and the like are connected to the network 500.
  • the photographing device 310 is installed in a vehicle 300 (not shown) and is a device that photographs the surroundings of the vehicle 300.
  • the video captured by the photographing device 310 is a video, and includes a plurality of consecutive frames arranged in order of the lapse of the photographing time.
  • the frame is still image data captured by the photographing device 310.
  • the acquisition unit 110 acquires video captured by the imaging device 310 installed in the vehicle 300.
  • the video includes multiple frames.
  • the video captured by the imaging device 310 is transmitted from the imaging device 310 to the human detection device 100 via the network 500.
  • the video acquired by the acquisition unit 110 may be video captured by an imaging device other than the imaging device 310 installed in the vehicle 300, such as a surveillance camera.
  • the target detection unit 120 detects a predetermined detection target from the video acquired by the acquisition unit 110 based on a threshold value of a predetermined target detection score.
  • the predetermined detection target include moving objects such as motorcycles and four-wheeled vehicles.
  • a motorcycle is used as an example of the predetermined detection target.
  • the target detection unit 120 detects a motorcycle for each frame included in the video based on a threshold value of a motorcycle detection score as a predetermined target detection score.
  • the target detection unit 120 detects a motorcycle using a trained motorcycle detection model (not shown).
  • the motorcycle detection score is a score calculated by the target detection unit 120 using the motorcycle detection model for each detection frame area of a predetermined size (for example, M ⁇ N pixels (M and N are integers of 2 or more)) from the frame.
  • the motorcycle detection score is a higher value in an area where a motorcycle is likely to be present than in other areas.
  • the threshold value of the predetermined motorcycle detection score is a preset value and is used when detecting a motorcycle from the frames that constitute the video.
  • the target detection unit 120 determines that a motorcycle is present in the area.
  • motorcycles include motorcycles, bicycles, and electric kickboards.
  • machine learning may be deep learning, but is not limited thereto.
  • the method of calculating the motorcycle detection score is not limited to the above, and other existing technologies can be applied.
  • the adjustment unit 130 lowers the threshold value of the human detection score in a predetermined range of an area in the frame that includes the motorcycle.
  • the predetermined range is a range of a predetermined size that is appropriately set depending on the purpose of human detection.
  • the person detection unit 140 detects people from the video acquired by the acquisition unit 110 based on a predetermined person detection score threshold. Specifically, the person detection unit 140 detects people for each frame included in the video. The person detection unit 140 detects people using a trained person detection model (not shown). The person detection score is a score calculated by the person detection unit 140 using the person detection model for each detection frame area of a predetermined size (e.g., M ⁇ N pixels (M and N are integers equal to or greater than 2)) from the frame. The person detection score is higher in areas where a person is likely to be present than in other areas.
  • the predetermined person detection score threshold is a preset value and is used when detecting people from frames constituting the video.
  • the person detection score threshold may be set to a different value depending on the area in the frame. Specifically, the person detection score threshold is adjusted by the adjustment unit 130 in a predetermined case. If the person detection score in an area in the frame is equal to or greater than the person detection score threshold, the person detection unit 140 determines that a person is included in the area.
  • the method for calculating the person detection score is not limited to the above, and other existing technologies can be applied.
  • FIG. 2 shows an example of a frame 10 included in the video acquired by the acquisition unit 110.
  • the frame 10 shown in FIG. 2 shows a person 30 riding a bicycle 20.
  • the object detection unit 120 detects the bicycle 20 as a two-wheeled vehicle.
  • the area R1 corresponding to the bicycle 20 detected by the object detection unit 120 is shown by a two-dot chain line.
  • the adjustment unit 130 lowers the threshold of the person detection score in an area R2 of a predetermined range including the area R1.
  • the area R2 of the predetermined range is shown by a dashed line.
  • the person detection unit 140 detects a person from the frame.
  • the acquisition unit 110 acquires a video captured by a camera (step S101).
  • the object detection unit 120 detects a motorcycle from a frame included in the video based on a predetermined motorcycle detection score threshold (step S102).
  • the adjustment unit 130 adjusts the person detection score threshold (step S103). Specifically, when a motorcycle is detected from the video, the adjustment unit 130 lowers the person detection score threshold in a predetermined range of region R2 including the motorcycle in the frame.
  • the person detection unit 140 detects a person from the frame constituting the video based on a predetermined person detection score threshold (step S104).
  • the person detection score threshold in the predetermined range of region R2 including the motorcycle is lower than the person detection score thresholds in other regions. Therefore, the person detection unit 140 can accurately detect the person 30 riding the motorcycle 20. This makes it possible to accurately detect the person 30 in the region R2 that includes the motorcycle 20 and perform masking processing from the perspective of protecting personal information. At the same time, it is possible to avoid the inconvenience of erroneously detecting a person and performing masking processing in regions other than the region R2 that includes the motorcycle 20.
  • the human detection device 100 detects people by lowering the human detection score threshold in areas where it is highly likely that a person is included (area R2 of a predetermined range including the motorcycle), and therefore can detect people with high accuracy. Furthermore, the human detection score threshold cannot be lowered in areas where it is low likely that a person is included (areas other than area R2 including the motorcycle 20), and therefore it is possible to avoid the inconvenience of erroneously detecting people in these areas. Therefore, the human detection device 100 according to this embodiment can detect people with high accuracy and suitability.
  • the human detection device 100 includes a processor, a memory, and a storage device, which are not shown in the figure.
  • the storage device stores a computer program that implements the processing of the human detection method according to this embodiment.
  • the processor then loads the computer program from the storage device into the memory and executes the computer program. In this way, the processor realizes the functions of the acquisition unit 110, the object detection unit 120, the adjustment unit 130, and the human detection unit 140.
  • the acquisition unit 110, the object detection unit 120, the adjustment unit 130, and the person detection unit 140 may each be realized by dedicated hardware. Furthermore, some or all of the components of each device may be realized by general-purpose or dedicated circuits, processors, etc., or a combination of these. These may be configured by a single chip, or may be configured by multiple chips connected via a bus. Some or all of the components of each device may be realized by a combination of the above-mentioned circuits, etc., and programs. Furthermore, a CPU (Central Processing Unit), GPU (Graphics Processing Unit), FPGA (field-programmable gate array), etc. may be used as the processor.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • FPGA field-programmable gate array
  • the multiple information processing devices, circuits, etc. may be centrally arranged or distributed.
  • the information processing devices, circuits, etc. may be realized as a client-server system, cloud computing system, etc., in a form in which each is connected via a communication network.
  • the functions of the human detection device 100 may be provided in the form of SaaS (Software as a Service).
  • ⁇ Embodiment 2> 4 is a block diagram showing the configuration of a human detection system 200 according to embodiment 2.
  • the human detection system 200 includes at least a photographing device 310 and a human detection device 400, and may further include a recording device 320.
  • Each of the photographing device 310 and the recording device 320 is connected to the human detection device 400 via a network 500. Note that descriptions that overlap with those of embodiment 1 will be omitted as appropriate.
  • the person detection system 200 is a system for detecting a person from an image captured by the vehicle 300.
  • the vehicle 300 is, for example, an automobile, but may be a vehicle other than an automobile, such as a motorcycle or a bicycle.
  • the vehicle 300 is equipped with a photographing device 310 and a recording device 320.
  • the photographing device 310 is a device that captures the scenery around the vehicle 300, for example, a drive recorder.
  • the photographing device 310 includes a photographing unit 311 and a communication unit 312.
  • the photographing unit 311 is a camera.
  • the photographing unit 311 captures, for example, the scenery in front of the vehicle 300, that is, the scenery that can be seen by a driver seated in the driver's seat of the vehicle 300.
  • the communication unit 312 is a communication interface with the network 500.
  • the communication unit 312 transmits the image captured by the photographing unit 311 to the person detection device 400 via the network 500.
  • the recording device 320 is a device that records the traveling speed of the vehicle 300.
  • the recording device 320 includes a measurement unit 321 and a communication unit 322.
  • the measurement unit 321 measures the traveling speed of the vehicle 300.
  • the communication unit 322 is a communication interface with the network 500.
  • the communication unit 322 transmits speed information including the speed measured by the measurement unit 321 to the human detection device 400 via the network 500.
  • FIG. 5 is a block diagram showing the configuration of the human detection device 400.
  • the human detection device 400 includes a memory 410, a communication unit 420, a storage unit 430, and a control unit 440.
  • the memory 410 is a storage area that temporarily stores the processing contents of the control unit 440, and is, for example, a volatile storage device such as a RAM (Random Access Memory).
  • the communication unit 420 is an interface that communicates with the outside of the human detection device 400.
  • the storage unit 430 is a storage device that stores a human detection score threshold 431, a program 432, and the like.
  • the human detection score threshold 431 is a numerical value used when detecting a person from a frame included in a video, and a different value may be set depending on the area within the frame. Specifically, the human detection score threshold is adjusted by the adjustment unit 442 in specified cases.
  • the program 432 is a computer program in which the human detection process according to this embodiment is implemented.
  • the control unit 440 includes an acquisition unit 441, an adjustment unit 442, a person detection unit 443, and a masking unit 444.
  • the control unit 440 is a control device that controls the operation of the person detection device 400, and is, for example, a processor such as a CPU.
  • the control unit 440 loads the program 432 from the storage unit 430 into the memory 410 and executes it. In this way, the control unit 440 realizes the functions of the acquisition unit 441, the adjustment unit 442, the person detection unit 443, and the masking unit 444.
  • the acquisition unit 441 acquires the video transmitted from the imaging device 310.
  • the video includes multiple consecutive frames.
  • the video may also include identification information, time information, and the like.
  • the identification information is information for identifying the vehicle 300 in which the imaging device 310 that captured the video is installed.
  • the time information is information on the time when the video was captured.
  • the acquisition unit 441 may acquire speed information transmitted from the recording device 320.
  • the speed information includes at least information on the traveling speed of the vehicle 300, and may further include identification information and time information.
  • the time information included in the speed information is information on the time when the traveling speed was recorded.
  • the adjustment unit 442 lowers the threshold of the human detection score in the peripheral region of a frame included in the video.
  • the threshold of the human detection score in the peripheral region of the frame becomes lower than the threshold of the human detection score in the central region, which is an area other than the peripheral region.
  • the central region is an area that is appropriately set depending on the purpose of human detection, and is a range of a predetermined size that includes the center of the frame.
  • the center of the frame and the center of the central region may or may not coincide with each other.
  • the person detection unit 443 detects people from the video acquired by the acquisition unit 441. Specifically, the person detection unit 443 calculates a person detection score for each frame constituting the video acquired by the acquisition unit 441. The method of calculating the person detection score by the person detection unit 443 is similar to that of the person detection unit 140, so the description thereof will be omitted. Next, the person detection unit 443 determines whether the calculated person detection score is equal to or greater than the person detection score threshold 431. The person detection unit 443 calculates and determines the person detection score for each of the multiple frames.
  • the person detection score threshold 431 is a preset numerical value, and is used when detecting people from the frames constituting the video. The person detection score threshold 431 may be set to a different value depending on the area in the frame.
  • the person detection score threshold 431 is adjusted by the adjustment unit 442 in a predetermined case.
  • the person detection unit 443 determines that a person is included in a location in the frame where the person detection score is equal to or greater than the person detection score threshold 431.
  • the masking unit 444 performs a masking process on the area in the frame that corresponds to the person detected by the person detection unit 443.
  • the masking process is image processing that is performed on the area so that the person cannot be identified, such as a solid color process or a filter process.
  • the masking unit 444 may also perform a masking process on a part of the area that corresponds to the person in the frame (for example, the part that corresponds to the face).
  • FIG. 6 shows an example of a frame 10A included in an image acquired by the acquisition unit 441.
  • Frame 10A shown in FIG. 6 shows a person 30A and a vehicle 40A traveling forward on a roadway 50A.
  • the adjustment unit 442 lowers the threshold 431 of the person detection score in the peripheral region R4.
  • a central region R5 other than the peripheral region R4 is shown by a dashed line.
  • the person detection unit 443 detects a person from the frame. Note that the threshold 431 of the person detection score in the peripheral region R4 is lowered below the threshold 431 of the person detection score in the central region R5, so that a person is easier to detect in the peripheral region R4 than in the central region R5.
  • a region R6 corresponding to the person 30A detected by the person detection unit 443 is shown by a dashed line.
  • the acquisition unit 441 acquires the image transmitted from the image capture device 310 (step S201).
  • the adjustment unit 442 lowers the person detection score threshold 431 for the peripheral region R4 (step S202).
  • the person detection unit 443 detects a person from the frame constituting the image based on a predetermined person detection score threshold (step S203).
  • the masking unit 444 performs a masking process on the region corresponding to the person in the frame (step S204).
  • the person detection score threshold for the peripheral region R4 is lower than the person detection score threshold for the central region R5.
  • the person detection unit 443 can detect the person 30A more accurately in the peripheral region R4 than in the central region R5. This makes it possible to accurately detect the person 30A in the peripheral region R4 and perform a masking process, and to avoid the inconvenience of erroneously detecting a person in the central region R5 and performing a masking process.
  • the human detection device 400 detects people by lowering the threshold of the human detection score in areas where it is highly likely that a person is included (peripheral area R4), and therefore can detect people with high accuracy. Furthermore, the threshold of the human detection score cannot be lowered in areas where it is low likely that a person is included (central area R5), and therefore it is possible to avoid the inconvenience of erroneously detecting a person in this area R5. Therefore, the human detection device 400 according to this embodiment can detect people accurately and suitably.
  • Fig. 8 is a block diagram showing the configuration of a human detection device 600 according to the third embodiment.
  • the human detection device 600 differs from the human detection device 400 shown in Fig. 5 in that it includes a control unit 640 instead of the control unit 440.
  • the control unit 640 includes a roadway detection unit 641 and an adjustment unit 642 that are different from the respective configurations included in the control unit 440. Therefore, the configurations of the acquisition unit 441, the human detection unit 443, and the masking unit 444 of the control unit 640 overlap with those of the second embodiment, and therefore will not be described as appropriate.
  • the control unit 640 includes an acquisition unit 441, a roadway detection unit 641 as roadway detection means, an adjustment unit 642, a person detection unit 443, and a masking unit 444.
  • the acquisition unit 441 acquires video from the imaging device 310, and may also acquire speed information from the recording device 320.
  • the person detection unit 443 detects people based on a threshold value of the person detection score for each of a plurality of frames constituting the video acquired by the acquisition unit 441.
  • the masking unit 444 performs masking processing on the area in the frame corresponding to the person detected by the person detection unit 443.
  • the roadway detection unit 641 detects the roadway from the video acquired by the acquisition unit 441 based on a predetermined roadway detection score threshold. Specifically, the roadway detection unit 641 detects the roadway for each frame included in the video. The roadway detection unit 641 detects the roadway using a trained roadway detection model (not shown). The roadway detection score is a score calculated by the roadway detection unit 641 for each area of a predetermined size in the frame using the roadway detection model. The roadway detection score is higher in areas where a roadway is likely to exist than in other areas.
  • the predetermined roadway detection score threshold is a preset value and is used when detecting a roadway from the frames that make up the video.
  • the roadway detection unit 641 determines that a roadway exists in the area.
  • the roadway is a part of a road (excluding bicycle lanes) intended exclusively for vehicle traffic, and includes shoulders, side strips, and trackbeds.
  • the method for calculating the roadway detection score is not limited to the above, and other existing technologies can be applied.
  • the adjustment unit 642 lowers the threshold of the person detection score in the area other than the area corresponding to the roadway in the frame. In other words, the threshold of the person detection score in the area other than the area corresponding to the roadway in the frame becomes lower than the threshold of the person detection score in the area corresponding to the roadway.
  • FIG. 9 shows an example of a frame 10B included in the video acquired by the acquisition unit 441.
  • a person 30B, a vehicle 40B traveling forward, and a roadway 50B on which the vehicle 40B is traveling are shown.
  • the roadway detection unit 641 detects the roadway 50B.
  • the area R7 corresponding to the roadway 50B detected by the roadway detection unit 641 is shown by a dashed line.
  • the adjustment unit 642 lowers the threshold 431 of the person detection score in areas other than the area R7.
  • the person detection unit 443 detects a person from the frame.
  • the acquisition unit 441 acquires the video transmitted from the image capture device 310 (step S301).
  • the roadway detection unit 641 detects the roadway from the frames included in the video based on a predetermined roadway detection score threshold (step S302).
  • the adjustment unit 642 lowers the person detection score threshold 431 of the area other than the area R7 corresponding to the roadway in the frame (step S303).
  • the person detection unit 443 detects a person from the frame constituting the video based on a predetermined person detection score threshold (step S304).
  • the masking unit 444 performs a masking process on the area corresponding to the person in the frame (step S305).
  • the person detection score threshold in the area other than the area R7 corresponding to the roadway is lower than the person detection score threshold of the area R7. Therefore, the person detection unit 443 can detect the person 30A more accurately in the area other than the area R7 corresponding to the roadway than in the area R7. This allows the person 30A to be accurately detected and masked in areas other than the area R7 corresponding to the roadway, while avoiding the inconvenience of erroneously detecting a person in the area R7 and performing masking.
  • the human detection device 600 detects people by lowering the human detection score threshold in areas where it is highly likely that a person is included (areas other than area R7 corresponding to the roadway), and therefore can detect people with high accuracy. Furthermore, because the human detection score threshold cannot be lowered in areas where it is low likely that a person is included (area R7 corresponding to the roadway), it is possible to avoid the inconvenience of erroneously detecting a person in this area R7. Therefore, the human detection device 600 according to this embodiment can detect people with high accuracy and suitability.
  • Non-transitory computer readable medium includes various types of tangible storage medium.
  • Examples of non-transitory computer readable medium include magnetic recording media (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical disks), CD-ROM (Read Only Memory), CD-R, CD-R/W, DVD (Digital Versatile Disc), and semiconductor memory (e.g., mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • magnetic recording media e.g., flexible disks, magnetic tapes, hard disk drives
  • magneto-optical recording media e.g., magneto-optical disks
  • CD-ROM Read Only Memory
  • CD-R Compact Only Memory
  • CD-R/W Compact Disc
  • DVD Digital Versatile Disc
  • semiconductor memory e.g., mask ROM, PROM (Programmable ROM), EPROM (Erasable
  • the program may also be provided to the computer by various types of transitory computer readable medium.
  • Examples of transitory computer readable medium include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can provide the program to the computer via a wired communication path, such as an electric wire or optical fiber, or via a wireless communication path.
  • the present disclosure is not limited to the above-mentioned embodiment, and can be modified as appropriate without departing from the spirit of the present disclosure.
  • the present disclosure may be implemented by appropriately combining each embodiment.
  • the image capture device 310 of each vehicle 300 may be equipped with the functions of the object detection unit 120, adjustment unit 130, and person detection unit 140 of the human detection device 100.
  • the image capture device 310 of each vehicle 300 may be equipped with the functions of the adjustment unit 442, person detection unit 443, and masking unit 444 of the human detection device 400.
  • the image capture device 310 of each vehicle 300 may be equipped with the functions of the roadway detection unit 641, adjustment unit 642, person detection unit 443, and masking unit 444 of the human detection device 600. In this way, the image capture device 310 of each vehicle 300 can individually perform person detection and masking processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

人物検出装置（１００）は、撮影された映像を取得する取得部（１１０）と、所定の対象検出スコアの閾値に基づいて当該映像から所定の検出対象を検出する対象検出部（１２０）と、当該映像内の当該検出対象を含む所定範囲の領域（Ｒ２）における人物検出スコアの閾値を、他の領域における人物検出スコアの閾値よりも下げる調整部（１３０）と、人物検出スコアの閾値に基づいて当該映像から人物を検出する人物検出部（１４０）と、を備える。

Description

人物検出装置、人物検出システム、人物検出方法及び非一時的なコンピュータ可読媒体
　本開示は、人物検出装置、人物検出システム、人物検出方法及び非一時的なコンピュータ可読媒体に関する。
　車両に搭載されたドライブレコーダー等の撮影装置が取得した映像に人物等が写っている場合、個人情報保護の観点から、当該人物が写った領域をマスキング処理する場合がある。映像に含まれる人物が写った領域をマスキング処理するために、撮影された映像から人物を精度良く検出することが求められている。
　特許文献１には、撮影装置が取得した画像から人物を検出する技術が記載されている。具体的には、特許文献１には、撮像画像を混雑領域と閑散領域に区分し、領域毎に混雑レベルに応じた人物判定閾値を取得して閾値マップを生成し、閾値マップに基づき、複数領域毎に領域に対応する人物判定閾値を用いて人物検出を行うことが記載されている。
特開２０１７－０９７５１０号公報
　映像から人物を検出する精度を上げるため、人物を検出するための閾値を下げると、当該映像内において、マスキング処理しない方がよい領域をマスキング処理してしまう場合があり、好ましくない。一方、人物を検出するための閾値を下げると、映像から人物を検出する精度が下がってしまう虞がある。特許文献１には、領域毎に混雑レベルに応じて人物判定閾値を変更することが記載されているが、マスキング処理するための人物検出を行うものではなく、当該問題を解決することはできない。
　本開示は、このような問題点を解決するためになされたものであり、人物を精度良く且つ好適に検出可能な人物検出装置、人物検出システム、人物検出方法及び非一時的なコンピュータ可読媒体を提供することを目的とする。
　本開示の第１の態様に係る人物検出装置は、撮影された映像を取得する取得手段と、所定の対象検出スコアの閾値に基づいて前記映像から所定の検出対象を検出する対象検出手段と、前記映像内の前記検出対象を含む所定範囲の領域における人物検出スコアの閾値を、他の領域における前記人物検出スコアの前記閾値よりも下げる調整手段と、前記人物検出スコアの前記閾値に基づいて前記映像から人物を検出する人物検出手段と、を備える。
　本開示の第２の態様に係る人物検出システムは、車両に設置され、前記車両の周囲の映像を撮影する撮影装置と、前記撮影装置と通信可能な人物検出装置と、を備え、前記人物検出装置が、前記撮影装置において撮影された映像を取得する取得手段と、所定の対象検出スコアの閾値に基づいて前記映像から所定の検出対象を検出する対象検出手段と、前記映像内の前記検出対象を含む所定範囲の領域における人物検出スコアの閾値を、他の領域における前記人物検出スコアの前記閾値よりも下げる調整手段と、前記人物検出スコアの前記閾値に基づいて前記映像から人物を検出する人物検出手段と、を備える。
　本開示の第３の態様に係る人物検出方法は、コンピュータが、撮影された映像を取得し、所定の対象検出スコアの閾値に基づいて前記映像から所定の検出対象を検出し、前記映像内の前記検出対象を含む所定範囲の領域における人物検出スコアの閾値を、他の領域における前記人物検出スコアの前記閾値よりも下げ、前記人物検出スコアの前記閾値に基づいて前記映像から人物を検出する方法である。
　本開示の第４の態様に係る非一時的なコンピュータ可読媒体は、コンピュータに、撮影された映像を取得する処理と、所定の対象検出スコアの閾値に基づいて前記映像から所定の検出対象を検出する処理と、前記映像内の前記検出対象を含む所定範囲の領域における人物検出スコアの閾値を、他の領域における前記人物検出スコアの前記閾値よりも下げる処理と、前記人物検出スコアの前記閾値に基づいて前記映像から人物を検出する処理と、を実行させる人物検出プログラムを格納する。
　人物を精度良く且つ好適に検出可能な人物検出装置、人物検出システム、人物検出方法及び非一時的なコンピュータ可読媒体を提供することができる。
実施形態１に係る人物検出装置の構成を示すブロック図である。 実施形態１に係る取得部が取得した映像の一例を示す図である。 実施形態１に係る人物検出方法を示すフローチャートである。 実施形態２に係る人物検出システムの構成を示すブロック図である。 実施形態２に係る人物検出装置の構成を示すブロック図である。 実施形態２に係る取得部が取得した映像の一例を示す図である。 実施形態２に係る人物検出方法を示すフローチャートである。 実施形態３に係る人物検出装置の構成を示すブロック図である。 実施形態３に係る取得部が取得した映像の一例を示す図である。 実施形態３に係る人物検出方法を示すフローチャートである。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
　＜実施形態１＞
　図１は、実施形態１に係る人物検出装置１００の構成を示すブロック図である。人物検出装置１００は、取得手段としての取得部１１０、対象検出手段としての対象検出部１２０、調整手段としての調整部１３０、及び人物検出手段としての人物検出部１４０を備える。人物検出装置１００は、図示しないネットワーク５００に接続されている。ネットワーク５００は、有線であってもよいし、無線であってもよい。ネットワーク５００には、図示しない撮影装置３１０等が接続されている。撮影装置３１０は、図示しない車両３００に設置されており、当該車両３００の周囲を撮影する装置である。撮影装置３１０が撮影した映像は、動画であり、撮影時間の経過順に並ぶ連続した複数のフレームを含む。ここで、フレームとは、撮影装置３１０によって撮影された静止画データである。
　取得部１１０は、車両３００に設置された撮影装置３１０において撮影された映像を取得する。尚、映像は、複数のフレームを含むものとする。尚、撮影装置３１０によって撮影された映像は、ネットワーク５００を介して、撮影装置３１０から人物検出装置１００に送信される。なお、取得部１１０が取得する映像は、監視カメラ等、車両３００に設置された撮影装置３１０以外の撮影装置によって撮影された映像であってもよい。
　対象検出部１２０は、所定の対象検出スコアの閾値に基づいて、取得部１１０が取得した映像から所定の検出対象を検出する。ここで、所定の検出対象としては、二輪車、四輪車等の移動体が挙げられる。本実施形態１では、所定の検出対象として、二輪車を例に挙げて説明する。具体的には、対象検出部１２０は、所定の対象検出スコアとしての二輪車検出スコアの閾値に基づいて、当該映像に含まれるフレーム毎に二輪車を検出する。対象検出部１２０は、学習済みの二輪車検出モデル（不図示）を用いて、二輪車を検出する。また、二輪車検出スコアは、対象検出部１２０が当該二輪車検出モデルを用いて、フレームから、所定の大きさ（例えば、Ｍ×Ｎ画素（Ｍ、Ｎは、２以上の整数））の検出枠領域毎に算出するスコアである。二輪車検出スコアは、二輪車が存在している可能性が高い領域において、他の領域に比較して数値が高くなる。所定の二輪車検出スコアの閾値は、予め設定された数値であり、映像を構成するフレームから二輪車を検出する際に使用される。対象検出部１２０は、フレーム内の領域における二輪車検出スコアが当該二輪車検出スコアの閾値以上である場合、当該領域に二輪車が存在すると判断する。ここで、二輪車とは、自動二輪車、自転車及び電動キックボード等である。尚、本明細書において、機械学習は深層学習であってもよいが、特に限定されない。また、二輪車検出スコアの算出方法は、上記に限定されず、既存の他の技術を適用可能である。
　調整部１３０は、対象検出部１２０が、映像を構成するフレームから二輪車を検出した場合に、当該フレーム内の二輪車を含む所定範囲の領域における人物検出スコアの閾値を下げる。ここで、所定範囲とは、人物検出の目的に応じて適宜設定される所定の大きさの範囲である。
　人物検出部１４０は、所定の人物検出スコアの閾値に基づいて、取得部１１０が取得した映像から人物を検出する。具体的には、人物検出部１４０は、当該映像に含まれるフレーム毎に人物を検出する。人物検出部１４０は、学習済みの人物検出モデル（不図示）を用いて、人物を検出する。また、人物検出スコアは、人物検出部１４０が当該人物検出モデルを用いて、フレームから、所定の大きさ（例えば、Ｍ×Ｎ画素（Ｍ、Ｎは、２以上の整数））の検出枠領域毎に算出するスコアである。人物検出スコアは、人物が存在している可能性が高い領域において、他の領域に比較して数値が高くなる。所定の人物検出スコアの閾値は、予め設定された数値であり、映像を構成するフレームから人物を検出する際に使用される。人物検出スコアの閾値は、フレーム内の領域に応じて異なる値が設定されていてもよい。具体的には、人物検出スコアの閾値は、所定の場合に、調整部１３０によって調整される。人物検出部１４０は、フレーム内の領域における人物検出スコアが当該人物検出スコアの閾値以上である場合、当該領域に人物が写っていると判断する。尚、人物検出スコアの算出方法は、上記に限定されず、既存の他の技術を適用可能である。
　図２に、取得部１１０が取得した映像に含まれるフレーム１０の一例を示す。図２に示すフレーム１０には、自転車２０に乗った人物３０が写っている。図２に示す例では、対象検出部１２０は、二輪車として自転車２０を検出する。図２において、対象検出部１２０が検出した自転車２０に相当する領域Ｒ１を二点鎖線で示す。次に、調整部１３０は、当該領域Ｒ１を含む所定範囲の領域Ｒ２における人物検出スコアの閾値を下げる。図２において、当該所定範囲の領域Ｒ２を一点鎖線で示す。次に、人物検出部１４０は、当該フレームから人物を検出する。尚、領域Ｒ２の人物検出スコアの閾値は、他の領域の人物検出スコアの閾値よりも下げられているため、領域Ｒ２では他の領域よりも人物が検出しやすくなっている。図２において、人物検出部１４０が検出した人物３０に相当する領域Ｒ３を破線で示す。
　次に、図３を参照しながら、実施形態１に係る人物検出方法について説明する。まず、取得部１１０は、撮影装置において撮影された映像を取得する（ステップＳ１０１）。次に、対象検出部１２０は、所定の二輪車検出スコアの閾値に基づいて映像に含まれるフレームから二輪車を検出する（ステップＳ１０２）。次に、調整部１３０は、人物検出スコアの閾値を調整する（ステップＳ１０３）。具体的には、調整部１３０は、映像から二輪車が検出された場合に、フレーム内の二輪車を含む所定範囲の領域Ｒ２における人物検出スコアの閾値を下げる。次に、人物検出部１４０は、所定の人物検出スコアの閾値に基づいて映像を構成するフレームから人物を検出する（ステップＳ１０４）。ここで、二輪車を含む所定範囲の領域Ｒ２における人物検出スコアの閾値は、他の領域の人物検出スコアの閾値よりも低くなっている。そのため、人物検出部１４０は、二輪車２０に乗車している人物３０を精度良く検出することができる。これにより、二輪車２０を含む領域Ｒ２において人物３０を精度良く検出して個人情報保護の観点からマスキング処理を行うことが可能となる。同時に、二輪車２０を含む領域Ｒ２以外の領域において人物を誤検出してマスキング処理を行ってしまう不都合を回避することができる。
　このように、本実施形態に係る人物検出装置１００は、人物が写っている可能性が高い領域（二輪車を含む所定範囲の領域Ｒ２）において人物検出スコアの閾値を下げて人物の検出を行うため、人物を精度良く検出することができる。また、人物が写っている可能性が低い領域（二輪車２０を含む領域Ｒ２以外の領域）において人物検出スコアの閾値は下げられないため、当該領域において人物を誤検出してしまう不都合を回避することができる。したがって、本実施形態に係る人物検出装置１００は、人物を精度良く且つ好適に検出することができる。
　尚、人物検出装置１００は、図示しない構成としてプロセッサ、メモリ及び記憶装置を備えるものである。また、当該記憶装置には、本実施形態に係る人物検出方法の処理が実装されたコンピュータプログラムが記憶されている。そして、当該プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、当該コンピュータプログラムを実行する。これにより、前記プロセッサは、取得部１１０、対象検出部１２０、調整部１３０、及び人物検出部１４０としての機能を実現する。
　また、取得部１１０、対象検出部１２０、調整部１３０、及び人物検出部１４０は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。
　また、人物検出装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、人物検出装置１００の機能は、ＳａａＳ（Software as a Service）形式で提供されてもよい。
＜実施形態２＞
　図４は、実施形態２に係る人物検出システム２００の構成を示すブロック図である。人物検出システム２００は、少なくとも撮影装置３１０及び人物検出装置４００を備え、さらに記録装置３２０を備えていてもよいものとする。撮影装置３１０及び記録装置３２０のそれぞれは、ネットワーク５００を介して人物検出装置４００に接続されている。尚、実施形態１と重複する説明については適宜省略する。
　人物検出システム２００は、車両３００において撮影された映像から人物を検出するためのシステムである。車両３００は、例えば自動車であるが、バイク又は自転車等の自動車以外の車両であってもよい。車両３００には、撮影装置３１０及び記録装置３２０が設置されている。撮影装置３１０は、車両３００の周囲の景色を撮影する装置であり、例えばドライブレコーダーである。撮影装置３１０は、撮影部３１１及び通信部３１２を備える。撮影部３１１は、カメラである。撮影部３１１は、例えば、車両３００の前方の景色すなわち、車両３００の運転席に着席した状態の運転手が見ることができる景色を撮影する。通信部３１２は、ネットワーク５００との通信インタフェースである。通信部３１２は、ネットワーク５００を介して、撮影部３１１において撮影された映像を人物検出装置４００に送信する。
　記録装置３２０は、車両３００の走行速度を記録する装置である。記録装置３２０は、測定部３２１及び通信部３２２を備える。測定部３２１は、車両３００の走行速度を測定する。通信部３２２は、ネットワーク５００との通信インタフェースである。通信部３２２は、ネットワーク５００を介して、測定部３２１において測定された速度を含む速度情報を人物検出装置４００に送信する。
　次に、図５を参照して、人物検出装置４００の構成について詳細に説明する。図５は、人物検出装置４００の構成を示すブロック図である。人物検出装置４００は、メモリ４１０、通信部４２０、記憶部４３０及び制御部４４０を備える。
　メモリ４１０は、制御部４４０の処理内容を一時的に記憶する記憶領域であり、例えばＲＡＭ（Random Access Memory）等の揮発性記憶装置である。通信部４２０は、人物検出装置４００の外部との通信を行うインタフェースである。記憶部４３０は、人物検出スコアの閾値４３１及びプログラム４３２等を記憶する記憶装置である。人物検出スコアの閾値４３１は、映像に含まれるフレームから人物を検出する際に用いられる数値であり、フレーム内の領域に応じて異なる値が設定されていてもよい。具体的には、人物検出スコアの閾値は、所定の場合に、調整部４４２によって調整される。プログラム４３２は、本実施形態に係る人物検出処置が実装されたコンピュータプログラムである。
　制御部４４０は、取得部４４１、調整部４４２、人物検出部４４３、マスキング部４４４を備える。制御部４４０は、人物検出装置４００の動作を制御する制御装置であり、例えばＣＰＵ等のプロセッサである。制御部４４０は、記憶部４３０からプログラム４３２をメモリ４１０へ読み込ませ、実行する。これにより、制御部４４０は、取得部４４１、調整部４４２、人物検出部４４３、マスキング部４４４としての機能を実現する。
　取得部４４１は、撮影装置３１０から送信された映像を取得する。映像には、連続する複数のフレームが含まれている。また、映像には、識別情報及び時刻情報等が含まれていてもよいものとする。識別情報は、映像を撮影した撮影装置３１０が設置されている車両３００を識別するための情報である。時刻情報は、映像が撮影された時刻の情報である。さらに、取得部４４１は、記録装置３２０から送信された速度情報を取得してもよい。速度情報は、少なくとも車両３００の走行速度の情報を含み、さらに識別情報及び時刻情報を含んでいてもよいものとする。尚、速度情報が含む時刻情報は、走行速度が記録された時刻の情報である。
　調整部４４２は、映像に含まれるフレームの周辺領域における人物検出スコアの閾値を下げる。すなわち、当該フレームの周辺領域における人物検出スコアの閾値は、当該周辺領域以外の領域である中央領域における人物検出スコアの閾値よりも低くなる。ここで、中央領域とは、人物検出の目的に応じて適宜設定される領域であって、当該フレームの中心を含む所定の大きさの範囲である。当該フレームの中心と中央領域の中心とは一致していても一致していなくてもよい。
　人物検出部４４３は、取得部４４１が取得した映像から、人物を検出する。具体的には、人物検出部４４３は、取得部４４１が取得した映像を構成する各フレームについて、人物検出スコアを算出する。人物検出部４４３による人物検出スコアの算出方法は、人物検出部１４０と同様であるため、その説明を省略する。次に、人物検出部４４３は、算出した人物検出スコアが人物検出スコアの閾値４３１以上であるか否かを判定する。人物検出部４４３は、複数のフレームのそれぞれに対して人物検出スコアの算出及び判定を行う。人物検出スコアの閾値４３１は、予め設定された数値であり、映像を構成するフレームから人物を検出する際に使用される。人物検出スコアの閾値４３１は、フレーム内の領域に応じて異なる値が設定されていてもよい。具体的には、人物検出スコアの閾値４３１は、所定の場合に、調整部４４２によって調整される。人物検出部４４３は、フレーム内において人物検出スコアが人物検出スコアの閾値４３１以上である箇所に人物が写っていると判定する。
　マスキング部４４４は、人物検出部４４３によって検出された人物に相当するフレーム内の領域に対してマスキング処理を行う。ここで、マスキング処理とは、当該人物が特定できないように当該領域に対して行う画像処理であり、ベタ塗り処理、フィルタ処理等である。また、マスキング部４４４は、フレーム内の人物に相当する領域の一部（例えば、顔に相当する部分）に対してマスキング処理を行ってもよい。
　図６は、取得部４４１が取得した映像に含まれるフレーム１０Ａの一例を示す。図６に示すフレーム１０Ａには、人物３０Ａ、前方に向かって車道５０Ａを走行する車両４０Ａが写っている。図６に示す例では、調整部４４２は、周辺領域Ｒ４における人物検出スコアの閾値４３１を下げる。図６において、当該周辺領域Ｒ４以外の領域である中央領域Ｒ５を一点鎖線で示す。次に、人物検出部４４３は、当該フレームから人物を検出する。尚、周辺領域Ｒ４の人物検出スコアの閾値４３１は、中央領域Ｒ５の人物検出スコアの閾値４３１よりも下げられているため、周辺領域Ｒ４では中央領域Ｒ５よりも人物が検出しやすくなっている。図６において、人物検出部４４３が検出した人物３０Ａに相当する領域Ｒ６を破線で示す。
　次に、図７を参照しながら、実施形態２に係る人物検出方法について説明する。まず、取得部４４１は、撮影装置３１０から送信された映像を取得する（ステップＳ２０１）。次に、調整部４４２は、周辺領域Ｒ４の人物検出スコアの閾値４３１を下げる（ステップＳ２０２）。次に、人物検出部４４３は、所定の人物検出スコアの閾値に基づいて映像を構成するフレームから人物を検出する（ステップＳ２０３）。次に、マスキング部４４４は、フレーム内の人物に相当する領域に対してマスキング処理を行う（ステップＳ２０４）。ここで、周辺領域Ｒ４における人物検出スコアの閾値は、中央領域Ｒ５の人物検出スコアの閾値よりも低くなっている。そのため、人物検出部４４３は、周辺領域Ｒ４において中央領域Ｒ５よりも人物３０Ａを精度良く検出することができる。これにより、周辺領域Ｒ４において人物３０Ａを精度良く検出してマスキング処理を行うとともに、中央領域Ｒ５において人物を誤検出してマスキング処理を行ってしまう不都合を回避することができる。
　このように、本実施形態に係る人物検出装置４００は、人物が写っている可能性が高い領域（周辺領域Ｒ４）において人物検出スコアの閾値を下げて人物の検出を行うため、人物を精度良く検出することができる。また、人物が写っている可能性が低い領域（中央領域Ｒ５）において人物検出スコアの閾値は下げられないため、当該領域Ｒ５において人物を誤検出してしまう不都合を回避することができる。したがって、本実施形態に係る人物検出装置４００は、人物を精度良く且つ好適に検出することができる。
＜実施形態３＞
　図８は、実施形態３に係る人物検出装置６００の構成を示すブロック図である。人物検出装置６００は、図５に示した人物検出装置４００に比較して、制御部４４０に代えて制御部６４０を備える点で異なる。制御部６４０は、車道検出部６４１及び調整部６４２の構成が、制御部４４０が備える各構成と異なる。そのため、制御部６４０の取得部４４１、人物検出部４４３及びマスキング部４４４の構成については実施形態２と重複するため、説明を適宜省略する。
　制御部６４０は、取得部４４１、車道検出手段としての車道検出部６４１、調整部６４２、人物検出部４４３及びマスキング部４４４を備える。取得部４４１は、撮影装置３１０から映像を取得し、さらに、記録装置３２０から速度情報を取得してもよい。人物検出部４４３は、取得部４４１が取得した映像を構成する複数のフレームのそれぞれについて、人物検出スコアの閾値に基づいて人物の検出を行う。マスキング部４４４は、人物検出部４４３によって検出された人物に相当するフレーム内の領域に対してマスキング処理を行う。
　車道検出部６４１は、所定の車道検出スコアの閾値に基づいて、取得部４４１が取得した映像から車道を検出する。具体的には、車道検出部６４１は、当該映像に含まれるフレーム毎に車道を検出する。車道検出部６４１は、学習済みの車道検出モデル（不図示）を用いて、車道を検出する。また、車道検出スコアは、車道検出部６４１が当該車道検出モデルを用いて、フレーム内の所定の大きさの領域毎に算出するスコアである。車道検出スコアは、車道が存在している可能性が高い領域において、他の領域に比較して数値が高くなる。所定の車道検出スコアの閾値は、予め設定された数値であり、映像を構成するフレームから車道を検出する際に使用される。車道検出部６４１は、フレーム内の領域における車道検出スコアが当該車道検出スコアの閾値以上である場合、当該領域に車道が存在すると判断する。ここで、車道とは、専ら車両の通行の用に供することを目的とする道路の部分（自転車道を除く。）であり、路肩、側帯、軌道敷を含む。また、車道検出スコアの算出方法は、上記に限定されず、既存の他の技術を適用可能である。
　調整部６４２は、車道検出部６４１が、映像に含まれるフレームから車道を検出した場合に、当該フレーム内の車道に相当する領域以外の領域における人物検出スコアの閾値を下げる。すなわち、当該フレームの車道に相当する領域以外の領域における人物検出スコアの閾値は、当該車道に相当する領域における人物検出スコアの閾値よりも低くなる。
　図９は、取得部４４１が取得した映像に含まれるフレーム１０Ｂの一例を示す。図９に示すフレーム１０Ｂには、人物３０Ｂ、前方に向かって走る車両４０Ｂ、車両４０Ｂが走行する車道５０Ｂが写っている。図９に示す例では、車道検出部６４１は、車道５０Ｂを検出する。図９において、車道検出部６４１が検出した車道５０Ｂに相当する領域Ｒ７を一点鎖線で示す。次に、調整部６４２は、領域Ｒ７以外の領域における人物検出スコアの閾値４３１を下げる。次に、人物検出部４４３は、当該フレームから人物を検出する。尚、領域Ｒ７以外の領域の人物検出スコアの閾値４３１は、領域Ｒ７の人物検出スコアの閾値４３１よりも下げられているため、領域Ｒ７以外の領域では領域Ｒ７よりも人物が検出しやすくなっている。図９において、人物検出部４４３が検出した人物３０Ｂに相当する領域Ｒ８を破線で示す。
　次に、図１０を参照しながら、実施形態３に係る人物検出方法について説明する。まず、取得部４４１は、撮影装置３１０から送信された映像を取得する（ステップＳ３０１）。次に、車道検出部６４１は、所定の車道検出スコアの閾値に基づいて映像に含まれるフレームから車道を検出する（ステップＳ３０２）。次に、調整部６４２は、当該フレーム内の車道に相当する領域Ｒ７以外の領域の人物検出スコアの閾値４３１を下げる（ステップＳ３０３）。次に、人物検出部４４３は、所定の人物検出スコアの閾値に基づいて映像を構成するフレームから人物を検出する（ステップＳ３０４）。次に、マスキング部４４４は、フレーム内の人物に相当する領域に対してマスキング処理を行う（ステップＳ３０５）。ここで、車道に相当する領域Ｒ７以外の領域における人物検出スコアの閾値は、領域Ｒ７の人物検出スコアの閾値よりも低くなっている。そのため、人物検出部４４３は、車道に相当する領域Ｒ７以外の領域において領域Ｒ７よりも人物３０Ａを精度良く検出することができる。これにより、車道に相当する領域Ｒ７以外の領域において人物３０Ａを精度良く検出してマスキング処理を行うとともに、領域Ｒ７において人物を誤検出してマスキング処理を行ってしまう不都合を回避することができる。
　このように、本実施形態に係る人物検出装置６００は、人物が写っている可能性が高い領域（車道に相当する領域Ｒ７以外の領域）において人物検出スコアの閾値を下げて人物の検出を行うため、人物を精度良く検出することができる。また、人物が写っている可能性が低い領域（車道に相当する領域Ｒ７）において人物検出スコアの閾値は下げられないため、当該領域Ｒ７において人物を誤検出してしまう不都合を回避することができる。したがって、本実施形態に係る人物検出装置６００は、人物を精度良く且つ好適に検出することができる。
　尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、図３、図７、図１０に記載された処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　尚、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。また、個々の車両３００の撮影装置３１０に、人物検出装置１００の対象検出部１２０、調整部１３０、人物検出部１４０の機能が搭載されてもよい。同様に、個々の車両３００の撮影装置３１０に、人物検出装置４００の調整部４４２、人物検出部４４３、マスキング部４４４の機能が搭載されてもよい。同様に、個々の車両３００の撮影装置３１０に、人物検出装置６００の車道検出部６４１、調整部６４２、人物検出部４４３、マスキング部４４４の機能が搭載されてもよい。これにより、個々の車両３００の撮影装置３１０において、個別に人物検出を行って、マスキング処理を行うことができる。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１０，１０Ａ，１０Ｂ　フレーム
　２０　自転車（二輪車）
　３０，３０Ａ，３０Ｂ　人物
　４０Ａ，４０Ｂ　車両
　５０Ａ，５０Ｂ　車道
　１００，４００，６００　人物検出装置
　４１０　メモリ
　４２０　通信部
　４３０　記憶部
　４３１　閾値
　４３２　プログラム
　４４０，６４０　制御部
　１１０，４４１　取得部（取得手段）
　１２０　対象検出部（対象検出手段）
　６４１　車道検出部（車道検出手段）
　１３０，４４２，６４２　調整部（調整手段）
　１４０，４４３　人物検出部（人物検出手段）
　４４４　マスキング部
　２００　人物検出システム
　３００　車両
　３１０　撮影装置
　３１１　撮影部
　３１２　通信部
　３２０　記録装置
　３２１　測定部
　３２２　通信部
　５００　ネットワーク
　Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ８　領域

Claims (9)

  1. 　撮影された映像を取得する取得手段と、
    　所定の対象検出スコアの閾値に基づいて前記映像から所定の検出対象を検出する対象検出手段と、
    　前記映像内の前記検出対象を含む所定範囲の領域における人物検出スコアの閾値を、他の領域における前記人物検出スコアの前記閾値よりも下げる調整手段と、
    　前記人物検出スコアの前記閾値に基づいて前記映像から人物を検出する人物検出手段と、を備える、
    　人物検出装置。
  2. 　前記検出対象は少なくとも二輪車を含む、
    　請求項１に記載の人物検出装置。
  3. 　前記映像から車道を検出する車道検出手段をさらに備え、
    　前記調整手段は、前記映像内の前記車道以外に相当する領域における前記人物検出スコアの前記閾値を、前記車道に相当する領域における前記人物検出スコアの前記閾値よりも下げる、
    　請求項１に記載の人物検出装置。
  4. 　車両に設置され、前記車両の周囲の映像を撮影する撮影装置と、
    　前記撮影装置と通信可能な人物検出装置と、を備え、
    　前記人物検出装置が、
    　前記撮影装置において撮影された映像を取得する取得手段と、
    　所定の対象検出スコアの閾値に基づいて前記映像から所定の検出対象を検出する対象検出手段と、
    　前記映像内の前記検出対象を含む所定範囲の領域における人物検出スコアの閾値を、他の領域における前記人物検出スコアの前記閾値よりも下げる調整手段と、
    　前記人物検出スコアの前記閾値に基づいて前記映像から人物を検出する人物検出手段と、を備える、
    　人物検出システム。
  5. 　前記人物検出装置は、
    　前記映像から車道を検出する車道検出手段をさらに備え、
    　前記調整手段は、前記映像内の前記車道以外に相当する領域における前記人物検出スコアの前記閾値を、前記車道に相当する領域における前記人物検出スコアの前記閾値よりも下げる、
    　請求項４に記載の人物検出システム。
  6. 　コンピュータが、
    　撮影された映像を取得し、
    　所定の対象検出スコアの閾値に基づいて前記映像から所定の検出対象を検出し、
    　前記映像内の前記検出対象を含む所定範囲の領域における人物検出スコアの閾値を、他の領域における前記人物検出スコアの前記閾値よりも下げ、
    　前記人物検出スコアの前記閾値に基づいて前記映像から人物を検出する、
    　人物検出方法。
  7. 　コンピュータが、
    　前記映像から車道をさらに検出し、
    　前記映像内の前記車道以外に相当する領域における前記人物検出スコアの前記閾値を、前記車道に相当する領域における前記人物検出スコアの前記閾値よりも下げる、
    　請求項６に記載の人物検出方法。
  8. 　コンピュータに、
    　撮影された映像を取得する処理と、
    　所定の対象検出スコアの閾値に基づいて前記映像から所定の検出対象を検出する処理と、
    　前記映像内の前記検出対象を含む所定範囲の領域における人物検出スコアの閾値を、他の領域における前記人物検出スコアの前記閾値よりも下げる処理と、
    　前記人物検出スコアの前記閾値に基づいて前記映像から人物を検出する処理と、
    　を実行させる人物検出プログラムが格納された非一時的なコンピュータ可読媒体。
  9. 　コンピュータに、
    　前記映像から車道をさらに検出する処理と、
    　前記映像内の前記車道以外に相当する領域における前記人物検出スコアの前記閾値を、前記車道に相当する領域における前記人物検出スコアの前記閾値よりも下げる処理と、
    　を実行させる人物検出プログラムが格納された、請求項８に記載の非一時的なコンピュータ可読媒体。
PCT/JP2023/006230 2023-02-21 2023-02-21 人物検出装置、人物検出システム、人物検出方法及び非一時的なコンピュータ可読媒体 Ceased WO2024176352A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025501978A JPWO2024176352A5 (ja) 2023-02-21 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム
PCT/JP2023/006230 WO2024176352A1 (ja) 2023-02-21 2023-02-21 人物検出装置、人物検出システム、人物検出方法及び非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/006230 WO2024176352A1 (ja) 2023-02-21 2023-02-21 人物検出装置、人物検出システム、人物検出方法及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2024176352A1 true WO2024176352A1 (ja) 2024-08-29

Family

ID=92500361

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/006230 Ceased WO2024176352A1 (ja) 2023-02-21 2023-02-21 人物検出装置、人物検出システム、人物検出方法及び非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2024176352A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011129013A (ja) * 2009-12-21 2011-06-30 Toyota Motor Corp 走行支援装置
JP2011253214A (ja) * 2010-05-31 2011-12-15 Toyota Motor Corp 歩行者検出装置
WO2017221643A1 (ja) * 2016-06-22 2017-12-28 ソニー株式会社 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
JP2021013146A (ja) * 2019-07-09 2021-02-04 キヤノン株式会社 画像処理装置、画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011129013A (ja) * 2009-12-21 2011-06-30 Toyota Motor Corp 走行支援装置
JP2011253214A (ja) * 2010-05-31 2011-12-15 Toyota Motor Corp 歩行者検出装置
WO2017221643A1 (ja) * 2016-06-22 2017-12-28 ソニー株式会社 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
JP2021013146A (ja) * 2019-07-09 2021-02-04 キヤノン株式会社 画像処理装置、画像処理方法

Also Published As

Publication number Publication date
JPWO2024176352A1 (ja) 2024-08-29

Similar Documents

Publication Publication Date Title
CN107705552B (zh) 一种应急车道占用行为检测方法、装置及系统
JP6635188B2 (ja) 物体認識装置、物体認識方法及び物体認識プログラム
US9349070B2 (en) Vehicle external environment recognition device
JP2004145852A (ja) レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置
JP6384803B2 (ja) 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
CN106461387B (zh) 立体相机设备和设置有立体相机的车辆
US11383733B2 (en) Method and system for detecting a dangerous driving condition for a vehicle, and non-transitory computer readable medium storing program for implementing the method
US7250593B2 (en) Mobile body surrounding surveillance apparatus, mobile body surrounding surveillance method, control program, and readable recording medium
JP2009175848A (ja) ドライブレコーダ装置、ドライブレコード方法、プログラム、及び記録媒体
CN112270258A (zh) 一种非机动车的违规信息获取方法及装置
KR20210022995A (ko) 터널 판단 장치 및 터널 판단 방법
JP2994170B2 (ja) 車両周辺監視装置
JP6495742B2 (ja) 対象物検出装置、対象物検出方法、及び、対象物検出プログラム
US20260052228A1 (en) Information processing apparatus, information processing method, computer-readable medium, and information processing system
WO2021152985A1 (ja) 記録制御装置、記録制御方法、及びプログラム
JP2004086417A (ja) 横断歩道等における歩行者検出方法及び同装置
TWI907713B (zh) 視訊串流中的物件遮蔽
WO2024176352A1 (ja) 人物検出装置、人物検出システム、人物検出方法及び非一時的なコンピュータ可読媒体
JP2007066003A (ja) 停止線検出装置
JP2022053770A (ja) 記録制御装置、及び記録制御方法
JP7416276B2 (ja) 不安全運転検出装置、方法、及びプログラム
TWI757964B (zh) 行車警示方法及系統與電腦程式產品
WO2024176339A1 (ja) 移動体検出装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2024176342A1 (ja) 人物検出装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2024176354A1 (ja) 人物検出装置、人物検出システム、人物検出方法及び非一時的なコンピュータ可読媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23924006

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025501978

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025501978

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23924006

Country of ref document: EP

Kind code of ref document: A1