WO2023124385A1 - 摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品 - Google Patents

摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品 Download PDF

Info

Publication number
WO2023124385A1
WO2023124385A1 PCT/CN2022/124934 CN2022124934W WO2023124385A1 WO 2023124385 A1 WO2023124385 A1 WO 2023124385A1 CN 2022124934 W CN2022124934 W CN 2022124934W WO 2023124385 A1 WO2023124385 A1 WO 2023124385A1
Authority
WO
WIPO (PCT)
Prior art keywords
image frame
current image
camera
pixel
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2022/124934
Other languages
English (en)
French (fr)
Inventor
李阳阳
许亮
毛宁元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to KR1020247023573A priority Critical patent/KR20240124973A/ko
Priority to JP2024538727A priority patent/JP7781286B2/ja
Publication of WO2023124385A1 publication Critical patent/WO2023124385A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • Embodiments of the present disclosure relate to the technical field of image processing, and in particular, to a camera device occlusion detection method, device, electronic equipment, storage medium, and computer program product.
  • the camera device in the cabin can be used to restrain the driver's driving behavior, thereby reducing the probability of traffic accidents, thereby assisting in improving Driving safety.
  • the camera will be blocked, and if the camera is blocked, the driver's behavior cannot be accurately detected. Accuracy is particularly important.
  • Embodiments of the present disclosure at least provide a method, device, electronic device, storage medium, and computer program product for occlusion detection of an imaging device, which can not only implement occlusion detection for an imaging device, but also improve detection accuracy.
  • An embodiment of the present disclosure provides an occlusion detection method for a camera device, including:
  • the preset feature encoding information includes feature encoding of an image frame containing a human face in the video data information.
  • An embodiment of the present disclosure provides an occlusion detection device for a camera device, including:
  • the video acquisition module is configured to acquire the video data of the driving area of the vehicle through the camera device;
  • the face detection module is configured to perform face detection on the current image frame in the video data, and encode the current image frame according to the pixel value in the current image frame if no face is detected , to obtain the feature encoding information of the current image frame;
  • the occlusion determination module is configured to determine whether the camera is occluded based on the feature encoding information of the current image frame and preset feature encoding information, wherein the preset feature encoding information includes that the video data contains a human face The feature encoding information of the image frame.
  • An embodiment of the present disclosure provides an electronic device, including: a processor, a memory, and a bus.
  • the memory stores machine-readable instructions executable by the processor.
  • the processor and the The memories communicate with each other through a bus, and when the machine-readable instructions are executed by the processor, the camera-device occlusion detection method as described in any of the foregoing implementation manners is executed.
  • An embodiment of the present disclosure provides a computer-readable storage medium, on which a computer program is stored, and when the computer program is run by a processor, the camera-device occlusion detection method as described in any of the preceding implementation modes is executed. .
  • An embodiment of the present disclosure also provides a computer program product, including a computer-readable storage medium storing program codes, and when instructions included in the program codes are executed by a processor of a computer device, the steps of the above method are implemented.
  • the current image is processed according to the pixel values in the current image frame. frame to obtain the feature encoding information of the current image frame, and based on the feature encoding information of the current image frame and the preset feature encoding information, it is judged whether the camera is blocked. In the case of a face, further judgment is made on the image, which can improve the accuracy of judgment.
  • FIG. 1 shows a schematic flowchart of a method for detecting an occlusion of a camera device provided by an embodiment of the present disclosure
  • FIG. 2 shows a schematic flowchart of a method for determining feature coding information of a current image frame provided by an embodiment of the present disclosure
  • FIG. 3 shows a schematic flow chart of another camera device occlusion detection method provided by an embodiment of the present disclosure
  • FIG. 4 shows a schematic flowchart of a method for outputting prompt information provided by an embodiment of the present disclosure
  • FIG. 5 shows a schematic flowchart of another method for occlusion detection of a camera device provided by an embodiment of the present disclosure
  • FIG. 6 shows a schematic structural diagram of an occlusion detection device for a camera device provided by an embodiment of the present disclosure
  • FIG. 7 shows a schematic structural diagram of another camera device occlusion detection device provided by an embodiment of the present disclosure.
  • Fig. 8 shows a schematic diagram of an electronic device provided by an embodiment of the present disclosure.
  • the camera device in the cabin can be used to restrain the driver's driving behavior, thereby reducing the probability of traffic accidents, thereby assisting in improving Driving safety.
  • the camera may be blocked, and if the camera is blocked, the behavior of the driver cannot be accurately detected.
  • the present disclosure provides a camera occlusion detection method, which includes: acquiring video data of the driving area of the vehicle through the camera device; performing face detection on the current image frame in the video data, and In the case of a human face, encode the current image frame according to the pixel values in the current image frame to obtain the feature encoding information of the current image frame; based on the feature encoding information of the current image frame and preset The feature encoding information is used to determine whether the camera is blocked, wherein the preset feature encoding information includes feature encoding information of an image frame containing a human face in the video data.
  • the current image frame is encoded according to the pixel values in the current image frame to obtain the feature encoding information of the current image frame, and based on the The feature coding information of the current image frame and the preset feature coding information determine whether the camera is blocked. In this way, the image can be further judged when no face is recognized, thereby improving the accuracy of judgment.
  • FIG. 1 it is a schematic flowchart of a method for detecting occlusion of a camera device provided by an embodiment of the present disclosure.
  • the method for occlusion detection of a camera device includes the following steps S101 to S103:
  • the driving area refers to the area in the vehicle where the driver controls the driving of the vehicle.
  • the driver is usually located in the driving area of the vehicle, and the terminal device can acquire the video data of the driving area of the vehicle.
  • Video data refers to a continuous image sequence, which is essentially composed of a group of continuous images.
  • an image frame is the smallest visual unit that makes up a video, and is a static image.
  • a sequence of temporally continuous image frames is synthesized to form a dynamic video.
  • it is necessary to extract image frames in the video data.
  • frame extraction refers to frame extraction according to the preset interval frame number, for example, extracting a frame of image every 20 frames; it can also perform frame extraction according to the preset time interval, such as every interval of 10 milliseconds (ms) Fetch the image once.
  • ms milliseconds
  • preset interval frame number and interval time can be set according to actual needs, and are not limited here.
  • the video data of the driving area may be captured by a camera device installed inside the vehicle, and then the terminal device acquires the video data captured by the camera device.
  • the subject of execution of the camera occlusion detection method may be a terminal device, wherein the terminal device includes but not limited to a vehicle-mounted device, a wearable device, a user terminal, and a handheld device.
  • the subject of execution of the camera occlusion detection method may also be a server, wherein the server may be an independent physical server, or a server cluster or a distributed system composed of multiple physical servers, or may provide Cloud servers for basic cloud computing services such as cloud services, cloud databases, cloud computing, cloud storage, big data and artificial intelligence platforms.
  • server may be an independent physical server, or a server cluster or a distributed system composed of multiple physical servers, or may provide Cloud servers for basic cloud computing services such as cloud services, cloud databases, cloud computing, cloud storage, big data and artificial intelligence platforms.
  • the camera occlusion detection method may also be implemented in a manner in which a processor invokes computer-readable instructions stored in a memory.
  • the current image frame refers to the image frame that needs to be detected and recognized currently.
  • the image frame in the video data whose timing is before the current image frame is called the previous image frame, and the image frame whose timing is after the current image frame is called the subsequent image. frame.
  • face detection may be performed on the extracted images to determine whether there is a face in the current image frame.
  • a human face is detected in the current image frame, it means that the driver is in the driving area at this time, and the camera device is not blocked; Make further judgments to improve the accuracy of judgment.
  • the current image frame is further encoded according to the pixel values in the current image frame to obtain feature encoding information of the current image frame.
  • the step of encoding the current image frame according to the pixel values in the current image frame may include the following S1021 and S1022:
  • the reference pixel threshold is the average pixel value of the current image frame.
  • the feature encoding information obtained based on the reference pixel threshold can have a unique correspondence with the current image frame, which can further improve The accuracy of judgment.
  • the reference pixel threshold can also be set according to actual conditions, for example, the corresponding reference pixel threshold can be determined according to the overall brightness of the current image, rather than the average pixel value of the current image frame.
  • noise reduction processing may be performed on the current image frame, thereby reducing the impact of imaging noise.
  • a Gaussian smoothing algorithm may be used to perform noise reduction processing on the current image frame.
  • the noise reduction processing may also use a median filtering algorithm or an average filtering algorithm to perform the noise reduction processing, which is not limited here.
  • the current image frame can be encoded according to the reference pixel threshold, and the encoding process can be to encode pixels greater than the reference pixel threshold as 1, and encode pixels not greater than the The pixel point of the reference pixel threshold is encoded as 0, and then the feature encoding information is obtained.
  • the feature encoding information may be a two-dimensional array or a two-dimensional matrix having the same size as the current image frame to be encoded.
  • the average pixel of the current image frame is 100, if the pixel value of a certain pixel in the current image frame is 123, the pixel is coded as 1, and if a certain pixel in the current image frame If the pixel value of the point is 80, the pixel point is coded as 0.
  • the encoding of each pixel can be sequentially encoded according to a certain scanning order (for example, first row and second column).
  • the coding of each pixel is connected in series to form a one-dimensional array or vector, which is used as the characteristic coding information of the image frame.
  • the preset feature encoding information includes the feature encoding information of the image frame containing the human face in the video data, that is, the preset feature encoding information is the feature of the preceding image frame of the current image frame. information is encoded, and the preceding image frame includes a human face. That is, an image including a human face captured after the camera is activated is used as a basis for judging whether the camera is blocked by the camera in subsequent image frames.
  • the camera device can be powered on and start to shoot the driving area of the vehicle to obtain video data.
  • the stored feature encoding information including the face is used as the preset feature encoding information; and if the first frame image contains a human face, the feature encoding information of the first frame image is used as the preset feature encoding information.
  • the preset feature coding information can be updated, that is, the subsequent feature coding information containing faces can replace the features of the first frame of images.
  • coded information For example, it may be updated every preset time interval, and the preset interval time is not limited, for example, it may be 1 minute or 2 minutes.
  • the feature encoding information of the current image frame may be compared with the preset feature encoding information to determine whether the camera is blocked.
  • the Hamming distance between the feature encoding information of the current image frame and the preset feature encoding information may be calculated, and the distance between the feature encoding information of the current image frame and the preset feature encoding information If the Hamming distance is greater than the preset threshold, it is determined that the camera is blocked.
  • the current image frame is further encoded according to the pixel values in the current image frame to obtain the feature encoding information of the current image frame, and based on the Describe the feature coding information of the current image frame and the preset feature coding information to judge whether the camera is blocked, so that the image can be further judged when the face is not recognized, and the accuracy of the judgment can be improved. In particular, it is more accurate in judging whether the driver leaves the post.
  • FIG. 3 it is a schematic flow chart of another camera device occlusion detection method provided by an embodiment of the present disclosure, including the following S201 to S205:
  • this step is similar to the above step S101.
  • this step is similar to the above step S102.
  • this step is similar to the above step S103.
  • the Hamming distance between the feature encoding information of the current image frame and the preset feature encoding information is not greater than the preset threshold, it indicates that there may be a human face in the current image frame, which may be due to some specific The reason (for example, the ambient light is dark) that the face is not recognized during the detection process. Therefore, in order to further improve the accuracy of the judgment, it is necessary to judge the current image frame from other angles to further judge whether the camera is blocked.
  • the pixel distribution histogram of the current image frame determines whether the pixel distribution ratio of the preset interval in the pixel distribution histogram is greater than the preset ratio threshold, it is determined that the camera is blocked.
  • the distribution of pixel values of each pixel in the current image frame may be counted to obtain a pixel distribution histogram of the current image frame.
  • the distribution of the pixel value of each pixel point in the current image frame can be counted according to a plurality of pre-divided pixel intervals, and the plurality of pixel intervals can be [0-19], [20-80], [81 ⁇ 126] and [127 ⁇ 255], etc. It can be understood that, in this implementation manner, the multiple pixel intervals shown are schematic, and in other implementation implementation manners, the multiple pixel intervals may also be divided according to other requirements.
  • the preset interval can be obtained through a large number of tests based on the actual use environment of the camera device. For example, the histogram distribution diagram of the image of the scene in the driving area of the vehicle can be calculated, and it can be determined that the camera device is not blocked. There is a clear boundary between the ratio of the number of pixels in the pixel interval [20-80] in the normal image taken and the ratio of the number of pixels in the pixel interval [20-80] in the image taken when the camera is blocked. Therefore, you can Set the default interval to the pixel interval of [20 ⁇ 80].
  • the preset interval can also be It is an interval with a lower pixel value or an interval with a higher pixel value, such as a pixel interval of [0-20] or a pixel interval of [130-255], which is not limited here.
  • the preset interval is one of the plurality of pixel intervals.
  • the preset interval is [20-80]. If it is greater than the preset proportion threshold, it can be determined that the camera device is blocked.
  • prompt information may be output to remind the driver to deal with the blocked camera so that the camera can normally capture images of the driver, thereby helping to improve driving safety.
  • the prompt information includes, but is not limited to, voice prompt information, graphic prompt information, light prompt information, and the like.
  • voice prompt information "The camera is blocked, please confirm" can be output.
  • step S206 of outputting prompt information can be performed in the following manners of S2061 and S2062:
  • the current image frame determines that the camera is blocked, it is also necessary to determine whether the judgment result of the subsequent frame image is also blocked. It just flashes, and at this time, no prompt information is output; if the judgment result of at least one frame after the frame image is also that the camera is blocked, that is, it is judged that the camera is blocked for multiple consecutive frames of images, it means that the camera is continuously blocked at this time , is intentional occlusion, not false occlusion, and when the continuous occlusion time reaches a preset time (for example, 5 seconds), a prompt message is output for prompting.
  • a preset time for example, 5 seconds
  • FIG. 5 it is a schematic flowchart of another method for occlusion detection of a camera device provided by an embodiment of the present disclosure, including the following S301 to S310:
  • this step is similar to the above step S101.
  • this step is similar to the above step S102.
  • step S308 is executed to determine The camera is blocked; if the Hamming distance between the feature encoding information of the current image frame and the preset feature encoding information is not greater than the preset threshold, it means that there may be a human face in the current image frame, and further judgment is required. Therefore, Execute step S304.
  • this step is similar to the above step S204.
  • step S308 is executed to determine that the camera is blocked; if the pixel The proportion of pixel distribution in the preset interval in the distribution histogram is not greater than the preset proportion threshold, indicating that the proportion of effective content in the current image frame is normal, and step S306 needs to be executed for further judgment.
  • the maximum connected domain refers to the image area composed of all pixel values with the same pixel value or within a certain error and adjacent to each other, and the maximum connected domain is a closed area.
  • the preset area threshold can be set to an area that accounts for 60% of the entire image. If the maximum connected domain is greater than the preset area threshold, step S308 is performed to determine that the camera is blocked; if the maximum connected domain is not larger than the preset area threshold If the area threshold is set, step S310 is executed to determine that the camera is not blocked.
  • the average value of the area of the largest connected domain of the multi-frame images before or after the current image frame is also determined, thereby reducing the risk of flickering.
  • the probability of misjudgment caused by instantaneously passing in front of the camera device further improves the accuracy of judgment.
  • this step is similar to the above step S206.
  • the writing order of each step does not mean a strict execution order and constitutes any limitation on the implementation process.
  • the specific execution order of each step should be based on its function and possible
  • the inner logic is OK.
  • the embodiment of the present disclosure also provides a camera device occlusion detection device corresponding to the camera device occlusion detection method, because the principle of solving the problem of the device in the embodiment of the present disclosure is the same as the above-mentioned camera device occlusion detection method in the embodiment of the present disclosure Similarly, the implementation of the device can refer to the implementation of the method.
  • FIG. 6 it is a schematic diagram of a camera occlusion detection device 500 provided by an embodiment of the present disclosure.
  • the camera occlusion detection device 500 includes:
  • the video acquisition module 501 is configured to acquire video data of the driving area of the vehicle through the camera device;
  • the face detection module 502 is configured to perform face detection on the current image frame in the video data, and perform face detection on the current image frame according to pixel values in the current image frame if no face is detected. Encoding, to obtain the feature encoding information of the current image frame;
  • the occlusion determining module 503 is configured to determine whether the camera is occluded based on the feature encoding information of the current image frame and preset feature encoding information, wherein the preset feature encoding information includes The feature encoding information of the image frame of the face.
  • the face detection module 502 is further configured to:
  • the reference pixel threshold is an average pixel value of the current image frame.
  • the occlusion determining module 503 is further configured to:
  • the Hamming distance between the feature encoding information of the current image frame and the preset feature encoding information is greater than a preset threshold, it is determined that the camera is blocked.
  • the occlusion determining module 503 is further configured to:
  • the occlusion determining module 503 is further configured to:
  • the occlusion determining module 503 is further configured to:
  • the area of the largest connected domain is greater than a preset area threshold, it is determined that the camera is blocked.
  • the device further includes:
  • the information output module 504 is configured to output prompt information when it is determined that the camera is blocked.
  • the information output module 504 is further configured to:
  • the prompt information is output.
  • an embodiment of the present disclosure also provides an electronic device.
  • FIG. 8 it is a schematic structural diagram of an electronic device 700 provided by an embodiment of the present disclosure, including a processor 701 , a memory 702 , and a bus 703 .
  • the memory 702 is used to store execution instructions, including a memory 7021 and an external memory 7022; the memory 7021 here is also called an internal memory, and is used to temporarily store calculation data in the processor 701 and exchange data with an external memory 7022 such as a hard disk.
  • the processor 701 exchanges data with the external memory 7022 through the memory 7021 .
  • the memory 702 is used to store application program codes for executing the solutions of the present disclosure, and the execution is controlled by the processor 701 . That is, when the electronic device 700 is running, the processor 701 communicates with the memory 702 through the bus 703, so that the processor 701 executes the application program code stored in the memory 702, and then executes the method described in any of the foregoing embodiments.
  • memory 702 can be, but not limited to, random access memory (Random Access Memory, RAM), read-only memory (Read Only Memory, ROM), programmable read-only memory (Programmable Read-Only Memory, PROM), can Erasable Programmable Read-Only Memory (EPROM), Electric Erasable Programmable Read-Only Memory (EEPROM), etc.
  • RAM Random Access Memory
  • ROM read-only memory
  • PROM programmable read-only memory
  • EPROM Erasable Programmable Read-Only Memory
  • EEPROM Electric Erasable Programmable Read-Only Memory
  • the processor 701 may be an integrated circuit chip with signal processing capability.
  • the above-mentioned processor can be a general-purpose processor, including a central processing unit (Central Processing Unit, CPU), a network processor (Network Processor, NP), etc.; it can also be a digital signal processor (Digital Signal Processing, DSP), dedicated integrated Circuit (Application-Specific Integrated Circuit, ASIC), Field Programmable Gate Array (Field Programmable Gate Array, FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components.
  • DSP Digital Signal Processing
  • ASIC Application-Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • a general-purpose processor may be a microprocessor, or the processor may be any conventional processor, and the like.
  • the structure illustrated in the embodiment of the present disclosure does not constitute a limitation to the electronic device 700 .
  • the electronic device 700 may include more or fewer components than shown in the illustration, or combine certain components, or separate certain components, or arrange different components.
  • the illustrated components can be realized in hardware, software or a combination of software and hardware.
  • An embodiment of the present disclosure further provides a computer-readable storage medium, on which a computer program is stored, and when the computer program is run by a processor, the steps of the camera-device occlusion detection method in the foregoing method embodiments are executed.
  • the storage medium may be a volatile or non-volatile computer-readable storage medium.
  • An embodiment of the present disclosure also provides a computer program product, the computer program product carries a program code, and the instructions contained in the program code can be used to execute the steps of the camera device occlusion detection method in the above method embodiment, and refer to the above method implementation example.
  • the above-mentioned computer program product may be implemented by means of hardware, software or a combination thereof.
  • the computer program product is embodied as a computer storage medium, and in another optional embodiment, the computer program product is embodied as a software product, such as a software development kit (Software Development Kit, SDK) and the like.
  • the units described as separate components may or may not be physically separated, and the components shown as units may or may not be physical units, that is, they may be located in one place, or may be distributed to multiple network units. Part or all of the units can be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • each functional unit in each embodiment of the present disclosure may be integrated into one processing unit, each unit may exist separately physically, or two or more units may be integrated into one unit.
  • the functions are realized in the form of software function units and sold or used as independent products, they can be stored in a non-volatile computer-readable storage medium executable by a processor.
  • the technical solution of the present disclosure is essentially or the part that contributes to the prior art or the part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium, including Several instructions are used to make a computer device (which may be a personal computer, a server, or a network device, etc.) execute all or part of the steps of the methods described in various embodiments of the present disclosure.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), magnetic disk or optical disc and other media that can store program codes. .
  • the products applying the disclosed technical solution have clearly notified the personal information processing rules and obtained the individual's independent consent before processing personal information.
  • the disclosed technical solution involves sensitive personal information the products applying the disclosed technical solution have obtained individual consent before processing sensitive personal information, and at the same time meet the requirement of "express consent". For example, at a personal information collection device such as a camera, a clear and prominent sign is set up to inform that it has entered the scope of personal information collection, and personal information will be collected.
  • the personal information processing rules may include Information processor, purpose of personal information processing, processing method, type of personal information processed and other information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本公开实施例提供了一种摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品，该摄像装置遮挡检测方法包括：通过摄像装置获取车辆的驾驶区域的视频数据；对所述视频数据中的当前图像帧进行人脸检测，在未检测到人脸的情况下，根据所述当前图像帧中的像素值对所述当前图像帧进行编码，得到所述当前图像帧的特征编码信息；基于所述当前图像帧的特征编码信息以及预设特征编码信息，确定所述摄像装置是否被遮挡，其中，所述预设特征编码信息包括所述视频数据中包含人脸的图像帧的特征编码信息。本公开实施例，可以提升摄像装置遮挡的检测精度。

Description

摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品
相关申请的交叉引用
本公开实施例基于申请号为202111668662.2、申请日为2021年12月31日、申请名称为“摄像装置遮挡检测方法、装置、电子设备及存储介质”的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此以引入方式并入本公开。
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品。
背景技术
随着人们生活水平的提高，车辆已经成为人们生活中必不可少的交通工具，车舱内的摄像装置可以用于对驾驶员的驾驶行为进行约束，进而减少交通事故发生的几率，从而辅助提升行车安全。
然而，在实际的使用的过程中，摄像装置会存在被遮挡的情况，而若摄像装置被遮挡，则无法准确检测驾驶员行为，因此，检测摄像装置是否被遮挡以及如何提升摄像装置遮挡检测的精度，显得尤为重要。
发明内容
本公开实施例至少提供一种摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品，不仅能够实现对摄像装置的遮挡检测，还能够提高检测的精度。
本公开实施例提供了一种摄像装置遮挡检测方法，包括：
通过摄像装置获取车辆的驾驶区域的视频数据；
对所述视频数据中的当前图像帧进行人脸检测，在未检测到人脸的情况下，根据所述当前图像帧中的像素值对所述当前图像帧进行编码，得到所述当前图像帧的特征编码信息；
基于所述当前图像帧的特征编码信息以及预设特征编码信息，确定所述摄像装置是否被遮挡，其中，所述预设特征编码信息包括所述视频数据中包含人脸的图像帧的特征编码信息。
本公开实施例提供了一种摄像装置遮挡检测装置，包括：
视频获取模块，配置为通过摄像装置获取车辆的驾驶区域的视频数据；
人脸检测模块，配置为对所述视频数据中的当前图像帧进行人脸检测，在未检测到人脸的情况下，根据所述当前图像帧中的像素值对所述当前图像帧进行编码，得到所述当前图像帧的特征编码信息；
遮挡确定模块，配置为基于所述当前图像帧的特征编码信息以及预设特征编码信息，确定所述摄像装置是否被遮挡，其中，所述预设特征编码信息包括所述视频数据中包含人脸的图像帧的特征编码信息。
本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如前述任一实施方式中所述的摄像装置遮挡检测方法。
本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如前述任一实施方式中所述的摄像装置遮挡检测方法。
本公开实施例还提供了一种计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令被计算机设备的处理器运行时，实现上述方法的步骤。
本公开实施例所提供的摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品，在未识别到人脸的情况下，根据所述当前图像帧中的像素值对所述当前图像帧进行编码，得到所述当前图像帧的特征编码信息，并基于所述当前图像帧的特征编码信息以及预设特征编码信息，判断所述摄像装置是否被遮挡，如此，可以在未识别到人脸的情况下，对图像做进一步判断，进而可以提高判断的精度。
应当理解的是，以上的一般描述和后文的细节描述是示例性和解释性的，而非限制本公开。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种摄像装置遮挡检测方法的流程示意图；
图2示出了本公开实施例所提供的一种确定当前图像帧的特征编码信息的方法流程示意图；
图3示出了本公开实施例所提供的另一种摄像装置遮挡检测方法的流程示意图；
图4示出了本公开实施例所提供的一种输出提示信息的方法流程示意图；
图5示出了本公开实施例所提供的再一种摄像装置遮挡检测方法的流程示意图；
图6示出了本公开实施例所提供的一种摄像装置遮挡检测装置的结构示意图；
图7示出了本公开实施例所提供的另一种摄像装置遮挡检测装置的结构示意图；
图8示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
随着人们生活水平的提高，车辆已经成为人们生活中必不可少的交通工具，车舱内的摄像装置可以用于对驾驶员的驾驶行为进行约束，进而减少交通事故发生的几率，从而辅助提升行车安全。然而，在实际的使用的过程中，摄像装置会存在被遮挡的情况，而若摄像装置被遮挡，则无法准确检测驾驶员行为。
经研究发现，现有技术中虽然存在能够对摄像装置是否被遮挡进行检测的方法，比如通过人脸检测的方法来确定摄像装置是否被遮挡，但该方法在图像整体亮度较高或者较低时，容易出现误判或者漏判的情况。
基于上述研究，本公开提供了一种摄像装置遮挡检测方法，该方法包括：通过摄像装置获取车辆的驾驶区域的视频数据；对所述视频数据中的当前图像帧进行人脸检测，在未检测到人脸的情况下，根据所述当前图像帧中的像素值对所述当前图像帧进行编码，得到所述当前图像帧的特征编码信息；基于所述当前图像帧的特征编码信息以及预设特征编码信息，确定所述摄像装置是否被遮挡，其中，所述预设特征编码信息包括所述视频数据中包含人脸的图像帧的特征编码信息。
本公开实施例中，在未识别到人脸的情况下，根据所述当前图像帧中的像素值对所述当前图像帧进行编码，得到所述当前图像帧的特征编码信息，并基于所述当前图像帧的特征编码信息以及预设特征编码信息，确定所述摄像装置是否被遮挡，如此，可以在未识别到人脸的情况下，对图像做进一步判断，进而可以提高判断的精度。
下面结合附图，对本公开实施例中所提供的摄像装置遮挡检测方法进行详细介绍。参见图1所示，为本公开实施例提供的摄像装置遮挡检测方法的流程示意图，该摄像装置遮挡检测方法包括以下S101至S103：
S101，通过摄像装置获取车辆的驾驶区域的视频数据。
其中，驾驶区域是指车辆内驾驶员进行车辆驾驶控制的区域。在车辆行驶的过程中，驾驶员通常都位于车辆的驾驶区域，终端设备可以获取车辆的驾驶区域的视频数据。
视频数据是指连续的图像序列，其实质是由一组连续的图像构成的，其中，图像帧是组成视频的最小视觉单位，是一幅静态的图像。将时间上连续的图像帧序列合成到一起便形成动态视频。本实施方式中，为了方便后续的检测识别，需要对所述视频数据中的图像帧进行提取。
示例性地，由于视频数据中每秒钟通常包括很多帧图像(比如每秒钟包括24帧图像)，因此，在提取所述视频数据中的图像帧的过程中，可以进行抽帧提取，其中，抽帧提取是指按照预设的间隔帧数进行抽帧提取，比如，每间隔20帧提取一帧图像；还可以按照预设的时间间隔进行抽帧提取，比如每间隔10毫秒(ms)提取一次图像。
需要说明的是，预设的间隔帧数以及间隔时间，可以根据实际需求而设定，在此不做限定。
可选的，驾驶区域的视频数据可以由设置于车辆内部的摄像装置拍摄得到，然后终端设备获取拍摄装置拍摄的视频数据。也即，本公开实施例中，该摄像装置遮挡检测方法的执行主体可以为终端设备，其中，终端设备包括但不限于车载设备、可穿戴设备、用户终端及手持设备等。
其他实施方式中，该摄像装置遮挡检测方法的执行主体还可以是服务器，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。
在一些可能的实现方式中，该摄像装置遮挡检测方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
S102，对所述视频数据中的当前图像帧进行人脸检测，在未检测到人脸的情况下，根据所述当前图像帧中的像素值对所述当前图像帧进行编码，得到所述当前图像帧的特征编码信息。
可以理解，在对视频数据进行图像帧的提取处理后，会得到多个图像帧。其中，当前图像帧是指当前需要进行检测识别处理的图像帧，视频数据中时序位于当前图像帧之 前的图像帧称为前序图像帧，时序位于当前图像帧之后的图像帧称为后序图像帧。
示例性地，在前述提取到多帧图像之后，可以对所提取的图像进行人脸检测，以确定当前图像帧中是否存在人脸。在一些实施例中，若当前图像帧中检测到人脸，则说明驾驶员此时在驾驶区域，且摄像装置未被遮挡；若当前图像帧中未检测到人脸，需要对当前图像帧做进一步判断，以提高判断的精度。
本实施方式中，在当前图像帧未识别到人脸的情况下，进一步根据所述当前图像帧中的像素值对所述当前图像帧进行编码，得到所述当前图像帧的特征编码信息。在一些实施例中，参见图2所示，在根据所述当前图像帧中的像素值对所述当前图像帧进行编码的步骤可以包括以下S1021和S1022：
S1021，确定所述当前图像帧的参考像素阈值。
本实施方式中，所述参考像素阈值为所述当前图像帧的平均像素值，如此，可以使得基于该参考像素阈值素得到的特征编码信息与当前图像帧具有唯一的对应关系，进而可以进一步提升判断的精度。当然，在其他实施方式中，该参考像素阈值也可以根据实际情况而设定，比如可以根据当前图像的整体亮度，确定相应的参考像素阈值，而并非是当前图像帧的平均像素值。
示例性地，为了提升参考像素阈值的确定精度，在确定所述当前图像帧的参考像素阈值之前，可以对当前图像帧进行降噪处理，进而可以降低成像噪声的影响。
在一些实施方式中，可以采用高斯平滑算法对所述当前图像帧进行降噪处理。在其他实施例中，降噪处理还可以采用中值滤波算法或者均值滤波算法进行降噪处理，此处不做限定。
S1022，依次将所述当前图像帧的每个像素点的像素值与所述参考像素阈值进行比较，将大于所述参考像素阈值的像素点编码为1，将不大于所述参考像素阈值的像素点编码为0，得到所述当前图像帧的特征编码信息。
示例性地，在确定参考像素阈值之后，即可根据该参考像素阈值来对当前图像帧进行编码，编码过程可以是将大于所述参考像素阈值的像素点编码为1，并将不大于所述参考像素阈值的像素点编码为0，进而得到所述特征编码信息。该特征编码信息可以是与被编码的当前图像帧尺寸一致的二维数组或二维矩阵。例如，在当前图像帧的平均像素为100的情况下，若当前图像帧中的某一像素点的像素值为123，则将该像素点编码为1，而若当前图像帧中的某一像素点的像素值为80，则将该像素点编码为0。
可选地，为了对特征编码信息降维以减少计算量，在对当前图像帧中的每个像素点编码之后，可以按照各像素点的编码按照一定的扫描次序(例如先行后列)依次将各像素点的编码串联起来，形成一维数组或向量，作为图像帧的特征编码信息。
S103，基于所述当前图像帧的特征编码信息以及预设特征编码信息，确定所述摄像装置是否被遮挡，其中，所述预设特征编码信息包括所述视频数据中包含人脸的图像帧的特征编码信息。
本实施方式中，所述预设特征编码信息包括所述视频数据中包含人脸的图像帧的特征编码信息，也即，预设特征编码信息为所述当前图像帧的前序图像帧的特征编码信息，且所述前序图像帧包括人脸。也即，将摄像装置启动后所拍摄到了包含有人脸的图像作为后续图像帧是否发生摄像装置遮挡的判断依据。
可以理解，在车辆启动后，摄像装置即可上电工作，开始对车辆的驾驶区域进行拍摄，得到视频数据，若根据视频数据得到的首帧图像中未包含人脸，此时，可以从预先存储的包含人脸的特征编码信息作为该预设特征编码信息；而若该首帧图像中包含人脸，则将该首帧图像的特征编码信息作为该预设特征编码信息。
需要说明的是，若通过视频数据确定连续多帧图像中都包含有人脸，可以对预设特 征编码信息进行更新，也即，将后续的包含人脸的特征编码信息替换该首帧图像的特征编码信息。比如，可以每间隔预设时间更新一次，预设的间隔时间不做限定，比如可以是1分钟，也可以是2分钟。
示例性地，可以将当前图像帧的特征编码信息与预设特征编码信息进行对比，进而确定摄像装置是否被遮挡。在一些实施例中，可以计算当前图像帧的特征编码信息与预设特征编码信息之间的汉明距离，并在所述当前图像帧的特征编码信息与所述预设特征编码信息之间的汉明距离大于预设阈值的情况下，确定所述摄像装置被遮挡。
本公开实施例中，在未识别到人脸的情况下，还根据所述当前图像帧中的像素值对所述当前图像帧进行编码，得到所述当前图像帧的特征编码信息，并基于所述当前图像帧的特征编码信息以及预设特征编码信息，判断所述摄像装置是否被遮挡，如此，可以在未识别到人脸的情况下，对图像做进一步判断，进而可以提高判断的精度，尤其对驾驶员是否离岗的判断较为准确。
参见图3所示，为本公开实施例提供的另一种摄像装置遮挡检测方法的流程示意图，包括以下S201至S205：
S201，通过摄像装置获取车辆的驾驶区域的视频数据。
其中，该步骤与上述步骤S101类似。
S202，对所述视频数据中的当前图像帧进行人脸检测，在未检测到人脸的情况下，根据所述当前图像帧中的像素值对所述当前图像帧进行编码，得到所述当前图像帧的特征编码信息。
其中，该步骤与上述步骤S102类似。
S203，判断当前图像帧的特征编码信息与所述预设特征编码信息之间的汉明距离是否大于预设阈值；若是，则执行步骤S205；若否，则执行步骤S204。
其中，该步骤与上述步骤S103类似。
S204，基于所述当前图像帧的像素分布直方图，判断所述摄像装置是否被遮挡。
示例性地，在当前图像帧的特征编码信息与所述预设特征编码信息之间的汉明距离不大于预设阈值的情况下，说明当前图像帧中可能存在人脸，可能是由于一些特定的原因(比如环境光线较暗)导致人脸检测的过程中未识别出来，因此，为了进一步提升判断的精度，还需要对当前图像帧从其他角度进行判断，以进一步判断摄像装置是否被遮挡。
本公开实施例中，在当前图像帧的特征编码信息与所述预设特征编码信息之间的汉明距离不大于预设阈值的情况下，确定当前图像帧的像素分布直方图，并在所述像素分布直方图中的预设区间的像素分布占比大于预设占比阈值的情况下，确定所述摄像装置被遮挡。
在一些实施例中，可以对当前图像帧中的每个像素点的像素值的分布进行统计，进而得到当前图像帧的像素分布直方图。例如，可以按照预先划分的多个像素区间对当前图像帧中的每个像素点的像素值的分布进行统计，该多个像素区间可以为[0～19]、[20～80]、[81～126]及[127～255]等。可以理解，本实施方式中，所示出的多个像素区间是示意，其他实施方式中，该多个像素区间还可以按照其他需求进行划分。
在一些实施方式中，该预设区间可以根据摄装置的实际使用环境进行大量的测试而得出，例如，可以统计车辆驾驶区域场景的图像的直方分布图，可以确定摄像装置未被遮挡情况下拍摄的正常的图像中像素区间[20～80]的像素数占比和摄像装置被遮挡情况下拍摄的图像中像素区间[20～80]的像素数占比有比较明显的分界，因此，可以将预设区间设为[20～80]的像素区间。
另外，像素值较低(比如小于20)或者大于高亮度阈值的总像素占比越大，意味着 图像中存在有效内容的概率越小，因此，在其他实施例中，该预设区间还可以是像素值较低的区间或者是像素值较高的区间，比如[0～20]的像素区间或者[130～255]的像素区间，此处不做限定。
本实施方式中，该预设区间为该多个像素区间中个一个，比如，该预设区间为[20～80]，若该预设区间为[20～80]内的像素点的数量较多，大于预设占比阈值，则可以确定摄像装置被遮挡。
S205，确定所述摄像装置被遮挡。
S206，输出提示信息。
示例性地，在确定摄像装置被遮挡后，可以输出提示信息，以提醒驾驶员对遮挡的摄像装置进行处理，以使摄像装置可以正常拍摄驾驶员的图像，从而可以辅助提升驾驶的安全性。
其中，提示信息包括但不限于语音提示信息、图文提示信息，灯光提示信息等。例如，可以输出“摄像装置被遮挡，请确认”的语音提示信息。
在一些实施方式中，为了降低因瞬间的遮挡而频繁的输出提示信息对车内人员产生影响，参见图4所示，上述输出提示信息的步骤S206，可以按照以下S2061和S2062的方式执行：
S2061，根据所述视频数据中各帧图像的摄像装置检测结果，确定所述摄像装置的持续遮挡时间。
S2062，在所述持续遮挡时间达到预设时间的情况下，输出所述提示信息。
本实施方式中，在当前图像帧确定摄像装置遮挡的情况下，还要确定后帧图像的判断结果是否也为遮挡，若至少一帧后帧图像判断摄像装置未被遮挡，则说明，当前遮挡只是闪现，此时，则不输出提示信息；若至少一帧后帧图像的判断结果也为摄像装置被遮挡，也即连续多帧图像都判断摄像装置被遮挡，说明此时摄像装置被持续遮挡，是有意遮挡，并不是误遮挡，且在所述持续遮挡时间达到预设时间(比如5秒钟)的情况下，输出提示信息以进行提示。
参见图5所示，为本公开实施例提供的再一种摄像装置遮挡检测方法的流程示意图，包括以下S301至S310：
S301，通过摄像装置获取车辆的驾驶区域的视频数据。
其中，该步骤与上述步骤S101类似。
S302，对所述视频数据中的当前图像帧进行人脸检测，在未检测到人脸的情况下，根据所述当前图像帧中的像素值对所述当前图像帧进行编码，得到所述当前图像帧的特征编码信息。
其中，该步骤与上述步骤S102类似。
S303，判断当前图像帧的特征编码信息与所述预设特征编码信息之间的汉明距离是否大于预设阈值；若是，则执行步骤S308；若否，则执行步骤S304。
示例性地，若当前图像帧的特征编码信息与所述预设特征编码信息之间的汉明距离大于预设阈值，说明当前图像帧中不包含人脸，此时，则执行步骤S308，判断摄像装置被遮挡；若当前图像帧的特征编码信息与所述预设特征编码信息之间的汉明距离不大于预设阈值，则说明当前图像帧中可能存在人脸，需要进一步判断，因此，执行步骤S304。
S304，确定所述当前图像帧的像素分布直方图。
其中，该步骤与上述步骤S204类似。
S305，判断像素分布直方图中的预设区间的像素分布占比是否大于预设占比阈值；若是，则执行步骤S308；若否，则执行步骤S306。
示例性地，若像素分布直方图中的预设区间的像素分布占比大于预设占比阈值，说明当前图像帧中无效内容占比较大，则执行步骤S308，判断摄像装置被遮挡；若像素分布直方图中的预设区间的像素分布占比不大于预设占比阈值，说明当前图像帧的有效内容占比正常，则需要执行步骤S306，进行进一步判断。
S306，确定所述当前图像帧的最大连通域。
S307，判断所述最大连通域的面积是否大于预设面积阈值；若是，则执行步骤S308；若否，则执行步骤S310。
其中，最大连通域是指具有相同像素值或者在一定误差之内的所有像素值且位置相邻的像素点组成的图像区域，最大连通域是一个闭合的区域。比如，预设面积阈值可以设为占比整张图像的60％的面积，若最大连通域大于该预设面积阈值，则执行步骤S308，确定摄像装置被遮挡；若最大连通域不大于该预设面积阈值，则执行步骤S310，确定所述摄像装置未被遮挡。
可以理解，为了进一步提高判断精度，减少因突变情况而造成误判的情况，比如，因瞬间遮挡而造成的误判的情况，在一些实施方式中，在确定当前图像帧的最大连通域的面积大于所述预设面积阈值的情况下，还可以执行以下(1)至(3)：
(1)确定所述当前图像帧的之前和之后中至少之一的至少一帧图像的最大连通域；
(2)确定所述当前图像帧以及所述至少一帧图像的最大连通域的面积的平均值；
(3)在所述当前图像帧以及所述至少一帧图像的最大连通域的面积的平均值大于所述预设面积阈值的情况下，确定所述摄像装置被遮挡。
如此，在确定当前图像帧的最大连通域的面积大于预设面积阈值的情况下，还确定当前图像帧的之前或者之后的多帧图像的最大连通域的面积的平均值，进而可以降低因闪现(比如瞬间从摄像装置前经过)而导致的误判发生的概率，进一步提升了判断的准确度。
S308，确定所述摄像装置被遮挡。
S309，输出提示信息。
其中，该步骤与上述步骤S206类似。
S310，确定所述摄像装置未被遮挡。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思，本公开实施例中还提供了与摄像装置遮挡检测方法对应的摄像装置遮挡检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述摄像装置遮挡检测方法相似，因此装置的实施可以参见方法的实施。
参照图6所示，为本公开实施例提供的一种摄像装置遮挡检测装置500的示意图，该摄像装置遮挡检测装置500包括：
视频获取模块501，配置为通过摄像装置获取车辆的驾驶区域的视频数据；
人脸检测模块502，配置为对所述视频数据中的当前图像帧进行人脸检测，在未检测到人脸的情况下，根据所述当前图像帧中的像素值对所述当前图像帧进行编码，得到所述当前图像帧的特征编码信息；
遮挡确定模块503，配置为基于所述当前图像帧的特征编码信息以及预设特征编码信息，确定所述摄像装置是否被遮挡，其中，所述预设特征编码信息包括所述视频数据中包含人脸的图像帧的特征编码信息。
在一种可能的实施方式中，所述人脸检测模块502还配置为：
确定所述当前图像帧的参考像素阈值；
依次将所述当前图像帧的每个像素点的像素值与所述参考像素阈值进行比较，将大于所述参考像素阈值的像素点编码为1，将不大于所述参考像素阈值的像素点编码为0，得到所述当前图像帧的特征编码信息。
在一种可能的实施方式中，所述参考像素阈值为所述当前图像帧的平均像素值。
在一种可能的实施方式中，所述遮挡确定模块503还配置为：
在所述当前图像帧的特征编码信息与所述预设特征编码信息之间的汉明距离大于预设阈值的情况下，确定所述摄像装置被遮挡。
在一种可能的实施方式中，所述遮挡确定模块503还配置为：
在所述汉明距离不大于所述预设阈值的情况下，确定所述当前图像帧的像素分布直方图；
基于所述当前图像帧的像素分布直方图，确定所述摄像装置是否被遮挡。
在一种可能的实施方式中，所述遮挡确定模块503还配置为：
在所述像素分布直方图中的预设区间的像素分布占比大于预设占比阈值的情况下，确定所述摄像装置被遮挡。
在一种可能的实施方式中，所述遮挡确定模块503还配置为：
在所述像素分布直方图中的预设区间的像素分布占比不大于所述预设占比阈值的情况下，确定所述当前图像帧的最大连通域；
在所述最大连通域的面积大于预设面积阈值的情况下，确定所述摄像装置被遮挡。
参见图7所示，在一种可能的实施方式中，所述装置还包括：
信息输出模块504，配置为在确定所述摄像装置被遮挡的情况下，输出提示信息。
在一种可能的实施方式中，所述信息输出模块504还配置为：
根据所述视频数据中各帧图像的摄像装置检测结果，确定所述摄像装置的持续遮挡时间；
在所述持续遮挡时间达到预设时间的情况下，输出所述提示信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图8所示，为本公开实施例提供的电子设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。
本公开实施例中，存储器702用于存储执行本公开方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中所述的方法。
其中，存储器702可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。
处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application-Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field  Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解的是，本公开实施例示意的结构并不构成对电子设备700的限定。在本公开另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的摄像装置遮挡检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中的摄像装置遮挡检测方法的步骤，可参见上述方法实施例。
其中，上述计算机程序产品可以通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品体现为计算机存储介质，在另一个可选实施例中，计算机程序产品体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的工作过程，可以参考前述方法实施例中的对应过程。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例是示意性的，例如，所述单元的划分，为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
若本公开技术方案涉及个人信息，应用本公开技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本公开技术方案涉及敏感个人信息，应用本公开技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标 识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式、处理的个人信息种类等信息。
最后应说明的是：以上所述实施例，为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (21)

  1. 一种摄像装置遮挡检测方法，包括：
    通过摄像装置获取车辆的驾驶区域的视频数据；
    对所述视频数据中的当前图像帧进行人脸检测，在未检测到人脸的情况下，根据所述当前图像帧中的像素值对所述当前图像帧进行编码，得到所述当前图像帧的特征编码信息；
    基于所述当前图像帧的特征编码信息以及预设特征编码信息，确定所述摄像装置是否被遮挡，其中，所述预设特征编码信息包括所述视频数据中包含人脸的图像帧的特征编码信息。
  2. 根据权利要求1所述的方法，其中，所述根据所述当前图像帧中的像素值对所述当前图像帧进行编码，包括：
    确定所述当前图像帧的参考像素阈值；
    依次将所述当前图像帧的每个像素点的像素值与所述参考像素阈值进行比较，将大于所述参考像素阈值的像素点编码为1，将不大于所述参考像素阈值的像素点编码为0，得到所述当前图像帧的特征编码信息。
  3. 根据权利要求2所述的方法，其中，所述参考像素阈值为所述当前图像帧的平均像素值。
  4. 根据权利要求1至3任一项所述的方法，其中，所述基于所述当前图像帧的特征编码信息以及预设特征编码信息，确定所述摄像装置是否被遮挡，包括：
    在所述当前图像帧的特征编码信息与所述预设特征编码信息之间的汉明距离大于预设阈值的情况下，确定所述摄像装置被遮挡。
  5. 根据权利要求4所述的方法，其中，所述方法还包括：
    在所述汉明距离不大于所述预设阈值的情况下，确定所述当前图像帧的像素分布直方图；
    基于所述当前图像帧的像素分布直方图，确定所述摄像装置是否被遮挡。
  6. 根据权利要求5所述的方法，其中，所述基于所述当前图像帧的像素分布直方图，确定所述摄像装置是否被遮挡，包括：
    在所述像素分布直方图中的预设区间的像素分布占比大于预设占比阈值的情况下，确定所述摄像装置被遮挡。
  7. 根据权利要求5或6所述的方法，其中，所述方法还包括：
    在所述像素分布直方图中的预设区间的像素分布占比不大于所述预设占比阈值的情况下，确定所述当前图像帧的最大连通域；
    在所述最大连通域的面积大于预设面积阈值的情况下，确定所述摄像装置被遮挡。
  8. 根据权利要求1至7任一项所述的方法，其中，所述方法还包括：
    在确定所述摄像装置被遮挡的情况下，输出提示信息。
  9. 根据权利要求8所述的方法，其中，所述在确定所述摄像装置被遮挡的情况下，输出提示信息，包括：
    根据所述视频数据中各帧图像的摄像装置检测结果，确定所述摄像装置的持续遮挡时间；
    在所述持续遮挡时间达到预设时间的情况下，输出所述提示信息。
  10. 一种摄像装置遮挡检测装置，包括：
    视频获取模块，配置为通过摄像装置获取车辆的驾驶区域的视频数据；
    人脸检测模块，配置为对所述视频数据中的当前图像帧进行人脸检测，在未检测到人脸的情况下，根据所述当前图像帧中的像素值对所述当前图像帧进行编码，得到所述 当前图像帧的特征编码信息；
    遮挡确定模块，配置为基于所述当前图像帧的特征编码信息以及预设特征编码信息，确定所述摄像装置是否被遮挡，其中，所述预设特征编码信息包括所述视频数据中包含人脸的图像帧的特征编码信息。
  11. 根据权利要求10所述的装置，其中，所述人脸检测模块还配置为：确定所述当前图像帧的参考像素阈值；依次将所述当前图像帧的每个像素点的像素值与所述参考像素阈值进行比较，将大于所述参考像素阈值的像素点编码为1，将不大于所述参考像素阈值的像素点编码为0，得到所述当前图像帧的特征编码信息。
  12. 根据权利要求11所述的装置，其中，所述参考像素阈值为所述当前图像帧的平均像素值。
  13. 根据权利要求10至12任一项所述的装置，其中，所述遮挡确定模块还配置为：在所述当前图像帧的特征编码信息与所述预设特征编码信息之间的汉明距离大于预设阈值的情况下，确定所述摄像装置被遮挡。
  14. 根据权利要求13所述的装置，其中，所述遮挡确定模块还配置为：
    在所述汉明距离不大于所述预设阈值的情况下，确定所述当前图像帧的像素分布直方图；基于所述当前图像帧的像素分布直方图，确定所述摄像装置是否被遮挡。
  15. 根据权利要求14所述的装置，其中，所述遮挡确定模块还配置为：在所述像素分布直方图中的预设区间的像素分布占比大于预设占比阈值的情况下，确定所述摄像装置被遮挡。
  16. 根据权利要求13或14所述的装置，其中，所述遮挡确定模块还配置为：
    在所述像素分布直方图中的预设区间的像素分布占比不大于所述预设占比阈值的情况下，确定所述当前图像帧的最大连通域；在所述最大连通域的面积大于预设面积阈值的情况下，确定所述摄像装置被遮挡。
  17. 根据权利要求10至16任一项所述的装置，其中，所述装置还包括：信息输出模块，配置为在确定所述摄像装置被遮挡的情况下，输出提示信息。
  18. 根据权利要求17所述的装置，其中，所述信息输出模块还配置为：根据所述视频数据中各帧图像的摄像装置检测结果，确定所述摄像装置的持续遮挡时间；在所述持续遮挡时间达到预设时间的情况下，输出所述提示信息。
  19. 一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9任一所述的摄像装置遮挡检测方法。
  20. 一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9任一所述的摄像装置遮挡检测方法。
  21. 一种计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令被计算机设备的处理器运行时，实现权利要求1至9中任一项所述方法中的步骤。
PCT/CN2022/124934 2021-12-31 2022-10-12 摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品 Ceased WO2023124385A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020247023573A KR20240124973A (ko) 2021-12-31 2022-10-12 촬영 장치 차폐 검출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품
JP2024538727A JP7781286B2 (ja) 2021-12-31 2022-10-12 カメラ装置の遮蔽検出方法、装置、電子機器、記憶媒体、並びにコンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111668662.2A CN114332720B (zh) 2021-12-31 2021-12-31 摄像装置遮挡检测方法、装置、电子设备及存储介质
CN202111668662.2 2021-12-31

Publications (1)

Publication Number Publication Date
WO2023124385A1 true WO2023124385A1 (zh) 2023-07-06

Family

ID=81020389

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/124934 Ceased WO2023124385A1 (zh) 2021-12-31 2022-10-12 摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品

Country Status (4)

Country Link
JP (1) JP7781286B2 (zh)
KR (1) KR20240124973A (zh)
CN (1) CN114332720B (zh)
WO (1) WO2023124385A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332720B (zh) * 2021-12-31 2025-04-15 上海商汤临港智能科技有限公司 摄像装置遮挡检测方法、装置、电子设备及存储介质
CN115205988A (zh) * 2022-06-22 2022-10-18 杭州海康威视数字技术股份有限公司 一种注册模板的更新方法、装置、生物特征识别系统
CN116977630A (zh) * 2023-06-20 2023-10-31 深圳绿米联创科技有限公司 图像检测方法、装置、电子设备及计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180253630A1 (en) * 2017-03-02 2018-09-06 Denso International America, Inc. Surrounding View Camera Blockage Detection
CN109858441A (zh) * 2019-01-30 2019-06-07 广州轨道交通建设监理有限公司 一种用于施工现场的异常状态监测方法与装置
CN110557628A (zh) * 2018-06-04 2019-12-10 杭州海康威视数字技术股份有限公司 一种检测摄像头遮挡的方法、装置及电子设备
US20200034959A1 (en) * 2018-07-24 2020-01-30 The Regents Of The University Of Michigan Detection Of Near-Field Occlusions In Images
CN111862228A (zh) * 2020-06-04 2020-10-30 福瑞泰克智能系统有限公司 遮挡检测的方法、系统、计算机设备和可读存储介质
CN111970405A (zh) * 2020-08-21 2020-11-20 Oppo（重庆）智能科技有限公司 摄像头遮挡检测方法、存储介质、电子设备及装置
CN112351271A (zh) * 2020-09-22 2021-02-09 北京迈格威科技有限公司 一种摄像头的遮挡检测方法、装置、存储介质和电子设备
CN112668636A (zh) * 2020-12-25 2021-04-16 展讯通信（上海）有限公司 摄像头遮挡检测方法及系统、电子设备及存储介质
CN114332720A (zh) * 2021-12-31 2022-04-12 上海商汤临港智能科技有限公司 摄像装置遮挡检测方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019159346A (ja) 2018-03-07 2019-09-19 オムロン株式会社 撮像装置
CN111383201B (zh) * 2018-12-29 2024-03-12 深圳Tcl新技术有限公司 基于场景的图像处理方法、装置、智能终端及存储介质
CN111428581B (zh) * 2020-03-05 2023-11-21 平安科技（深圳）有限公司 人脸遮挡检测方法及系统
CN112261402B (zh) * 2020-09-22 2022-08-16 北京紫光展锐通信技术有限公司 图像检测方法与系统以及摄像头遮挡监控方法与系统
CN112487886A (zh) * 2020-11-16 2021-03-12 北京大学 一种有遮挡的人脸识别方法、装置、存储介质及终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180253630A1 (en) * 2017-03-02 2018-09-06 Denso International America, Inc. Surrounding View Camera Blockage Detection
CN110557628A (zh) * 2018-06-04 2019-12-10 杭州海康威视数字技术股份有限公司 一种检测摄像头遮挡的方法、装置及电子设备
US20200034959A1 (en) * 2018-07-24 2020-01-30 The Regents Of The University Of Michigan Detection Of Near-Field Occlusions In Images
CN109858441A (zh) * 2019-01-30 2019-06-07 广州轨道交通建设监理有限公司 一种用于施工现场的异常状态监测方法与装置
CN111862228A (zh) * 2020-06-04 2020-10-30 福瑞泰克智能系统有限公司 遮挡检测的方法、系统、计算机设备和可读存储介质
CN111970405A (zh) * 2020-08-21 2020-11-20 Oppo（重庆）智能科技有限公司 摄像头遮挡检测方法、存储介质、电子设备及装置
CN112351271A (zh) * 2020-09-22 2021-02-09 北京迈格威科技有限公司 一种摄像头的遮挡检测方法、装置、存储介质和电子设备
CN112668636A (zh) * 2020-12-25 2021-04-16 展讯通信（上海）有限公司 摄像头遮挡检测方法及系统、电子设备及存储介质
CN114332720A (zh) * 2021-12-31 2022-04-12 上海商汤临港智能科技有限公司 摄像装置遮挡检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114332720A (zh) 2022-04-12
JP7781286B2 (ja) 2025-12-05
KR20240124973A (ko) 2024-08-19
JP2024544344A (ja) 2024-11-28
CN114332720B (zh) 2025-04-15

Similar Documents

Publication Publication Date Title
CN111274881B (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
CN114332721B (zh) 摄像装置遮挡检测方法、装置、电子设备及存储介质
JP7781286B2 (ja) カメラ装置の遮蔽検出方法、装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN111476234B (zh) 一种遮挡车牌字符识别方法、装置、存储介质和智能设备
EP2662827B1 (en) Video analysis
WO2020258077A1 (zh) 一种行人检测方法及装置
CN108388880A (zh) 一种监测司机开车使用手机的方法及装置
JP7697219B2 (ja) 車両の方向指示器の合図の認識装置、認識方法及び電子機器
CN114782887A (zh) 基于深度学习的消防通道占用检测方法及装置
EP4517700A1 (en) Safety belt wearing detection method and apparatus, electronic device and storage medium
CN104680171B (zh) 图像中斑马线的检测装置、方法
CN113947749A (zh) 一种遗留物检测方法、装置、电子设备及存储介质
CN111444788A (zh) 行为识别的方法、装置及计算机存储介质
CN110913209B (zh) 摄像头遮挡检测方法、装置、电子设备及监控系统
CN112070954A (zh) 活体识别方法、装置、设备及存储介质
CN113408364B (zh) 一种临时车牌识别方法、系统、装置及存储介质
CN113191293B (zh) 广告检测方法、装置、电子设备、系统及可读存储介质
CN115861624B (zh) 摄像头被遮挡的检测方法、装置、设备及存储介质
Santos et al. Car recognition based on back lights and rear view features
CN114863472B (zh) 多级行人检测方法、装置和存储介质
CN113239738B (zh) 一种图像的模糊检测方法及模糊检测装置
CN114550146A (zh) 图像处理方法、装置、设备及计算机存储介质
CN110889352A (zh) 图像模糊化处理方法、计算机装置及计算机可读存储介质
CN110188645A (zh) 用于车载场景的人脸检测方法、装置、车辆及存储介质
CN116229502A (zh) 基于图像的摔倒行为识别方法及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22913649

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024538727

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20247023573

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22913649

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11-12-2024)

122 Ep: pct application non-entry in european phase

Ref document number: 22913649

Country of ref document: EP

Kind code of ref document: A1