KR20220019105A - 안전벨트 착용 검출 방법, 장치, 전자 기기, 저장 매체 및 프로그램 - Google Patents
안전벨트 착용 검출 방법, 장치, 전자 기기, 저장 매체 및 프로그램 Download PDFInfo
- Publication number
- KR20220019105A KR20220019105A KR1020217042831A KR20217042831A KR20220019105A KR 20220019105 A KR20220019105 A KR 20220019105A KR 1020217042831 A KR1020217042831 A KR 1020217042831A KR 20217042831 A KR20217042831 A KR 20217042831A KR 20220019105 A KR20220019105 A KR 20220019105A
- Authority
- KR
- South Korea
- Prior art keywords
- seat belt
- human body
- center point
- information
- detection
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 419
- 238000000034 method Methods 0.000 claims abstract description 79
- 238000011176 pooling Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 10
- 230000006399 behavior Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/01542—Passenger detection systems detecting passenger motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/01544—Passenger detection systems detecting seat belt parameters, e.g. length, tension or height-adjustment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R22/00—Safety belts or body harnesses in vehicles
- B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R22/00—Safety belts or body harnesses in vehicles
- B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
- B60R2022/4808—Sensing means arrangements therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R22/00—Safety belts or body harnesses in vehicles
- B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
- B60R2022/4866—Displaying or indicating arrangements thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Automotive Seat Belt Assembly (AREA)
Abstract
본 발명은 안전벨트 착용 검출 방법, 장치, 전자 기기, 저장 매체 및 프로그램을 제공하며, 여기서 상기 방법은, 차실 환경 이미지를 획득하는 단계; 차실 환경 이미지에 대해 인체 검출을 수행하여 차실 내 적어도 하나의 인체의 인체 검출 정보를 획득하고, 차실 환경 이미지에 대해 안전벨트 검출을 수행하여 차실 내 적어도 하나의 안전벨트의 안전벨트 검출 정보를 획득하는 단계; 적어도 하나의 인체의 인체 검출 정보를 적어도 하나의 안전벨트의 안전벨트 검출 정보와 매칭하여, 안전벨트 착용 검출 결과를 결정하는 단계; 및 임의의 인체가 안전벨트를 착용하지 않은 경우, 경고 정보를 발송하는 단계를 포함한다.
Description
관련 출원의 상호 참조
본 발명은 출원 번호가 202010791309.2이고, 출원일이 2020년 8월 7일인 중국 특허 출원을 기반으로 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는바, 상기 중국 특허 출원의 전부 내용은 참조로서 본 발명에 인용된다.
본 발명은 이미지 검출 기술 분야에 관한 것으로, 구체적으로 안전벨트 착용 검출 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램에 관한 것이지만 이에 한정되지 않는다.
자동차 주행 과정에서 충돌이 발생하거나 긴급 제동 시 강한 관성력이 발생하므로, 운전자는 안전벨트를 정확하게 착용하여 신체를 효과적으로 제어할 수 있으며, 강한 관성력에 의한 충돌로 인한 신체적 부상을 감소시킬 수 있다. 이로부터 알다시피, 정확한 안전벨트 착용은 운전자와 승객의 생명 안전을 보장하는 데 매우 중요하다는 것을 알 수 있다.
운전자와 승객에게 보다 안전한 차실 환경을 제공하기 위해, 대부분 차량에는 안전벨트 센서와 경보기가 설치되어 있다. 운전자와 승객이 착석한 것이 확인된 후, 안전벨트 센서는 안전벨트가 착용되었는지 여부를 검출할 수 있으며, 안전벨트가 착용되지 않은 것으로 검출될 경우, 또한 경보기에서 울리는 경보음과 깜빡이 아이콘을 통해 운전자에게 안전벨트를 착용할 것을 알려줄 수 있다.
그러나, 많은 운전자는 안전벨트 버클을 안전벨트의 삽입구에 삽입하는 방식, 또는 안전벨트를 우회하여 삽입구에 삽입하는 방식을 통해 안전벨트 미착용 경보 알람을 피한다.
본 발명의 실시예는 안전벨트 착용 검출 방법, 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램을 제공한다.
본 발명의 실시예는 안전벨트 착용 검출 방법을 제공하며, 상기 방법은,
차실 환경 이미지를 획득하는 단계;
상기 차실 환경 이미지에 대해 인체 검출을 수행하여 차실 내 적어도 하나의 인체의 인체 검출 정보를 획득하고, 상기 차실 환경 이미지에 대해 안전벨트 검출을 수행하여 차실 내 적어도 하나의 안전벨트의 안전벨트 검출 정보를 획득하는 단계;
상기 적어도 하나의 인체의 인체 검출 정보를 상기 적어도 하나의 안전벨트의 안전벨트 검출 정보와 매칭하여, 안전벨트 착용 검출 결과를 결정하는 단계; 및
임의의 인체가 안전벨트를 착용하지 않은 경우, 경고 정보를 발송하는 단계를 포함한다.
상기 안전벨트 착용 검출 방법을 사용하여, 우선 획득된 차실 환경 이미지를 기반으로 차실 특징맵을 생성할 수 있고, 차실 특징맵에 대해 인체 검출 및 안전벨트 검출을 각각 수행하여 인체 검출 정보 및 안전벨트 검출 정보를 획득하며, 인체가 실제로 안전벨트를 착용한 상태에서 인체와 안전벨트에 존재하는 일정한 위치 대응관계를 고려하여, 상기 인체 검출 정보 및 안전벨트 검출 정보를 매칭하여, 인체가 안전벨트를 착용하였는지 여부를 검출함으로써 안전벨트 착용 행동의 유효 검출이 구현될 수 있다.
본 발명의 일부 실시예에서, 상기 적어도 하나의 인체의 인체 검출 정보를 상기 적어도 하나의 안전벨트의 안전벨트 검출 정보와 매칭하는 상기 단계는,
상기 적어도 하나의 안전벨트에 대응되는 안전벨트 검출 프레임의 중심점 위치와 인체 검출 프레임의 중심점 위치 사이의 상대적 오프셋 정보를 결정하는 단계; 및
결정된 상기 상대적 오프셋 정보를 기반으로, 상기 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점에서, 각각의 안전벨트에 대응되는 안전벨트 검출 프레임의 중심점과 관련된 인체 검출 프레임의 중심점이 존재하는지 여부를 검색하는 단계를 포함한다.
본 발명의 일부 실시예에서, 안전벨트 착용 검출 결과를 결정하는 단계는,
임의의 인체의 경우, 상기 인체에 대응되는 인체 검출 프레임의 중심점과 관련된 안전벨트 검출 프레임의 중심점이 존재하지 않는 경우, 상기 인체가 안전벨트를 착용하지 않은 것으로 결정하는 단계를 포함한다.
본 발명의 일부 실시예에서, 안전벨트 착용 검출 결과를 결정하는 단계는,
임의의 인체의 경우, 상기 인체에 대응되는 인체 검출 프레임의 중심점과 관련된 안전벨트 검출 프레임의 중심점이 존재하는 경우, 상기 인체가 안전벨트를 착용한 것으로 결정하는 단계를 포함한다.
여기서, 우선 안전벨트 검출 프레임의 중심점 위치와 인체 검출 프레임의 중심점 위치 사이의 상대적 오프셋 정보를 결정할 수 있고, 이후 상대적 오프셋 정보에 기반하여 각각의 안전벨트에 대응되는 안전벨트 검출 프레임의 중심점과 관련된 인체 검출 프레임의 중심점이 존재하는지 여부를 결정할 수 있으며, 임의의 인체의 경우 상기 인체에 대응되는 인체 검출 프레임의 중심점과 관련된 안전벨트 검출 프레임의 중심점이 존재하는 경우, 인체가 안전벨트를 착용한 것으로 결정할 수 있고; 임의의 인체의 경우 상기 인체에 대응되는 인체 검출 프레임의 중심점과 관련된 안전벨트 검출 프레임의 중심점이 존재하지 않는 경우, 인체가 안전벨트를 착용하지 않은 것으로 결정할 수 있다.
본 발명의 일부 실시예에서, 상기 인체 검출 정보는 인체 검출 프레임 정보를 포함하고; 상기 차실 환경 이미지에 대해 인체 검출을 수행하여, 차실 내 적어도 하나의 인체의 인체 검출 정보를 획득하는 상기 단계는,
상기 차실 환경 이미지에 기반하여, 차실 특징맵을 생성하는 단계;
상기 차실 특징맵에 대해 인체 검출을 수행하여, 차실 내 적어도 하나의 인체에 각각 대응되는 다중 채널 특징맵을 획득하는 단계 - 상기 다중 채널 특징맵은 인체 중심점 특징맵, 인체 길이 특징맵 및 인체 폭 특징맵을 포함함 - ; 및
상기 다중 채널 특징맵에 기반하여, 상기 적어도 하나의 인체에 대응되는 인체 검출 프레임 정보를 결정하는 단계 - 상기 인체 검출 프레임 정보는 인체 검출 프레임의 중심점 위치 정보 및 인체 검출 프레임의 사이즈 정보를 포함함 - 를 포함한다.
여기서, 인체 검출 수행 과정에서, 인체 검출에 기반하여 획득된 다중 채널 특징맵은 인체 중심점, 인체 길이 및 인체 폭과 같은 관련 특징을 나타낼 수 있고, 이러한 관련 특징은 인체 검출 프레임에 대응되는 위치 범위를 결정한다.
본 발명의 일부 실시예에서, 상기 다중 채널 특징맵에 기반하여, 상기 적어도 하나의 인체에 대응되는 인체 검출 프레임 정보를 결정하는 단계는,
상기 다중 채널 특징맵에 포함된 인체 중심점 특징맵의 경우, 기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 따라, 상기 인체 중심점 특징맵에서 풀링 처리할 인체 중심점 특징 서브맵을 순차적으로 크로핑하는 단계;
순차적으로 크로핑된 각각의 인체 중심점 특징 서브맵의 경우, 상기 인체 중심점 특징 서브맵에 대해 최대 풀링 처리를 수행하여, 상기 인체 중심점 특징 서브맵에 대응되는 각각의 인체 중심점 특징값 중의 최대 인체 중심점 특징값, 및 상기 인체 중심점 특징맵 중 상기 최대 인체 중심점 특징값의 좌표 위치 정보를 결정하는 단계;
복수의 상기 인체 중심점 특징 서브맵에 각각 대응되는 최대 인체 중심점 특징값, 및 상기 인체 중심점 특징맵 중 상기 최대 인체 중심점 특징값의 좌표 위치 정보에 기반하여, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정하는 단계; 및
각각의 상기 인체 검출 프레임의 중심점 위치 정보를 기반으로, 상기 다중 채널 특징맵에 포함되는 인체 길이 특징맵 및 인체 폭 특징맵에서 상기 인체 검출 프레임과 매칭되는 인체 길이 정보 및 인체 폭 정보를 각각 결정하고, 매칭되는 상기 인체 길이 정보 및 인체 폭 정보를 상기 인체 검출 프레임의 상기 사이즈 정보로 사용하는 단계를 포함한다.
여기서, 최대 풀링 처리를 기반으로, 인체 중심점 특징맵에서 크로핑한 각각의 인체 중심점 특징 서브맵에서 인체 중심점에 가장 대응될 수 있는 특징값을 선택할 수 있으며, 따라서 상기 인체 중심점 특징맵 중 선택된 적어도 하나의 특징값의 좌표 위치 정보에 기반하여, 적어도 하나의 인체 검출 프레임의 중심점 위치를 획득할 수 있고, 다시 획득된 인체 검출 프레임의 중심점 위치를 기반으로, 인체 길이 특징맵 및 인체 폭 특징맵에서 대응되는 인체 길이 정보 및 인체 폭 정보를 추출하여 인체 검출 프레임의 사이즈 정보를 결정한다.
본 발명의 일부 실시예에서, 상기 기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 따라, 상기 인체 중심점 특징맵에서 풀링 처리할 인체 중심점 특징 서브맵을 순차적으로 크로핑하는 단계는,
활성화 함수를 사용하여, 인체 중심점 위치를 나타내는 인체 중심점 특징맵에 대해 정규화 처리를 수행하여, 정규화 처리된 인체 중심점 특징맵을 획득하는 단계; 및
기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 따라, 상기 정규화 처리된 인체 중심점 특징맵에서 풀링 처리할 인체 중심점 특징 서브맵을 순차적으로 크로핑하는 단계를 포함한다.
본 발명의 일부 실시예에서, 상기 복수의 상기 인체 중심점 특징 서브맵에 각각 대응되는 최대 인체 중심점 특징값, 및 상기 인체 중심점 특징맵 중 상기 최대 인체 중심점 특징값의 좌표 위치 정보에 기반하여, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정하는 단계는,
복수의 상기 인체 중심점 특징 서브맵 중의 각각의 상기 인체 중심점 특징 서브맵에 대해, 상기 인체 중심점 특징 서브맵에 대응되는 최대 인체 중심점 특징값이 기설정 임계값보다 큰지 여부를 판단하는 단계;
상기 인체 중심점 특징 서브맵에 대응되는 최대 인체 중심점 특징값이 상기 기설정 임계값보다 큰 경우, 상기 최대 인체 중심점 특징값이 지시하는 인체 중심점을 타깃 인체 중심점으로 결정하는 단계; 및
각각의 상기 타깃 인체 중심점, 상기 인체 중심점 특징맵 중 대응되는 좌표 위치 정보를 기반으로, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정하는 단계를 포함한다.
본 발명의 일부 실시예에서, 상기 안전벨트 검출 정보는 안전벨트 검출 프레임 정보를 포함하고; 상기 차실 환경 이미지에 대해 안전벨트 검출을 수행하여 차실 내 적어도 하나의 안전벨트의 안전벨트 검출 정보를 획득하는 단계는,
상기 차실 환경 이미지에 기반하여, 차실 특징맵을 생성하는 단계;
상기 차실 특징맵에 포함된 복수의 픽셀점 중 각각의 상기 픽셀점이 속하는 안전벨트 카테고리 정보를 결정하는 단계 - 상기 안전벨트 카테고리 정보는 안전벨트에 속하는 카테고리 및 안전벨트에 속하지 않는 카테고리를 포함함 - ;
안전벨트 카테고리 정보가 안전벨트에 속하는 카테고리일 때의 픽셀점을 타깃 안전벨트 픽셀점으로 결정하는 단계;
각각의 상기 타깃 안전벨트 픽셀점과 안전벨트 중심 픽셀점의 상대적 오프셋 정보를 결정하는 단계;
상기 상대적 오프셋 정보에 기반하여, 각각의 상기 타깃 안전벨트 픽셀점에 대응되는 안전벨트 중심 픽셀점을 결정하는 단계; 및
안전벨트 중심 픽셀점을 기반으로, 동일한 안전벨트 중심 픽셀점에 대응하는 복수의 타깃 안전벨트 픽셀점을 클러스터링하여, 차실 내 적어도 하나의 안전벨트에 대응되는 안전벨트 검출 프레임 정보를 획득하는 단계 - 상기 안전벨트 검출 프레임 정보는 안전벨트 검출 프레임의 중심점 위치 정보를 포함함 - 를 포함한다.
여기서, 안전벨트 검출 수행 과정에서, 차실 특징맵의 픽셀점에 대한 분석에서 차실 특징맵에 포함된 복수의 픽셀점 중 안전벨트에 속하는 카테고리의 타깃 안전벨트 픽셀점을 결정할 수 있고, 이후 타깃 안전벨트 픽셀점과 안전벨트 중심 픽셀점 사이의 상대적 오프셋 정보에 기반하여 각각의 안전벨트 중심 픽셀점을 결정할 수 있으며, 다음 다시 각각의 안전벨트 중심 픽셀점을 기반으로 복수의 타깃 안전벨트 픽셀점을 클러스터링하여, 각각의 안전벨트에 대응되는 안전벨트 검출 프레임 정보를 결정할 수 있다.
본 발명의 일부 실시예에서, 상기 차실 특징맵에 포함된 복수의 픽셀점 중 각각의 상기 픽셀점이 속하는 안전벨트 카테고리 정보를 결정하는 단계는,
상기 차실 특징맵에 대해 안전벨트 검출을 수행하여, 2채널 특징맵을 획득하는 단계 - 상기 2채널 특징맵은 배경 특징맵 및 안전벨트 특징맵을 포함함 - ; 및
상기 차실 특징맵에 포함된 복수의 픽셀점 중의 각각의 픽셀점의 경우, 상기 배경 특징맵 및 상기 안전벨트 특징맵 중 상기 픽셀점에 각각 대응되는 특징값 중의 큰 특징값이 지시하는 안전벨트 카테고리 정보를 기반으로, 상기 픽셀점이 속하는 안전벨트 카테고리 정보를 결정하는 단계를 포함한다.
본 발명의 실시예는 안전벨트 착용 검출 장치를 제공하며, 상기 장치는,
차실 환경 이미지를 획득하도록 구성되는 획득 모듈;
상기 차실 특징맵에 대해 인체 검출을 수행하여 차실 내 적어도 하나의 인체의 인체 검출 정보를 획득하고, 상기 차실 특징맵에 대해 안전벨트 검출을 수행하여 차실 내 적어도 하나의 안전벨트의 안전벨트 검출 정보를 획득하도록 구성되는 검출 모듈;
상기 적어도 하나의 인체의 인체 검출 정보를 상기 적어도 하나의 안전벨트의 안전벨트 검출 정보와 매칭하여, 안전벨트 착용 검출 결과를 결정하도록 구성되는 매칭 모듈 - 상기 안전벨트 착용 검출 결과는 검출된 인체가 안전벨트를 착용하였는지 여부를 지시하기 위한 것임 - ; 및
임의의 인체가 안전벨트를 착용하지 않은 경우, 경고 정보를 발송하도록 구성되는 경고 모듈을 포함한다.
본 발명의 일부 실시예에서, 상기 매칭 모듈은,
적어도 하나의 안전벨트에 대응되는 안전벨트 검출 프레임의 중심점 위치와 인체 검출 프레임의 중심점 위치 사이의 상대적 오프셋 정보를 결정하고;
결정된 상대적 오프셋 정보를 기반으로, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점에서, 각각의 안전벨트에 대응되는 안전벨트 검출 프레임의 중심점과 관련된 인체 검출 프레임의 중심점이 존재하는지 여부를 검색하도록 구성된다.
본 발명의 일부 실시예에서, 상기 매칭 모듈은,
임의의 인체의 경우, 상기 인체에 대응되는 인체 검출 프레임의 중심점과 관련된 안전벨트 검출 프레임의 중심점이 존재하지 않는 경우, 상기 인체가 안전벨트를 착용하지 않은 것으로 결정하도록 구성된다.
본 발명의 일부 실시예에서, 상기 매칭 모듈은,
임의의 인체의 경우, 상기 인체에 대응되는 인체 검출 프레임의 중심점과 관련된 안전벨트 검출 프레임의 중심점이 존재하는 경우, 상기 인체가 안전벨트를 착용한 것으로 결정하도록 구성된다.
본 발명의 일부 실시예에서, 상기 인체 검출 정보는 인체 검출 프레임 정보를 포함하고; 상기 검출 모듈은,
상기 차실 환경 이미지에 기반하여, 차실 특징맵을 생성하고;
상기 차실 특징맵에 대해 인체 검출을 수행하여, 차실 내 적어도 하나의 인체에 각각 대응되는 다중 채널 특징맵을 획득하되, 상기 다중 채널 특징맵은 인체 중심점 특징맵, 인체 길이 특징맵 및 인체 폭 특징맵을 포함하며;
상기 다중 채널 특징맵에 기반하여, 상기 적어도 하나의 인체에 대응되는 인체 검출 프레임 정보를 결정하도록 구성되되, 상기 인체 검출 프레임 정보는 인체 검출 프레임의 중심점 위치 정보 및 인체 검출 프레임의 사이즈 정보를 포함한다.
본 발명의 일부 실시예에서, 상기 검출 모듈은,
상기 다중 채널 특징맵에 포함된 인체 중심점 특징맵의 경우, 기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 따라, 상기 인체 중심점 특징맵에서 풀링 처리할 인체 중심점 특징 서브맵을 순차적으로 크로핑하고;
순차적으로 크로핑된 각각의 인체 중심점 특징 서브맵의 경우, 상기 인체 중심점 특징 서브맵에 대해 최대 풀링 처리를 수행하여, 상기 인체 중심점 특징 서브맵에 대응되는 각각의 인체 중심점 특징값 중의 최대 인체 중심점 특징값, 및 상기 인체 중심점 특징맵 중 상기 최대 인체 중심점 특징값의 좌표 위치 정보를 결정하며;
복수의 상기 인체 중심점 특징 서브맵에 각각 대응되는 최대 인체 중심점 특징값, 및 상기 인체 중심점 특징맵 중 상기 최대 인체 중심점 특징값의 좌표 위치 정보에 기반하여, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정하고;
각각의 상기 인체 검출 프레임의 중심점 위치 정보를 기반으로, 상기 다중 채널 특징맵에 포함되는 인체 길이 특징맵 및 인체 폭 특징맵에서 상기 인체 검출 프레임과 매칭되는 인체 길이 정보 및 인체 폭 정보를 각각 결정하고, 매칭되는 상기 인체 길이 정보 및 인체 폭 정보를 상기 인체 검출 프레임의 상기 사이즈 정보로 사용하도록 구성된다.
본 발명의 일부 실시예에서, 상기 검출 모듈은,
활성화 함수를 사용하여, 인체 중심점 위치를 나타내는 인체 중심점 특징맵에 대해 정규화 처리를 수행하여, 정규화 처리된 인체 중심점 특징맵을 획득하고;
기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 따라, 상기 정규화 처리된 인체 중심점 특징맵에서 풀링 처리할 인체 중심점 특징 서브맵을 순차적으로 크로핑하도록 구성된다.
본 발명의 일부 실시예에서, 상기 검출 모듈은,
복수의 상기 인체 중심점 특징 서브맵 중의 각각의 상기 인체 중심점 특징 서브맵에 대해, 상기 인체 중심점 특징 서브맵에 대응되는 최대 인체 중심점 특징값이 기설정 임계값보다 큰지 여부를 판단하고;
상기 인체 중심점 특징 서브맵에 대응되는 최대 인체 중심점 특징값이 상기 기설정 임계값보다 큰 경우, 상기 최대 인체 중심점 특징값이 지시하는 인체 중심점을 타깃 인체 중심점으로 결정하며;
각각의 상기 타깃 인체 중심점, 상기 인체 중심점 특징맵 중 대응되는 좌표 위치 정보를 기반으로, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정하도록 구성된다.
본 발명의 일부 실시예에서, 상기 안전벨트 검출 정보는 안전벨트 검출 프레임 정보를 포함하고, 상기 검출 모듈은,
상기 차실 환경 이미지에 기반하여, 차실 특징맵을 생성하고;
상기 차실 특징맵에 포함된 복수의 픽셀점 중 각각의 상기 픽셀점이 속하는 안전벨트 카테고리 정보를 결정하되, 상기 안전벨트 카테고리 정보는 안전벨트에 속하는 카테고리 및 안전벨트에 속하지 않는 카테고리를 포함하며;
안전벨트 카테고리 정보가 안전벨트에 속하는 카테고리일 때의 픽셀점을 타깃 안전벨트 픽셀점으로 결정하고;
각각의 상기 타깃 안전벨트 픽셀점과 안전벨트 중심 픽셀점의 상대적 오프셋 정보를 결정하며;
상기 상대적 오프셋 정보에 기반하여, 각각의 상기 타깃 안전벨트 픽셀점에 대응되는 안전벨트 중심 픽셀점을 결정하고;
상기 안전벨트 중심 픽셀점을 기반으로, 동일한 안전벨트 중심 픽셀점에 대응하는 복수의 타깃 안전벨트 픽셀점을 클러스터링하여, 차실 내 적어도 하나의 안전벨트에 대응되는 안전벨트 검출 프레임 정보를 획득하도록 구성되되, 상기 안전벨트 검출 프레임 정보는 안전벨트 검출 프레임의 중심점 위치 정보를 포함한다.
본 발명의 일부 실시예에서, 상기 검출 모듈은,
상기 차실 특징맵에 대해 안전벨트 검출을 수행하여, 2채널 특징맵을 획득하되, 상기 2채널 특징맵은 배경 특징맵 및 안전벨트 특징맵을 포함하고;
상기 차실 특징맵에 포함된 복수의 픽셀점 중의 각각의 픽셀점의 경우, 상기 배경 특징맵 및 상기 안전벨트 특징맵 중 상기 픽셀점에 각각 대응되는 특징값 중의 큰 특징값이 지시하는 안전벨트 카테고리 정보를 기반으로, 상기 픽셀점이 속하는 안전벨트 카테고리 정보를 결정하도록 구성된다.
본 발명의 실시예는 프로세서, 메모리 및 버스를 포함하되, 상기 메모리에는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 저장되고, 상기 전자 기기가 실행될 경우, 상기 프로세서와 상기 메모리는 상기 버스를 통해 통신하며, 상기 프로세서는 상기 메모리에 저장된 기계 판독 가능 명령을 수행하고, 상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행될 경우, 상기 프로세서는 전술한 임의의 실시예에 따른 안전벨트 착용 검출 방법을 수행하는 전자 기기를 더 제공한다.
본 발명의 실시예는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 전자 기기에 의해 실행될 경우, 상기 전자 기기는 임의의 실시예에 따른 안전벨트 착용 검출 방법을 수행하는 컴퓨터 판독 가능 저장 매체를 더 제공한다.
본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행되는 경우, 상기 전자 기기의 프로세서는 임의의 실시예에 따른 안전벨트 착용 검출 방법을 수행하는 컴퓨터 프로그램을 더 제공한다.
상기 안전벨트 착용 검출 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체의 효과에 관한 설명은 상기 안전벨트 착용 검출 방법의 설명을 참조하고, 여기서 더이상 반복 서술하지 않는다.
본 발명의 상기 목적, 특징 및 장점을 보다 명확하고 쉽게 이해하기 위해, 아래에 실시예를 결합하고 첨부 도면을 결부하여 상세하게 설명한다.
본 발명의 실시예의 기술적 해결수단을 보다 명확하게 설명하기 위해, 아래에 실시예에 사용되어야 하는 도면을 간단히 소개할 것이며, 여기서의 도면은 명세서에 병합되어 본 명세서의 일부분을 구성하고, 이러한 도면은 본 발명에 부합되는 실시예를 도시하며, 명세서와 함께 본 발명의 기술적 해결수단을 설명하기 위한 것이다. 이해해야 할 것은, 이하 도면은 본 발명의 일부 실시예를 도시할 뿐 범위에 대한 한정으로 간주하여서는 안되며, 본 기술분야의 통상의 기술자들은 진보성 창출에 힘을 쓰지 않는 전제하에 또한 이러한 도면으로부터 다른 관련된 도면을 얻을 수 있을 것이다.
도 1은 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법의 흐름도이다.
도 2는 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법 중, 안전벨트 착용 검출 결과를 결정하는 흐름도이다.
도 3은 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법의 구조 모식도이다.
도 4는 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 장치의 모식도이다.
도 5는 본 발명의 실시예에서 제공하는 전자 기기의 모식도이다.
도 1은 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법의 흐름도이다.
도 2는 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법 중, 안전벨트 착용 검출 결과를 결정하는 흐름도이다.
도 3은 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법의 구조 모식도이다.
도 4는 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 장치의 모식도이다.
도 5는 본 발명의 실시예에서 제공하는 전자 기기의 모식도이다.
본 발명의 실시예의 목적, 기술적 해결수단 및 장점을 더욱 명확하게 하기 위해, 아래에 본 발명의 실시예에 따른 첨부 도면을 결합하여 본 발명의 실시예에 따른 기술적 해결수단을 명확하고 완전하게 설명하되, 설명된 실시예는 본 발명의 일부 실시예일 뿐 전체 실시예가 아님은 분명하다. 일반적으로 여기서 설명되거나 도시된 본 발명의 실시예의 컴포넌트는 다양하고 상이한 구성으로 배치되거나 설치될 수 있다. 따라서 이하 본 발명의 실시예에 대한 상세한 설명은 청구된 본 발명의 범위를 한정하려는 것이 아니라, 본 발명의 선택된 실시예를 나타내기 위한 것이다. 본 발명의 실시예에 기반하여 본 기술분야의 통상의 기술자들이 발명적 노력을 하지 않고 획득한 모든 다른 실시예들은 모두 본 발명의 보호 범위에 속한다.
관련 기술에서, 일부 운전자와 승객은 안전벨트를 착용하지 않거나 안전벨트를 정확하지 않게 착용함으로써 안전벨트를 착용하지 않은 경고 프롬프트를 피하는데, 이는 운전자와 승객의 안전에 위험을 초래한다.
상기 연구에 기반하여, 본 발명은 인체 검출과 안전벨트 검출을 결합하여 사용자가 안전벨트를 착용한 행동이 정확한지 여부를 효과적으로 검출할 수 있는 안전벨트 착용 검출 방법을 적어도 제공한다.
관련 기술에 존재하는 결함은 모두 발명자의 실천과 세심한 연구 끝에 얻은 결과이므로, 상기 문제의 발견 과정과 아래 상기 문제에 대해 본 발명에서 언급된 해결수단은 모두 발명자가 본 발명의 과정에서 본 발명에 대해 기여한 것이어야 한다.
유의해야 할 것은, 유사한 부호와 문자는 아래 첨부 도면에서 유사한 항목을 나타내므로, 특정 항목이 하나의 도면에서 정의되면 이후의 도면에서는 이에 대해 더 정의하고 해석할 필요가 없다.
본 실시예에 대한 이해를 용이하게 하기 위해, 우선 본 발명의 실시예에 개시된 안전벨트 착용 검출 방법에 대해 상세하게 소개한다.
본 발명의 실시예에 제공된 안전벨트 착용 검출 방법의 수행 주체는 일반적으로 일정한 컴퓨팅 기능을 가진 전자 기기이고, 상기 전자 기기는 예를 들어, 단말 기기 또는 서버 또는 다른 프로세싱 기기를 포함한다. 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말기, 단말기, 셀룰러 폰, 무선 전화, 개인용 정보 단말기(Personal Digital Assistant, PDA), 핸드헬드 기기, 컴퓨팅 기기, 차량용 기기, 웨어러블 기기 등일 수 있다. 본 발명의 일부 실시형태에서, 상기 안전벨트 착용 검출 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능 명령을 호출하는 방식으로 구현될 수 있다.
아래 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법에 대해 추가로 설명한다.
도 1은 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법의 흐름도이고, 도 1을 참조하면, 방법은 단계 S101 내지 단계 S104를 포함한다.
단계 S101에서, 차실 환경 이미지를 획득한다.
단계 S102에서, 차실 환경 이미지에 대해 인체 검출을 수행하여 차실 내 적어도 하나의 인체의 인체 검출 정보를 획득하고, 차실 환경 이미지에 대해 안전벨트 검출을 수행하여 차실 내 적어도 하나의 안전벨트의 안전벨트 검출 정보를 획득한다.
단계 S103에서, 적어도 하나의 인체의 인체 검출 정보를 적어도 하나의 안전벨트의 안전벨트 검출 정보와 매칭하여, 안전벨트 착용 검출 결과를 결정한다.
단계 S104에서, 임의의 인체가 안전벨트를 착용하지 않은 경우, 경고 정보를 발송한다.
본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법을 쉽게 이해하기 위해, 이어서 상기 안전벨트 착용 검출 방법에 대해 상세하게 설명한다. 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법은 차실 내 안전벨트 착용 검출 장면에 적용될 수 있다.
관련 기술에서, 대부분 차량에는 안전벨트 센서 및 경보기가 설치되어 있으며, 운전자와 승객이 착석한 것이 확인된 후, 안전벨트 센서를 이용하여 안전벨트 버클이 채워졌는지 여부를 검출할 수 있고, 안전벨트 버클이 채워지지 않았을 때 경보기에서 울리는 경보음과 깜빡이 아이콘을 통해 운전자에게 안전벨트를 착용할 것을 알려줄 수 있다. 그러나, 일부 운전자는 안전벨트 버클을 안전벨트의 삽입구에 삽입하거나 안전벨트를 우회하여 삽입구에 삽입하는 방식을 통해 안전벨트 미착용 경보 알람을 피한다. 이러한 행동은 매우 큰 안전 위험을 초래할 수 있다.
이 밖에, 안전벨트 착용 행동에 대한 교통관리규범이 제정되어 있지만, 현재 주로 인위적인 현장 점검 방식에 기반하여 운전자와 승객의 안전벨트 착용 여부를 결정하며, 이러한 인위적 현장 점검 방식은 대량의 인력과 물적 자원을 소모하고, 또한 안전벨트 착용 행동에 대해 좋은 관리 역할을 일으킬 수 없다.
상기 문제를 해결하기 위해, 본 발명의 실시예는 인체 검출과 안전벨트 검출을 결합하여 사용자가 안전벨트를 착용한 행동이 정확한지 여부를 효과적으로 검출할 수 있는 안전벨트 착용 검출 방법을 제공한다.
여기서, 상기 차실 환경 이미지는 차실 내에 설치되어 있는 촬영 장치에 의해 촬영된 것일 수 있다. 인체 및 안전벨트와 관련된 이미지 정보를 포착하기 위해, 여기서의 촬영 장치는 운전자와 승객이 착석한 후의 행동을 포착할 수 있는 것을 전제로 차실 내의 좌석을 대향하도록 설치되어 있다.
본 발명의 실시예에서, 추출된 차실 환경 이미지의 경우, 한편으로 인체 검출이 수행될 수 있고, 다른 한편으로 안전벨트 검출이 수행될 수 있다. 인체 검출의 경우, 차실 내 인체와 관련된 인체 검출 정보, 예를 들어 인체가 위치한 인체 검출 프레임 정보를 결정할 수 있고; 안전벨트 검출의 경우, 차실 내 안전벨트와 관련된 안전벨트 검출 정보, 예를 들어 안전벨트가 위치한 안전벨트 검출 프레임 정보를 결정할 수 있다. 설명해야 할 것은, 상기 인체 검출 및 안전벨트 검출은 동시에 수행될 수 있다.
본 발명의 실시예에서, 인체 검출 프레임 정보 및 안전벨트 검출 프레임이 결정된 이후, 인체와 안전벨트의 연관 관계에 기반하여, 안전벨트 착용 검출을 구현할 수 있다.
도 2는 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법 중, 안전벨트 착용 검출 결과를 결정하는 흐름도이다.
도 2에 도시된 바와 같이, 안전벨트 착용 검출 결과를 결정하는 과정은 단계 S201 내지 단계 S204에 의해 구현될 수 있다.
단계 S201에서, 적어도 하나의 안전벨트에 대응되는 안전벨트 검출 프레임의 중심점 위치와 인체 검출 프레임의 중심점 위치 사이의 상대적 오프셋 정보를 결정한다.
단계 S202에서, 결정된 상대적 오프셋 정보를 기반으로, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점에서, 각각의 안전벨트에 대응되는 안전벨트 검출 프레임의 중심점과 관련된 인체 검출 프레임의 중심점이 존재하는지 여부를 검색한다.
단계 S203에서, 임의의 인체의 경우, 상기 인체에 대응되는 인체 검출 프레임의 중심점과 관련된 안전벨트 검출 프레임의 중심점이 존재하지 않는 경우, 상기 인체가 안전벨트를 착용하지 않은 것으로 결정한다.
단계 S204에서, 임의의 인체의 경우, 상기 인체에 대응되는 인체 검출 프레임의 중심점과 관련된 안전벨트 검출 프레임의 중심점이 존재하는 경우, 상기 인체가 안전벨트를 착용한 것으로 결정한다.
여기서, 미리 트레이닝된 인체 중심점 오프셋 네트워크를 이용하여, 안전벨트 검출 프레임의 중심점 위치와 인체 검출 프레임의 중심점 위치 사이의 상대적 오프셋 정보를 결정할 수 있다.
본 발명의 실시예에서, 네트워크 트레이닝을 수행하기 이전에, 미리 안전벨트의 중심 위치를 픽셀점으로 표기할 수 있고, 상기 안전벨트에 대응되는 인체 중심 위치를 픽셀점으로 표기하며, 상기 표기 정보에 기반하여 상기 인체 중심점 오프셋 네트워크의 네트워크 파라미터를 트레이닝할 수 있다.
여기서, 트레이닝에 의해 얻은 네트워크 파라미터를 기반으로 각각의 인체에 대응되는 상대적 오프셋 정보를 결정할 수 있고, 상대적 오프셋 정보 및 안전벨트 검출 프레임의 중심점 위치를 결합하여, 적어도 하나의 인체 검출 프레임의 중심점에서 각각의 안전벨트에 대응되는 안전벨트 검출 프레임의 중심점과 관련된 인체 검출 프레임의 중심점이 존재하는지 여부를 검색할 수 있으며, 즉 상대적 오프셋 정보 및 안전벨트 검출 프레임의 중심점 위치가 결정된 이후, 안전벨트 검출 프레임에 관련된 인체 검출 프레임이 결정될 수 있다.
본 발명의 실시예에서, 임의의 인체의 경우, 인체 검출 프레임과 관련된 안전벨트 검출 프레임이 검색되지 않을 경우, 상기 인체가 안전벨트를 착용하지 않은 것을 설명하며; 인체 검출 프레임과 관련된 안전벨트 검출 프레임이 검색된 경우, 상기 인체가 안전벨트를 착용하고 있음을 설명한다.
구체적인 응용에서, 임의의 인체가 안전벨트를 착용하지 않은 것으로 결정된 경우, 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법은 또한 차량용 단말기 또는 운전자 단말기를 통해 사용자가 안전벨트 미착용 경고 정보를 지시하여, 운전자와 승객이 안전벨트를 정확하게 착용할 것을 상기시킴으로써 차량의 주행 안전을 확보할 수 있다.
인체가 안전벨트를 정확하게 착용한 경우, 인체 검출 정보 및 안전벨트 검출 정보 사이에 비교적 강한 공간 관계가 존재한다는 점을 고려하면, 2가지 검출 정보(즉 인체 검출 정보 및 안전벨트 검출 정보)를 매칭하여, 검출된 인체가 안전벨트를 착용하였는지 여부를 결정할 수 있다.
설명해야 할 것은, 본 발명의 실시예에서, 인체 검출 및 안전벨트 검출을 수행하기 이전에, 우선 획득된 차실 환경 이미지에 대한 특징을 추출하여 차실 특징맵을 획득할 수 있다. 여기서, 이미지 처리 방법을 기반으로 직접 차실 환경 이미지에 대해 이미지 처리를 수행하여, 차실 관련 특징(예를 들어, 장면 특징, 물체 윤곽 특징 등)을 추출할 수 있으며, 또한 미리 트레이닝된 특징 추출 네트워크를 기반으로 차실 환경 이미지에서 특징을 추출하여 차실 특징맵을 획득할 수 있다.
특징 추출 네트워크를 이용하여 보다 풍부하고 보다 심층적인 암시적 특징을 발굴할 수 있다는 점을 고려하면, 본 발명의 실시예는 특징 추출 네트워크를 사용하여 특징 추출을 구현할 수 있다.
본 발명의 일부 실시예에서, 특징 추출 네트워크는 Backbone 네트워크를 기반으로 트레이닝하여 획득될 수 있고, Backbone 네트워크는 콘볼루션 신경망(Convolutional Neural Networks, CNN)으로서, 콘볼루션 신경망의 콘볼루션 특성을 이용하여 입력 이미지와 출력 특징 사이의 연관 관계를 트레이닝할 수 있다.
이와 같이, 획득된 차실 환경 이미지를 트레이닝된 특징 추출 네트워크에 입력하여, 입력된 차실 환경 이미지에 대해 적어도 한 번의 콘볼루션 연산을 수행함으로써 대응되는 차실 특징맵을 추출할 수 있다.
본 발명의 일부 실시예에서, 입력이 640*480 사이즈인 차실 환경 이미지의 경우, 특징 추출 네트워크를 통한 후, 축소 차원 80*60*C의 차실 특징맵을 얻을 수 있으며, 여기서 C는 채널 수이고 각각의 채널은 하나의 차원 하의 차실 특징에 대응될 수 있다.
본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법에 대한 인체 검출 및 안전벨트 검출의 핵심 작용을 고려하면, 이어서 인체 검출 프레임 정보를 결정하고 안전벨트 검출 프레임 정보를 결정하여 각각 설명할 수 있다.
본 발명의 일부 실시예에서, 인체 검출 프레임 정보가 인체 검출 정보로 사용되는 경우, 본 발명의 실시예는 먼저 인체와 관련된 다중 채널 특징맵을 추출할 수 있고, 이후 이 다중 채널 특징맵에 기반하여 인체 검출 프레임 정보를 결정하며, 구체적으로 단계 A1 내지 단계 A2를 포함할 수 있다.
단계 A1에서, 차실 특징맵에 대해 인체 검출을 수행하여, 차실 내 적어도 하나의 인체에 각각 대응되는 다중 채널 특징맵을 획득하되, 다중 채널 특징맵은 인체 중심점 특징맵, 인체 길이 특징맵 및 인체 폭 특징맵을 포함한다.
단계 A2에서, 다중 채널 특징맵에 기반하여, 적어도 하나의 인체에 대응되는 인체 검출 프레임 정보를 결정하되, 인체 검출 프레임 정보는 인체 검출 프레임의 중심점 위치 정보 및 인체 검출 프레임의 사이즈 정보를 포함한다.
여기서, 트레이닝된 인체 검출 네트워크에 기반하여 인체와 관련된 다중 채널 특징맵을 추출할 수 있다. 상기 특징 추출 네트워크와 유사한 것은, 여기서의 인체 검출 네트워크도 CNN 네트워크를 기반으로 트레이닝하여 획득된 것일 수 있고; 상기 특징 추출 네트워크와 상이한 것은, 여기서의 인체 검출 네트워크는 차실 특징과 인체 특징 사이의 연관 관계를 트레이닝한다. 이와 같이, 차실 특징맵을 트레이닝된 인체 검출 네트워크에 입력하여, 입력된 차실 특징맵에 대해 적어도 한 번의 콘볼루션 연산을 수행함으로써, 각각의 인체에 대응하는 다중 채널 특징맵을 추출할 수 있다.
여기서, 다중 채널 특징맵에 포함된 인체 중심점 특징맵, 포함된 각각의 인체 중심점 특징값은, 각각의 픽셀점이 속한 인체 중심점에 대응하는 확률 크기를 나타낼 수 있고; 인체 중심점 특징값이 클수록 인체 중심점에 대응하는 확률이 더 크며; 반대로 인체 중심점 특징값이 작을수록 인체 중심점에 대응하는 확률이 더 작다. 이 밖에, 다중 채널 특징맵에 포함된 인체 길이 특징맵 및 인체 폭 특징맵은 인체의 길이 정보 및 폭 정보를 나타낼 수 있다.
설명해야 할 것은, 후속의 인체와 관련된 중심 위치를 쉽게 결정하기 위해, 여기서의 다중 채널 특징맵의 사이즈는 차실 특징맵의 사이즈와 동일할 수 있다. 여기서, 다중 채널 특징맵이 3채널 특징맵인 것을 예로 들면, 인체 검출 네트워크를 통한 후, 80*60*3의 3채널 특징맵을 획득할 수 있다.
본 발명의 일부 실시예에서, 상기 다중 채널 특징맵에 기반하여, 인체 검출 프레임의 중심점 위치 정보, 인체 검출 프레임의 사이즈 정보를 포함한 인체 검출 프레임 정보의 과정을 결정할 수 있으며, 구체적으로 단계 B1 내지 단계 B4를 포함할 수 있다.
단계 B1에서, 다중 채널 특징맵에 포함된 인체 중심점 특징맵의 경우, 기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 따라, 인체 중심점 특징맵에서 풀링 처리할 인체 중심점 특징 서브맵을 순차적으로 크로핑한다.
단계 B2에서, 순차적으로 크로핑된 각각의 인체 중심점 특징 서브맵의 경우, 상기 인체 중심점 특징 서브맵에 대해 최대 풀링 처리를 수행하여, 상기 인체 중심점 특징 서브맵에 대응되는 각각의 인체 중심점 특징값 중의 최대 인체 중심점 특징값, 및 상기 인체 중심점 특징맵 중 상기 최대 인체 중심점 특징값의 좌표 위치 정보를 결정한다.
단계 B3에서, 복수의 인체 중심점 특징 서브맵에 각각 대응되는 최대 인체 중심점 특징값, 및 인체 중심점 특징맵 중 상기 최대 인체 중심점 특징값의 좌표 위치 정보에 기반하여, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정한다.
단계 B4에서, 각각의 인체 검출 프레임의 중심점 위치 정보를 기반으로, 다중 채널 특징맵에 포함되는 인체 길이 특징맵 및 인체 폭 특징맵에서 상기 인체 검출 프레임과 매칭되는 인체 길이 정보 및 인체 폭 정보를 각각 결정하고, 매칭되는 인체 길이 정보 및 인체 폭 정보를 인체 검출 프레임의 사이즈 정보로 사용한다.
여기서, 인체 중심점 특징맵에 대응되는 각각의 인체 중심점 특징값의 크기를 고려하면, 대응되는 픽셀점이 인체 중심점으로 사용될 가능성에 직접적인 영향을 미쳤으며, 즉 특징값이 클수록 인체 중심점으로 결정될 가능성이 더 높고, 그 반대도 마찬가지이다. 따라서, 본 발명의 실시예는 먼저 최대 풀링 처리를 수행하여 처리 결과에 따라 인체 중심점으로 될 가능성이 가장 높은 픽셀점을 검색한 이후, 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정하는 해결수단을 제공한다.
본 발명의 일부 실시예에서, 기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 따라, 인체 중심 특징맵에서 인체 중심점 특징 서브맵을 순차적으로 크로핑할 수 있으며, 예를 들어, 80*60 사이즈의 인체 중심 특징맵을 예로 들면, 기설정 풀링 사이즈 3*3, 기설정 풀링 스텝 길이 1에 따라 서브 이미지를 크로핑한 후, 80*60 사이즈의 인체 중심점 특징 서브맵을 획득할 수 있다.
순차적으로 크로핑된 각각의 인체 중심점 특징 서브맵의 경우, 상기 인체 중심점 특징 서브맵에 대응되는, 각각의 인체 중심점 특징값 중의 최대 인체 중심점 특징값을 결정할 수 있고, 즉 최대 풀링 처리를 통해, 각각의 인체 중심점 특징 서브맵에 대한 최대 인체 중심점 특징값을 결정할 수 있다. 이와 같이, 상기 인체 중심점 특징 서브맵 중 최대 인체 중심점 특징값의 좌표 위치, 및 인체 중심점 특징맵 중 상기 인체 중심점 특징 서브맵이 위치한 좌표 범위를 기반으로, 인체 중심점 특징맵 중 최대 인체 중심점 특징값의 좌표 위치 정보를 결정할 수 있으며, 상기 좌표 위치 정보가 인체 중심점의 위치를 크게 나타내므로, 따라서 이 좌표 위치 정보에 기반하여 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정할 수 있다.
본 발명의 일부 실시예에서, 인체 중심점 검출의 정확성을 더 향상시키기 위해, 임계값을 설정하는 방식을 통해, 획득된 각각의 최대 인체 중심점 특징값에서, 인체 중심점에 더욱 부합되는 최대 인체 중심점 특징값을 선택할 수 있다. 예시적으로, 우선 인체 중심점 특징 서브맵에 대응되는 최대 인체 중심점 특징값이 기설정 임계값보다 큰지 여부를 판단할 수 있고, 최대 인체 중심점 특징값이 기설정 임계값보다 큰 경우, 상기 최대 인체 중심점 특징값이 지시하는 인체 중심점을 타깃 인체 중심점으로 결정할 수 있으며, 상기 타깃 인체 중심점에 대응되는 좌표 위치 정보를 인체 검출 프레임의 중심점 위치 정보로 결정할 수 있고; 반대로, 최대 인체 중심점 특징값이 기설정 임계값보다 작거나 같은 경우, 타깃 인체 중심점의 좌표 위치 정보에 대한 할당 연산을 수행하지 않는다.
여기서, 상기 기설정 임계값은 너무 크거나 너무 작게 선택하여서는 안되며, 너무 큰 임계값은 인체 검출을 누락시킬 수 있고, 너무 작은 임계값은 다중 검출로 이어질 수 있으므로, 너무 크거나 너무 작은 기설정 임계값은 인체 검출의 정확성을 확보할 수 없다. 본 발명의 실시예는 구체적인 응용 장면을 결합하여 상이한 기설정 임계값을 선택할 수 있으며, 이에 한정되지 않는다.
설명해야 할 것은, 상이한 인체 중심점 특징 서브맵의 경우, 인체 중심점 특징맵 중 최대 인체 중심점 특징값의 좌표 위치 정보는 동일할 수 있고, 본 발명의 일부 실시예에서, 후속 계산의 양을 감소시키기 위해 정보를 병합할 수 있다.
본 발명의 일부 실시예에서, 풀링 처리를 쉽게 수행하기 위해, 인체 중심점 위치를 나타내는 인체 중심점 특징맵의 경우, 먼저 sigmoid 활성화 함수를 이용하여 상기 인체 중심점 특징맵에 대해 정규화 처리를 수행할 수 있고, 이후 정규화 처리된 인체 중심점 특징맵에서, 인체 중심점 특징 서브맵을 순차적으로 크로핑한다. 여기서, sigmoid 활성화 함수는 인체 중심점 특징맵에 대응되는 각각의 인체 중심점 특징값을 0과 1 사이의 값으로 변환할 수 있다.
본 발명의 일부 실시예에서, 인체 검출 프레임의 중심점 위치 정보가 결정된 경우, 동일한 중심점 위치 정보를 기반으로, 인체 길이 특징맵 및 인체 폭 특징맵에서 이 인체 검출 프레임의 중심점 위치 정보와 매칭되는 인체 길이 정보 및 인체 폭 정보를 검색함으로써, 인체 검출 프레임의 사이즈 정보를 결정할 수 있다.
본 발명의 일부 실시예에서, 안전벨트 검출 프레임 정보가 안전벨트 검출 정보로 사용되는 경우, 안전벨트 카테고리 인식, 안전벨트 중심 오프셋 결정 및 픽셀점 클러스터링을 결합하여 안전벨트 검출 프레임 정보의 결정을 구현할 수 있고, 단계 C1 내지 단계 C3을 포함할 수 있다.
단계 C1에서, 차실 특징맵에 포함된 복수의 픽셀점 중 각각의 픽셀점이 속하는 안전벨트 카테고리 정보를 결정하되, 안전벨트 카테고리 정보는 안전벨트에 속하는 카테고리 및 안전벨트에 속하지 않는 카테고리를 포함하고; 안전벨트 카테고리 정보가 안전벨트에 속하는 카테고리일 때의 픽셀점을 타깃 안전벨트 픽셀점으로 결정한다.
단계 C2에서, 각각의 타깃 안전벨트 픽셀점과 안전벨트 중심 픽셀점의 상대적 오프셋 정보를 결정하고; 상대적 오프셋 정보에 기반하여, 각각의 타깃 안전벨트 픽셀점에 대응되는 안전벨트 중심 픽셀점을 결정한다.
단계 C3에서, 결정된 안전벨트 중심 픽셀점을 기반으로, 동일한 안전벨트 중심 픽셀점에 대응하는 복수의 타깃 안전벨트 픽셀점을 클러스터링하여, 차실 내 적어도 하나의 안전벨트에 대응되는 안전벨트 검출 프레임 정보를 획득하되, 안전벨트 검출 프레임 정보는 안전벨트 검출 프레임의 중심점 위치 정보를 포함한다.
여기서, 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법은 우선 안전벨트에 관한 안전벨트 카테고리 정보를 추출한 후, 안전벨트 중심점 오프셋 네트워크를 이용하여 안전벨트에 속하는 이 카테고리의 각각의 타깃 안전벨트 픽셀점에 대응되는 안전벨트 중심 픽셀점을 결정하고, 마지막에 안전벨트 중심 픽셀점을 기반으로 타깃 안전벨트 픽셀점을 클러스터링하여, 안전벨트 검출 프레임의 중심점 위치 정보를 결정할 수 있다.
본 발명의 일부 실시예에서, 상기 안전벨트에 관한 안전 카테고리 정보를 추출하는 동작은 시맨틱 세그멘테이션 네트워크를 통해 구현될 수 있다. 여기서, 상기 시맨틱 세그멘테이션 네트워크는 안전벨트 카테고리로 표기된 트레이닝 샘플 세트를 기반으로 트레이닝하여 획득된 것일 수 있고, 여기서의 표기는 픽셀점별로 표기하는 방법일 수 있으며, 즉 임의의 트레이닝 샘플에 대해 상기 트레이닝 샘플에 포함된 각각의 픽셀점의 안전벨트 카테고리를 표기할 수 있고, 이와 같이, 네트워크 파라미터의 러닝을 통해 차실 특징맵에 포함된 복수의 픽셀점 중 각각의 픽셀점이 속하는 안전벨트 카테고리 정보를 결정할 수 있다.
본 발명의 일부 실시예에서, 상기 시맨틱 세그멘테이션 네트워크는 하나의 2-분류 모델로 사용되어, 배경 특징맵 및 안전벨트 특징맵을 포함하는 2채널 특징맵을 결정할 수 있고, 이와 같이, 차실 특징맵 중의 각각의 픽셀점의 경우, 배경 특징맵 및 안전벨트 특징맵 중, 상기 픽셀점에 각각 대응되는 특징값 중 큰 특징값, 지시된 안전벨트 카테고리 정보를 기반으로, 각각의 픽셀점의 안전벨트 카테고리를 결정할 수 있으며, 즉 특징값이 클수록 이에 대응되는 카테고리의 확률이 더 높고, 따라서 2가지 기설정 카테고리에서 확률이 더 높은 카테고리를 선택할 수 있다.
본 발명의 일부 실시예에서, 80*60*C의 차실 특징맵을 예로 들면, 시맨틱 세그멘테이션 네트워크를 통한 후, 80*60*2의 2채널 특징맵을 획득할 수 있고, 80*60 사이즈의 특징맵 중의 각각의 픽셀점을 순회하여 채널 중 점수가 가장 큰 차원에 대응되는 안전벨트 카테고리를 취함으로써 상기 픽셀점에 대응되는 카테고리를 결정할 수 있다.
본 발명의 일부 실시예에서, 80*60 사이즈의 특징맵 중의 각각의 픽셀점을 순회하여 채널 중 점수가 가장 큰 차원에 대응되는 안전벨트 카테고리를 취하는데, 이는 특징맵의 각 차원의 특징 벡터에 대해 softmax 계산을 수행하여 얻을 수 있다.
본 발명의 일부 실시예에서, 차실 특징맵에 포함된 각각의 픽셀점의 안전벨트 카테고리 정보를 결정한 이후, 안전벨트 중심점 오프셋 네트워크를 이용하여, 이 안전벨트에 속하는 카테고리의 타깃 안전벨트 픽셀점에 대응되는 상대적 오프셋 정보를 결정할 수 있고, 따라서 각각의 타깃 안전벨트 픽셀점에 대응되는 안전벨트 중심 픽셀점을 결정한다.
본 발명의 일부 실시예에서, 상기 안전벨트 중심점 오프셋 네트워크는, 안전벨트 픽셀점과 안전점 중심 픽셀점 사이의 상대적 오프셋 정보를 트레이닝하고, 네트워크 트레이닝을 수행하기 이전에, 하나의 안전벨트가 속한 이미지 영역에 대해 미리 픽셀점을 표기할 수 있으며, 또한 하나의 안전벨트의 중심 위치에 대해 픽셀점을 표기하고, 상기 표기 정보를 기반으로 상기 안전벨트 중심점 오프셋 네트워크의 네트워크 파라미터를 트레이닝할 수 있다.
본 발명의 일부 실시예에서, 트레이닝하여 얻은 네트워크 파라미터를 기반으로, 각각의 타깃 안전벨트 픽셀점에 대응되는 상대적 오프셋 정보를 결정할 수 있고, 상대적 오프셋 정보 및 타깃 안전벨트 픽셀점의 위치를 결합하여, 타깃 안전벨트 픽셀점에 대응되는 안전벨트 중심 픽셀점을 결정할 수 있다.
예시적으로, 80*60*2의 2채널 특징맵을 예로 들면, 80*60 사이즈의 특징맵 중의 각각의 픽셀점을 순회하여, 안전벨트 중심점 오프셋 네트워크를 통한 동작 이후, 80*60*2의 2채널 오프셋 특징맵을 획득할 수 있으며, 2개의 채널은 각각 2개의 방향에서의 상대적 오프셋 정보를 나타내고, 이로써 최종 상대적 오프셋 정보를 결정한다.
도 3은 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 방법의 구조 모식도이다.
본 발명의 일부 실시예에서, 차실 환경 이미지(301)에 차실 중 운전자와 승객의 착석 상태가 포함될 수 있다. 여기서, 운전자와 승객의 수가 복수인 경우, 차실 환경 이미지(301)에는 각 운전자와 승객의 착석 상태가 포함될 수 있다.
본 발명의 일부 실시예에서, 신경 네트워크(302)는 전술한 실시예에 따른 트레이닝된 인체 검출 네트워크, 시맨틱 세그멘테이션 네트워크와 같은 전술한 실시예에 따른 특징 추출 네트워크일 수 있다. 본 발명의 실시예에서, 신경 네트워크(302)는 또한 전술한 실시예에 따른 Backbone일 수 있다.
본 발명의 일부 실시예에서, 차실 환경 이미지(301)를 신경 네트워크(302)에 입력하고, 신경 네트워크(302)에 의한 차실 환경 이미지(301)의 특징 추출 동작을 통해, 전술한 실시예에 따른 80*60*3의 3채널 특징맵(3031), 80*60*2의 2채널 특징맵(3032)을 획득할 수 있다.
예시적으로, 전술한 실시예에 제공된 방식에 따라, 3채널 특징맵(3031)에 대해 풀링 처리를 수행하여, 적어도 하나의 안전벨트에 대응되는 안전벨트 검출 프레임 중심점 위치를 획득할 수 있고; 예시적으로, 전술한 실시예에 제공된 방식에 따라, 2채널 특징맵(3032)을 기반으로 인체 검출 프레임의 중심점 위치와의 상대적 오프셋 정보를 결정할 수 있으며; 전술한 실시예에 제공된 방식에 따라, 중심점 위치 정보 및 상대적 오프셋 정보를 통해 안전벨트 착용 검출 결과를 결정할 수 있다.
본 발명의 일부 실시예에서, 상이한 타깃 안전벨트 픽셀점에 대응되는 안전벨트 중심 픽셀점은 동일할 수 있고, 상이할 수도 있으며, 동일한 안전벨트 중심 픽셀점에 대응하는 복수의 타깃 안전벨트 픽셀점을 클러스터링하여 각각의 안전벨트에 대응되는 안전벨트 검출 프레임 정보를 획득할 수 있다.
여기서의 안전벨트 검출 프레임 정보는 안전벨트 검출 프레임의 중심점 위치 정보(안전벨트 중심 픽셀점에 대응됨)를 포함할 수 있고, 이 밖에, 안전벨트 검출 프레임 정보는 안전벨트 검출 프레임의 사이즈 정보를 더 포함할 수 있으며, 상기 사이즈 정보는 안전벨트 중심 픽셀점을 클러스터링하여 얻은 복수의 타깃 안전벨트 픽셀점이 속하는 이미지 영역에 의해 결정될 수 있다.
본 기술분야의 기술자는, 구체적인 실시형태의 상기 방법에서, 각 단계의 쓰기 순서는 엄격한 수행 순서를 의미하는 것이 아니라 구현 과정에 대한 임의의 한정으로 구성되며, 각 단계의 구체적인 수행 순서는 그 기능 및 가능한 내적 논리에 따라 결정될 수 있음을 이해할 수 있을 것이다.
동일한 발명 구상을 기반으로, 본 발명의 실시예는 안전벨트 착용 검출 방법에 대응되는 안전벨트 착용 검출 장치를 더 제공하였으며, 본 발명의 실시예 중의 장치가 문제를 해결하는 원리는 본 발명의 실시예의 상기 안전벨트 착용 검출 방법과 유사하므로, 장치의 실시예는 방법의 구현을 참조할 수 있고, 반복 부분은 더이상 서술하지 않는다.
본 발명의 실시예는 안전벨트 착용 검출 장치(4)를 더 제공한다.
도 4는 본 발명의 실시예에서 제공하는 안전벨트 착용 검출 장치의 모식도이고, 도 4에 도시된 바와 같이, 상기 안전벨트 착용 검출 장치(4)는, 획득 모듈(401), 검출 모듈(402), 매칭 모듈(403) 및 경고 모듈(404)을 포함할 수 있다. 여기서,
획득 모듈(401)은, 차실 환경 이미지를 획득하도록 구성되고;
검출 모듈(402)은, 차실 환경 이미지에 대해 인체 검출을 수행하여 차실 내 적어도 하나의 인체의 인체 검출 정보를 획득하고, 차실 환경 이미지에 대해 안전벨트 검출을 수행하여 차실 내 적어도 하나의 안전벨트의 안전벨트 검출 정보를 획득하도록 구성되며;
매칭 모듈(403)은, 적어도 하나의 인체의 인체 검출 정보를 적어도 하나의 안전벨트의 안전벨트 검출 정보와 매칭하여, 안전벨트 착용 검출 결과를 결정하도록 구성되고;
경고 모듈(404)은, 임의의 인체가 안전벨트를 착용하지 않은 경우, 경고 정보를 발송하도록 구성된다.
상기 안전벨트 착용 검출 장치를 사용하여, 우선 획득된 차실 환경 이미지를 기반으로 차실 특징맵을 생성할 수 있고, 차실 특징맵에 대해 인체 검출 및 안전벨트 검출을 각각 수행하여 인체 검출 정보 및 안전벨트 검출 정보를 획득하며, 인체가 실제로 안전벨트를 착용한 상태에서 인체와 안전벨트에 일정한 위치 대응관계가 존재하는 것을 고려하여, 상기 인체 검출 정보 및 안전벨트 검출 정보를 매칭하여, 인체가 안전벨트를 착용하였는지 여부를 검출함으로써 안전벨트 착용 행동의 유효 검출이 구현될 수 있다.
본 발명의 일부 실시예에서, 매칭 모듈(403)은 하기 단계에 따라, 적어도 하나의 인체의 인체 검출 정보와 적어도 하나의 안전벨트의 안전벨트 검출 정보를 매칭하도록 구성되고, 상기 단계는,
적어도 하나의 안전벨트에 대응되는 안전벨트 검출 프레임의 중심점 위치와 인체 검출 프레임의 중심점 위치 사이의 상대적 오프셋 정보를 결정하는 단계; 및
결정된 상대적 오프셋 정보를 기반으로, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점에서, 각각의 안전벨트에 대응되는 안전벨트 검출 프레임의 중심점과 관련된 인체 검출 프레임의 중심점이 존재하는지 여부를 검색하는 단계를 포함한다.
본 발명의 일부 실시예에서, 매칭 모듈(403)은 하기 단계에 따라, 안전벨트 착용 검출 결과를 결정하도록 구성되고, 상기 단계는,
임의의 인체의 경우, 상기 인체에 대응되는 인체 검출 프레임의 중심점과 관련된 안전벨트 검출 프레임의 중심점이 존재하지 않는 경우, 상기 인체가 안전벨트를 착용하지 않은 것으로 결정하는 단계를 포함한다.
본 발명의 일부 실시예에서, 매칭 모듈(403)은 하기 단계에 따라, 안전벨트 착용 검출 결과를 결정하도록 구성되고, 상기 단계는,
임의의 인체의 경우, 상기 인체에 대응되는 인체 검출 프레임의 중심점과 관련된 안전벨트 검출 프레임의 중심점이 존재하는 경우, 상기 인체가 안전벨트를 착용한 것으로 결정하는 단계를 포함한다.
본 발명의 일부 실시예에서, 인체 검출 정보는 인체 검출 프레임 정보를 포함하고; 검출 모듈(402)은 하기 단계에 따라, 차실 환경 이미지에 대해 인체 검출을 수행하여 차실 내 적어도 하나의 인체의 인체 검출 정보를 획득하도록 구성되며, 상기 단계는,
차실 환경 이미지에 기반하여, 차실 특징맵을 생성하는 단계;
차실 특징맵에 대해 인체 검출을 수행하여, 차실 내 적어도 하나의 인체에 각각 대응되는 다중 채널 특징맵을 획득하는 단계 - 다중 채널 특징맵은 인체 중심점 특징맵, 인체 길이 특징맵 및 인체 폭 특징맵을 포함함 - ; 및
다중 채널 특징맵에 기반하여, 적어도 하나의 인체에 대응되는 인체 검출 프레임 정보를 결정하는 단계 - 인체 검출 프레임 정보는 인체 검출 프레임의 중심점 위치 정보 및 인체 검출 프레임의 사이즈 정보를 포함함 - 를 포함한다.
본 발명의 일부 실시예에서, 검출 모듈(402)은 하기 단계에 따라, 다중 채널 특징맵을 기반으로 적어도 하나의 인체에 대응되는 인체 검출 프레임 정보를 결정하도록 구성되고, 상기 단계는,
다중 채널 특징맵에 포함된 인체 중심점 특징맵의 경우, 기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 따라, 인체 중심점 특징맵에서 풀링 처리할 인체 중심점 특징 서브맵을 순차적으로 크로핑하는 단계;
순차적으로 크로핑된 각각의 인체 중심점 특징 서브맵의 경우, 상기 인체 중심점 특징 서브맵에 대해 최대 풀링 처리를 수행하여, 상기 인체 중심점 특징 서브맵에 대응되는 각각의 인체 중심점 특징값 중의 최대 인체 중심점 특징값, 및 상기 인체 중심점 특징맵 중 상기 최대 인체 중심점 특징값의 좌표 위치 정보를 결정하는 단계;
복수의 인체 중심점 특징 서브맵에 각각 대응되는 최대 인체 중심점 특징값, 및 인체 중심점 특징맵 중 상기 최대 인체 중심점 특징값의 좌표 위치 정보에 기반하여, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정하는 단계; 및
각각의 인체 검출 프레임의 중심점 위치 정보를 기반으로, 다중 채널 특징맵에 포함되는 인체 길이 특징맵 및 인체 폭 특징맵에서 상기 인체 검출 프레임과 매칭되는 인체 길이 정보 및 인체 폭 정보를 각각 결정하는 단계를 포함하되, 매칭되는 인체 길이 정보 및 인체 폭 정보를 인체 검출 프레임의 사이즈 정보로 사용한다.
본 발명의 일부 실시예에서, 검출 모듈(402)은 하기 단계에 따라, 기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 의해, 인체 중심점 특징맵에서 풀링 처리할 인체 중심점 특징 서브맵을 순차적으로 크로핑하도록 구성되며, 상기 단계는,
활성화 함수를 사용하여, 인체 중심점 위치를 나타내는 인체 중심점 특징맵에 대해 정규화 처리를 수행하여, 정규화 처리된 인체 중심점 특징맵을 획득하는 단계; 및
기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 따라, 정규화 처리된 인체 중심점 특징맵에서 풀링 처리할 인체 중심점 특징 서브맵을 순차적으로 크로핑하는 단계를 포함한다.
본 발명의 일부 실시예에서, 검출 모듈(402)은 하기 단계에 따라, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정하도록 구성되며, 상기 단계는,
복수의 인체 중심점 특징 서브맵 중의 각각의 인체 중심점 특징 서브맵의 경우, 상기 인체 중심점 특징 서브맵에 대응되는 최대 인체 중심점 특징값이 기설정 임계값보다 큰지 여부를 판단하는 단계;
인체 중심점 특징 서브맵에 대응되는 최대 인체 중심점 특징값이 기설정 임계값보다 큰 경우, 상기 최대 인체 중심점 특징값이 지시하는 인체 중심점을 타깃 인체 중심점으로 결정하는 단계; 및
각각의 타깃 인체 중심점, 인체 중심점 특징맵 중 대응되는 좌표 위치 정보를 기반으로, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정하는 단계를 포함한다.
본 발명의 일부 실시예에서, 안전벨트 검출 정보는 안전벨트 검출 프레임 정보를 포함하고; 검출 모듈(402)은 하기 단계에 따라, 차실 환경 이미지에 대해 안전벨트 검출을 수행하여 차실 내 적어도 하나의 안전벨트의 안전벨트 검출 정보를 획득하도록 구성되며, 상기 단계는,
차실 환경 이미지에 기반하여, 차실 특징맵을 생성하는 단계;
차실 특징맵에 포함된 복수의 픽셀점 중 각각의 픽셀점이 속하는 안전벨트 카테고리 정보를 결정하는 단계 - 안전벨트 카테고리 정보는 안전벨트에 속하는 카테고리 및 안전벨트에 속하지 않는 카테고리를 포함함 - ;
안전벨트 카테고리 정보가 안전벨트에 속하는 카테고리일 때의 픽셀점을 타깃 안전벨트 픽셀점으로 결정하는 단계;
각각의 타깃 안전벨트 픽셀점과 안전벨트 중심 픽셀점의 상대적 오프셋 정보를 결정하는 단계; 상대적 오프셋 정보에 기반하여, 각각의 타깃 안전벨트 픽셀점에 대응되는 안전벨트 중심 픽셀점을 결정하는 단계; 및
안전벨트 중심 픽셀점을 기반으로, 동일한 안전벨트 중심 픽셀점에 대응하는 복수의 타깃 안전벨트 픽셀점을 클러스터링하여, 차실 내 적어도 하나의 안전벨트에 대응되는 안전벨트 검출 프레임 정보를 획득하는 단계를 포함하되, 안전벨트 검출 프레임 정보는 안전벨트 검출 프레임의 중심점 위치 정보를 포함한다.
본 발명의 일부 실시예에서, 검출 모듈(402)은 하기 단계에 따라, 차실 특징맵에 포함된 복수의 픽셀점 중 각각의 픽셀점이 속하는 안전벨트 카테고리 정보를 결정하도록 구성되며, 상기 단계는,
차실 특징맵에 대해 안전벨트 검출을 수행하여, 2채널 특징맵을 획득하는 단계 - 2채널 특징맵은 배경 특징맵 및 안전벨트 특징맵을 포함함 - ; 및
차실 특징맵에 포함된 복수의 픽셀점 중의 각각의 픽셀점의 경우, 배경 특징맵 및 안전벨트 특징맵 중 상기 픽셀점에 각각 대응되는 특징값 중의 큰 특징값이 지시하는 안전벨트 카테고리 정보를 기반으로, 상기 픽셀점이 속하는 안전벨트 카테고리 정보를 결정하는 단계를 포함한다.
장치 중의 각 모듈의 처리 프로세스, 및 각 모듈 사이의 인터랙션 프로세스에 관한 설명은 상기 방법 실시예에서의 관련 설명을 참조할 수 있으며, 여기서 더이상 상세하게 서술하지 않는다.
본 발명의 실시예는 전자 기기(5)를 더 제공하며, 도 5는 본 발명의 실시예에서 제공하는 전자 기기의 구조 모식도이고, 도 5에 도시된 바와 같이, 상기 전자 기기는 프로세서(501), 메모리(502) 및 버스(503)를 포함한다. 메모리(502)에는 프로세서(501)에 의해 실행 가능한 기계 판독 가능 명령(예를 들어, 도 4 중의 안전벨트 착용 검출 장치 중 획득 모듈(401), 검출 모듈(402), 매칭 모듈(403) 및 경고 모듈(404)에 대응되는 실행 명령)이 저장되며, 전자 기기가 실행될 경우, 프로세서(501)와 메모리(502)는 버스(503)를 통해 통신하고, 기계 판독 가능 명령이 프로세서(501)에 의해 실행될 경우, 하기와 같은 처리를 수행한다.
즉, 차실 환경 이미지를 획득하고; 차실 환경 이미지에 대해 인체 검출을 수행하여 차실 내 적어도 하나의 인체의 인체 검출 정보를 획득하며, 차실 환경 이미지에 대해 안전벨트 검출을 수행하여 차실 내 적어도 하나의 안전벨트의 안전벨트 검출 정보를 획득하고; 적어도 하나의 인체의 인체 검출 정보를 적어도 하나의 안전벨트의 안전벨트 검출 정보와 매칭하여, 안전벨트 착용 검출 결과를 결정하며; 임의의 인체가 안전벨트를 착용하지 않은 경우, 경고 정보를 발송하는 것이다.
상기 명령의 구체적인 실행 과정은 본 발명의 실시예 중의 안전벨트 착용 검출 방법을 참조할 수 있으며, 여기서 더이상 반복 서술하지 않는다.
본 발명의 실시예는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 상기 방법 실시예에 따른 안전벨트 착용 검출 방법을 수행하는 컴퓨터 판독 가능 저장 매체를 더 제공한다. 여기서, 상기 저장 매체는 휘발성 또는 비휘발성 컴퓨터 판독 가능 저장 매체일 수 있다.
본 발명의 실시예에 제공된 안전벨트 착용 검출 방법의 컴퓨터 프로그램 제품은, 프로그램 코드가 저장된 컴퓨터 판독 가능 저장 매체를 포함하고, 상기 프로그램 코드에 포함된 명령은 상기 방법 실시예에 따른 안전벨트 착용 검출 방법을 수행할 수 있으며, 상기 방법 실시예를 참조할 수 있고, 여기서 더이상 반복 서술하지 않는다.
본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행되는 경우, 전자 기기의 프로세서는 전술한 임의의 실시예에 따른 안전벨트 착용 검출 방법을 수행하는 컴퓨터 프로그램을 더 제공한다. 상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합 방식으로 구현될 수 있다. 본 발명의 일부 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로서 반영되며, 본 발명의 일부 실시예에서, 컴퓨터 프로그램은 구체적으로 소프트웨어 개발 키트(Software Development Kit, SDK)와 같은 소프트웨어 제품으로서 구현된다.
본 기술분야에 속하는 기술자는 설명의 편의와 간결함을 위해 상기에서 설명된 시스템 및 장치의 구체적인 동작 과정은 전술한 방법 실시예 중의 대응되는 과정을 참조할 수 있음을 이해할 것이며, 여기서는 더이상 반복 서술하지 않는다. 본 발명에서 제공된 복수의 실시예에서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 할 것이다. 이상 설명된 장치 실시예는 단지 예시적인 것이고, 예를 들면 상기 유닛의 구획은 단지 논리적 기능 구획일 뿐이고 실제 구현 시 다른 구획 방식이 있을 수 있으며, 또한 예를 들면 복수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 결합 또는 통합될 수 있거나, 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 표시되거나 논의된 서로 간의 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스를 통한 것일 수 있고, 장치 또는 유닛의 간접 커플링 또는 통신 연결은 전기적, 기계적 또는 다른 형태일 수 있다.
상기 분리 부재로 설명된 유닛은 물리적으로 분리되거나 분리되지 않은 것일 수 있고, 유닛으로 표시된 부재는 물리적 유닛이거나, 물리적 유닛이 아닐 수 있으며, 하나의 장소에 위치하거나, 복수의 네트워크 유닛에 분포될 수 있다. 실제 수요에 따라 그중의 일부 또는 전부 유닛을 선택하여 본 실시예의 해결수단의 목적을 구현할 수 있다. 이 밖에, 본 발명의 각각의 실시예에서 각 기능 유닛은 하나의 처리 유닛에 통합되거나 또는 각각의 유닛이 물리적으로 단독으로 존재할 수도 있고, 2개 또는 2개 이상의 유닛이 하나의 유닛에 통합될 수도 있다.
상기 기능이 만약 소프트웨어 기능 유닛의 형태로 구현되고 별도의 제품으로 판매되거나 사용될 경우, 프로세서에서 실행 가능한 비휘발성 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반해보면, 본 발명의 기술적 해결수단의 본질적으로 또는 선행기술에 기여하는 부분 또는 상기 기술적 해결수단의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 전자 기기(개인용 컴퓨터, 서버, 또는 네트워크 기기 등일 수 있음)가 본 발명의 각 실시예에 따른 방법의 전부 또는 부분적 단계를 수행하도록 하는 복수의 명령을 포함한다. 전술한 저장 매체는 U 디스크, 이동식 하드 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
마지막에 설명해야 할 것은, 이상 실시예는 단지 본 발명의 기술적 해결수단을 설명하기 위한 구체적인 실시형태일 뿐, 이를 한정하려는 것이 아니며, 본 발명의 보호 범위는 이에 한정되지 않고, 전술한 실시예를 참조하여 본 발명에 대해 상세하게 설명하였지만 본 기술분야의 통상의 기술자는, 본 기술분야에 속하는 임의의 기술자라면 본 발명이 개시된 기술 범위 내에서 여전히 전술한 실시예에 기재된 기술적 해결수단에 대해 수정하거나 변경할 수 있음을 쉽게 생각해내거나, 그 중 부분적 기술특징에 대해 등가 교체를 수행할 수 있음을 이해해야 할 것이며; 이러한 수정, 변경 또는 교체는 관련 기술적 해결수단의 본질이 본 발명의 실시예의 기술적 해결수단의 구상과 범위를 벗어나지 않도록 하며, 본 발명의 보호 범위 내에 포함되어야 한다. 따라서, 본 발명의 보호 범위는 청구 범위의 보호 범위를 기준으로 한다.
본 발명의 실시예는 안전벨트 착용 검출 방법, 장치, 전자 기기, 저장 매체 및 프로그램을 개시하며, 상기 방법은, 차실 환경 이미지를 획득하는 단계; 상기 차실 환경 이미지를 검출하여 차실 내 적어도 하나의 인체의 인체 검출 정보를 획득하고, 상기 차실 환경 이미지에 대해 안전벨트 검출을 수행하여 차실 내 적어도 하나의 안전벨트의 안전벨트 검출 정보를 획득하는 단계; 및 상기 적어도 하나의 인체의 인체 검출 정보를 상기 적어도 하나의 안전벨트의 안전벨트 검출 정보와 매칭하여, 안전벨트 착용 검출 결과를 결정하는 단계를 포함한다. 본 발명의 실시예에 제공되는 안전벨트 착용 검출 방법은 차실 환경 중 운전자와 승객의 안전벨트 착용 상태에 대한 정확한 검출을 구현할 수 있다.
Claims (23)
- 안전벨트 착용 검출 방법으로서,
상기 방법은,
차실 환경 이미지를 획득하는 단계;
상기 차실 환경 이미지를 검출하여 차실 내 적어도 하나의 인체의 인체 검출 정보를 획득하고, 상기 차실 환경 이미지에 대해 안전벨트 검출을 수행하여 차실 내 적어도 하나의 안전벨트의 안전벨트 검출 정보를 획득하는 단계;
상기 적어도 하나의 인체의 인체 검출 정보를 상기 적어도 하나의 안전벨트의 안전벨트 검출 정보와 매칭하여, 안전벨트 착용 검출 결과를 결정하는 단계; 및
임의의 인체가 안전벨트를 착용하지 않은 경우, 경고 정보를 발송하는 단계를 포함하는 안전벨트 착용 검출 방법 - 제1항에 있어서,
상기 적어도 하나의 인체의 인체 검출 정보를 상기 적어도 하나의 안전벨트의 안전벨트 검출 정보와 매칭하는 상기 단계는,
상기 적어도 하나의 안전벨트에 대응되는 안전벨트 검출 프레임의 중심점 위치와 인체 검출 프레임의 중심점 위치 사이의 상대적 오프셋 정보를 결정하는 단계; 및
결정된 상기 상대적 오프셋 정보를 기반으로, 상기 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점에서, 각각의 안전벨트에 대응되는 안전벨트 검출 프레임의 중심점과 관련된 인체 검출 프레임의 중심점이 존재하는지 여부를 검색하는 단계를 포함하는 안전벨트 착용 검출 방법. - 제2항에 있어서,
안전벨트 착용 검출 결과를 결정하는 단계는,
임의의 인체의 경우, 상기 인체에 대응되는 인체 검출 프레임의 중심점과 관련된 안전벨트 검출 프레임의 중심점이 존재하지 않는 경우, 상기 인체가 안전벨트를 착용하지 않은 것으로 결정하는 단계를 포함하는 안전벨트 착용 검출 방법. - 제2항에 있어서,
안전벨트 착용 검출 결과를 결정하는 단계는,
임의의 인체의 경우, 상기 인체에 대응되는 인체 검출 프레임의 중심점과 관련된 안전벨트 검출 프레임의 중심점이 존재하는 경우, 상기 인체가 안전벨트를 착용한 것으로 결정하는 단계를 포함하는 안전벨트 착용 검출 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 인체 검출 정보는 인체 검출 프레임 정보를 포함하고; 상기 차실 환경 이미지를 검출하여 차실 내 적어도 하나의 인체의 인체 검출 정보를 획득하는 상기 단계는,
상기 차실 환경 이미지에 기반하여, 차실 특징맵을 생성하는 단계;
상기 차실 특징맵에 대해 인체 검출을 수행하여, 차실 내 적어도 하나의 인체에 각각 대응되는 다중 채널 특징맵을 획득하는 단계 - 상기 다중 채널 특징맵은 인체 중심점 특징맵, 인체 길이 특징맵 및 인체 폭 특징맵을 포함함 - ; 및
상기 다중 채널 특징맵에 기반하여, 상기 적어도 하나의 인체에 대응되는 인체 검출 프레임 정보를 결정하는 단계 - 상기 인체 검출 프레임 정보는 인체 검출 프레임의 중심점 위치 정보 및 인체 검출 프레임의 사이즈 정보를 포함함 - ;를 포함하는 안전벨트 착용 검출 방법. - 제5항에 있어서,
상기 다중 채널 특징맵에 기반하여, 상기 적어도 하나의 인체에 대응되는 인체 검출 프레임 정보를 결정하는 상기 단계는,
상기 다중 채널 특징맵에 포함된 인체 중심점 특징맵의 경우, 기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 따라, 상기 인체 중심점 특징맵에서 풀링 처리할 인체 중심점 특징 서브맵을 순차적으로 크로핑하는 단계;
순차적으로 크로핑된 각각의 인체 중심점 특징 서브맵의 경우, 상기 인체 중심점 특징 서브맵에 대해 최대 풀링 처리를 수행하여, 상기 인체 중심점 특징 서브맵에 대응되는 각각의 인체 중심점 특징값 중의 최대 인체 중심점 특징값, 및 상기 인체 중심점 특징맵 중 상기 최대 인체 중심점 특징값의 좌표 위치 정보를 결정하는 단계;
복수의 상기 인체 중심점 특징 서브맵에 각각 대응되는 최대 인체 중심점 특징값, 및 상기 인체 중심점 특징맵 중 상기 최대 인체 중심점 특징값의 좌표 위치 정보에 기반하여, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정하는 단계; 및
각각의 상기 인체 검출 프레임의 중심점 위치 정보를 기반으로, 상기 다중 채널 특징맵에 포함되는 인체 길이 특징맵 및 인체 폭 특징맵에서 상기 인체 검출 프레임과 매칭되는 인체 길이 정보 및 인체 폭 정보를 각각 결정하고, 매칭되는 상기 인체 길이 정보 및 인체 폭 정보를 상기 인체 검출 프레임의 상기 사이즈 정보로 사용하는 단계를 포함하는 안전벨트 착용 검출 방법. - 제6항에 있어서,
기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 따라, 상기 인체 중심점 특징맵에서 풀링 처리할 인체 중심점 특징 서브맵을 순차적으로 크로핑하는 상기 단계는,
활성화 함수를 사용하여, 인체 중심점 위치를 나타내는 인체 중심점 특징맵에 대해 정규화 처리를 수행하여, 정규화 처리된 인체 중심점 특징맵을 획득하는 단계; 및
기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 따라, 상기 정규화 처리된 인체 중심점 특징맵에서 풀링 처리할 인체 중심점 특징 서브맵을 순차적으로 크로핑하는 단계를 포함하는 안전벨트 착용 검출 방법. - 제6항 또는 제7항에 있어서,
복수의 상기 인체 중심점 특징 서브맵에 각각 대응되는 최대 인체 중심점 특징값, 및 상기 인체 중심점 특징맵 중 상기 최대 인체 중심점 특징값의 좌표 위치 정보에 기반하여, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정하는 상기 단계는,
복수의 상기 인체 중심점 특징 서브맵 중의 각각의 상기 인체 중심점 특징 서브맵의 경우, 상기 인체 중심점 특징 서브맵에 대응되는 최대 인체 중심점 특징값이 기설정 임계값보다 큰지 여부를 판단하는 단계;
상기 인체 중심점 특징 서브맵에 대응되는 최대 인체 중심점 특징값이 상기 기설정 임계값보다 큰 경우, 상기 최대 인체 중심점 특징값이 지시하는 인체 중심점을 타깃 인체 중심점으로 결정하는 단계; 및
각각의 상기 타깃 인체 중심점, 상기 인체 중심점 특징맵 중 대응되는 좌표 위치 정보를 기반으로, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정하는 단계를 포함하는 안전벨트 착용 검출 방법. - 제1항에 있어서,
상기 안전벨트 검출 정보는 안전벨트 검출 프레임 정보를 포함하고; 상기 차실 환경 이미지에 대해 안전벨트 검출을 수행하여 차실 내 적어도 하나의 안전벨트의 안전벨트 검출 정보를 획득하는 상기 단계는,
상기 차실 환경 이미지에 기반하여, 차실 특징맵을 생성하는 단계;
상기 차실 특징맵에 포함된 복수의 픽셀점 중 각각의 상기 픽셀점이 속하는 안전벨트 카테고리 정보를 결정하는 단계 - 상기 안전벨트 카테고리 정보는 안전벨트에 속하는 카테고리 및 안전벨트에 속하지 않는 카테고리를 포함함 - ;
안전벨트 카테고리 정보가 안전벨트에 속하는 카테고리일 때의 픽셀점을 타깃 안전벨트 픽셀점으로 결정하는 단계;
각각의 상기 타깃 안전벨트 픽셀점과 안전벨트 중심 픽셀점의 상대적 오프셋 정보를 결정하는 단계;
상기 상대적 오프셋 정보에 기반하여, 각각의 상기 타깃 안전벨트 픽셀점에 대응되는 안전벨트 중심 픽셀점을 결정하는 단계; 및
상기 안전벨트 중심 픽셀점을 기반으로, 동일한 안전벨트 중심 픽셀점에 대응하는 복수의 타깃 안전벨트 픽셀점을 클러스터링하여, 차실 내 적어도 하나의 안전벨트에 대응되는 안전벨트 검출 프레임 정보를 획득하는 단계 - 상기 안전벨트 검출 프레임 정보는 안전벨트 검출 프레임의 중심점 위치 정보를 포함함 - ;를 포함하는 안전벨트 착용 검출 방법. - 제9항에 있어서,
상기 차실 특징맵에 포함된 복수의 픽셀점 중 각각의 상기 픽셀점이 속하는 안전벨트 카테고리 정보를 결정하는 단계는,
상기 차실 특징맵에 대해 안전벨트 검출을 수행하여, 2채널 특징맵을 획득하는 단계 - 상기 2채널 특징맵은 배경 특징맵 및 안전벨트 특징맵을 포함함 - ; 및
상기 차실 특징맵에 포함된 복수의 픽셀점 중의 각각의 픽셀점의 경우, 상기 배경 특징맵 및 상기 안전벨트 특징맵 중 상기 픽셀점에 각각 대응되는 특징값 중의 큰 특징값이 지시하는 안전벨트 카테고리 정보를 기반으로, 상기 픽셀점이 속하는 안전벨트 카테고리 정보를 결정하는 단계를 포함하는 안전벨트 착용 검출 방법. - 안전벨트 착용 검출 장치로서,
상기 장치는,
차실 환경 이미지를 획득하도록 구성되는 획득 모듈;
상기 차실 환경 이미지를 검출하여 차실 내 적어도 하나의 인체의 인체 검출 정보를 획득하고, 상기 차실 환경 이미지에 대해 안전벨트 검출을 수행하여 차실 내 적어도 하나의 안전벨트의 안전벨트 검출 정보를 획득하도록 구성되는 검출 모듈;
상기 적어도 하나의 인체의 인체 검출 정보를 상기 적어도 하나의 안전벨트의 안전벨트 검출 정보와 매칭하여, 안전벨트 착용 검출 결과를 결정하도록 구성되는 매칭 모듈; 및
임의의 인체가 안전벨트를 착용하지 않은 경우, 경고 정보를 발송하도록 구성되는 경고 모듈을 포함하는 안전벨트 착용 검출 장치. - 제11항에 있어서,
상기 매칭 모듈은,
적어도 하나의 안전벨트에 대응되는 안전벨트 검출 프레임의 중심점 위치와 인체 검출 프레임의 중심점 위치 사이의 상대적 오프셋 정보를 결정하고;
결정된 상대적 오프셋 정보를 기반으로, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점에서, 각각의 안전벨트에 대응되는 안전벨트 검출 프레임의 중심점과 관련된 인체 검출 프레임의 중심점이 존재하는지 여부를 검색하도록 구성되는 안전벨트 착용 검출 장치. - 제12항에 있어서,
상기 매칭 모듈은,
임의의 인체의 경우, 상기 인체에 대응되는 인체 검출 프레임의 중심점과 관련된 안전벨트 검출 프레임의 중심점이 존재하지 않는 경우, 상기 인체가 안전벨트를 착용하지 않은 것으로 결정하도록 구성되는 안전벨트 착용 검출 장치. - 제12항에 있어서,
상기 매칭 모듈은,
임의의 인체의 경우, 상기 인체에 대응되는 인체 검출 프레임의 중심점과 관련된 안전벨트 검출 프레임의 중심점이 존재하는 경우, 상기 인체가 안전벨트를 착용한 것으로 결정하도록 구성되는 안전벨트 착용 검출 장치. - 제11항 내지 제14항 중 어느 한 항에 있어서,
상기 인체 검출 정보는 인체 검출 프레임 정보를 포함하고; 상기 검출 모듈은,
상기 차실 환경 이미지에 기반하여, 차실 특징맵을 생성하고;
상기 차실 특징맵에 대해 인체 검출을 수행하여, 차실 내 적어도 하나의 인체에 각각 대응되는 다중 채널 특징맵을 획득하되, 상기 다중 채널 특징맵은 인체 중심점 특징맵, 인체 길이 특징맵 및 인체 폭 특징맵을 포함하며;
상기 다중 채널 특징맵에 기반하여, 상기 적어도 하나의 인체에 대응되는 인체 검출 프레임 정보를 결정하도록 구성되되, 상기 인체 검출 프레임 정보는 인체 검출 프레임의 중심점 위치 정보 및 인체 검출 프레임의 사이즈 정보를 포함하는 안전벨트 착용 검출 장치. - 제15항에 있어서,
상기 검출 모듈은,
상기 다중 채널 특징맵에 포함된 인체 중심점 특징맵의 경우, 기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 따라, 상기 인체 중심점 특징맵에서 풀링 처리할 인체 중심점 특징 서브맵을 순차적으로 크로핑하고;
순차적으로 크로핑된 각각의 인체 중심점 특징 서브맵의 경우, 상기 인체 중심점 특징 서브맵에 대해 최대 풀링 처리를 수행하여, 상기 인체 중심점 특징 서브맵에 대응되는 각각의 인체 중심점 특징값 중의 최대 인체 중심점 특징값, 및 상기 인체 중심점 특징맵 중 상기 최대 인체 중심점 특징값의 좌표 위치 정보를 결정하며;
복수의 상기 인체 중심점 특징 서브맵에 각각 대응되는 최대 인체 중심점 특징값, 및 상기 인체 중심점 특징맵 중 상기 최대 인체 중심점 특징값의 좌표 위치 정보에 기반하여, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정하고;
각각의 상기 인체 검출 프레임의 중심점 위치 정보를 기반으로, 상기 다중 채널 특징맵에 포함되는 인체 길이 특징맵 및 인체 폭 특징맵에서 상기 인체 검출 프레임과 매칭되는 인체 길이 정보 및 인체 폭 정보를 각각 결정하고, 매칭되는 상기 인체 길이 정보 및 인체 폭 정보를 상기 인체 검출 프레임의 상기 사이즈 정보로 사용하도록 구성되는 안전벨트 착용 검출 장치. - 제16항에 있어서,
상기 검출 모듈은,
활성화 함수를 사용하여, 인체 중심점 위치를 나타내는 인체 중심점 특징맵에 대해 정규화 처리를 수행하여, 정규화 처리된 인체 중심점 특징맵을 획득하고;
기설정 풀링 사이즈 및 기설정 풀링 스텝 길이에 따라, 상기 정규화 처리된 인체 중심점 특징맵에서 풀링 처리할 인체 중심점 특징 서브맵을 순차적으로 크로핑하도록 구성되는 안전벨트 착용 검출 장치. - 제16항 또는 제17항에 있어서,
상기 검출 모듈은,
복수의 상기 인체 중심점 특징 서브맵 중의 각각의 상기 인체 중심점 특징 서브맵의 경우, 상기 인체 중심점 특징 서브맵에 대응되는 최대 인체 중심점 특징값이 기설정 임계값보다 큰지 여부를 판단하고;
상기 인체 중심점 특징 서브맵에 대응되는 최대 인체 중심점 특징값이 상기 기설정 임계값보다 큰 경우, 상기 최대 인체 중심점 특징값이 지시하는 인체 중심점을 타깃 인체 중심점으로 결정하며;
상기 인체 중심점 특징맵 중 각각의 상기 타깃 인체 중심점의 대응되는 좌표 위치 정보를 기반으로, 적어도 하나의 인체에 대응되는 인체 검출 프레임의 중심점 위치 정보를 결정하도록 구성되는 안전벨트 착용 검출 장치. - 제11항에 있어서,
상기 안전벨트 검출 정보는 안전벨트 검출 프레임 정보를 포함하고; 상기 검출 모듈은,
상기 차실 환경 이미지에 기반하여, 차실 특징맵을 생성하고;
상기 차실 특징맵에 포함된 복수의 픽셀점 중 각각의 상기 픽셀점이 속하는 안전벨트 카테고리 정보를 결정하되, 상기 안전벨트 카테고리 정보는 안전벨트에 속하는 카테고리 및 안전벨트에 속하지 않는 카테고리를 포함하며;
안전벨트 카테고리 정보가 안전벨트에 속하는 카테고리일 때의 픽셀점을 타깃 안전벨트 픽셀점으로 결정하고;
각각의 상기 타깃 안전벨트 픽셀점과 안전벨트 중심 픽셀점의 상대적 오프셋 정보를 결정하며;
상기 상대적 오프셋 정보에 기반하여, 각각의 상기 타깃 안전벨트 픽셀점에 대응되는 안전벨트 중심 픽셀점을 결정하고;
상기 안전벨트 중심 픽셀점을 기반으로, 동일한 안전벨트 중심 픽셀점에 대응하는 복수의 타깃 안전벨트 픽셀점을 클러스터링하여, 차실 내 적어도 하나의 안전벨트에 대응되는 안전벨트 검출 프레임 정보를 획득하도록 구성되되, 상기 안전벨트 검출 프레임 정보는 안전벨트 검출 프레임의 중심점 위치 정보를 포함하는 안전벨트 착용 검출 장치. - 제19항에 있어서,
상기 검출 모듈은,
상기 차실 특징맵에 대해 안전벨트 검출을 수행하여, 2채널 특징맵을 획득하되, 상기 2채널 특징맵은 배경 특징맵 및 안전벨트 특징맵을 포함하고;
상기 차실 특징맵에 포함된 복수의 픽셀점 중의 각각의 픽셀점의 경우, 상기 배경 특징맵 및 상기 안전벨트 특징맵 중 상기 픽셀점에 각각 대응되는 특징값 중의 큰 특징값이 지시하는 안전벨트 카테고리 정보를 기반으로, 상기 픽셀점이 속하는 안전벨트 카테고리 정보를 결정하도록 구성되는 안전벨트 착용 검출 장치. - 전자 기기로서,
상기 전자 기기는 프로세서, 메모리 및 버스를 포함하되, 상기 메모리에는 상기 프로세서에 의해 실행 가능한 기계 판독 가능 명령이 저장되고, 상기 전자 기기가 실행될 경우, 상기 프로세서와 상기 메모리는 상기 버스를 통해 통신하며, 상기 프로세서는 상기 메모리에 저장된 기계 판독 가능 명령을 수행하고, 상기 기계 판독 가능 명령이 상기 프로세서에 의해 실행되어 제1항 내지 제10항 중 어느 한 항에 따른 안전벨트 착용 검출 방법을 구현하는 전자 기기. - 컴퓨터 판독 가능 저장 매체로서,
상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 전자 기기에 의해 실행될 경우, 상기 전자 기기는 제1항 내지 제10항 중 어느 한 항에 따른 안전벨트 착용 검출 방법을 수행하는 컴퓨터 판독 가능 저장 매체. - 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 컴퓨터 판독 가능 코드를 포함하고, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행되는 경우, 상기 전자 기기의 프로세서는 제1항 내지 제10항 중 어느 한 항에 따른 안전벨트 착용 검출 방법을 구현하기 위해 실행되는 컴퓨터 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010791309.2 | 2020-08-07 | ||
| CN202010791309.2A CN111931642A (zh) | 2020-08-07 | 2020-08-07 | 一种安全带佩戴检测的方法、装置、电子设备及存储介质 |
| PCT/CN2020/135494 WO2022027893A1 (zh) | 2020-08-07 | 2020-12-10 | 安全带佩戴检测方法、装置、电子设备、存储介质及程序 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220019105A true KR20220019105A (ko) | 2022-02-15 |
Family
ID=73307124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217042831A KR20220019105A (ko) | 2020-08-07 | 2020-12-10 | 안전벨트 착용 검출 방법, 장치, 전자 기기, 저장 매체 및 프로그램 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220144206A1 (ko) |
| JP (1) | JP7288097B2 (ko) |
| KR (1) | KR20220019105A (ko) |
| CN (1) | CN111931642A (ko) |
| WO (1) | WO2022027893A1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931642A (zh) * | 2020-08-07 | 2020-11-13 | 上海商汤临港智能科技有限公司 | 一种安全带佩戴检测的方法、装置、电子设备及存储介质 |
| KR20220095819A (ko) * | 2020-12-30 | 2022-07-07 | 현대자동차주식회사 | 라이다 센서를 이용한 객체 추적 방법 및 장치, 및 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 |
| CN117221983A (zh) * | 2022-06-02 | 2023-12-12 | 中兴通讯股份有限公司 | 座舱单元控制方法、系统及计算机存储介质 |
| EP4310799A1 (en) * | 2022-07-19 | 2024-01-24 | Hyundai Mobis Co., Ltd. | Seat belt wearing determination apparatus |
| CN117671592A (zh) * | 2023-12-08 | 2024-03-08 | 中化现代农业有限公司 | 危险行为检测方法、装置、电子设备和存储介质 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010113506A (ja) * | 2008-11-06 | 2010-05-20 | Aisin Aw Co Ltd | 乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラム |
| JP5136473B2 (ja) * | 2009-03-12 | 2013-02-06 | 株式会社デンソー | 乗員姿勢推定装置 |
| US9020482B2 (en) * | 2013-03-06 | 2015-04-28 | Qualcomm Incorporated | Preventing driver distraction |
| KR101655858B1 (ko) * | 2015-02-03 | 2016-09-08 | (주) 미래테크원 | 안전벨트 미착용 단속 시스템 및 그의 운용 방법 |
| JP2016199208A (ja) * | 2015-04-14 | 2016-12-01 | 株式会社東海理化電機製作所 | シートベルト警告装置 |
| CN105373779B (zh) * | 2015-11-10 | 2018-09-28 | 北京数字智通科技有限公司 | 一种车辆安全带智能检测方法及智能检测系统 |
| CN106709443B (zh) * | 2016-12-19 | 2020-06-02 | 同观科技（深圳）有限公司 | 一种安全带佩戴状态的检测方法及终端 |
| CN107529659B (zh) * | 2017-07-14 | 2018-12-11 | 深圳云天励飞技术有限公司 | 安全带佩戴检测方法、装置及电子设备 |
| CN109086662B (zh) * | 2018-06-19 | 2021-06-15 | 浙江大华技术股份有限公司 | 一种异常行为检测方法及装置 |
| KR101957759B1 (ko) * | 2018-10-12 | 2019-03-14 | 렉스젠(주) | 안전 벨트 검출 시스템 및 그 방법 |
| CN109886205B (zh) * | 2019-02-25 | 2023-08-08 | 苏州清研微视电子科技有限公司 | 安全带实时监测方法和系统 |
| CN109753903B (zh) * | 2019-02-27 | 2020-09-15 | 北航（四川）西部国际创新港科技有限公司 | 一种基于深度学习的无人机检测方法 |
| CN110046557A (zh) * | 2019-03-27 | 2019-07-23 | 北京好运达智创科技有限公司 | 基于深度神经网络判别的安全帽、安全带检测方法 |
| JP7172898B2 (ja) * | 2019-07-24 | 2022-11-16 | トヨタ自動車株式会社 | 制御装置、車両、制御方法、及び制御プログラム |
| CN111178272B (zh) * | 2019-12-30 | 2023-04-18 | 东软集团（北京）有限公司 | 一种识别驾驶员行为的方法、装置及设备 |
| CN113269005A (zh) * | 2020-02-14 | 2021-08-17 | 深圳云天励飞技术有限公司 | 一种安全带检测方法、装置及电子设备 |
| CN111476224B (zh) * | 2020-06-28 | 2020-10-09 | 杭州鸿泉物联网技术股份有限公司 | 安全带检测方法、装置、电子设备及系统 |
| CN111950348A (zh) * | 2020-06-29 | 2020-11-17 | 北京百度网讯科技有限公司 | 安全带的佩戴状态识别方法、装置、电子设备和存储介质 |
| CN111931642A (zh) * | 2020-08-07 | 2020-11-13 | 上海商汤临港智能科技有限公司 | 一种安全带佩戴检测的方法、装置、电子设备及存储介质 |
-
2020
- 2020-08-07 CN CN202010791309.2A patent/CN111931642A/zh active Pending
- 2020-12-10 WO PCT/CN2020/135494 patent/WO2022027893A1/zh active Application Filing
- 2020-12-10 KR KR1020217042831A patent/KR20220019105A/ko active Search and Examination
- 2020-12-10 JP JP2021578003A patent/JP7288097B2/ja active Active
-
2022
- 2022-01-27 US US17/585,810 patent/US20220144206A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| CN111931642A (zh) | 2020-11-13 |
| WO2022027893A1 (zh) | 2022-02-10 |
| US20220144206A1 (en) | 2022-05-12 |
| JP7288097B2 (ja) | 2023-06-06 |
| JP2022548460A (ja) | 2022-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220019105A (ko) | 안전벨트 착용 검출 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| CN108021933B (zh) | 神经网络识别装置及识别方法 | |
| CN106682602B (zh) | 一种驾驶员行为识别方法及终端 | |
| US10395103B2 (en) | Object detection method, object detection apparatus, and program | |
| CN111439170B (zh) | 儿童状态检测方法及装置、电子设备、存储介质 | |
| EP2596746B1 (en) | Pupil detection device and pupil detection method | |
| US20220084316A1 (en) | Method and electronic device for recognizing abnormal sitting posture, and storage medium | |
| CN110826370B (zh) | 车内人员的身份识别方法、装置、车辆及存储介质 | |
| CN111652114B (zh) | 一种对象检测方法、装置、电子设备及存储介质 | |
| WO2022027894A1 (zh) | 驾驶员行为检测方法、装置、电子设备、存储介质和程序 | |
| JP2007188417A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
| JP2009070344A (ja) | 画像認識装置、画像認識方法および電子制御装置 | |
| CN112299172A (zh) | 手势求救的识别方法、装置及存储介质 | |
| CN113673533A (zh) | 一种模型训练方法及相关设备 | |
| CN114973209A (zh) | 识别驾驶员情绪的方法、装置、设备、介质和车辆 | |
| CN111985429A (zh) | 一种头盔佩戴检测的方法、装置、电子设备及存储介质 | |
| CN115937830A (zh) | 一种面向特种车辆的驾驶员疲劳检测方法 | |
| CN109165607B (zh) | 一种基于深度学习的驾驶员手持电话检测方法 | |
| CN115408710A (zh) | 一种图像脱敏方法和相关装置 | |
| CN115546875B (zh) | 基于多任务的座舱内行为检测方法、装置以及设备 | |
| CN116453194B (zh) | 一种人脸属性判别方法及装置 | |
| CN111797784B (zh) | 驾驶行为监测方法、装置、电子设备及存储介质 | |
| CN116625702A (zh) | 一种车辆碰撞检测方法、装置及电子设备 | |
| CN117171767A (zh) | 一种图像数据的脱敏处理方法、装置、设备及介质 | |
| CN115761706A (zh) | 驾驶行为检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |