KR20220133810A - 유틸리티 차량 및 유틸리티 차량을 위한 대응하는 장치, 방법 및 컴퓨터 프로그램 - Google Patents

유틸리티 차량 및 유틸리티 차량을 위한 대응하는 장치, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20220133810A
KR20220133810A KR1020220036877A KR20220036877A KR20220133810A KR 20220133810 A KR20220133810 A KR 20220133810A KR 1020220036877 A KR1020220036877 A KR 1020220036877A KR 20220036877 A KR20220036877 A KR 20220036877A KR 20220133810 A KR20220133810 A KR 20220133810A
Authority
KR
South Korea
Prior art keywords
utility vehicle
persons
video data
processors
person
Prior art date
Application number
KR1020220036877A
Other languages
English (en)
Inventor
야콥 훈스발레
라르스 마르틴 피스테르
토마스 야콥센
Original Assignee
그라츠퍼 테크놀로지스 에이피에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 그라츠퍼 테크놀로지스 에이피에스 filed Critical 그라츠퍼 테크놀로지스 에이피에스
Publication of KR20220133810A publication Critical patent/KR20220133810A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Structural Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

다양한 예는 유틸리티 차량, 및유틸리티 차량에 대한 대응하는 장치, 방법 및컴퓨터 프로그램에 관한 것이다. 장치는 유틸리티 차량의 하나 이상의 카메라로부터 비디오 데이터를 획득하기 위한 적어도 하나의 인터페이스를 포함한다. 장치는 하나 이상의 프로세서들을 더 포함한다. 하나 이상의 프로세서는 비디오 데이터에 표시된 하나 이상의 사람을 식별하거나 재식별하도록 구성된다. 하나 이상의 프로세서는 비디오 데이터에 표시된 하나 이상의 사람의 식별 또는 재식별에 기초하여 유틸리티 차량을 둘러싼 하나 이상의 안전 영역에서 하나 이상의 사람의 위반을 결정하도록 구성된다. 하나 이상의 프로세서는 하나 이상의 안전 영역에서 하나 이상의 사람의 위반을 나타내는 하나 이상의 신호를 출력 장치에 제공하도록 구성된다.

Description

유틸리티 차량 및 유틸리티 차량을 위한 대응하는 장치, 방법 및 컴퓨터 프로그램{Utility Vehicle and Corresponding Apparatus, Method and Computer Program for a Utility Vehicle}
다양한 예는 유틸리티 차량, 및 유틸리티 차량에 대한 대응하는 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
차량의 안전성은 연구 개발 분야이다. 예를 들어, 개인용 차량에서 카메라 기반의 사람 감지는 이전에 내비게이션 및 안전 집행 모두에 사용되었다. 예를 들어, 일부 현대식 차량에서는 보행자를 자동으로 식별하고 3차원 또는 톱-다운 뷰로 시각화할 수 있다. 또한 경고가 제공되거나 차량이 자동으로 제동될 수 있다. 세단과 같은 개인용 차량에서는 일반적으로 카메라가 낮은 높이(예를 들어, 약에 설치되어 차량에서 사람의 실제 3차원 위치까지의 거리를 이미지 기반 방법을 사용하여 평가하기 어렵다. 예를 들어, 이러한 설정에서 근접 촬영한 작은 사람과 멀리 떨어져 있는 큰사람은 시각적으로 유사하게 보일 수 있다.
건설 기계에도 유사한 시스템이 사용된다. 건설 기계는 일반적으로 개인 차량보다 크기 때문에 개인 차량에 비해 약간 높은 높이에 카메라를 배치한다. 그러나 이미지 기반 거리 계산과 관련된 문제는 여전히 남아 있다. 또한 이러한 시스템은 건설 기계의 거리 주변에 있는 사람을 감지하는 것과 같은 기본 기능만 제공하는 경우가 많다.
본 개시내용의 다양한 측면은 건설 현장에서 상이한 사람이 상이한 작업을 수행할 수 있은 권한을 부여하는 상이한 역할을 갖고 있으며, 상이한 사람은 건설 현장에서 건설 기계의 이동에 대해 상이한 수준의 인식을 가지고 있다고 가정할 수 있다는 발견에 기초한다. 예를 들어, 미숙련 노동자는 감독보다 인식 수준이 낮을 수 있고, 감독은 미숙 노동자보다 다른 작업을 수행할 수 있은 권한을 가질 수 있다. 유사하게, 건설 차량의 작동을 지시하는 임무를 맡은 사람은 건설 현장의 상이한 측면에 관심을 갖는 작업자보다 건설 차량의 움직임에 대한 더높은 수준의 인식을 가질 수 있다. 따라서 건설차량의 작동을 지시하는 임무를 맡은 사람은 건설차량 주변의 안전구역 내에서 허용될 수 있고, 건설현장의 상이한 측면에 관련된 작업자는 안전구역 내에서 허용되지 않을 수 있다. 따라서 건설 차량과 같은 유틸리티 차량을 둘러싼 안전 구역에서 사람의 감지를 기반으로 하는 안전 개념은 사람의 신원을 고려할 수 있다. 예를 들어, 사람의 신원에 따라 유틸리티 차량 주변의 안전 구역에 사람의 존재가 허용될 수 있거나 (예를 들어, 유틸리티 차량의 작동을 지시하는 임무를 맡은 감독 또는 사람이 안전 영역에서 감지된 경우), 또는 안전구역 위반이 감지될 수 있다(예를 들어, 미숙련 작업자 또는 건설 현장의 다른 측면과 관련된 작업자가 안전 구역에서 감지된 경우).
본 개시의 여려 양태들은 유틸리티 차량을 위한 장치에 관한 것이다. 장치는 유틸리티 차량의 하나 이상의 카메라로부터 비디오 데이터를 획득하기 위한 적어도 하나의 인터페이스를 포함한다. 장치는 하나 이상의 프로세서들을 더 포함한다. 하나 이상의 프로세서는 비디오 데이터에 표시된 하나 이상의 사람을 식별하거나 재식별하도록 구성된다. 하나 이상의 프로세서는 비디오 데이터에 표시된 하나 이상의 사람의 식별 또는 재식별에 기초하여 유틸리티 차량을 둘러싼 하나 이상의 안전 영역에서 하나 이상의 사람의 위반을 결정하도록 구성된다. 하나 이상의 프로세서는 하나 이상의 안전 영역에서 하나 이상의 사람의 위반을 나타내는 하나 이상의 신호를 출력 장치에 제공하도록 구성된다. 한명 이상의 사람을 식별하거나 재식별함으로써 상이한 수준의 인식을 가진 사람이나 건설 현장에서 작업을 수행하는 데상이한 권한을 가진 사람을 구별할 수 있다.
한 명이상의 사람의 식별 또는 재식별은 여러 접근 방식 중 하나를 사용하여 수행될 수 있다. 예를 들어, 하나 이상의 프로세서는 비디오 데이터에 대한 얼굴 인식을 사용하여 하나 이상의 사람을 식별하도록 구성될 수 있다. 얼굴 인식을 사용할 때, 그 사람의 얼굴의 하나 이상의 사진을 제공함으로써 새로운 사람이 장치에 등록될 수 있다.
또는 (시각적) 사람 재식별을 사용하여 한명 이상의 사람을 재식별할 수 있다. 시각적인 사람 재식별은 사람의 절대적 신원을 확립하기 위한 식별과 대조적으로 외모만으로 사람을 구별하거나 재식별하는 것을 목적으로 한다. 하나 이상의 프로세서는 사람 재식별을 위해 훈련된 머신 러닝 모델을 사용하여 하나 이상의 사람을 재식별하도록 구성될 수 있다. 이 경우, 그 사람을 나타내는 소위 재식별 코드를 제공함으로써 새로운 사람이 장치에 등록될 수 있다.
대안으로 또는 추가적으로, 한명 이상의 사람이 휴대하거나 착용하는 외부 식별자를 사용하여 한명 이상의 사람을 식별할 수 있다. 예를 들어, 하나 이상의 프로세서는 비디오 데이터에서의 하나 이상의 사람들에 의해 휴대 (예를 들어, 착용) 되는, 기계 판독 가능 코드가 있는 배지와 같은 시각적 식별자를 검출함으로써 하나 이상의 사람을 식별하도록 구성될 수 있다. 대안적으로 또는 추가적으로, 하나 이상의 프로세서는 하나 이상의 사람에 의해 운반되는, 능동 무선 비콘 또는 능동 시각적 비콘과 같은 능동 비콘을 검출함으로써 하나 이상의 개인을 식별하도록 구성될 수 있다. 배지에 포함된 시각적 식별자 또는 안전모에 부착된 스티커에 인쇄된 시각적 식별자와 같은 수동적 시각적 식별자는 인쇄되거나 배지의 일부로 착용할 수 있으므로 구현하기 쉬운 반면, 능동 비콘은 각사람이 휴대/착용해야 하는 추가 하드웨어를 희생하여 감지하기 쉽다. 능동 비콘과 달리 수동 시각적 식별자는 콘텐츠를 능동적으로 전송하지 않고 각각의 콘텐츠를 전달할 수 있다.
일반적으로 이미지에서 사람을 감지하기 위한 머신 러닝 모델은 종종 사람 주위의 소위 "경계 상자", 즉 한편으로는 각 사람을 완전히 둘러싸고 있고 다른 한편으로는 가능한 한작은 직사각형 상자의 위치를 예측하도록 훈련된다. 이 경계 상자는 예를 들어 경계 상자와 하나 이상의 안전 영역 사이의 중첩을 결정함으로써 하나 이상의 안전 영역에 대한 한명 이상의 사람의 위반을 결정하는 데 사용될 수 있다. 검지의 정확성을 향상시키기 위해, 한명 이상의 사람의 윤곽은 예를 들어 포즈 추정 기술을 사용하여 더 높은 정밀도로 추적될 수 있다. 예를 들어, 하나 이상의 프로세서는 머신 러닝 모델을 사용하여 비디오 데이터에 표시되는 하나 이상의 사람의 포즈 정보를 결정하기 위해 비디오 데이터를 처리하도록 구성될 수 있다. 머신 러닝 모델은 비디오 데이터를 기반으로 포즈 추정 데이터를 생성하도록 훈련될 수 있다. 하나 이상의 프로세서는 비디오 데이터에 표시된 하나 이상의 사람의 포즈 정보에 기초하여 하나 이상의 안전 영역에 대한 하나 이상의 사람의 위반을 결정하도록 구성될 수 있다. 예를 들어, 직사각형 경계 상자와 하나 이상의 안전 영역의 중첩을 감지하여 위반을 결정하는 대신 한명 이상의 사람의 팔다리의 실제 윤곽을 사용하여 위반을 결정할 수 있다.
일부 예들에서, 포즈 정보, 및 대응하는 하나 이상의 안전 영역들에 대한 위반은 비디오 데이터의 모든 프레임에 대해 개별적으로 계산될 수도 있다. 대안적으로, 비디오 데이터는 다수의 프레임에 걸쳐 분석될 수 있고, 위반을 결정할 때각각의 포즈의 진행 상황이 고려될 수 있다. 예를 들어, 머신 러닝 모델은 비디오 데이터의 복수의 프레임의 과정에 걸쳐 보여지는 바와 같이 시간에 따른 한명 이상의 포즈의 진행에 관한 정보와 함께 포즈 추정 데이터를 출력하도록 훈련될 수 있다. 하나 이상의 프로세서는 시간에 따른 하나 이상의 사람의 포즈의 진행에 기초하여 하나 이상의 사람의 예측된 거동에 대한 정보를 결정하고, 한명 이상의 사람의 예측된 거동을 기반으로 하나 이상의 안전 영역에 대한 하나 이상의 사람의 위반을 결정하도록 구성될 수 있다. 예를 들어, 예측된 거동은 각자의 사람이 하나 이상의 안전 영역을 향해 이동하거나 또는 멀어지는지는지 여부, 또는 각자의 사람이 부주의하거나 안전하지 않은 거동을 보이는지 여부를 보여줄 수 있다.
따라서, 하나 이상의 프로세서는 시간이 지남에 따라 하나 이상의 사람의 포즈의 진행 상황에 기초하여 하나 이상의 사람의 부주의하거나 불안전한 거동을 결정하고, 결정된 부주의하거나 안전하지 않은 거동을 기반으로 하나 이상의 안전 영역의 위반을 결정하도록 구성될 수 있다. 다시 말해서, 한명 이상의 사람들의 거동을 분석하여 각각의 사람 또는 사람들의 인식 수준을 추정할 수 있다.
추가적으로 또는 대안적으로, 하나 이상의 프로세서는 하나 이상의 사람의 포즈의 진행에 기초하여 하나 이상의 안전 영역에 대한 하나 이상의 사람의 경로를 추정하고, 한 명이상의 사람의 그 추정된 경로를 기반으로 하나 이상의 안전 영역에 대한 위반을 결정하도록 구성될 수 있다. 예를 들어, 각각의 사람이 하나 이상의 안전 영역 중하나로 이동하는 경우 위반이 감지될 수 있고, 각각의 사람이 하나 이상의 안전 영역에서 멀어지는 경우 위반이 무시될 수 있다.
예를 들어, 하나 이상의 프로세서는 하나 이상의 사람의 포즈에 기초하여 하나 이상의 사람 주위에 하나 이상의 다각형 경계 영역을 생성하고, 생성된 하나 이상의 다각형 경계 영역을 기반으로 하나 이상의 안전 영역에 대한 하나 이상의 사람의 포즈의 위반을 결정하도록 구성될 수 있다. 위에서 약술한 바와 같이, 한명 이상의 사람의 포즈를 따르는 다각형 경계 영역은 직사각형 경계 상자보다 더정확할 수 있다.
많은 건설 현장에는 입을 옷에 관한 규칙이 있다. 예를 들어, 많은 건설 현장에서 안전 헬멧, 안전 장화 및/또는 안전 조끼는 필수다. 또한 개인 배낭과 같은 일부 품목은 금지될 수 있다. 하나 이상의 프로세서는 머신 러닝 모델을 사용하여 한명 이상의 사람이 복수의 미리 정의된 항목 중적어도 하나를 가지고 있는지 여부를 감지하도록 구성될 수 있으며, 머신 러닝 모델은 비디오 데이터에서 복수의 미리 정의된 항목을 감지하도록 훈련된다. 하나 이상의 안전 구역에 대한 하나 이상의 사람의 위반은 하나 이상의 사람이 하나 이상의 물품을 휴대하는지 여부에 추가로 기초하여 결정될 수 있다. 예를 들어, 복수의 미리 정의된 품목은 하나 이상의 안전복 품목 및/또는 하나 이상의 금지 품목을 포함할 수 있다. 예를 들어, 필수 안전 장비를 휴대하는 사람은 하나 이상의 안전 구역에 허용될 수 있지만 필수 안전 장비가 없거나 금지 품목이 있는 사람은 하나 이상의 안전 구역에 허용되지 않을 수 있다.
일반적으로 유틸리티 차량은 건설 현장 주변을 이동할 수 있다. 그들의 움직임에 따라 하나 이상의 안전 구역이 변경될 수 있다. 예를 들어, 유틸리티 차량이 전진하는 동안 하나 이상의 안전 구역이 (대부분) 차량 앞에 있을 수 있다. 예를 들어, 하나 이상의 프로세서는 유틸리티 차량의 미래 경로를 결정하고 유틸리티 차량의 미래 경로에 기초하여 하나 이상의 안전 영역의 범위를 결정하거나 적응하도록 구성될 수 있다.
위반을 나타내는 신호의 다양한 가능한 구현들이 존재한다. 예를 들어, 하나 이상의 안전 영역에 대한 하나 이상의 사람의 위반을 나타내는 하나 이상의 신호는 디스플레이 상에 위반을 나타내고 및/또는 가청 경보 신호를 제공하는 디스플레이 신호 및/또는 오디오 신호를 포함할 수 있다.
예를 들어, 하나 이상의 안전 영역에 대한 하나 이상의 사람의 위반을 나타내는 하나 이상의 신호는 하나 이상의 안전 영역에 대한 하나 이상의 사람의 시각적 표현을 포함하는 디스플레이 신호를 포함할 수 있다. 예를 들어, 디스플레이 신호는 유틸리티 차량의 디스플레이 또는 유틸리티 차량의 사용자의 디스플레이에 제공될 수 있다. 예를 들어, 시각적 표현은 하나 이상의 사람의 윤곽을 보여주는 (다각형) 경계 상자와 하나 이상의 안전 영역을 보여주는 오버레이를 갖는 비디오 데이터를 표시할 수 있다.
다양한 예에서, 하나 이상의 프로세서는 위반이 결정되고 있는지 여부에 관계없이, 하나 이상의 안전 영역을 위반하는 사람이 디스플레이 신호 내의 하나 이상의 안전 영역을 위반하지 않은 사람과 다른 색상으로 강조되는 디스플레이 신호를 생성하도록 구성될 수 있다. 이렇게 하면 유틸리티 차량을 운전하는 사람도 안전 구역 내에서 허용된 사람을 알수 있다.
일부 예에서, 하나 이상의 안전 영역에 대한 하나 이상의 사람의 위반을 나타내는 하나 이상의 신호는 오디오 경고 신호를 포함할 수 있다. 예를 들어, 오디오 (경고) 신호는 유틸리티 차량의 캐빈 내에 위치한 확성기 및/또는 유틸리티 차량 외부의 한명 이상의 사람에게 경고하기에 적합한 확성기에 제공될 수 있다. 예를 들어, 캐빈 내에 위치한 확성기에 제공되는 오디오 신호는 차량 내에서 유틸리티 차량을 조작하는 사람에게 경고하는 데사용될 수 있은 반면, 유틸리티 차량 외부의 하나 이상의 사람에게 경고하는 데 적합한 확성기에 제공되는 오디오 신호는 예를 들어 위반이 결정되면 하나 이상의 사람에게 사용될 수 있다.
다양한 예에서, 비디오 데이터는 위에서 본하나 이상의 안전 영역에 대한 뷰를 포함한다. 예를 들어, 위에서 본뷰는 하나 이상의 안전 영역에 대한 하나 이상의 사람의 위반을 감지하는 것을 용이하게 할수 있다.
본 개시의 여려 예들은 유틸리티 차량을 위한 대응하는 방법에 관한 것이다. 방법은 유틸리티 차량의 하나 이상의 카메라로부터 비디오 데이터를 획득하는 단계를 포함한다. 방법은 비디오 데이터에 표시된 하나 이상의 사람을 식별하거나 재식별하는 단계를 포함한다. 방법은 비디오 데이터에 표시된 하나 이상의 사람의 식별 또는 재식별에 기초하여 유틸리티 차량을 둘러싼 하나 이상의 안전 영역에서 하나 이상의 사람의 위반을 결정하는 단계를 포함한다. 방법은 하나 이상의 안전 영역에서 하나 이상의 사람의 위반을 나타내는 하나 이상의 신호를 출력 장치에 제공하는 단계를 포함한다.
본 개시의 다양한 예들은 컴퓨터 프로그램이 컴퓨터, 프로세서, 처리 회로, 또는 프로그램 가능한 하드웨어 컴포넌트 상에서 실행될 때, 상기 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램에 관한 것이다.
본 개시의 다양한 예들은 위에 제시된 장치를 포함하고/하거나 위에 제시된 방법을 수행하도록 구성되는 유틸리티 차량에 관한 것이다. 유틸리티 차량은 하나 이상의 카메라들을 포함한다. 예를 들어, 상기 장치는 유틸리티 차량에 통합될 수 있거나, 또는 방법은 유틸리티 차량 작동의 안전성을 향상시키기 위해 유틸리티 차량에 의해 수행될 수 있다. 예를 들어, 하나 이상의 카메라는 유틸리티 차량의 캐빈의 상단에 배열될 수 있거나, 하나 이상의 카메라는 유틸리티 차량의 캐빈의 상단에서 연장되는 플랫폼에 배열될 수 있다. 양자 모두의 배치는 위에서 본하나 이상의 안전 영역에 대한 뷰를 제공하기에 적합할 수 있다.
장치 및/또는 방법의 일부 예는 단지 예로서 그리고 첨부 도면을 참조하여 다음에서 설명될 것이다.
도 1a 는 유틸리티 차량용 장치의 예의 블록도를 도시한다.
도 1b 는 장치를 포함하는 유틸리티 차량, 특히 건설 차량의 예의 개략도를 도시한다.
도 1c 및 도 1d 는 유틸리티 차량을 위한 방법의 예들의 흐름도를 도시한다.
도 2 는 2개의 카메라, 처리 컴포넌트 및입력 출력 컴포넌트를 포함하는 시스템의 개략도를 도시한다.
도 3a 및 도 3b 는 차량 상단에 카메라를 배치하는 예를 보여준다.
도 4a 내지 도 4c 는 유틸리티 차량 주변의 안전 구역에서 감지된 사람을 시각화한 예를 도시한다.
도 5a 내지 도 5h는 정적 포즈 또는 신호 포즈의 예에 대한 개략도를 보여준다.
일부 예들이 이제 첨부된 도면들을 참조하여 더욱 상세히 설명된다. 그러나, 다른 가능한 예들은 상세히 설명되는 이들 실시형태들의 특징들에 제한되지 않는다. 다른 예들은 그 특징들의 수정들 뿐아니라 그 특징들가 등가물 및 대안들을 포함할 수 있다. 더욱이, 특정의 예들을 설명하기 위해 여기에 사용된 용어는 추가의 가능한 예들의 제한이 아니어야 한다.
도면들의 설명 전체에 걸쳐, 동일하거나 유사한 참조 번호들은 동일하거나 유사한 기능을 제공하면서 동일하거나 또는 수정된 형태로 구현될 수 있는 동일하거나 유사한 엘리먼트들 및/또는 특징들을 나타낸다. 도면들에서의 라인들, 층들 및/또는 영역들의 두께는 또한 명확성을 위해 강조될 수 있다.
2 개의 엘리먼트들 A 및 B 가 '또는' 을 사용하여 결합되는 경우, 이것은 개개의 경웨 달리 명확히 정의되지 않는 한 모든 가능한 조합들, 즉 A 만, B 만 뿐아니라 A 및 B 를 개시하는 것으로 이해되어야 한다. 동일한 조합들에 대한 대안적인 어구로서, "A 및 B 중 적어도 하나" 또는 "A 및/또는 B" 가 사용될 수 있다. 이것은 3 개 이상의 엘리먼트들의 조합들에 동일하게 적용된다.
"a", "an" 및 "the" 와 같은 단수 형태가 사용되고 단수 엘리먼트만의 사용이 명시적으로 또는 암시적으로 강제되는 것으로 정의되지 않는 경우, 추가의 예들은 또한 동일한 기능을 구현하기 위해 몇개의 엘리먼트들을 사용할 수 있다. 기능이 다수의 엘리먼트들을 사용하여 구현되는 것으로 이하에 기술되는 경우, 추가의 예들은 단일의 엘리먼트 또는 단일의 프로세싱 엔티티를 사용하여 동일한 기능을 구현할 수 있다. "포함한다", "포함하는", "구비한다" 및/또는 구비하는" 이라는 용어는 사용될 때 특정된 특징들, 정수들, 단계들, 동작들, 프로세스들, 엘리먼트들, 컴포넌트들 및/또는 이들의 그룹의 존재를 기술하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 프로세스들, 엘리먼트들, 컴포넌트들 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것이 이해되어야 한다.
본 개시내용의 다양한 예는 일반적으로 건설 차량과 같은 유틸리티 차량, 특히 자동 유틸리티 차량 안전 시행을 위한 개념 또는 유틸리티 차량을 제어하기 위한 개념에 관한 것이다.
다음에서, 유틸리티 차량용 장치, 그러한 장치를 포함하는 유틸리티 차량, 및대응하는 방법 및컴퓨터 프로그램의 다양한 예가 제공된다. 다음 예는 안전 시행 또는 유틸리티 차량 제어를 위해 유틸리티 차량 주변에 있는 사람의 자동 이미지 기반 감지를 기반으로 한다.
도 1a는 유틸리티 차량 (100) 용 장치 (10) 의 예의 블록도를 도시한다. 장치 (10) 는 적어도 하나의 인터페이스 (12) 및 하나 이상의 프로세서들 (14) 을 포함한다. 선택적으로, 장치(10)는 하나 이상의 저장 장치(16)를 더 포함한다. 하나 이상의 프로세서(14)는 하나 이상의 인터페이스(12) 및 선택적 하나 이상의 저장 장치(16)에 연결된다. 일반적으로, 장치의 기능은 (예를 들어, 도 1b 에 도시된 바와 같이, 유틸리티 차량의 하나 이상의 카메라(102), 유틸리티 차량의 하나 이상의 출력 장치(108), 및/또는 하나 이상의 모바일 디바이스(20)와 정보를 교환하기 위해) 하나 이상의 인터페이스(12)의 도움으로, 및/또는 (정보를 저장하기 위한) 하나 이상의 저장 장치(16)의 도움으로 하나 이상의 프로세서(14)에 의해 제공된다. 예를 들어, 적어도 하나의 인터페이스는 유틸리티 차량의 하나 이상의 카메라(102)로부터 비디오 데이터를 획득하는 데적합하고 및/또는 획득하도록 구성될 수 있다.
도 1b는 장치 (10) 를 포함하는 유틸리티 차량 (100), 특히 건설 차량의 예의 개략도를 도시한다. 도 1b 에 도시된 건설 차량은 프론트 로더이다. 그러나 다른 유틸리티 차량이나 건설 차량에도 동일한 개념을 사용할 수 있다. 예를 들어, 유틸리티 차량은 굴착기, 압축기, 불도저, 그레이더, 크레인, 로더, 트럭, 지게차, 도로 청소차, 트랙터, 콤바인 등중 하나일 수 있다. 예를 들어, 유틸리티 차량은 육상 차량일 수 있다. 그러나, 로봇, 예를 들어, 정지 로봇(예를 들어, 제조 환경에서 사용하기 위한 정지 로봇) 또는 이동할 수 있은 이동 또는 차량 로봇과 같은 다른 장치에도 동일한 개념이 적용될 수 있다. 따라서, 로봇은 장치(10) 및 하나 이상의 카메라(102)를 포함할 수 있다. 위에서 지적한 바와 같이, 유틸리티 차량(100)은 도 1b 에 도시된 프론트 로더의 캐빈(104) 상단에 배열된 하나 이상의 카메라(102)를 포함한다. 유틸리티 차량은 하나 이상의 출력 장치(108)와 같은 하나 이상의 추가 구성 요소를 포함할 수 있다. 예를 들어, 유틸리티 차량은 디스플레이(108a), 캐빈(104)에 배치된 확성기(108b), 및 캐빈(104) 외부에 배치된 확성기(108c) 중 하나 이상을 포함할 수 있다.
일반적으로, 유틸리티 차량(100)의 다양한 양태는 장치(10)에 의해 제어된다. 장치(10)에 의해 제공되는 기능은 또한 도 1c 및/또는 도 1d 와 관련하여 도입된 대응하는 방법과 관련하여 표현될 수 있다. 예를 들어, 하나 이상의 프로세서(14)는 적어도 하나의 인터페이스(12)(정보 교환용) 및/또는 선택적인 하나 이상의 저장 장치(16)(정보 저장용)의 도움으로 도 1c 및/또는 도 1d 의 방법을 수행하도록 구성될 수 있다.
도 1c 및 도 1d 는 유틸리티 차량 (100) 을위한 대응하는 (컴퓨터 구현) 방법의 예들의 흐름도를 도시한다. 방법은 유틸리티 차량의 하나 이상의 카메라로부터 비디오 데이터를 획득하는 단계 (110) 를 포함한다. 방법은 비디오 데이터에 표시된 하나 이상의 사람을 식별하거나 재식별하는 단계 (160) 를 포함한다. 방법은 비디오 데이터에 표시된 하나 이상의 사람의 식별 또는 재식별에 기초하여 유틸리티 차량을 둘러싼 하나 이상의 안전 영역에서 하나 이상의 사람의 위반을 결정하는 단계 (170) 를 더 포함한다. 방법은 하나 이상의 안전 영역에서 하나 이상의 사람의 위반을 나타내는 하나 이상의 신호를 출력 장치에 제공하는 단계 (180) 를 포함한다. 방법은 도 1d 에 도시된 바와 같이 장치(10) 및/또는 유틸리티 차량(100)과 관련하여 도입되는 하나 이상의 추가적인 선택적 특징을 포함할 수 있다.
다음의 설명은 장치(10), 유틸리티 차량(100), 도 1c 및/또는 도 1d 의 대응하는 방법 및 대응하는 컴퓨터 프로그램에 관한 것이다. 장치(10) 및/또는 유틸리티 차량(100)과 관련하여 도입된 특징은 마찬가지로 대응하는 방법 및 컴퓨터 프로그램에 적용될 수 있다.
본 개시내용의 예는 유틸리티 차량의 하나 이상의 카메라에 의해 제공되는 비디오 데이터의 분석에 관한 것이다. 도 2 는 2개의 카메라 (102), 처리 컴포넌트 (200) 및 입력/출력 컴포넌트 (210) 를 포함하는 시스템의 개략도를 도시한다. 예를 들어, 처리 컴포넌트(200) 및/또는 입력/출력 컴포넌트(210)는 예를 들어 입력/출력 컴포넌트(210)를 위한 출력 디바이스(108(a-c))와 조합하여 도 1a 및 도 1b 의 장치(10)에 의해 구현될 수 있다. 도 2 는 비디오 데이터가 하나 이상의 카메라(102)에 의해 생성된 다음 하나 이상의 머신 러닝 모델을 사용하여 구현될 수 있은 심층 네트워크 프로세스를 사용할 수 있은 하나 이상의 알고리즘(200)에 의해 분석되고, 그후 예를 들어, 시각화, 청각 신호, 또는 유틸리티 차량의 양상을 제어하기 위한 제어 신호로서 입력/출력 컴포넌트(210)를 통해 출력되는 제안된 개념의 고수준 추상화를 나타낸다.
따라서, 하나 이상의 프로세서(14)는 (도 1a 및도 1b에 도시된 바와 같은) 차량의 하나 이상의 카메라(102)로부터 비디오 데이터를 획득하도록 구성된다. 일부 경우에, 유틸리티 차량은 단일 카메라, 예를 들어 단일 2D 카메라 또는 단일 깊이 카메라를 포함할 수 있다. 그러나 일부 예에서 차량은 유틸리티 차량을 둘러싸는 복수의 영역을 커버할 수 있은 복수의 카메라(즉, 두개 이상의 카메라)를 포함할 수 있다. 일부 예에서, 복수의 카메라는 유틸리티 차량을 둘러싸는 복수의 비중첩 영역을 커버할 수 있다. 그러나, 일부 예에서, 유틸리티 차량을 둘러싸는 복수의 영역은 부분적으로 겹칠 수 있다. 예를 들어, 비디오 데이터의 분석에서 적어도 관심 영역 또는 영역들은 예를 들어 3차원 포즈 추정을 가능하게 하거나 용이하게 하거고 및/또는 사람이 물체에 의해 가려지는 것을 피하기 위해 둘이상의 카메라에 의해 커버될 수 있다.
일부 예들에서, 비디오 데이터는 2개 이상의 카메라로부터 획득된다. 예를 들어, 2개 이상의 카메라의 비디오 데이터의 시야는 차량 주변에 대한 단일의 통합된 톱-다운 뷰를 형성하기 위해 "언래핑(unwrapping)"될 수 있다. 대안적으로, 카메라로부터 획득된 비디오 데이터는 통합된 뷰그후 처리됨) 에서 "언래핑"되기 보다는 개별적으로 (예를 들어, 머신 러닝 모델을 사용하여) 처리될 수 있다. 예를 들어, 비디오 데이터, 예를 들어, 통합 뷰또는 별개의 뷰들은 나중에 사용하기 위해 기록될 수 있다.
많은 경우 건설 차량과 같은 유틸리티 차량은 키가 큰차량이다. 예를 들어, 트럭, 크레인, 압축기 등은 높이가 3미터(또는 그이상)일 수 있으며 캐빈은 종종 2미터 이상의 높이에 배치된다. 땅위의 이러한 높이는 유틸리티 차량 주변 영역의 개관을 얻는 데사용될 수 있으며, 이는 사람의 폐색을 피하는 데더 도움이 될수 있다. 또한, 높은 배치의 카메라는 유틸리티 차량 근처에 있는 사람(및 물체)의 정확한 배치에 대한 개관을 얻는 것을 용이하게 한다. 따라서, 하나 이상의 카메라는 차량의 상부, 예를 들어 유틸리티 차량의 캐빈(104)의 상부 또는 그위에 배치될 수 있다. 예를 들어, 2~4개(또는 4개 이상, 또는 단개)의 카메라가 높은 위치에 (예를 들어, 유틸리티 차량의 운전자의 캐빈 지붕 상단에) 있는 차량의 각모서리"에 배치될 수 있다. 카메라 1대로 개념을 구현할 수 있지만 건설 현장에서는 카메라의 시야가 가려질 수 있다.
도 3a 및 도 3b 는 유틸리티 차량들 (300; 310) 의 상단에 카메라들 (102) 을 배치하는 예를 보여준다. 도 3a 는 위에서 본차량의 2차원 도면을 도시하며, 카메라(102)는 차량의 "모서리"에 배치된다. 도 3a 에서, 4개의 카메라(102)는 유틸리티 차량(300)의 캐빈(104)의 상부 코너에 배치된다. 도 3b 는 차량의 정면도의 2차원 도면을 도시한다. 도 3b 에서, 카메라(102)는 (사람의 쉬운 개관 및 정확한 포지셔닝을 가능하게 하기 위해) 높은 위치에 배치, 예를 들어, 유틸리티 차량의 캐빈 상부로부터 연장되는 플랫폼(106)에 배열된다. 예를 들어, 수납식 (retractable) 폴이 플랫폼(106)을 형성하기 위해 캐빈(104)의 상부로부터 올려질 수 있다. 예를 들어, 플랫폼(106)은 캐빈(104)의 지붕보다 적어도 1미터 위에 있을 수 있다. 또한, 하나 이상의 카메라는 지상에서 적어도 2미터(또는 적어도 3미터) 높이에 배치될 수 있다. 결과적으로, 비디오 데이터는 위에서 본뷰, 예를 들어 위에서 본 한 명이상의 사람에 대한 뷰, 또는 위에서 본 유틸리티 차량을 둘러싸는 하나 이상의 안전 영역에 대한 뷰를 포함할 수 있다. 함께, 카메라로부터의 뷰들은 유틸리티 차량을 둘러싸는 영역, 예를 들어 하나 이상의 안전 영역을 커버할 수 있다.
본 개시의 다양한 예들에서, 비디오 데이터는 비디오 데이터에서 보여지고 있는 사람 또는 사람들의 포즈를 식별하기 위해 분석된다. 예를 들어, 이 분석은 비디오 데이터를 기반으로 포즈 추정 데이터를 생성하도록 훈련되는 머신 러닝 모델("포즈 추정 머신 러닝 모델"로 더표시됨)의 도움으로 수행될 수 있다. 예를 들어, 포즈 추정 머신 러닝 모델은 비디오 데이터에 대한 포즈 추정을 수행하도록 훈련될 수 있다. 즉, 하나 이상의 프로세서는 포즈 추정 머신 러닝 모델을 사용하여 비디오 데이터에 표시되는 하나 이상의 사람의 포즈 정보를 결정하기 위해 비디오 데이터를 처리하도록 구성될 수 있다. 대응하여, 방법은 포즈 정보를 결정하기 위해 포즈 추정 머신 러닝 모델을 사용하여 비디오 데이터를 처리하는 단계(120)를 포함할 수 있다.
일반적으로 포즈 정보는 비디오 데이터에 나타난 한명 이상의 인물이 취한 (신체) 포즈를 식별한다. 이러한 맥락에서, 사람의 포즈는 한명 이상의 사람의 사지의 상대적 위치 및 각도에 기초하거나 이들에 의해 형성될 수 있다. 예를 들어, 한명 이상의 사람 각각은 복수의 관절 및 복수의 팔다리를 포함하는 소위 포즈 추정 골격으로 표시될 수 있다. 다만, 포즈 추정 골격의 '관절'과 '팔다리'는 추상적인 의미로 사용되며, 반드시 의학에서 사용되는 용어와 동일한 의미는 아니다. 포즈 추정 골격은 그래프일 수 있으며, 관절은 그래프의 정점이고 팔다리는 그래프의 에지이다. 포즈 추정 골격에서 관절은 팔다리로 연결된다. 포즈 추정 골격을 구성하는 데사용되는 팔다리 중일부는 "위팔", 아래팔", 허벅지"(즉, 위다리) 및정강이"(즉, 아래 다리)와 같은 생물학적 대응물에 해당하지만, 포즈 추정 골격은 척추를 나타내는 사지, 어깨 관절을 연결하는 사지, 또는 고관절을 연결하는 사지와 같이 생물학적 의미에서 사지로 간주되지 않는 일부 사지를 포함할 수 있다. 실제로 팔다리는 정점을 연결하는 그래프의 에지와 유사하게 관절을 연결한다. 예를 들어, 팔다리는 각각의 팔다리를 연결하는 관절에서 서로에 대해 회전될 수 있다. 예를 들어, 포즈 추정 머신 러닝 모델은 비디오 데이터에 기초하여 (예를 들어, 그래프로서) 포즈 추정 골격을 출력하도록 훈련될 수 있다.
일부 예들에서, 포즈 추정 머신 러닝 모델은 2 차원 포즈 추정 데이터를 출력하도록 훈련될 수 있다. 다시 말해서, 하나 이상의 사람의 포즈 정보는 하나 이상의 사람의 포즈에 대한 2차원 포즈 추정 데이터에 기초하거나 이를 포함할 수 있다. 이경우, 포즈 추정 데이터는 포즈 추정 골격을 포함할 수 있으며, 여기서 골격의 관절은 2차원 공간, 예를 들어 비디오 데이터의 프레임의 좌표 시스템에 대응하는 좌표 시스템에서 정의된다. 예를 들어, 비디오 데이터는 포즈 추정 머신 러닝 모델에 대한 입력으로 사용될 수 있고, 2차원 포즈 추정 데이터는 포즈 추정 머신 러닝 모델에 의해 출력될 수 있다. DeepPose 또는 HRNet(Human Pose Estimation)을 위한 Deep High-Resolution Representation Learning과 같이 잘알려진 다양한 머신 러닝 모델이 작업에 사용될 수 있다. 이러한 2차원 포즈 추정 데이터는 포즈 정보의 다음 처리에 충분할 수 있다.
그러나 일부 예에서 3차원 포즈 추정 데이터가 사용될 수 있으며, 즉, 한명 이상의 사람의 포즈 정보가 한명 이상의 사람의 포즈에 대한 3차원 포즈 추정 데이터를 포함하거나 이에 기초할 수 있고, 및/또는 포즈 추정 골격의 관절의 위치가 3차원 좌표계에서 정의될 수 있다. 예를 들어, 포즈 추정 머신 러닝 모델은 3 차원 포즈 추정을 수행하도록 훈련될 수 있다. 일부 예에서, 포즈 추정 머신 러닝 모델은 복수의 관찰 각도로부터 한명 이상의 사람을 보여주는 복수의 카메라로부터의 비디오 데이터에 기초하여 3차원 포즈 추정을 수행하도록 훈련될 수 있다. 예를 들어, 복수의 관찰 각도는 공간 영역 주위에 배치된 복수의 카메라에 의해 기록된 바와 같이 공간 영역에서 한명 이상의 사람의 움직임 및 포즈(들)를 보여줄 수 있다. 대안적으로, 포즈 추정 머신 러닝 모델은 단일 카메라의 비디오 데이터를 기반으로 3차원 포즈 추정을 수행하도록 훈련될 수 있다. 이경우 단일 카메라의 비디오 데이터는 예를 들어 단일 카메라의 비디오 데이터만 사용할 수 있은 경우 또는 하나 이상의 추가 카메라의 시야가 차단된 경우 3차원 포즈를 결정하는 데충분할 수 있다.
또는, 2차원 포즈 추정 데이터에 기초하여 3차원 포즈 추정 데이터를 생성할 수도 있다. 하나 이상의 프로세서는 예를 들어 추가 머신 러닝 모델을 사용하거나 상이한 관찰 각도를 기반으로 한포즈 추정 데이터의 다중 시간 동기화 샘플에 대한 삼각 측량을 사용하여 3차원 포즈 추정 데이터를 생성하기 위해 2차원 포즈 추정 데이터를 후처리하도록 구성될 수 있다.
일반적으로, 비디오 데이터는 비디오 데이터의 복수의 프레임들을 포함한다. 일부 예들에서, 포즈 추정 머신 러닝 모델은 비디오 데이터의 복수의 프레임들의 각각의 프레임에 대해 별도로 포즈 추정 데이터를 생성 및출력하도록 훈련될 수도 있다. 대안적으로, 포즈 추정 머신 러닝 모델은, 예를 들어 프레임에 걸쳐 포즈 추정 골격의 관절을 추적함으로써 프레임에 걸쳐 포즈 추정 데이터를 생성하도록 훈련될 수 있다. 이것은 비디오 데이터의 다수의 프레임에 걸친 포즈의 진행을 추적하는 데사용될 수 있다. 결과적으로, 포즈 추정 머신 러닝 모델은 복수의 프레임의 과정에 걸쳐 보여지는 바와 같은 시간 경과에 따른 사람의 포즈의 진행에 대한 정보를 갖는 포즈 추정 데이터를 출력하도록 훈련될 수 있고, 포즈 정보는 비디오 데이터의 복수의 프레임의 과정에 걸쳐 보여지는 바와 같은 시간에 따른 사람의 포즈의 진행에 관한 정보를 포함할 수 있다. 예를 들어, 시간에 따른 사람의 포즈의 진행에 관한 정보는 포즈의 진행의 애니메이션을 포함하거나 그것을 생성하기 위해 사용될 수 있다. 예를 들어, 포즈의 진행에 대한 정보, 예를 들어, 애니메이션은 시간 경과에 따른 사람의 움직임에 대한 포즈한 정보를 제공하기 위해 다른 머신 러닝 모델/딥 네트워크에 의해 추가 처리될 수 있다. 예를 들어, 포즈 정보는 각프레임에 대해 또는 비디오 데이터 프레임의 서브세트에 대해, 2차원 또는 3차원 포즈 추정 데이터를 포함할 수 있다.
경우에 따라 비디오 데이터에 여러 사람이 표시될 수 있다. 이경우, 포즈 추정 머신 러닝 모델은 포즈 추정 데이터를 사람마다 별도로 출력할 수 있다. 예를 들어, 포즈 추정 머신 러닝 모델의 출력은 인식된 사람을 열거하고 인식된 사람별 포즈 추정 데이터를 출력할 수 있다. 따라서, 포즈 추정 머신 러닝 모델은 또한 비디오 데이터에서 볼수 있는 여러 사람을 분리하기 위해 사람 분할을 수행하도록 훈련될 수 있다. 예를 들어, 포즈 추정 머신 러닝 모델은 사람의 위치, 사람의 시각적 외모, 사람의 신체 포즈, 각 사람의 팔다리 길이 또는 사람 재식별을 사용하여 사람을 구별하도록 훈련될 수 있다. 그러나 일부 경우에, 분할은 예를 들어 별도의 머신 러닝 모델에 의해 또는 분할 알고리즘에 의해 포즈 추정 머신 러닝 모델의 출력을 기반으로 별도로 수행될 수 있다. 예를 들어, 하나 이상의 프로세서는 비디오 데이터가 여러 사람을 보여주는 경우 포즈 추정 머신 러닝 모델의 출력에 기초하여 인물의 포즈 추정 데이터를 분할하도록 구성될 수 있다.
본 개시물의 제1 양태에 따르면, 비디오 데이터는 유틸리티 차량을 둘러싸는 하나 이상의 안전 영역에서 하나 이상의 사람의 존재를 검출하는 데사용된다. 예를 들어, 하나 또는 여러 대의 2D 카메라에서 비디오 프레임을 얻을 수 있고, 심층 신경망을 사용하여 비디오 데이터 내에서 인체 부위를 감지할 수 있으며, 사람이 하나 이상의 안전 영역 내에 있는 경우, 즉움직이는 건설 차량에 너무 가까운 경우 경고가 생성될 수 있다.
예를 들어, 하나 이상의 프로세서는 유틸리티 차량을 둘러싼 하나 이상의 안전 영역에 대한 하나 이상의 사람의 위반을 결정하도록 구성될 수 있다. 일반적으로, 하나 이상의 안전 영역은 유틸리티 차량을 둘러싼 하나 이상의 "위험한" 영역일 수 있다. 다시 말해서, 유틸리티 차량이 하나 이상의 안전 영역 내에 존재하는 사람에게 위험을 초래할 수 있기 때문에 하나 이상의 안전 영역은 위반에 대해 확인될 수 있다. 예를 들어, 하나 이상의 안전 영역은 유틸리티 차량이 (바퀴를 사용하여) 이동하는 경우 또는 유틸리티 차량의 컴포넌트가 이동하는 경우(예를 들어, 굴삭기의 플랫폼이 굴삭기의 프레임에 대해 회전하는 경우, 또는 굴삭기의 삽이 움직이는 경우) 잠재적으로 위험할 수 있다. 따라서, 유틸리티 차량을 둘러싸는 하나 이상의 안전 영역은 유틸리티 차량의 잠재적인 움직임으로 인해 위험할 수 있다.
일부 예에서, 하나 이상의 안전 영역의 위치는 정적인 크기일 수 있고 유틸리티 차량에 대한 정적인 위치에 있을 수 있다. 그러나, 일부 예들에서는, 하나 이상의 안전 영역이 변경될 수 있다. 예를 들어, 하나 이상의 안전 영역은 예를 들어 (도 1b에 도시된 바와 같이) 유틸리티 차량의 터치 스크린 디스플레이(108a)를 통해 유틸리티 차량의 운전자에 의해 정의될 수 있다. 유틸리티 차량의 운전자는 유틸리티 차량의 잠재적인 움직임을 인식하고 그에 따라 하나 이상의 안전 영역을 조정할 수 있다. 대안으로 또는 추가로, 하나 이상의 안전 영역이 자동으로 조정될 수 있다. 예를 들어, 하나 이상의 프로세서는 하나 이상의 안전 영역의 범위(즉, 유틸리티 차량에 대한 크기 및위치)를 자동으로 조정하도록 구성될 수 있다. 위에서 언급한 바와 같이, 안전 영역은 유틸리티 차량의 적어도 컴포넌트의 잠재적인 움직임으로 인한, 유틸리티 차량 주변의 위험 영역을 커버하도록 설계된다. 따라서, 하나 이상의 프로세서는 유틸리티 차량의 미래 경로를 결정하고 유틸리티 차량의 미래 경로에 기초하여 하나 이상의 안전 영역의 범위를 결정하도록 구성될 수 있다. 예를 들어, 하나 이상의 프로세서는 현재 모션 및유틸리티 차량의 조향 각도에 기초하여, 또는 후방 카메라 시스템의 경로 예측에 기초하여 유틸리티 차량의 미래 경로를 결정하도록 구성될 수 있다. 예를 들어, 하나 이상의 안전 영역의 범위는 예를 들어 시속 5킬로미터로 5초 동안 예측된 미래 경로를 운전함으로써 유틸리티 차량이 몇초 이내에 잠재적으로 도달할 수 있은 유틸리티 차량 주변의 영역을 커버할 수 있다.
본 개시의 맥락에서, "안전 영역"이라는 용어는 차량을 둘러싸는 물리적 위치를 지정할 수 있다. 그러나, "안전 영역"은 또한 비디오 데이터에서 보여지는 시야(또는 시야들)의 적어도 일부를 지정할 수도 있다. 예를 들어, 유틸리티 차량을 둘러싼 하나 이상의 안전 영역은 비디오 데이터에 표시된 시야(들)의 하나 이상의 부분에 표시될 수 있다. 비디오 데이터가 위로부터 하나 이상의 안전 영역을 표시하는 경우, 비디오 데이터에 표시된 사람과 하나 이상의 안전 영역 사이의 교차는 사람이 안전 영역 내에 있음을 나타낼 수 있다. 카메라가 더 높게 배치될수록 비디오 데이터에서 하나 이상의 안전 영역과 교차하는 사람과 하나 이상의 안전 영역의 물리적 위치에서 하나 이상의 안전 영역에 들어가는 사람 간의 매치가 더 양호하다.
도 4a 내지 도 4c 에, 개념의 시각화가 도시되어 있다. 도 4a 내지 도 4c 는 유틸리티 차량 주변의 안전 영역 (400) 에서 감지된 사람 (410) 을 시각화한 예를 도시한다. 도 4a 내지 도 4c 에서, 복수(이 경우 2개) 카메라의 비디오 데이터로부터 이미지가 구성되는 전술한 "통합 뷰"가 사용된다. 비디오 데이터의 통합된 뷰에서, (예를 들어, 기본 모양으로 다이아몬드 모양을 사용하여 중앙에 집중될 수 있은) 하나 이상의 안전 영역을 나타내는 사용자 정의 영역(400)은 사람이 허용되지 않을 수 있은 위험 영역을 정의할 수 있다. 도 4a 에서, 다각형(비사각형) 경계 상자로 윤곽선이 표시된 사람은 다이아몬드 모양(400)을 형성하는 두개의 안전 영역의 윤곽선을 향해 걸어가는 것으로 표시된다. 도 4a 에서, 사람은 안전 영역 밖에 있고, 따라서 사람의 다각형 경계 영역은 제1 색상(예를 들어, 녹색)으로 표시될 수 있다. 도 4b 에서, 사람(410)은 안전 영역 내부에 있다 (사람(410)의 발이 안전 영역(400) 내부에 도시되어 있다). 이경우 다각형 경계 영역은 두번째 색상(예를 들어, 빨간색)으로 표시될 수 있다. 도 4c 에서 사람은 시야를 벗어났다.
다양한 예들에서, 안전 영역들의 상이한 수준들이 사용될 수도 있다. 예를 들어, 하나 이상의 안전 영역은 안전 영역이 얼마나 위험한지, 그리고 안전 영역 내에서 어떤 유형의 사람 또는 어떤 종류의 행동이 허용되는지에 따라 다를 수 있다. 예를 들어, 위험 수준이 증가하는 여러 안전 영역을 정의할 수 있으며 위반 발생 시 강도가 증가하는 경고 신호를 제공할 수 있다.
하나 이상의 안전 영역에 대한 하나 이상의 사람의 위반은 비디오 데이터를 기반으로 결정된다. 예를 들어, 간단한 예에서, 사람 감지를 위해 훈련된 머신 러닝 모델은 비디오 데이터에 표시된 사람 주위에 직사각형 경계 상자를 생성하거나 비디오 데이터에 표시된 사람의 좌표를 출력하는 데사용될 수 있다. 직사각형 경계 상자 또는 좌표가 비디오 데이터에 표시된 하나 이상의 안전 영역과 교차하는 경우, 하나 이상의 안전 영역에 대한 하나 이상의 사람의 위반이 감지될 수 있다.
도 1a 및 도 2 에 도시된 것과 같이, 도 4a 및 도 4b 에 도시된 바와 같이, 단순한 인간 검출(좌표점 또는 경계 상자) 대신 보다 상세한 신체 포즈가 검출될 수 있다. 즉, 신체 포즈 분석이 수행될 수 있다. 이것은 하나 이상의 안전 영역과 관련하여 보다 정확한 감지를 수행하는 것을 가능하게 한다. 예를 들어, 포즈 정보, 및특히 포즈 추정 데이터는 하나 이상의 안전 영역에 대한 하나 이상의 사람의 위반을 결정하는 데사용될 수 있다. 즉, 하나 이상의 프로세서는 비디오 데이터에 표시된 하나 이상의 사람의 포즈 정보에 기초하여 하나 이상의 안전 영역에 대한 하나 이상의 사람의 위반을 결정하도록 구성될 수 있다. 예를 들어, 각인물 외에 방대한 양의 빈공간을 포함하는 직사각형 경계 상자를 사용하는 대신, 포즈 추정 머신 러닝 모델에 의해 생성된 포즈 추정 데이터의 관절(및 팔다리) 위치를 기반으로 경계 상자를 다시 그릴 수 있다. 예를 들어, 하나 이상의 프로세서는 하나 이상의 사람의 포즈에 기초하여 하나 이상의 사람 주위에 하나 이상의 다각형 경계 영역을 생성하도록 구성될 수 있다. 예를 들어, 하나 이상의 다각형 경계 영역은 직사각형이 아닐 수 있지만(또는 적어도 직사각형일 필요는 없음) 경계 상자에 의해 윤곽이 표시된 각사람을 나타내는 포즈 추정 골격의 팔다리와 관절을 따른다. 예를 들어, 도 4a 및 도 4b 에 도시된 바와 같이, 팔다리의 볼록 껍질(즉, 가장 작은 둘러싸는 볼록 다각형)은 하나 이상의 다각형 경계 영역을 생성하는 데사용될 수 있다. 하나 이상의 프로세서는 생성된 하나 이상의 다각형 경계 영역에 기초하여 하나 이상의 안전 영역에 대한 하나 이상의 사람의 포즈의 위반을 결정하도록 구성될 수 있다. 예를 들어, 다각형 경계 영역이 비디오 데이터에 표시된 하나 이상의 안전 영역과 교차하는 경우, 하나 이상의 안전 영역에 대한 하나 이상의 사람의 위반이 감지될 수 있다.
대안적으로 또는 추가적으로, 한명 이상의 사람의 발은 각각의 포즈 추정 골격 및/또는 골격들에 기초하여 식별될 수 있고, 한명 이상의 사람의 발이 비디오 데이터에 표시된 하나 이상의 안전 영역과 교차하는 경우 위반이 결정될 수 있다. 즉, 하나 이상의 프로세서는 비디오 데이터에 표시된 하나 이상의 안전 영역과 하나 이상의 사람의 하나 이상의 포즈 추정 골격의 발의 교차에 기초하여 하나 이상의 안전 영역에 대한 하나 이상의 사람의 포즈의 위반을 결정하도록 구성될 수 있다.
일부 예에서, 한명 이상의 사람이 취한 정적 포즈 또는 포즈들만 고려될 수 있은 것은 아니다. 비디오 데이터가 분석됨에 따라, 한명 이상의 사람의 포즈 또는 포즈들이 비디오 데이터의 다중 프레임에 걸쳐 추적될 수 있고, 한명 이상의 사람의 포즈의 진행이 결정될 수 있다. 포즈의 이러한 진행은 한명 이상의 사람의 거동을 추론하는 데사용될 수 있다. 예를 들어, 단일 프레임에 표시되는 포즈를 기반으로 하나 이상의 안전 영역에 대한 위반을 결정하는 대신, 거동을 분석하여 예를 들어 위반이 (각각의 사람이 하나 이상의 안전 영역에서 막나가는 것과 같이) 단지 일시적인지, 또는 하나 이상의 안전 영역의 위험 특성이 각사람이 주의를 기울이는지 여부에 따라 달라질 수 있기 때문에 위반이 조금이라도 존재하는지 여부를 결정할 수 있다. 딥 네트워크와 같은 이미지 기반 머신 러닝 알고리즘을 사용하여 신체 부위를 식별함으로써 이미지에서 보이는 사람에 대한 거동 정보를 추출할 수 있다. 추가 이미지 인식을 사용하면 추가의 정확성을 위해, 예를 들어, 가만히 누워 있는 사람과 도망치는 사람을 구별하기 위해 사람의 거동을 추론하는 것이 가능하다.
예를 들어, 하나 이상의 프로세서는 하나 이상의 사람의 포즈의 진행에 기초하여 하나 이상의 안전 영역에 대한 하나 이상의 사람의 경로를 추정하도록 구성될 수 있다. 예를 들어, 각 인물이 취한 포즈는 (예를 들어, 사람의 시선에 기초하는) 사람의 배향을 나타낼 수 있고, 포즈의 진행은 사람이 (조금이라도) 걷고 있는지 여부를 표시할 수 있다. 배향에 기초하여 그리고 사람이 걷고 있는지 여부에 기초하여, 각사람의 경로가 추정될 수 있다. 하나 이상의 프로세서는 하나 이상의 사람의 추정된 경로에 기초하여 하나 이상의 안전 영역에 대한 위반을 결정하도록 구성될 수 있다. 예를 들어, 사람의 추정된 경로가 그 사람이 하나 이상의 안전 구역을 (예를 들어, 다음 1~2초 내에) 떠나려고 하는 것으로 표시하면, 위반이 무시될 수 있다. 사람의 추정된 경로가 그 사람이 하나 이상의 안전 영역에 남아 있을 가능성이 있음을 나타내는 경우 하나 이상의 안전 영역이 위반된 것으로 간주될 수 있다.
추가로, 또는 대안적으로, 한명 이상의 사람들의 주의력과 관련하여 한명 이상의 사람들의 거동이 분석될 수 있다. 예를 들어, 하나 이상의 프로세서는 시간의 경과에 따른 하나 이상의 사람의 포즈의 진행에 기초하여 하나 이상의 사람의 예측된 거동에 대한 정보를 결정하도록 구성될 수 있다. 따라서, 방법은 시간에 따른 한명 이상의 사람의 포즈의 진행에 기초하여 한명 이상의 사람의 예측된 거동에 대한 정보를 결정하는 단계(140)를 포함할 수 있다. 예를 들어, 하나 이상의 안전 구역에 대한 하나 이상의 사람의 위반은 하나 이상의 사람의 예측된 거동에 기초하여 결정될 수 있다. 한명 이상의 사람의 신체 포즈 또는 움직임 분석을 사용하여, (예를 들어, 시선 방향을 분석함으로써) 예를 들어, 주의를 기울이지 않는 사람, 또는 안전하지 않은 활동에 참여하는 사람, 또는 앉거나 눕거나 또는 이와 유사한 원치 않는 거동을 보이는 사람을 식별할 수 있다. 예를 들어, 하나 이상의 프로세서는 시간의 경과에 따른 하나 이상의 사람의 포즈의 진행에 기초하여 하나 이상의 사람의 주의를 기울이지 않거나 안전하지 않은 거동을 결정하도록 구성될 수 있다. 예를 들어, 하나 이상의 프로세서는 한명 이상의 사람의 포즈 및/또는 한명 이상의 사람의 포즈의 진행을 식사하기, 전화 걸기, 모바일 장치 보기, 유틸리티 차량에서 멀리 바라보기, 안전 구역에 앉기, 흡연 등과 같은 부주의하거나 안전하지 않은 거동과 관련된 복수의 포즈와 비교하도록 구성될 수 있습니다. 하나 이상의 프로세서는 결정된 부주의하거나 안전하지 않은 거동에 기초하여 하나 이상의 안전 영역들의 위반을 결정하도록 구성될 수 있다. 예를 들어, 부주의하거나 안전하지 않은 행동을 보이는 사람은 하나 이상의 안전 영역을 위반한 것으로 간주될 수 있다.
추가 이미지 인식을 사용하면 정책 시행을 위한 추가 기능을 유추할 수도 있니다. 제안된 개념의 다양한 예에서는 한명 이상의 사람 외에도 장면에서 객체를 동시에 식별할 수 있다. 예를 들어, (예를 들어, 분류 머신 러닝 모델을 사용하는) 이미지 인식 및분류는 비디오 데이터에 표시된 객체, 예를 들어, 한명 이상의 사람이 처리하는 과정에서 자유롭게 배치된 장애물 또는 객체를 식별하는 데사용될 수 있다. 하나 이상의 프로세서는 추가 머신 러닝 모델("객체 감지 머신 러닝 모델"로 더표시됨)을 사용하여 하나 이상의 사람이 복수의 미리 정의된 물품 중적어도 하나를 휴대하는지 여부를 감지하도록 구성될 수 있다. 방법은 한명 이상의 사람이 복수의 미리 정의된 물품 중적어도 하나를 휴대하는지 여부를 검출하는 단계를 포함할 수 있다. 예를 들어, 비디오 데이터는 안전 헬멧, 눈에 잘띄는 안전 조끼, 휴대폰, 삽또는 기타 장비 등을 감지하기 위해 분석될 수 있다. 이기능은 건설 현장의 정책 시행에 사용될 수 있다. 예를 들어, 건설 현장에서는 안전모/헬멧, 강철 발가락 장화, 안전 조끼 등의 사용이 의무적일 수 있다. 특히, 앞서 설명한 신체 부위 식별과 함께 객체 감지 머신 러닝 모델, 예를 들어 딥 네트워크를 사용하여 이미지를 추가로 분석하여 사람들이 건설 현장에서 필요한 안전 장비, 예를 들어 안전모 및가시성이 높은 조끼를 착용하고 있는지 여부를 감지할 수 있다. 사람이 휴대전화와 같은 금지된 물품을 사용하기, 음식물 섭취, 음주 등을 하고 있는지 여부도 감지할 수 있다. 따라서, 복수의 미리 정의된 품목은 안전 헬멧(즉, "안전모"), 안전 조끼 또는 강철 발가락 부츠와 같은 안전 의류의 하나 이상의 품목 및/또는 휴대 전화, 담배, 개인 배낭 등과 같은 금지된 하나 이상의 품목을 포함할 수 있다. 하나 이상의 프로세서는 한명 이상의 사람이 적어도 하나의 품목을 가지고 다니는지 여부에 더기초하여 하나 이상의 안전 영역에 대한 하나 이상의 사람의 위반을 결정하도록 구성될 수 있다. 예를 들어, 한명 이상의 사람 중한 사람이 안전복의 필수 항목 중하나 이상을 갖추지 않은 경우, 예를 들어 안전모, 안전 조끼 또는 강철 발가락 부츠를 착용하지 않으면 하나 이상의 안전 영역을 위반한 것으로 간주될 수 있다. 사람이 안전복의 필수 항목을 모두 착용하고 있는 경우 하나 이상의 안전 영역에 대한 그 사람의 위반은 무시될 수 있다. 마찬가지로, 한명 이상의 사람 중한 사람이 금지 품목을 소지한 것으로 밝혀지면 해당 사람이 다른 방식으로 주의를 기울이고 및/또는 안전복의 필수 항목을 갖추고 있더라도, 그 사람은 하나 이상의 안전 영역을 위반한 것으로 간주될 수 있다.
다양한 예에서, 제안된 개념은 비디오 데이터에 표시된 한명 이상의 사람을 식별하거나 재식별하는 데사용되는 하위 컴포넌트와 함께 사용된다. 이것은 비디오 데이터에서의 사람의 특별히 할당된 역할과 일치하도록 안전 시스템의 거동을 변경할 수 있다. 예를 들어, 유틸리티 차량의 감독이나 운전자는 안전 구역 내부에 들어갈 수 있지만 미숙련 노동자는 그렇지 않을 수 있다. 예를 들어, 유틸리티 차량의 운전자가 유틸리티 차량 외부의 특수 "마샬러" 역할을 하는 경우 운전자는 하나 이상의 안전 영역의 하위 영역 내부에 배치되도록 허용될 수 있다. 사람의 식별 또는 재식별은 얼굴 인식 또는 re-id, QR(Quick Response) 코드 또는 이와 유사한 것과 같은 이미지 기반 기술 또는 무선 비콘( 예를 들어, 블루투스 비콘) 또는 능동 시각적 비콘(예를 들어, 적외선 송신기/수신기) 와 같은 다른 유형의 비이미지 기반 식별 기술을 사용할 수 있다. 따라서 하나 이상의 프로세서는 비디오 데이터에 표시된 한명 이상의 사람을 식별하거나 재식별하고, 비디오에 표시된 한명 이상의 사람의 식별 또는 재식별을 기반으로 하나 이상의 안전 영역에 대한 한명 이상의 위반을 결정도록 구성된다. 즉, 위반 여부는 개인의 신원에 기초할 수 있다. 위반의 결정은 각개인의 신원에 따라 이루어질 수 있다. 예를 들어, 두사람이 하나 이상의 안전 영역에 나란히 서있는 경우 한사람은 하나 이상의 안전 영역을 위반하고 다른 사람은 위반하지 않을 수 있다.
한 명이상의 사람을 식별하거나 재식별할 수 있은 다양한 개념이 있다. 예를 들어, 하나 이상의 프로세서는 비디오 데이터에 대한 얼굴 인식을 사용하여 하나 이상의 사람을 식별하도록 구성될 수 있다. 예를 들어, 머신 러닝 모델("안면 인식 머신 러닝 모델"로 더표시됨)은 안면 인식의 다양한 측면을 수행하도록 훈련될 수 있다. 예를 들어, 얼굴 인식 머신 러닝 모델은 비디오 데이터에서 얼굴 검출을 수행하고 검출된 얼굴(들)의 특징을 추출하도록 훈련될 수 있다. 하나 이상의 프로세서는 검출된 얼굴(들)의 추출된 특징을 얼굴 인식 데이터베이스에 저장된 특징과 비교하도록 구성될 수 있다. 예를 들어, 하나 이상의 안전 영역에서 허용되는 사람의 특징은 얼굴 인식 데이터베이스 내에 저장될 수 있습니다. 선택적으로, 하나 이상의 안전 영역에서 명시적으로 허용되지 않는 사람의 특징이 또한 얼굴 인식 데이터베이스 내에 저장될 수 있다. 하나 이상의 안전 영역 중하나에 서있는 사람이 얼굴 인식 데이터베이스에서 발견되고 그 사람이 하나 이상의 안전 영역에 허용된 경우 하나 이상의 안전 영역 위반이 발견되지 않을 수 있다(즉, 위반은 무시될 수 있다). 하나 이상의 안전 영역 중하나에 서있는 사람이 얼굴 인식 데이터베이스에서 발견되고 그 사람이 하나 이상의 안전 영역에 명시적으로 허용되지 않거나 얼굴 인식 데이터베이스에서 그 사람이 발견되지 않는 경우, 위반이 결정될 수 있다.
대안으로(또는 추가적으로), 사람 재식별이 사용될 수 있다. 즉, 하나 이상의 프로세서는 사람 재식별을 위해 훈련된 머신 러닝 모델 ("사람 재식별 머신 러닝 모델" 로표시됨) 을 사용하여 하나 이상의 사람을 재식별하도록 구성될 수 있다. 시각적인 사람 재식별 시스템은 (보통 안면 특징으로부터의) 사람의 절대적 신원을 확립하기 위한 식별 시스템과 대조적으로 외모만으로 사람을 구별하거나 재식별하는 것을 목적으로 한다. 여기서, 사람 재식별이라는 용어는 사람이 재식별됨, 즉이전에 기록된 사람을 다시 기록하여 이전 기록과 일치시키는 것을 나타낸다.
다양한 예들에서, 재식별은 비디오 데이터와 같은 시각적 데이터로부터 생성되는 소위 재식별 코드에 기초한다. 사람의 재식별코드는 그 사람을 대표하는 것으로 사람의 상이한 이미지들에 대해 유사해야 한다. 사람의 재식별 코드는 사람들의 다른 재식별 코드들과 비교될 수 있다. 제 1 재식별코드와 제 2 재식별코드가 일치하는 경우(즉, 재식별코드의 차이가 임계치 미만인 경우), 제 1 및 제 2 재식별코드는 동일인을 나타내는 것으로 간주될 수 있다. 재식별을 수행하기 위해, 재식별코드를 생성하는 컴포넌트와 이러한 재식별코드를 평가하는 컴포넌트의 두가지 컴포넌트를 사용하여 실제 재식별을 수행한다. 일부 예들에서, 위에서 언급된 얼굴 인식은 사람 재식별을 사용하여 구현될 수 있다. 예를 들어, 특징 추출은 얼굴 인식 데이터베이스에 저장된 다른 재식별 코드와 비교할 수 있은 재식별 코드를 생성함으로써 수행될 수 있다.
사람의 이미지에 기초하여 재식별 코드를 생성하고, 생성된 코드를 하나 이상의 저장 장치에 저장함으로써 재식별 시스템에 사람을 추가할 수 있다. 사람 재식별 머신 러닝 모델은 비디오 데이터에 표시된 각사람에 대해 대응하는 재식별 코드를 출력하도록 훈련될 수 있다. 하나 이상의 프로세서는 재식별 머신 러닝 모델을 사용하여 비디오 데이터에 표시된 하나 이상의 사람의 하나 이상의 재식별 코드를 생성하고 저장된 재식별 코드 또는 코드들을 한명 이상의 사람의 하나 이상의 재식별 코드와 비교하도록 구성될 수 있다. 일치가 발견되면 비디오 데이터에 표시된 사람을 재식별할 수 있다. 사람이 하나 이상의 안전 영역에서 허용되는 것으로 알려져 있는지 또는 하나 이상의 안전 영역에서 명시적으로 허용되지 않는 것으로 알려져 있는지 여부에 따라 위반이 결정될 수 있습니다(또는 그렇지 않을 수 있음). 비디오 데이터에 나타난 사람을 재식별할 수없고, 그 사람이 안전구역 내에서 발견된 경우에는 위반이 결정될 수 있다.
대안으로서 또는 안면 인식 및/또는 재식별에 추가하여 2차 식별자를 사용하여 한명 이상의 사람을 식별할 수 있다. 예를 들어, (예를 들어, 안면 인식 대신) 개인의 안전 헬멧에 특수 마커를 배치할 수 있다. 마커의 도움으로 한명 이상의 사람이 장면에서 고유하게 식별될 수 있다. 이러한 마커를 사용하여 특별 지정 도우미 또는 이와 유사한 사람이 하나 이상의 안전 영역 중일부에 존재하도록 허용할 수 있다.
다음에서는 두가지 일반적인 유형의 보조 식별자인 수동적 시각적 식별자와 능동 비콘을 소개한다. 예를 들어, 하나 이상의 프로세서는 비디오 데이터에서의 하나 이상의 사람들에 의해 휴대되는 (수동적) 시각적 식별자를 검출함으로써 하나 이상의 사람을 식별하도록 구성될 수 있다. 예를 들어, 시각적 식별자는 한명 이상의 사람의 조끼 또는 헬멧에 배치되거나 한명 이상의 배지의 일부로 착용될 수 있다. 예를 들어, 수동 시각적 식별자는 QR(Quick Response) 또는 기타 2차원 시각적 코드와 같은 컴퓨터 판독 가능 코드를 표시할 수 있다. 하나 이상의 프로세서는 비디오 데이터에서 시각적 식별자를 검출하고, 검출된 시각적 식별자에 기초하여 하나 이상의 사람을 식별하도록 구성될 수 있다. 예를 들어, 사람의 신원 및/또는 허가는 그 사람의 시각적 식별자로 인코딩될 수 있다. 대안적으로, 시각적 식별자는 (하나 이상의 프로세서에 의해) 데이터베이스에서 조회될 수 있은 코드를 생성할 수 있다.
대안적으로 또는 추가적으로, 능동 비콘들이 한명 이상의 사람을 식별하는데 사용될 수 있다. 예를 들어, 하나 이상의 프로세서는 하나 이상의 사람에 의해 운반되는 능동 무선 비콘 (예를 들어, 블루투스 비콘) 또는 능동 시각적 비콘 (예를 들어, 능동 적외선 송신기) 과같은 능동 비콘을 검출함으로써 하나 이상의 개인을 식별하도록 구성될 수 있다. 예를 들어, 하나 이상의 프로세서는 비디오 데이터에서 능동 시각적 비콘의 방출을 감지하거나 능동 시각적 비콘을 감지하기 위해 적외선 센서와 같은 시각적 센서를 사용하도록 구성될 수 있다. 유사하게, 하나 이상의 프로세서는 능동 무선 비콘의 송신을 검출하기 위해 적어도 하나의 인터페이스를 통해 연결될 수 있은 무선 수신기를 사용하도록 구성될 수 있다. 예를 들어, 사람의 신원 및/또는 허가는 능동 비콘, 예를 들어 능동 시각적 비콘 또는 능동 무선 비콘에 의해 전송된 코드로 인코딩될 수 있거나 능동 비콘의 전송은 (하나 이상의 프로세서에 의해) 데이터베이스에서 조회될 수 있는 블루투스 비콘의 경우 미디어 액세스 제어 코드와 같은 코드를 생성할 수 있다.
여러 예들에서, 하나 이상의 프로세서들은 예를 들어 적어도 하나의 인터페이스를 통해 출력 디바이스로 하나 이상의 안전 영역들에 대한 하나 이상의 사람들의 위반을 나타내는 적어도 하나의 신호를 제공하도록 구성된다. 예를 들어, 도 1b 와 관련하여 약술된 바와 같이, 출력 디바이스는 디스플레이 (108a), 캐빈에서 소리를 출력하기 위한 라우드스피커 (108b), 또는 유틸리티 차량 외부에서 소리를 출력하기 위한 라우드스피커 (108c) 일 수 있다. 상응하여, 하나 이상의 안전 영역들에 대한 하나 이상의 사람들의 위반을 나타내는 적어도 하나의 신호는 디스플레이 신호 및/또는 오디오 신호를 포함할 수 있다. 대안적으로, 출력 디바이스는 무선 연결을 통해 유틸리티 차량과 커플링될 수 있는 모바일 디바이스 (20) 일 수 있다. 이 경우, 오디오 신호 및/또는 디스플레이 신호가 마찬가지로 사용될 수 있다.
예를 들어, 도 4a 및 도 4b 과 관련하여 도시된 바와 같이, 하나 이상의 안전 영역들에 대한 하나 이상의 사람들의 위반을 나타내는 적어도 하나의 신호는 하나 이상의 안전 영역들에 대한 하나 이상의 사람들의 시각적 표현을 포함하는 디스플레이 신호를 포함할 수 있다. 도 4a 및 도 4b 에 도시된 바와 같이, 하나 이상의 안전 영역들의 윤곽 (400) 및 검출된 하나 이상의 사람들의 윤곽 (410) 은 하나 이상의 안전 영역들에 대한 하나 이상의 사람들의 시각적 표현의 부분으로서 도시될 수 있다.
예를 들어, 하나 이상의 카메라들 각각에 대한 통합된 뷰로서 또는 별개로 비디오 데이터는 운전자를 위해 시각화될 수 있거나 시각화되지 않을 수도 있다. 이에 따라, 그 윤곽들은 시각적 표현의 비디오 데이터 위에 오버레이될 수 있거나, 하나 이상의 사람들 및 하나 이상의 안전 영역들의 추상적 표현이 도시될 수도 있다. 도 4a 내지 도 4c 와 관련하여 설명된 바와 같이, 하나 이상의 프로세서들은 위반이 결정되는지 여부에 관계없이 디스플레이 신호를 생성하도록 구성될 수 있으며, 하나 이상의 안전 영역들을 위반하는 사람은 디스플레이 신호 내의 하나 이상의 안전 영역들을 위반하지 않는 사람 (도 4a 와 관련하여 참조되는 바와 같은 녹색) 과는 상이한 컬러 (예를 들어, 도 4b 와 관련하여 참조되는 바와 같은 적색) 로 강조된다. 디스플레이 신호는 유틸리티 차량의 디스플레이, 예를 들어 디스플레이 (108a), 또는 유틸리티 차량의 사용자의 디스플레이, 예를 들어 모바일 디바이스 (20) 의 디스플레이에 제공될 수 있다.
추가적으로 또는 대안적으로, 오디오 경고 신호가 유틸리티 차량의 운전자 및/또는 하나 이상의 사람들에게 제공될 수 있다. 예를 들어, 하나 이상의 안전 영역들에 대한 하나 이상의 사람들의 위반을 나타내는 적어도 하나의 신호는 오디오 경고 신호를 포함할 수 있다. 예를 들어, 오디오 신호는 유틸리티 차량의 캐빈 (104) 내에 위치된 라우드스피커 (108b), 유틸리티 차량 외부의 하나 이상의 사람들에게 경고하기에 적합한 라우드스피커 (108c), 또는 (도 1b 에 도시된 바와 같은) 모바일 디바이스 (20) 의 라우드스피커에 제공될 수도 있다.
일부 예들에서, 하나 이상의 프로세서들은 예를 들어 임박한 위험의 경우에 "자동 제동" 또는 자동 셧다운을 가능하게 하기 위해 차량에 기초하여 차량을 제어하도록 구성될 수 있다. 즉, 하나 이상의 프로세서들은 위반이 감지되면 유틸리티 차량의 진행을 정지시키도록 구성될 수 있다.
이전에 도입된 예들에서, 포즈 추정은 주로 안전 영역에 대한 사람의 위반을 결정하기 위해 사용된다. 본 개시의 제 2 양태에 따르면, 포즈 추정 기능은 예를 들어 하나 이상의 안전 영역들에 대한 위반의 검출에 더하여 유틸리티 차량을 제어하기 위해 사용될 수도 있다. 예를 들어, 특정의 신체 포즈는 차량의 거동을 제어하기 위해 차량 외부의 사람에 의해 사용될 수 있다. 이에 따라, 하나 이상의 프로세서들은 사람의 포즈 정보에 기초하여 적어도 하나의 미리 정의된 포즈를 검출하고, 그 검출된 적어도 하나의 미리 정의된 포즈에 기초하여 유틸리티 차량을 제어하도록 구성될 수 있다. 이 경우, 유틸리티 차량의 운전자는 유틸리티 차량의 외부에 서있을 수 있고 외부로부터 유틸리티 차량을 제어할 수 있다.
예를 들어, 항공기 마샬러 (marshaller) 가 활주로에서 사용하는 시스템과 유사한 신호들의 시스템이 적응될 수도 있다. 이 경우, 유틸리티 차량의 운전자는 유틸리티 차량의 "마샬러" 일 수 있다. 마샬러로서, 운전자는 유틸리티 차량의 하나 이상의 안전 영역들 내부에 허용될 수 있다. 하나 이상의 안전 영역들에 대한 운전자의 위반은 따라서 무시될 수 있다 (즉, 위반이 검출되지 않을 수 있다). 그러나, 유틸리티 차량이 인가된 직원에 의해서만 제어되는 것을 보장하는 것이 신중할 것이다.
여러 예들에서, 유틸리티 차량의 제어는 예를 들어 유틸리티 차량의 잘못된 또는 악의적인 탈취를 피하기 위해 제한될 수 있다. 따라서, 제안된 개념은 유틸리티 차량의 제어에 대해 사람의 인가를 결정하는 컴포넌트를 포함할 수 있다. 예를 들어, 유틸리티 차량의 제어의 임무를 맡은 사람은 임의의 명령을 수행하도록 유틸리티 차량에 지시하도록 인가될 수 있는 반면, 다른 사람들은 어떠한 인가도 갖지 않거나 유틸리티 차량에게 이동하도록 지시하는 것이 아니라 유틸리티 차량 (또는 유틸리티 차량의 엔진) 을 정지시킬 인가만을 가질 수도 있다. 즉, 하나 이상의 프로세서들은 사람의 인가의 레벨을 결정하고, 사람이 유틸리티 차량을 제어할 충분한 인가를 가지면 유틸리티 차량을 제어하도록 구성될 수 있다. 예를 들어, 인가의 레벨에 기초하여, 하나 이상의 프로세서들은 일부 명령들을 발행할 수 있지만, 다른 명령들은 차단될 수 있다. 즉, 인가의 상이한 레벨들은 상이한 명령들이 발행되는 것을 허용할 수 있다.
유틸리티 차량의 제어를 제한하기 위해, 2 가지 일반적인 접근법들이 선택될 수 있다. 하나, 비디오 데이터에 표시된 사람은 식별되거나 재식별될 수 있고, 유틸리티 차량은 식별되거나 재식별되는 사람이 예를 들어 유틸리티 차량의 운전자 또는 "마샬러" 로서 등록되어 있기 때문에 유틸리티 차량을 제어하도록 인가되는 경우 제어될 수 있다. 이에 따라, 하나 이상의 프로세서들은 사람을 식별하거나 재식별하고, 예를 들어 사람이 유틸리티 차량을 제어하도록 인가되는 것으로 식별 또는 재식별되는 경우 사람의 식별 또는 재식별에 기초하여 유틸리티 차량을 제어하도록 구성될 수 있다. 예를 들어, 하나 이상의 프로세서들은 사람의 신원 또는 재식별에 기초하여 사람의 인가의 레벨을 결정하도록 구성될 수 있다. 예를 들어, 하나 이상의 프로세서들은 예를 들어 사람의 신원 또는 재식별에 기초하여 데이터베이스 내의 사람의 인가의 레벨을 참조하도록 구성될 수 있다.
둘, 사람은 차량을 제어하도록 인가받은 사람들에 배타적인 특별한 장비를 지닐 수 있다. 예를 들어, 상술한 것과 유사하게, 하나 이상의 프로세서들은 사람이 (핸드-헬드) 시그널링 비콘 및/또는 안전 조끼와 같은 미리 정의된 물품을 지니고 있는지 여부를 검출하고, 사람이 미리 정의된 물품을 지니고 있는 경우(만) 유틸리티 차량을 제어하도록 구성될 수 있다. 예를 들어, 하나 또는 두 개의 (핸드헬드) 안전 비콘들을 지니는 사람들만 유틸리티 차량을 제어하도록 인가될 수도 있다. 상술한 바와 같이, 시그널링 비콘은 소지자가 유틸리티 차량 (예를 들어, 유틸리티 차량의 임의의 명령) 을 제어하도록 인가되는 것을 나타낼 수 있다. 이 경우, 포즈 검출은 시그널링 비콘들을 지니는 사람들에게 맞추어질 수 있다. 즉, 머신 러닝 모델은 비디오 데이터에 기초하여 적어도 하나의 신호 비콘을 지니는 사람의 포즈 추정 데이터를 생성하도록 훈련될 수 있다. 예를 들어, 시그널링 비콘은 포즈 추정 골격의 다른 사지로서 보여질 수 있다.
안전 조끼는 예를 들어 유틸리티 차량을 정지시키거나 유틸리티 차량의 엔진을 정지시키기 위해 명령들의 세트를 수행하도록 인가될 소지자를 나타낼 수 있다. 그러나 또한 시각적 식별자 또는 능동 비콘과 같은 다른 외부 식별자들은 그 외부 식별자를 착용하거나 지니는 사람의 인가의 레벨을 결정하는데 사용될 수 있다. 즉, 하나 이상의 프로세서들은 사람에 의해 지니거나 착용되는 외부 식별자에 기초하여 사람의 인가의 레벨을 결정하도록 구성될 수 있다.
유틸리티 차량을 제어하는데 사용될 수 있는 다양한 가능한 포즈들 및 신호들이 존재한다. 예를 들어, (도 5a 에 도시된) 팔을 곧게 펴고 카메라에 대해 손의 손바닥을 마주하는 것은 차량이 사람을 향해 더 이동하는 것을 멈추라는 지시로서 해석될 수 있다. 유사하게, (도 5b 에 도시된 바와 같이) 팔들을 몸 앞으로 크로싱하는 것은 응급 상황의 경우 머신을 완전히 셨다운할 수 있다. 항공기 마샬러에 의해 사용되는 것들과 유사한 시각적 신체 운동 신호들이 유틸리티 차량의 더 미세한 제어를 위해 사용될 수 있다.
제안된 개념의 안전성을 개선하기 위해, 모호성이 제거될 수 있다. 이것은 가능한 포즈들의 고정된 세트, 및 그 세트의 포즈들 중 하나와 각각 연관되는 제어 지시들의 고정된 세트를 가짐으로써 행해질 수 있다. 즉, 하나 이상의 프로세서들은 복수의 미리 정의된 포즈들 (즉, 고정된 세트의 포즈들) 중 적어도 하나를 검출하도록 구성될 수 있다. 상응하여, 방법은 사람의 포즈 정보에 기초하여 적어도 하나의 미리 정의된 포즈를 검출하는 단계 (130) 를 포함할 수 있다. 복수의 미리 정의된 포즈들의 각 포즈는 유틸리티 차량을 제어하기 위한 특정의 제어 지시와 연관될 수 있다. 즉, 복수의 미리 정의된 포즈들의 포즈들과 대응하는 제어 지시들 사이에 일대일 관계가 존재할 수 있다. 하나 이상의 프로세서들은 검출된 포즈와 연관된 제어 지시에 기초하여 유틸리티 차량을 제어하도록 구성될 수 있다. 상응하여, 방법은 그 검출된 적어도 하나의 미리 정의된 포즈에 기초하여 유틸리티 차량을 제어하는 단계 (190) 를 포함할 수 있다. 즉, 복수의 미리 정의된 포즈들의 포즈가 검출되는 경우, 연관된 제어 지시가 유틸리티 차량을 제어하기 위해 사용될 수 있다. 예를 들어, 하나 이상의 프로세서들은 검출된 포즈에 기초하여, 예를 들어 검출된 포즈와 연관된 제어 지시에 기초하여 유틸리티 차량을 제어하기 위한 제어 신호를 생성하도록 구성될 수 있다.
상술된 바와 같이, 포즈 추정 데이터는 복수의 관절들 및 복수의 사지들을 포함하는 소위 포즈 추정 골격을 포함할 수 있다. 복수의 미리 정의된 포즈들의 각각은 그 골격의 사지들의 일부 사이의 특정의 각도를 초래할 수 있다. 예를 들어, 우측 상부 팔과 우측 하부 팔 사이의 60 내지 120 도의 각도는 도 5a 에 도시된 포즈를 나타낼 수 있다. 복수의 미리 정의된 포즈들의 각각의 특징적 각도는 데이터 베이스에 저장될 수 있다. 하나 이상의 프로세서들은 데이터베이스에 저장되는 복수의 미리 정의된 포즈들의 특징적 각도와 포즈 추정 머신 러닝 모델에 의해 생성된 포즈 추정 골격의 각도를 비교하고, 그 비교에 기초하여 적어도 하나의 미리정의된 포즈를 검출하도록 구성될 수 있다. 대안적으로, 머신 러닝은 복수의 미리 정의된 포즈들 중 적어도 하나의 미리 정의된 포즈를 검출하기 위해 사용될 수 있다.
위에서 약술된 바와 같이, 정적 포즈들이 포즈 추정 머신 러닝 모델을 사용하여 식별될 수 있을 뿐만 아니라, 포즈의 진행이 결정될 수 있다. 예를 들어, 포즈의 진행은 운동의 요소를 포함하지 않는 정적 포즈와는 대조적으로 시간의 경과에 따른 운동을 포함하는 포즈들, 소위 신호 포즈들을 식별하는데 사용될 수 있다.즉, 복수의 미리 정의된 포즈들은 하나 이상의 정적 포즈들 및 하나 이상의 신호 포즈들을 포함하며, 하나 이상의 신호 포즈들은 제 1 포즈로부터 제 2 포즈로의 천이에 기초한다. 하나 이상의 프로세서들은 포즈의 진행에 대한 정보에 기초하여 적어도 하나의 미리 정의된 포즈를 검출하도록 구성될 수 있다. 이에 따라, 하나 이상의 프로세서들은 포즈의 진행에 대한 정보에 기초하여 적어도 하나의 미리 정의된 신호 포즈를 검출하도록 구성될 수 있다. 예를 들어, 적어도 하나이 미리 정의된 신호 존재는 제 1 포즈로부터 제 2 포즈로의 천이에 기초하기 때문에, 적어도 하나의 미리 정의된 신호 포즈는 그 포즈의 각도들을 데이터베이스 내에 저장된 제 1 및 제 2 포즈의 특징적 각도들과 비교함으로써 검출될 수 있다.
도 5a 내지 도 5h 와 관련하여, 여러 예들의 포즈들 및 연관된 제어 지시들이 주어진다. 도 5a 내지 도 5h 는 정적 포즈들 또는 신호 포즈들의 예들의 개략도들을 보여준다. 예를 들어, 도 5a 에 도시된 바와 같이, 복수의 미리 정의된 포즈들은 유틸리티 차량의 이동을 정지시키 위한 제어 지시와 연관된 정적 포즈를 포함할 수 있다. 상술된 바와 같이, 도 5a 는 유틸리티 차량을 향해 오른손을 들어올리는 마샬러를 보여준다. 결과적으로, 우측 상부 팔과 우측 하부 팔 사이의 60 내지 120 도의 각도는 도 5a 에서 도시된 포즈, 즉 유틸리티 차량의 이동을 멈추기 위한 제어 지시와 연관된 정적 포즈를 나타낼 수 있다.
예를 들어, 도 5b 에 도시된 바와 같이, 복수의 미리 정의된 포즈들은 유틸리티 차량의 엔진을 정지시키기 위한 제어 지시와 연관된 정적 포즈를 포함할 수 있다. 도 5b 에서, 마샬러의 팔들은 몸 앞에서 크로싱되어, 마샬러의 "어깨 사지" 와 상부 팔들 사이에 대략 음의 45 도의 특징적 각도를 초래한다.
도 5c 에 도시된 바와 같이, 복수의 미리 정의된 포즈들은 유틸리티 차량의 엔진을 시작하기 위한 제어 지시와 연관된 정적 포즈를 포함할 수 있다. 예를 들어, 마샬러의 팔들은 유틸리티 차량의 엔진을 시작하기 위한 제어 지시와 연관된 정적 포즈의 이러한 예에서 바닥을 향해 대각선으로 바깥쪽으로 스트레칭될 수 있다.
도 5d 내지 도 5g 에서, 몇가지 신호 포즈들이 도시된다. 예를 들어, 복수의 미리 정의된 포즈들은 좌측으로 유틸리티 차량의 스티어링 각도를 조정하기 위한 제어 지시와 연관된 신호 포즈 (도 5d) 및/또는 우측으로 유틸리티 차량의 스티어링 각도를 조정하기 위한 제어 지시와 연관된 신호 포즈 (도 5e) 를 포함할 수 있다. 도 5d 에 도시된 바와 같이, 좌측으로 유틸리티 차량의 스티어링 각도를 조정하기 위한 제어 지시와 연관된 신호 포즈는 우측 팔은 바깥쪽으로 곧게 스트레칭되고 좌측 팔은 하늘을 향해 대각선으로 바깥쪽으로 스트레칭되는 제 1 포즈 및 우측 팔은 바깥쪽으로 곧게 스트레칭된 상태를 유지하고 좌측 팔은 하늘을 향해 대각선으로 안쪽으로 스트레칭되는 제 2 포즈에 기초할 수 있다. 우측으로 유틸리티 차량의 스티어링 각도를 조정하기 위한 대응하는 신호 포즈에서, 팔들의 역할들이 역전될 수 있다.
예를 들어, 복수의 미리 정의된 포즈들은 유틸리티 차량을 후방으로 이동하도록 제어하기 위한 제어 지시와 연관된 신호 포즈 (도 5f), 및 유틸리티 차량을 후방으로 이동하도록 제어하기 위한 제어 지시와 연관된 신호 포즈 (도 5g) 를 포함할 수 있다. 도 5g 에 도시된 바와 같이, 유틸리티 차량을 후방으로 이동하도록 제어하기 위한 제어 지시와 연관된 신호 포즈는 우측 하부 팔이 우측 상부 팔에 대해 약 75 내지 105 도의 각도에 있고 하늘을 향해 스트레칭되는 제 1 포즈, 및 우측 하부 팔이 전방으로 기울어져 우측 상부 팔에 대해 약 115 내지 150 도의 각도를 초래하는 제 2 포즈를 포함할 수 있다. 도 5f 에서, 하부 팔을 전방으로 기울이는 대신, 하부 팔이 후방으로 기울어진다.
도 5h 에서, 2 개의 시그널링 비콘을 사용하여 실행되는 신호 포즈가 도시된다. 상술된 바와 같이, 포즈 추정 머신 러닝 모델은 하나 또는 두 개의 시그널링 비콘들을 지니는 사람들에 대해 포즈 추정 데이터를 출력하도록 훈련될 수 있다. 이 경우, 시그널링 비콘(들)은 포즈 추정 골격의 추가적인 사지(들) 로서 다루어질 수 있다.
본 개시내용의 적어도 일부 예는 머신 러닝 모델 또는 머신 러닝 알고리즘을 사용하는 것에 기초한다. 머신 러닝은 컴퓨터 시스템이 명시적 명령들을 사용하지 않고 대신에 모델과 추론에 의존하는 특정 작업을 수행하는 데사용할 수 있은 알고리즘 및통계 모델을 말한다. 예를 들어, 머신 러닝에서는 데이터의 규칙 기반 변환 대신 이력 및/또는 훈련 데이터의 분석에서 추론된 데이터의 변환이 사용될 수 있다. 예를 들어, 이미지의 내용은 머신 러닝 모델 또는 머신 러닝 알고리즘을 사용하여 분석될 수 있다. 머신 러닝 모델이 이미지의 내용을 분석하기 위해서는 훈련 이미지를 입력으로, 훈련 콘텐츠 정보를 출력으로 사용하여 머신 러닝 모델을 훈련시킬 수 있다. 머신 러닝 모델을 많은 수의 훈련 이미지와 관련 훈련 콘텐츠 정보로 훈련시킴으로써, 머신 러닝 모델이 이미지의 콘텐츠를 인식하도록 "학습"하므로 훈련 이미지에 포함되지 않은 이미지의 콘텐츠는 머신 러닝 모델을 사용하여 인식될 수 있다. 다른 종류의 센서 데이터에도 동일한 원리를 사용할 수 있다: 훈련 센서 데이터와 원하는 출력을 사용하여 머신 러닝 모델을 훈련함으로써 머신 러닝 모델은 센서 데이터와 출력 사이의 변환을 "학습"하며, 이것은 머신 러닝 모델에 제공되는 비훈련 센서 데이터를 기반으로 출력을 제공하는 데사용될 수 있다.
머신 러닝 모델은 훈련 입력 데이터를 사용하여 훈련된다. 위에 명시된 예는 "지도 학습"이라는 훈련 방법을 사용한다. 지도 학습에서 머신 러닝 모델은 복수의 훈련 샘플을 사용하여 훈련되며, 여기서 각샘플은 복수의 입력 데이터 값및 복수의 원하는 출력 값을 포함할 수 있으며, 즉, 각훈련 샘플은 원하는 출력 값과 연관된다. 훈련 샘플과 원하는 출력 값을 모두 지정함으로써 머신 러닝 모델은 훈련 중에 제공된 샘플과 유사한 입력 샘플을 기반으로 제공할 출력 값을 "학습"한다. 지도 학습 외에도 반지도 학습이 사용될 수 있다. 반지도 학습에서 일부 훈련 샘플에는 해당하는 원하는 출력 값이 없다. 지도 학습은 지도 학습 알고리즘, 예를 들어 분류 알고리즘, 회귀 알고리즘 또는 유사성 학습 알고리즘에 기초할 수 있다. 분류 알고리즘은 출력들이 값들의 제한된 세트로 제한될 때, 즉, 입력이 값들의 제한된 세트 중 하나로 분류될 때 사용될 수 있다. 출력이 (범위 내의) 임의의 숫자 값을 가질 수 있은 경우 회귀 알고리즘을 사용할 수 있다. 유사성 학습 알고리즘은 분류 및회귀 알고리즘과 유사하지만 두객체가 얼마나 유사하거나 관련이 있는지 측정하는 유사성 함수를 사용하여 예들로부터 학습하는 것에 기초한다.
지도 또는 반지도 학습과 별도로 비지도 학습을 사용하여 머신 러닝 모델을 훈련할 수도 있다. 비지도 학습에서는 (오직) 입력 데이터가 제공될 수 있고, 비지도 학습 알고리즘은 예를 들어, 입력 데이터를 그룹화하거나 클러스터링하여 데이터에서 공통점을 찾음으로써 입력 데이터의 구조를 찾는 데사용될 수 있다. 클러스터링은 동일한 클러스터 내의 입력 값이 하나 이상의 (미리 정의된) 유사성 기준에 따라 유사하지만 다른 클러스터에 포함된 입력 값과 유사하지 않도록 복수의 입력 값을 포함하는 입력 데이터를 서브 세트 (클러스터) 로 할당하는 것이다.
강화 학습은 머신 러닝 알고리즘의 제그룹입이다. 즉, 강화 학습을 사용하여 머신 러닝 모델을 훈련할 수 있다. 강화 학습에서 한명 이상의 소프트웨어 행위자("소프트웨어 에이전트"라고 함)는 환경에서 액션을 취하도록 훈련된다. 취한 액션에 따라 보상이 계산된다. 강화 학습은 누적 보상이 증가하여 (보상 증가로 입증되는 바와 같은) 주어진 작업에서 더나은 소프트웨어 에이전트로 이어지도록 하는 액션을 선택하도록 하나 이상의 소프트웨어 에이전트를 훈련하는 것을 기반으로 한다.
위에서 소개한 다양한 예에서, 다양한 머신 러닝 모델, 예를 들어, 포즈 추정 머신 러닝 모델, 비디오 데이터에 나타난 여러 사람의 포즈 추정 데이터를 분할하는 데사용되는 머신 러닝 모델, 객체-검출 머신 러닝 모델, 얼굴 인식 머신 러닝 모델 또는 사람 재식별 머신 러닝 모델이 사용되고 있다. 예를 들어, 이러한 머신 러닝 모델은 다음과 같이 다양한 기법을 사용하여 훈련될 수 있다.
예를 들어, 포즈 추정 머신 러닝 모델은 지도 학습을 사용하여 훈련될 수 있다. 예를 들어, 비디오 데이터는 훈련의 훈련 샘플로 사용될 수 있고, 대응하는 포즈 추정 데이터, 예를 들어, 2차원 또는 3차원 좌표 시스템에서 포즈 추정 골격의 포인트가 원하는 출력으로 사용될 수 있다. 또는 훈련에 사용되는 비디오 데이터에 표시된 실제 포즈로부터의 생성된 포즈 추정 데이터의 편차를 최소화하려는 보상 기능과 함께 강화 학습이 사용될 수 있다.
예를 들어, 비디오 데이터에 표시된 여러 사람의 포즈 추정 데이터를 분할하는 데사용되는 머신 러닝 모델은 클러스터링을 사용하여 분할을 수행할 수 있으므로 비지도 학습을 사용하여 훈련될 수 있다. 대안적으로, 훈련 샘플로 사용되는 다수의 사람을 보여주는 비디오 데이터 및원하는 출력으로서 사용되는 대응하는 분할된 포즈 추정 데이터와 함께, 지도 학습(supervised learning)이 사용될 수 있다.
객체 검출 머신 러닝 모델은 훈련 샘플로서 검출될 객체를 포함하는 이미지와 훈련의 원하는 출력으로서 검출될 객체의 위치를 제공함으로써 지도 학습을 사용하여 훈련될 수 있다.
얼굴 인식에 사용되는 머신 러닝 모델 또는 모델들은 예를 들어, 비디오 데이터 내에서 얼굴을 감지하고 직사각형 경계 상자에 사용할 해당 위치를 출력하도록 머신 러닝 모델을 훈련함으로써, 지도 학습을 사용하여 훈련될 수 있고, 비디오 데이터의 프레임은 훈련 샘플로 제공되고 경계 상자의 해당 위치는 원하는 훈련 출력으로 제공된다. 특징 추출은 분류 문제이므로 분류 알고리즘을 적용할 수 있다. 또는 위에서 설명한 것처럼 사람 재식별 머신 러닝 모델을 사용하여 얼굴 인식을 구현할 수 있다.
개인 재식별 머신 러닝 모델은 예를 들어 삼중항 손실 기반 훈련을 사용하여 훈련될 수 있다. 삼중항 손실에서 기준 입력은 양수 입력 및음수 입력과 비교된다. 사람 재식별 머신 러닝 모델 훈련에 사용되는 각입력 세트에 대해 동일한 사람을 나타내는 두개의 샘플을 기준 입력 및양수 입력으로 사용할 수 있고 다른 사람의 샘플을 삼중항 손실 기반 훈련의 음수 입력으로 사용될 수 있다. 그러나 사람 재식별 머신 러닝 모델의 훈련은 대안적으로 다른 지도 학습, 비지도 학습 또는 강화 학습 알고리즘을 기반으로 할 수 있다. 예를 들어, Ye et al: "Deep Learning for Person Re-identification: A Survey and Outlook" (2020) 는해당 훈련 방법론과 함께 머신 러닝 기반 재식별 시스템에 대한 예를 제공한다.
머신 러닝 알고리즘은 일반적으로 머신 러닝 모델을 기반으로 한다. 다시 말해, "머신 러닝 알고리즘"이라는 용어는 머신 러닝 모델을 생성, 훈련 또는 사용하기 위해 사용될 수 있은 명령 세트를 의미할 수 있다. "머신 러닝 모델"이라는 용어는, 예를 들어, 머신 러닝 알고리즘에 의해 수행된 훈련에 기초하여 학습된 지식을 나타내는 데이터 구조 및/또는 규칙 세트를 나타낼 수 있다. 실시예에서, 머신 러닝 알고리즘의 사용은 기본 머신 러닝 모델(또는 복수의 기본 머신 러닝 모델)의 사용을 의미할 수 있다. 머신 러닝 모델의 사용은 머신 러닝 모델 및/또는 머신 러닝 모델인 데이터 구조/규칙 세트가 머신 러닝 알고리즘에 의해 훈련됨을 의미할 수 있다.
예를 들어, 머신 러닝 모델은 인공 신경망(ANN)일 수 있다. ANN은 뇌에서 볼수 있는 것과 같은 생물학적 신경망에서 영감을 받은 시스템이다. ANN은 복수의 상호 연결된 노드들과 그노드들 사이의 소위 에지라고 하는 복수의 연결들을 포함한다. 노드에는 항상 일반적으로 입력 값을 수신하는 입력 노드, (단지) 다른 노드에 연결되어 있는 은닉 노드, 출력 값을 제공하는 출력 노드의 세가지 유형이 있다. 각각의 노드는 인공 뉴런을 나타낼 수도 있다. 각에지는 한노드에서 다른 노드로 정보를 전송할 수 있다. 노드의 출력은 입력들의 합의 (비선형) 함수로 정의될 수 있다. 노드의 입력은 입력을 제공하는 에지 또는 노드의 "가중치"를 기반으로 함수에서 사용될 수 있다. 노드 및/또는 에지의 가중치는 학습 과정에서 조정될 수 있다. 다시 말해서, 인공 신경망의 훈련은 주어진 입력에 대해 원하는 출력을 달성하기 위해 인공 신경망의 노드 및/또는 에지의 가중치를 조정하는 것을 포함할 수 있다. 적어도 일부 실시예에서, 머신 러닝 모델은 심층 신경망, 예를 들어, 은닉 노드들의 하나 이상의 층들 (즉, 은닉 층들), 바람직하게는 은닉 노드들의 복수의 층을 포함하는 신경망일 수 있다.
또는 머신 러닝 모델은 지원 벡터 머신일 수 있다. 지원 벡터 머신(즉, 지원 벡터 네트워크)은 예를 들어 분류 또는 회귀 분석에서 데이터를 분석하는 데사용될 수 있은 연관된 학습 알고리즘을 가진 지도 학습 모델이다. 지원 벡터 머신은 2개의 카테고리 중하나에 속하는 복수의 훈련 입력 값을 입력에 제공함으로써 훈련될 수 있다. 지원 벡터 머신은 두카테고리 중하나에 새입력 값을 할당하도록 훈련될 수 있다. 또는 머신 러닝 모델은 확률적 방향성 비순환 그래픽 모델인 베이지안 네트워크일 수 있다. 베이지안 네트워크는 방향성 비순환 그래프를 사용하여 확률 변수들의 세트와 조건부 종속성들을 나타낼 수 있다. 또는 머신 러닝 모델은 자연 선택의 과정을 모방한 검색 알고리즘 및휴리스틱 기법인 유전 알고리즘을 기반으로 할수 있다.
도 1a와 관련하여 도입된 적어도 하나의 인터페이스(12)는 모듈 내에서, 모듈들 사이에서 또는 상이한 엔티티들의 모듈들 사이에서, 특정된 코드에 따라 디지털(비트) 값일 수 있은 정보를 수신 및/또는 전송하기 위한 하나 이상의 입력 및/또는 출력에 대응할 수 있다. 예를 들어, 적어도 하나의 인터페이스(12)는 정보를 수신 및/또는 전송하도록 구성된 인터페이스 회로를 포함할 수 있다. 예를 들어, 도 1a 와 관련하여 도입된 하나 이상의 프로세서(14)는 하나 이상의 프로세싱 유닛, 하나 이상의 프로세싱 디바이스, 그에 따라 조정된 소프트웨어로 작동 가능한 프로세서, 컴퓨터 또는 프로그래밍 가능한 하드웨어 컴포넌트와 같은 프로세싱을 위한 임의의 수단을 사용하여 구현될 수 있다. 다시 말해서, 하나 이상의 프로세서(14)의 설명된 기능은 소프트웨어로 구현될 수도 있고, 그후 하나 이상의 프로그램 가능한 하드웨어 컴포넌트에서 실행된다. 이러한 하드웨어 컴포넌트는 범용 프로세서, 디지털 신호 프로세서 (DSP), 마이크로 컨트롤러 등을 포함할 수 있다. 일부 예에서, 하나 이상의 프로세서는 FPGA(Field-Programmable Gate Array)와 같은 하나 이상의 재구성 가능한 하드웨어 요소이거나 이를 포함할 수 있다. 예를 들어, 도와 관련하여 도입된 하나 이상의 저장 디바이스(16)는 자기 또는 광학 저장 매체, 예를 들어, 하드 디스크 드라이브, 플래시 메모리, 플로피 디스크, RAM(Random Access Memory), PROM(Programmable Read Only Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electronically Erasable Programmable Read Only Memory) 또는 네트워크 저장소와 같은 컴퓨터 판독가능 저장 매체의 그룹의 적어도 하나의 엘리먼트를 포함할 수 있다.
이전의 예들 중 특정의 예와 관련하여 기술된 양태들 및 특징들은 또한 추가의 예의 동일하거나 유사한 특징을 대체하거나 추가의 예로 그 특징들을 추가적으로 도입하기 위해 그 추가의 예들 중 하나 이상과 결합될 수 있다.
예들은 프로그램이 컴퓨터, 프로세서 또는 다른 프로그램가능한 하드웨어 컴포넌트상에서 실행될 때 상기 방법들 중 하나 이상을 실행하기 위한 프로그램 코드를 포함하는 (컴퓨터) 프로그램이거나 그에 관한 것일 수 있다. 따라서, 상술된 방법들 중 상이한 것들의 단계들, 동작들 또는 프로세스들은 또한 프로그래밍된 컴퓨터들, 프로세서, 또는 다른 프로그램가능한 하드웨어 컴포넌트에 의해 실행될 수 있다. 예들은 또한 머신-, 프로세서- 또는 컴퓨터-판독가능하고 머신 실행가능, 프로세서 실행가능 또는 컴퓨터 실행가능 프로그램들 및 명령들을 인코딩 및/또는 포함하는 디지털 데이터 저장 매체와 같은 프로그램 저장 디바이스를 커버할 수 있다. 프로그램 저장 디바이스는 디지털 저장 디바이스, 자기 디스크 및 자기 테이프와 같은 자기 저장 매체, 하드 디스크 드라이브, 또는 선택적으로 판독가능 디지털 데이터 저장 매체이거나 그것들을 포함할 수 있다. 다른 예들은 컴퓨터, 프로세서, 제어 유닛, (필드) 프로그램가능 로직 어레이 ((F)PLA), (필드) 프로그램가능 게이트 어레이 ((F)PGA), 그래픽 프로세서 유닛 (GPU), 주문형 반도체 (ASIC), 집적 회로 (IC) 또는 상술된 방법들의 단계들을 실행하도록 프로그램된 시스템-온-칩 (SoC) 시스템을 포함할 수 있다.
상세한 설명 또는 청구범위에서 개시된 수개의 단계들, 프로세스, 동작 또는 기능의 개시는 개개의 경우에서 명시적으로 언급하거나 기술적 이유로 필요하지 않는한, 이들 동작들이 반드시 기술된 순서에 의존한다는 것을 암시하는 것으로 해석해서는 않된다. 따라서, 이전의 설명은 수개의 단계들 기능들의 실행을 특정의 순서에 제한하지 않는다. 더욱이, 추가의 예들에서, 단일의 단계, 기능, 프로세스 또는 동작은 수개의 서브 단계들, 서브 기능들, 서브 프로세스들 또는 서브 동작들을 포함하고 및/또는 그들로 분할될 수 있다.
일부 양태들이 디바이스 또는 시스템에 관련하여 기술되었지만, 이들 양태들은 대응하는 방법의 설명으로서 이해되어야 한다. 예를 들어, 블록, 디바이스 또는 디바이스 또는 시스템의 기능적 양태는 대응하는 방법의 방법 단계와 같은 특징에 대응할 수 있다. 이에 따라, 방법에 관련하여 기술된 양태들은 또한 대응하는 블록, 대응하는 엘리먼트, 대응하는 디바이스 또는 대응하는 시스템의 특성 또는 기능적 특징의 설명으로서 이해될 것이다.
다음의 청구범위는 상세한 설명에 포함되며, 여기서 각 청구항은 별개의 예로서 독립적일 수 있다. 청구범위에서 종속 청구항은 하나 이상의 다른 청구항과 특정의 조합을 지칭하지만, 다른 예들은 또한 임의의 다른 종속 또는 독립 청구항의 청구물과 종속 청구항의 조합을 포함할 수 있다. 그러한 조합들은 특정의 조합이 의도되지 않는 것이 개개의 경우에 진술되지 않는 한, 여기서 명시적으로 제안된다. 더욱이, 청구항의 특징들은 또한 그 청구항이 다른 독립항에 종속되는 것으로 직접 정의되지 않을지라도 임의의 다른 독립항에 대해 포함되어야 한다.

Claims (15)

  1. 유틸리티 차량 (100; 300; 310) 을 위한 장치로서,
    상기 유틸리티 차량의 하나 이상의 카메라들 (102) 로부터 비디오 데이터를 획득하기 위한 적어도 하나의 인터페이스 (12);
    하나 이상의 프로세서들 (14) 을 포함하고,
    상기 하나 이상의 프로세서들 (14) 은,
    상기 비디오 데이터에 표시된 하나 이상의 사람들을 식별 또는 재식별하고,
    상기 비디오 데이터에 표시된 상기 하나 이상의 사람들의 상기 식별 또는 재식별에 기초하여 상기 유틸리티 차량 주위의 하나 이상의 안전 영역들 (400) 에 대한 상기 하나 이상의 사람들 (410) 의 위반을 결정하며, 및
    출력 디바이스로 상기 하나 이상의 안전 영역들에 대한 상기 하나 이상의 사람들의 거동의 상기 위반을 나타내는 적어도 하나의 신호를 제공하도록 구성된, 유틸리티 차량을 위한 장치.
  2. 제 1 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 비디오 데이터에 대한 안면 인식을 사용하여 상기 하나 이상의 사람들을 식별하도록 구성되거나, 상기 하나 이상의 프로세서들은 사람 재식별을 위해 훈련되는 머신 러닝 모델을 사용하여 상기 하나 이상의 사람들을 재식별하도록 구성되는, 유틸리티 차량을 위한 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 비디오 데이터 내의 상기 하나 이상의 사람들이 지니고 있는 시각적 식별자를 검출함으로써 상기 하나 이상의 사람들을 식별하도록 구성되고, 및/또는
    상기 하나 이상의 프로세서들은 상기 하나 이상의 사람들이 지니고 있는 능동 비콘을 검출함으로써 상기 하나 이상의 사람들을 식별하도록 구성되는, 유틸리티 차량을 위한 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 하나 이상의 프로세서들은,
    머신 러닝 모델을 사용하여, 상기 비디오 데이터에 표시되는 하나 이상의 사람들의 포즈 정보를 결정하기 위해 상기 비디오 데이터를 프로세싱하는 것으로서, 상기 머신 러닝 모델은 비디오 데이터에 기초하여 포즈 추정 데이터를 생성하도록 훈련되는, 상기 비디오 데이터를 프로세싱하고, 및
    상기 비디오 데이터에 표시되는 상기 하나 이상의 사람들의 상기 포즈 정보에 기초하여 상기 하나 이상의 안전 영역들에 대한 상기 하나 이상의 사람들의 위반을 결정하도록
    구성되는, 유틸리티 차량을 위한 장치.
  5. 제 4 항에 있어서,
    상기 머신 러닝 모델은 상기 비디오 데이터의 복수의 프레임들의 경과에 걸처 표시되는 바와 같은 시간의 경과에 따른 상기 하나 이상의 사람들의 포즈의 진행에 대한 정보를 갖는 상기 포즈 정보를 출력하도록 훈련되고,
    상기 하나 이상의 프로세서들은 시간의 경과에 따른 상기 하나 이상의 사람들의 포즈의 상기 진행에 기초하여 상기 하나 이상의 사람들의 예측된 거동에 대한 정보를 결정하고, 상기 하나 이상의 사람들의 상기 예측된 거동에 기초하여 상기 하나 이상의 안전 영역들에 대한 상기 하나 이상의 사람들의 위반을 결정하도록 구성되는, 유틸리티 차량을 위한 장치.
  6. 제 5 항에 있어서,
    상기 하나 이상의 프로세서들은,
    상기 하나 이상의 사람들의 포즈에 기초하여 상기 하나 이상의 사람들 주위에 하나 이상의 다각형 경계 영역들을 생성하고,
    생성된 상기 하나 이상의 다각형 경계 영역들에 기초하여 상기 하나 이상의 안전 영역들에 대한 상기 하나 이상의 사람들의 포즈의 위반을 결정하도록
    구성되는, 유틸리티 차량을 위한 장치.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 하나 이상의 프로세서들은,
    시간의 경과에 따른 상기 하나 이상의 사람들의 포즈의 진행에 기초하여 상기 하나 이상의 사람들의 부주의하거나 안전하지 못한 거동을 결정하고,
    결정된 상기 부주의하거나 안전하지 못한 거동에 기초하여 상기 하나 이상의 안전 영역들의 위반을 결정하도록
    구성되는, 유틸리티 차량을 위한 장치.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 하나 이상의 프로세서들은,
    상기 하나 이상의 사람들의 포즈의 진행에 기초하여 상기 하나 이상의 안전 영역들에 대한 상기 하나 이상의 사람들의 경로를 추정하고,
    상기 하나 이상의 사람들의 추정된 상기 경로에 기초하여 상기 하나 이상의 안전 영역들에 대한 위반을 결정하도록
    구성되는, 유틸리티 차량을 위한 장치.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 하나 이상의 프로세서들은 머신 러닝 모델을 사용하여, 상기 하나 이상의 사람들이 복수의 미리 정의된 물품들 중 적어도 하나를 지니고 있는지 여부를 검출하는 것으로서, 상기 머신 러닝 모델은 상기 비디오 데이터에서 상기 복수의 미리 정의된 물품들을 검출하도록 훈련되고, 상기 복수의 미리 정의된 물품들은 하나 이상의 안전복 물품들 및/또는 하나 이상의 금지 물품들을 포함하는 상기 복수의 미리 정의된 물품들 중 적어도 하나를 지니고 있는지 여부를 검출하고, 상기 하나 이상의 사람들이 상기 적어도 하나의 물품을 지니고 있는지 여부에 더 기초하여 상기 하나 이상의 안전 영역들에 대한 상기 하나 이상의 사람들의 위반을 결정하도록 구성되는, 유틸리티 차량을 위한 장치.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 하나 이상의 프로세서들은 상기 유틸리티 차량의 미래 경로를 결정하고, 상기 유틸리티 차량의 상기 미래 경로에 기초하여 상기 하나 이상의 안전 영역들의 범위를 결정하도록 구성되는, 유틸리티 차량을 위한 장치.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 하나 이상의 안전 영역들에 대한 상기 하나 이상의 사람들의 위반을 나타내는 상기 적어도 하나의 신호는 디스플레이 신호 및/또는 오디오 신호를 포함하는, 유틸리티 차량을 위한 장치.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 따른 장치 (10) 및 하나 이상의 카메라들 (102) 을 포함하는 유틸리티 차량 (100; 300; 310).
  13. 제 12 항에 있어서,
    상기 하나 이상의 카메라들은 상기 유틸리티 차량의 캐빈 (104) 의 상단에 배열되나, 상기 하나 이상의 카메라들은 상기 유틸리티 차량의 상기 캐빈 (104) 의 상단에서 연장되는 플랫폼 (106) 에 배열되는, 유틸리티 차량.
  14. 유틸리티 차량을 위한 방법으로서,
    상기 유틸리티 차량의 하나 이상의 카메라들로부터 비디오 데이터를 획득하는 단계 (110);
    상기 비디오 데이터에 표시된 하나 이상의 사람들을 식별하거나 재식별하는 단계 (160);
    상기 비디오 데이터에 표시된 상기 하나 이상의 사람들의 상기 식별 또는 재식별에 기초하여 상기 유틸리티 차량을 둘러싼 하나 이상의 안전 영역들에 대한 상기 하나 이상의 사람들의 위반을 결정하는 단계 (170); 및
    상기 하나 이상의 안전 영역들에 대한 상기 하나 이상의 사람들의 거동의 상기 위반을 나타내는 적어도 하나의 신호를 출력 디바이스에 제공하는 단계 (180) 를 포함하는 유틸리티 차량을 위한 방법.
  15. 컴퓨터 프로그램이 컴퓨터, 프로세서, 프로세싱 회로, 또는 프로그램 가능한 하드웨어 컴포넌트 상에서 실행될 때, 제 14 항의 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램.


KR1020220036877A 2021-03-25 2022-03-24 유틸리티 차량 및 유틸리티 차량을 위한 대응하는 장치, 방법 및 컴퓨터 프로그램 KR20220133810A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21164777.1 2021-03-25
EP21164777.1A EP4064118A1 (en) 2021-03-25 2021-03-25 Utility vehicle and corresponding apparatus, method and computer program for a utility vehicle

Publications (1)

Publication Number Publication Date
KR20220133810A true KR20220133810A (ko) 2022-10-05

Family

ID=75223118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220036877A KR20220133810A (ko) 2021-03-25 2022-03-24 유틸리티 차량 및 유틸리티 차량을 위한 대응하는 장치, 방법 및 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US20220307231A1 (ko)
EP (1) EP4064118A1 (ko)
JP (1) JP7443409B2 (ko)
KR (1) KR20220133810A (ko)
CN (1) CN115131765A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102593769B1 (ko) * 2023-05-04 2023-10-25 박찬배 인공지능에 의한 무선형 객체 인식 시스템 및 이를 이용한 객체 인식 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741721B2 (en) * 2021-05-05 2023-08-29 Gm Cruise Holdings Llc Automatic detection of roadway signage
JP2024093370A (ja) * 2022-12-27 2024-07-09 オムロン株式会社 予測方法、表示方法、プログラム、予測システム、表示システム、及び学習済みモデル

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038877A (ja) * 2002-07-08 2004-02-05 Yazaki Corp 車両用周辺監視装置及び画像処理装置
US9511833B2 (en) * 2013-04-23 2016-12-06 Natick Public Schools Multi-component robot for below ice search and rescue
US9714037B2 (en) * 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
US11138418B2 (en) * 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
US11460849B2 (en) * 2018-08-09 2022-10-04 Cobalt Robotics Inc. Automated route selection by a mobile robot
US10325485B1 (en) * 2018-09-11 2019-06-18 Rockwell Automation Technologies, Inc. System or process to detect, discriminate, aggregate, track, and rank safety related information in a collaborative workspace
JP7492226B2 (ja) * 2018-12-13 2024-05-29 成典 田中 移動物追跡装置
JP7361441B2 (ja) * 2019-02-01 2023-10-16 株式会社Fuji 作業車両の安全システム
JP2020187543A (ja) * 2019-05-14 2020-11-19 富士通株式会社 認証処理プログラム、認証処理方法、及び認証処理装置
JP7283280B2 (ja) * 2019-07-18 2023-05-30 コベルコ建機株式会社 作業機械の制御パラメータ変更システム、作業機械の制御パラメータ変更方法、および、作業機械の制御パラメータ変更プログラム
JP7042508B2 (ja) * 2019-12-19 2022-03-28 ニューラルポケット株式会社 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102593769B1 (ko) * 2023-05-04 2023-10-25 박찬배 인공지능에 의한 무선형 객체 인식 시스템 및 이를 이용한 객체 인식 방법

Also Published As

Publication number Publication date
JP7443409B2 (ja) 2024-03-05
US20220307231A1 (en) 2022-09-29
JP2022151735A (ja) 2022-10-07
CN115131765A (zh) 2022-09-30
EP4064118A1 (en) 2022-09-28

Similar Documents

Publication Publication Date Title
KR20220133810A (ko) 유틸리티 차량 및 유틸리티 차량을 위한 대응하는 장치, 방법 및 컴퓨터 프로그램
Kim et al. Image-based construction hazard avoidance system using augmented reality in wearable device
CN106662646B (zh) 用于为自主式机器人构建障碍物的不存在和存在中的一种的概率的图的方法
CN110001518B (zh) 实时增强人对采矿工地上的采矿车的视野的方法和装置
KR102572811B1 (ko) 정의된 객체를 식별하기 위한 시스템
US20210185279A1 (en) Systems and methods for personnel location at a drilling site
CN109643366A (zh) 用于监控车辆驾驶员的状况的方法和系统
US10540543B2 (en) Human-computer-interaction through scene space monitoring
CN105913559A (zh) 一种基于体感技术的银行atm机智能监控方法
Golovina et al. Towards autonomous cloud-based close call data management for construction equipment safety
Pech et al. Head tracking based glance area estimation for driver behaviour modelling during lane change execution
JP7263094B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20220309795A1 (en) Utility Vehicle and Corresponding Apparatus, Method and Computer Program for a Utility Vehicle
KR101862545B1 (ko) 로봇을 이용한 구조구난 서비스 제공방법 및 시스템
Chen et al. Mixed reality-based active Hazard prevention system for heavy machinery operators
CN117392611A (zh) 工地安全监测方法、系统、设备及存储介质
CN116091589A (zh) 针对低重力环境中的活动的基于表现的反馈
Yang et al. Research into the application of AI robots in community home leisure interaction
Cho et al. Online Safety Zone Estimation and Violation Detection for Nonstationary Objects in Workplaces
JP7517871B2 (ja) 監視装置、監視方法及びプログラム
Mundra et al. Real Time Driver Alertness System Based on Eye Aspect Ratio and Head Pose Estimation
CN116311534B (zh) 基于ai的智慧工地的危险违规动作识别方法及系统
CN116074690A (zh) 舱外活动期间基于音频的帮助
CN116071674A (zh) 舱外活动期间基于照明的帮助
Akbarzadeh Enhancing Safety on Construction Sites by Detecting Personal Protective Equipment and Localizing Workers Using Computer Vision Techniques

Legal Events

Date Code Title Description
E902 Notification of reason for refusal