KR20210152051A - 3차원 공간을 추적하는 차량 및 센싱 장치, 그리고 저장매체에 저장된 컴퓨터 프로그램 - Google Patents

3차원 공간을 추적하는 차량 및 센싱 장치, 그리고 저장매체에 저장된 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20210152051A
KR20210152051A KR1020210174026A KR20210174026A KR20210152051A KR 20210152051 A KR20210152051 A KR 20210152051A KR 1020210174026 A KR1020210174026 A KR 1020210174026A KR 20210174026 A KR20210174026 A KR 20210174026A KR 20210152051 A KR20210152051 A KR 20210152051A
Authority
KR
South Korea
Prior art keywords
information
vehicle
sensing device
dimensional space
space
Prior art date
Application number
KR1020210174026A
Other languages
English (en)
Other versions
KR102453933B1 (ko
Inventor
이한빈
박재일
홍 민 트루엉
권오란
Original Assignee
(주)서울로보틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)서울로보틱스 filed Critical (주)서울로보틱스
Publication of KR20210152051A publication Critical patent/KR20210152051A/ko
Application granted granted Critical
Publication of KR102453933B1 publication Critical patent/KR102453933B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G05D1/247—
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/228—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52—Radar, Lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

3차원 공간에 대한 포인트 클라우드 데이터를 획득하고, 획득된 포인트 클라우드 데이터로부터 개별 객체 영역을 구분하고, 객체 분류 모델을 이용하여 식별된 객체의 객체 정보를 획득하고, 개별 객체 영역에 기초하여 획득되는 객체에 관한 정보와 객체 정보를 이용하여 감지된 3차원 공간을 추적하는 차량, 센싱 장치, 및 저장매체에 저장된 컴퓨터 프로그램을 개시한다.

Description

3차원 공간을 추적하는 차량 및 센싱 장치, 그리고 저장매체에 저장된 컴퓨터 프로그램{VEHICLE AND SENSING DEVICE OF TRACKING THREE-DIMENTIONAL SPACE, AND COMPUTER PROGRAM STORED IN STORAGE MEDIUM}
3차원 공간을 추적하는 차량, 센싱 장치, 및 저장매체에 저장된 컴퓨터 프로그램에 관한 것이다.
4차 산업 혁명에 따라, 자율 주행 차, 드론, 로봇 등과 같은 기술 분야에 대한 관심이 고조되고 있다. 자유 주행 차, 드론, 로봇 등이 안정적이고 정확한 동작을 하기 위해서는, 동작을 제어하는데 필요한 데이터들을 수집하는 것이 중요하다. 이와 관련하여, 다양한 종류의 센서들을 활용하는 방안에 대한 연구가 있어 왔다.
3차원 공간을 추적하는 차량, 센싱 장치, 및 저장매체에 저장된 컴퓨터 프로그램을 제공하기 위한 것이다.
제 1 측면에 따른 차량은, 3차원 공간을 감지하는 센서부, 하나 이상의 명령어를 저장하는 메모리, 및 상기 하나 이상의 명령어를 실행함으로써, 상기 감지된 3차원 공간에 대한 포인트 클라우드 데이터를 획득하고, 상기 획득된 포인트 클라우드 데이터로부터 개별 객체 영역을 구분하고, 객체 분류 모델을 이용하여 식별된 객체의 객체 정보를 획득하고, 상기 개별 객체 영역에 기초하여 획득되는 객체에 관한 정보와 상기 객체 정보를 이용하여 상기 감지된 3차원 공간을 추적하고, 상기 추적된 3차원 공간에 관련된 정보에 기초하여, 상기 차량의 주행을 제어하는 프로세서를 포함한다.
제 2 측면에 따른 센싱 장치는, 3차원 공간을 감지하는 센서부, 하나 이상의 명령어를 저장하는 메모리, 및 상기 하나 이상의 명령어를 실행함으로써, 상기 감지된 3차원 공간에 대한 포인트 클라우드 데이터를 획득하고, 상기 획득된 포인트 클라우드 데이터로부터 개별 객체 영역을 구분하고, 객체 분류 모델을 이용하여 식별된 객체의 객체 정보를 획득하고, 상기 개별 객체 영역에 기초하여 획득되는 객체에 관한 정보와 상기 객체 정보를 이용하여 상기 감지된 3차원 공간을 추적하는 프로세서를 포함한다.
제 3 측면에 따른 저장매체에 저장된 컴퓨터 프로그램은, 전자 장치에서, 3차원 공간에 대한 포인트 클라우드 데이터를 획득하는 단계, 상기 획득된 포인트 클라우드 데이터로부터 개별 객체 영역을 구분하는 단계, 상기 획득된 포인트 클라우드 데이터에 대해 객체 분류 모델을 이용하여 식별된 객체의 객체 정보를 획득하는 단계, 및 상기 개별 객체 영역에 기초하여 획득되는 객체에 관한 정보와 상기 객체 정보를 이용하여 상기 감지된 3차원 공간을 추적하는 단계를 포함하는 방법을 수행하도록 한다.
도 1은 일 실시예에 따른 차량과 센싱 장치가 위치하는 임의의 주행 환경을 나타낸 도면이다.
도 2는 일 실시예에 따른 차량의 구성을 나타낸 블록도이다.
도 3은 일 실시예에 따른 센싱 장치의 구성을 나타낸 블록도이다.
도 4는 일 실시예에 따른 서버의 구성을 나타낸 블록도이다.
도 5는 일 실시예에 따른 서버들의 계층적 구조를 나타낸 블록도이다.
도 6은 일 실시예에 따른 차량이 추적된 3차원 공간에 관련된 정보에 기초하여 주행하는 모습을 설명하기 위한 도면이다.
도 7은 다른 실시예에 따른 차량이 추적된 3차원 공간에 관련된 정보에 기초하여 주행하는 모습을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 센싱 장치가 센싱 장치의 고정된 위치에 대응되는 3차원 공간에 관련된 정보를 추적하는 모습을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 차량이 차량에서 추적된, 차량의 이동 위치에 대응되는 3차원 공간에 관련된 정보에 기초하여 주행하는 모습을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 차량이 차량에서 추적된, 차량의 이동 위치에 대응되는 3차원 공간에 관련된 정보와 센싱 장치에서 추적된, 센싱 장치의 고정된 위치에 대응되는 3차원 공간에 관련된 정보에 기초하여 주행하는 모습을 설명하기 위한 도면이다.
도 11은 3차원 공간에 대한 시간별 공간 정보에 기초하여, 감지된 3차원 공간을 추적하고, 추적된 3차원 공간에 관련된 정보를 예측하는 과정을 설명하기 위한 흐름도이다.
도 12 내지 도 16은 3차원 공간에 대한 시간별 공간 정보에 기초하여, 감지된 3차원 공간을 추적하고, 추적된 3차원 공간에 관련된 정보를 예측하는 과정의 각 단계를 설명하기 위한 도면이다.
이하에서는 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 이하에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략한다.
본 실시예들은 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 일 실시예에 따른 차량(100)과 센싱 장치(200)가 위치하는 임의의 주행 환경을 나타낸 도면이다.
도 1을 참조하면, 차량(100)이 주행 중 교차로에서 정지하여 신호 대기 중이며, 교차로의 각 코너 부근에는 센싱 장치(200-1, 200-2, 200-3, 200-4, 이하, 200으로 대표하여 지칭할 수 있음)가 위치한다.
차량(100)은 도로나 선로 위를 달리는 차, 기차 등과 같은 주행 수단이 될 수 있다. 다만, 도로나 선로 위가 아닌 공중을 운행할 때는 드론, 비행기 등과 같은 비행 수단 또는 해상을 운항할 때는 보트, 배 등과 같은 선박 수단을 대표하는 명칭으로 그 의미가 확장될 수 있다. 이하에서는, 설명의 편의상, 차량(100)은 자율 주행 차량인 것을 전제로 설명하도록 한다. 차량(100)은 자율 주행을 위해, 센서를 이용하여 주변의 공간을 감지하여 공간 정보를 획득할 수 있다.
센싱 장치(200)는 주변의 공간을 감지하여 공간 정보를 획득할 수 있는 장치로서, 적어도 하나의 센서를 포함할 수 있다. 센싱 장치(200)는 지상 또는 지면으로부터 소정의 높이에 위치한 곳에 설치될 수 있다. 센싱 장치(200)는 기존의 시설물에 부착 또는 고정시키는 방식으로 설치될 수 있다.
차량(100)과 센싱 장치(200) 각각은 라이다(Light Detection and Ranging) 센서, 레이더(radar) 센서, 카메라 센서, 적외선 영상 센서, 초음파 센서 등과 같은 다양한 종류의 센서들 중 적어도 하나를 포함할 수 있다. 차량(100)과 센싱 장치(200) 각각은 3차원 공간에 대한 공간 정보를 획득하기 위해, 각 종류의 센서가 가지고 있는 감지 범위나 획득할 수 있는 데이터의 종류 등을 고려하여, 동종의 센서를 복수 개 이용하거나, 이종의 센서들을 조합하여 이용할 수 있다.
차량(100)과 센싱 장치(200)에 구비된 센서의 종류에 따라 차량(100)과 센싱 장치(200) 각각이 감지할 수 있는 감지 범위가 동일하거나 다를 수 있다. 도 1을 참조하면, 차량(100)과 센싱 장치(200) 각각이 감지할 수 있는 감지 범위가 도시되어 있다. 도 1에 도시된 바와 같이, 차량(100)이 감지할 수 있는 제1 감지 범위는 센싱 장치(200)가 감지할 수 있는 제2 감지 범위보다 작을 수 있는 것으로 도시되었으나, 이에 한정되는 것은 아니다. 차량(100)과 센싱 장치(200)에 구비된 센서의 종류가 같더라도, 차량(100)과 센싱 장치(200) 각각에서 센서가 설치된 위치나 주변 환경에 따라 감지 범위가 달라질 수도 있다. 예를 들어, 센싱 장치(200)는 차량(100)보다 높은 곳에 위치할 수 있고, 이동하는 차량(100)은 고정되어 있는 센싱 장치(200)에 비해 3차원 공간을 감지하는 것을 방해하는 다양한 객체들을 근접한 위치에서 만날 수도 있기 때문에, 센싱 장치(200)가 감지할 수 있는 제2 감지 범위가 차량(100)이 감지할 수 있는 제1 감지 범위보다 클 수 있다.
차량(100)은 자율 주행을 위하여, 센서를 이용하여 주변의 3차원 공간에 대한 공간 정보을 직접 획득할 수 있다. 차량(100)은 주행 방향에 대응되는 더 넓은 공간에 대한 공간 정보를 미리 획득하기 위해, 직접 획득할 수 없었던 공간 정보를 외부로부터 수신할 수 있다. 예를 들어, 차량(100)은 주변의 다른 차량들이나 센싱 장치(200)로부터 각각이 획득한 공간 정보를 전달받을 수 있다.
이하, 차량(100)에서 획득된 공간 정보를 자율 주행에 이용하는 방식, 센싱 장치(200)에서 획득된 공간 정보를 주변의 다른 장치로 전송하는 방식, 차량(100)과 센싱 장치(200) 각각에서 획득된 공간 정보들을 결합하여 더 넓은 3차원 공간에 대한 공간 정보를 획득하여 활용하는 방식 등에 대해 자세히 살펴본다.
도 2는 일 실시예에 따른 차량의 구성을 나타낸 블록도이다.
도 2를 참조하면, 일 실시예에 따른 차량(100)은 메모리(110), 프로세서(120), 통신 인터페이스 장치(130), 센서부(140), 사용자 인터페이스 장치(150)를 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(110)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 예를 들어, 메모리(110)는 애플리케이션, 애플리케이션 프로그래밍 인터페이스(API) 등과 같은 프로그램 및 다양한 종류의 데이터를 저장할 수 있다. 메모리(110)는 프로세서(120)에 의해 실행 가능한 명령어들을 저장할 수 있다.
프로세서(120)는 메모리(110)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(110)에 저장할 수 있다. 프로세서(120)는 메모리(110)에 저장된 명령어들을 실행할 수 있다. 프로세서(120)는 차량(100)에 설치된 컴퓨터 프로그램을 실행할 수 있다. 또한, 프로세서(120)는 외부로부터 수신한 컴퓨터 프로그램 또는 애플리케이션을 메모리(110)에 설치할 수도 있다. 프로세서(120)는 적어도 하나의 프로세싱 모듈을 포함할 수 있다. 프로세싱 모듈은 소정의 프로그램을 실행하기 위한 전용 프로세싱 모듈일 수 있다. 예를 들어, 프로세서(120)는 ADAS(Advanced Driver Assistance System)와 같이 자율주행을 위한 차량 제어 프로그램을 실행하는 다양한 종류의 프로세싱 모듈이나 3차원 공간 추적 프로그램을 실행하는 프로세싱 모듈을 각각 별도의 전용 칩 형태로 포함할 수 있다. 프로세서(120)는 명령어 또는 컴퓨터 프로그램 등의 실행 결과에 대응되는 동작을 수행하도록 차량(100)에 포함된 다른 구성들을 제어할 수 있다.
통신 인터페이스 장치(130)는 다른 장치 또는 네트워크와 무선 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스 장치(130)는 다양한 무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, Wi-Fi(Wireless Fidelity)와 같은 근거리 통신, 3G, 4G, 5G 등과 같은 다양한 종류의 이동 통신 또는 초광대역 통신을 수행하는 통신 모듈이 포함될 수 있다. 통신 인터페이스 장치(130)는 차량(100)의 외부에 위치한 장치와 연결되어 신호 또는 데이터를 송수신할 수 있다. 차량(100)은 통신 인터페이스 장치(130)를 통해 센싱 장치(200) 또는 다른 차량과 통신을 수행하거나, 차량(100)이 위치하는 구역을 관리하는 지역 서버와도 연결될 수 있다.
센서부(140)는 3차원 공간을 감지하기 위한 적어도 하나의 센서를 포함할 수 있다. 센서부(140)는 감지 범위 내에 위치한 객체를 감지할 수 있고, 감지된 객체의 3차원 공간상의 좌표를 생성할 수 있는 데이터를 획득할 수 있다. 센서부(140)는 감지 범위 내에 위치한 객체에 대한 형상 데이터 또는 거리 데이터를 획득할 수 있다. 센서부(140)는 라이다(Light Detection and Ranging) 센서, 레이더(radar) 센서, 카메라 센서, 적외선 영상 센서, 초음파 센서 등과 같은 다양한 종류의 센서들 중 적어도 하나를 포함할 수 있다. 예를 들어, 센서부(140)는 적어도 하나의 3차원 라이다 센서를 포함하여 360도 범위의 공간에 대한 데이터를 획득하고, 레이더 센서 및 초음파 센서 중 적어도 하나를 더 포함하여 3차원 라이다 센서가 감지할 수 없는 사각 영역 또는 차량(100)으로부터 소정의 거리 내의 근접 공간에 대한 데이터를 획득할 수 있다.
사용자 인터페이스 장치(150)는 사용자로부터 사용자 입력 등을 수신할 수 있다. 사용자 인터페이스 장치(150)는 차량(100)에서 컴퓨터 프로그램의 실행 결과, 사용자 입력에 대응되는 처리 결과, 차량(100)의 상태 등의 정보를 디스플레이할 수 있다. 예를 들어, 사용자는 차량(100)에 설치되어 있는 다양한 종류의 컴퓨터 프로그램들 중에서 실행하고자 하는 컴퓨터 프로그램을 사용자 인터페이스 장치(150)를 통해 선택하여 실행시킬 수 있다. 사용자 인터페이스 장치(150)는 입력을 수신하거나 출력을 제공하기 위한 하드웨어 유닛들을 포함할 수 있으며, 이들을 구동하기 위한 전용 소프트웨어 모듈을 포함할 수도 있다. 예를 들어, 사용자 인터페이스 장치(150)는 터치 스크린이 될 수 있으나, 이에 한정되지 않는다.
도 2에 도시되지 않았으나, 차량(100)은 GPS(Global Positioning System), IMU(Inertial Measurement Units) 등과 같은 자율 주행에 요구되는 구성들을 더 포함할 수 있다. GPS는 GPS 위성에서 보내는 신호를 수신해 차량(100)의 현재 위치를 계산하는 위성항법시스템이다. IMU는 차량(100)의 속도와 방향, 중력, 가속도를 측정하는 장치이다. 프로세서(120)는 GPS와 IMU를 이용하여, 차량(100)의 이동 및 자세에 관련된 정보를 획득할 수 있다. 프로세서(120)는 차량(100)에 구비된 다른 센서나 메모리로부터 차량(100) 제어에 관련된 그 외의 정보들을 획득할 수도 있다.
프로세서(120)는 컴퓨터 실행가능 명령어를 실행함으로써, 적어도 하나의 센서를 이용하여 연속적으로 감지된 3차원 공간에 대한 시간별 공간 정보를 획득할 수 있다. 프로세서(120)는 획득한 시간별 공간 정보에 대해 신경망 기반의 객체 분류 모델을 이용하여, 감지된 3차원 공간 내의 적어도 하나의 객체를 식별하고, 식별된 적어도 하나의 객체를 포함하는 감지된 3차원 공간을 추적할 수 있다. 프로세서(120)는 추적된 3차원 공간에 관련된 정보와 차량의 이동 및 자세에 관련된 정보에 기초하여, 차량(100)의 주행을 제어할 수 있다. 추적된 3차원 공간에 관련된 정보는 식별된 적어도 하나의 객체가 위치하는 공간에 대한 공간 정보 및 식별된 적어도 하나의 객체의 이동에 대한 동적 정보를 포함할 수 있다.
프로세서(120)는 센서부(140)로부터 시간정보를 기록한 타임스탬프와 감지된 3차원 공간에 대한 데이터를 수신하여, 감지된 3차원 공간에 대한 시간별 공간 정보를 3차원 영상으로 생성할 수 있다. 감지된 3차원 공간에 대한 공간 정보는 차량(100)의 이동 위치에 대응되는 이동 좌표 값을 GPS를 통해 가질 수 있으므로, 소정의 좌표를 기준으로 하는 좌표계, 예를 들어, 원점을 기준으로 하는 절대 좌표계의 대응되는 부분에 맵핑될 수 있다.
센서부(140)는 복수 개의 3차원 라이다 센서를 통해 동심구 관계에 있는 서로 다른 센싱 범위로 3차원 공간을 각각 연속적으로 감지할 수 있다. 프로세서(120)는 서로 다른 센싱 범위로 각각 감지된 3차원 공간에 대한 각각의 시간별 공간 정보를 획득하고, 획득한 각각의 시간별 공간 정보로부터 공통으로 식별되는 객체에 대해 정확도에 관한 가중치를 주어 3차원 공간을 추적할 수 있다.
프로세서(120)는 감지된 3차원 공간 내의 식별된 적어도 하나의 객체의 종류, 3차원 형상, 위치, 자세, 사이즈, 궤적, 및 속도 중 적어도 하나의 속성 정보를 판단하여 3차원 공간을 추적하고, 추적된 3차원 공간에 관련된 정보를 예측하며, 예측된 정보에 더 기초하여, 차량(100)의 주행을 제어할 수 있다.
프로세서(120)는 차량(100)의 이동에 따라 변경되는, 추적된 3차원 공간에 관련된 정보와 차량(100)의 이동 및 자세에 관련된 정보를 10Hz 내지 20Hz의 처리 속도로 실시간으로 반영하여, 차량(100)의 주행을 제어할 수 있다.
프로세서(120)는 차량(100)이 이동하는 경로에 설치된 적어도 하나의 센싱 장치(200)로부터, 적어도 하나의 센싱 장치(200)에 의해 추적된, 적어도 하나의 센싱 장치(200)의 고정된 위치에 대응되는 3차원 공간에 관련된 정보를 통신 인터페이스 장치(130)를 통해 수신할 수 있다. 프로세서(120)는 적어도 하나의 센싱 장치(200)의 고정된 위치에 대응되는 3차원 공간에 관련된 정보에 더 기초하여, 차량(100)의 주행을 제어할 수 있다.
프로세서(120)는 신경망 기반의 객체 분류 모델을 이용하여, 식별된 적어도 하나의 객체를 소정의 기준 이상의 자동차에 해당하는 제1 타입의 객체, 소정의 기준 미만의 경차 또는 이륜 자동차에 해당하는 제2 타입의 객체, 보행자에 해당하는 제3 타입의 객체, 차량(100)의 이동로에 해당하는 제4 타입의 객체, 및 제1 타입의 객체 내지 제4 타입의 객체가 아닌 기타 감지물에 해당하는 제5 타입의 객체 중 어느 하나로 분류할 수 있다. 프로세서(120)는 사용자 인터페이스 장치(150)를 통해, 분류된 적어도 하나의 객체를 추적된 3차원 공간에 구별하여 디스플레이할 수 있다.
도 3은 일 실시예에 따른 센싱 장치(200)의 구성을 나타낸 블록도이다.
도 3을 참조하면, 일 실시예에 따른 센싱 장치(200)는 메모리(210), 프로세서(220), 통신 인터페이스 장치(230), 센서부(240)를 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(210)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 메모리(210)는 프로세서(220)에 의해 실행 가능한 명령어들을 저장할 수 있다.
프로세서(220)는 메모리(210)에 저장된 데이터에 접근하여 이를 이용하거나, 또는 새로운 데이터를 메모리(210)에 저장할 수 있다. 프로세서(220)는 메모리(210)에 저장된 명령어들을 실행할 수 있다. 프로세서(220)는 센싱 장치(200)에 설치된 컴퓨터 프로그램을 실행할 수 있다. 또한, 프로세서(220)는 외부로부터 수신한 컴퓨터 프로그램 또는 애플리케이션을 메모리(210)에 설치할 수도 있다. 프로세서(220)는 적어도 하나의 프로세싱 모듈을 포함할 수 있다. 예를 들어, 프로세서(220)는 3차원 공간 추적 프로그램을 실행하는 프로세싱 모듈을 전용 프로세싱 모듈 형태로 포함할 수 있다. 프로세서(220)는 명령어 또는 컴퓨터 프로그램 등의 실행 결과에 대응되는 동작을 수행하도록 센싱 장치(200)에 포함된 다른 구성들을 제어할 수 있다.
통신 인터페이스 장치(230)는 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스 장치(230)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, Wi-Fi(Wireless Fidelity)와 같은 근거리 통신, 다양한 종류의 이동 통신 등의 무선 통신 또는 동축 케이블이나 광케이블 등을 이용하는 유선 통신을 수행하는 통신 모듈이 포함될 수 있다. 통신 인터페이스 장치(230)는 센싱 장치(200)의 외부에 위치한 장치와 연결되어 신호 또는 데이터를 송수신할 수 있다. 센싱 장치(200)는 통신 인터페이스 장치(230)를 통해 차량(100) 또는 다른 센싱 장치와 통신을 수행하거나, 센싱 장치(200)가 위치하는 구역을 관리하는 지역 서버와도 연결될 수 있다.
센서부(240)는 3차원 공간을 감지하기 위한 적어도 하나의 센서를 포함할 수 있다. 센서부(240)는 감지 범위 내에 위치한 객체를 감지할 수 있고, 감지된 객체의 3차원 공간상의 좌표를 생성할 수 있는 데이터를 획득할 수 있다. 센서부(240)는 감지 범위 내에 위치한 객체에 대한 형상 데이터 또는 거리 데이터를 획득할 수 있다. 센서부(240)는 라이다(Light Detection and Ranging) 센서, 레이더(radar) 센서, 카메라 센서, 적외선 영상 센서, 초음파 센서 등과 같은 다양한 종류의 센서들 중 적어도 하나를 포함할 수 있다. 예를 들어, 센서부(240)는 적어도 하나의 3차원 라이다 센서를 포함하여 360도 범위의 공간에 대한 데이터를 획득하고, 레이더 센서 및 초음파 센서 중 적어도 하나를 더 포함하여 3차원 라이다 센서가 감지할 수 없는 사각 영역 또는 센싱 장치(200)로부터 소정의 거리 내의 근접 공간에 대한 데이터를 획득할 수 있다.
프로세서(220)는 컴퓨터 실행가능 명령어를 실행함으로써, 적어도 하나의 센서를 이용하여 연속적으로 감지된 3차원 공간에 대한 시간별 공간 정보를 획득할 수 있다. 프로세서(220)는 획득한 시간별 공간 정보에 대해 신경망 기반의 객체 분류 모델을 이용하여, 감지된 3차원 공간 내의 적어도 하나의 객체를 식별하고, 식별된 적어도 하나의 객체를 포함하는 감지된 3차원 공간을 추적할 수 있다. 프로세서(220)는 추적된 3차원 공간에 관련된 정보를 통신 인터페이스 장치(230)를 통해 외부로 전송할 수 있다.
프로세서(220)는 센서부(240)로부터 시간정보를 기록한 타임스탬프와 감지된 3차원 공간에 대한 데이터를 수신하여, 감지된 3차원 공간에 대한 시간별 공간 정보를 3차원 영상으로 생성할 수 있다. 감지된 3차원 공간에 대한 공간 정보는 센싱 장치(200)의 고정된 위치에 대응되는 고정 좌표 값을 가질 수 있으므로, 소정의 좌표를 기준으로 하는 좌표계, 예를 들어, 원점을 기준으로 하는 절대 좌표계의 대응되는 부분에 맵핑될 수 있다.
프로세서(220)는 감지된 3차원 공간 내의 식별된 적어도 하나의 객체의 종류, 3차원 형상, 위치, 자세, 사이즈, 궤적, 및 속도 중 적어도 하나의 속성 정보를 판단하여 3차원 공간을 추적할 수 있다. 프로세서(220)는 추적된 3차원 공간에 관련된 정보를 통신 인터페이스 장치(230)를 통해 센싱 장치(200)로부터 소정의 거리 내의 차량(100), 다른 센싱 장치(200), 및 서버(300) 중 적어도 하나에 전송할 수 있다.
도 4는 일 실시예에 따른 서버(300)의 구성을 나타낸 블록도이다.
도 4를 참조하면, 일 실시예에 따른 서버(300)는 메모리(310), 프로세서(320), 통신 인터페이스 장치(330)를 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 4에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(310)는 소프트웨어 및/또는 프로그램을 저장할 수 있다. 메모리(310)는 프로세서(320)에 의해 실행 가능한 명령어들을 저장할 수 있다.
프로세서(320)는 메모리(310)에 저장된 데이터를 이용하거나, 또는 새로운 데이터를 메모리(310)에 저장할 수 있다. 프로세서(320)는 메모리(210)에 저장된 명령어들을 실행할 수 있다. 프로세서(320)는 서버(300)에 설치된 컴퓨터 프로그램을 실행할 수 있다. 프로세서(320)는 적어도 하나의 프로세싱 모듈을 포함할 수 있다. 프로세서(320)는 명령어 또는 컴퓨터 프로그램 등의 실행 결과에 대응되는 동작을 수행하도록 서버(300)에 포함된 다른 구성들을 제어할 수 있다.
통신 인터페이스 장치(330)는 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 통신 인터페이스 장치(330)는 서버(300)의 외부에 위치한 장치와 연결되어 신호 또는 데이터를 송수신할 수 있다. 서버(300)는 통신 인터페이스 장치(330)를 통해 차량(100) 또는 센싱 장치(200)와 통신을 수행하거나, 네트워크로 연결된 다른 서버와도 연결될 수 있다.
프로세서(320)는 컴퓨터 실행가능 명령어를 실행함으로써, 통신 인터페이스 장치(330)를 통해, 적어도 하나의 차량(100)에 의해 추적된, 적어도 하나의 차량(100)의 이동 위치에 대응되는 3차원 공간에 관련된 정보를 수신하고, 차량(100)이 이동하는 경로에 설치된 적어도 하나의 센싱 장치(200)에 의해 추적된, 적어도 하나의 센싱 장치(200)의 고정된 위치에 대응되는 3차원 공간에 관련된 정보를 수신할 수 있다. 프로세서(320)는 적어도 하나의 차량(100)의 이동 위치에 대응되는 3차원 공간에 관련된 정보와 적어도 하나의 센싱 장치(200)의 고정된 위치에 대응되는 3차원 공간에 관련된 정보에 기초하여, 적어도 하나의 차량(100)의 이동 위치와 적어도 하나의 센싱 장치(200)의 고정된 위치가 모두 속하는 소정의 구역에 대응되는 3차원 공간에 관련된 정보를 재구성할 수 있다.
프로세서(320)는 재구성된, 소정의 구역에 대응되는 3차원 공간에 관련된 정보를 통신 인터페이스 장치(330)를 통해 상위 계층의 통합 서버로 전송할 수 있다.
도 5는 일 실시예에 따른 서버들(300-1, 300-2 내지 300-N, 400)의 계층적 구조를 나타낸 블록도이다.
도 5를 참조하면, 차량(100)과 센싱 장치(200)가 각각 감지할 수 있는 감지 범위(sensing range)는 모두 소정의 구역에 속하는 것임을 알 수 있다. 이러한 소정의 구역은 지역 서버에 해당하는 서버(300-1, 300-2 내지 300-N, 이하, 300으로 대표하여 지칭할 수 있음) 중 해당 구역에 대응되는 어느 하나의 서버(300)에 의해 관리될 수 있다.
서버(300)는 서버(300)가 관리하는 해당 구역 내에서 차량(100)이나 센싱 장치(200)에 의해 추적된 3차원 공간에 관련된 정보를 수집하고, 해당 구역 내의 대응되는 공간에 맵핑시킴으로서, 해당 구역 전체에 대응되는 3차원 공간에 관련된 정보를 재구성할 수 있다. 다시 말해서, 지역 서버에 해당하는 서버(300)는 자신이 관리하는 구역에 대한 3차원 공간에 관련된 정보를 획득할 수 있다. 지역 서버에 해당하는 서버(300)는 소정의 조건을 만족하거나 요청이 있는 경우, 자신이 관리하는 구역에 대한 3차원 공간에 관련된 정보의 일부 또는 전체를 해당 구역 내에 위치한 차량(100)이나 센싱 장치(200)에 전송할 수 있다. 또한, 서버(300)는 자신이 관리하는 구역에 대한 3차원 공간에 관련된 정보를 지역 서버들을 관리하는 전역 서버에 해당하는 서버(400)로 전송할 수 있다. 서버(400)는 서버(300)의 상위 계층의 통합 서버일 수 있다.
서버(400)는 지역 서버들에 의해 재구성된, 소정의 구역에 대응되는 3차원 공간에 관련된 정보를 수집하고, 전역 내의 대응되는 공간에 맵핑시킴으로서, 서버(400)가 관리하는 전역에 대응되는 3차원 공간에 관련된 정보를 획득할 수 있다. 다시 말해서, 전역 서버에 해당하는 서버(400)는 자신이 관리하는 전역에 대한 3차원 공간에 관련된 정보를 획득할 수 있다. 전역 서버에 해당하는 서버(400)는 소정의 조건을 만족하거나 요청이 있는 경우, 자신이 관리하는 전역에 대한 3차원 공간에 관련된 정보의 일부 또는 전체를 지역 서버에 해당하는 서버(300)에 전송할 수 있다.
도 5에 도시된 바와 같이, 센서부(140)를 포함하는 차량(100)과 센서부(240)를 포함하는 센싱 장치(200), 지역 서버에 해당하는 서버(300), 및 전역 서버에 해당하는 서버(400) 간에는 계층적 구조가 형성될 수 있음을 알 수 있다. 차량(100)과 센싱 장치(200)에서 추적된 3차원 공간에 관련된 정보는 상위 계층으로 전달되면서 통합되는 과정을 거쳐, 전체 공간에 대응되는 3차원 공간에 관련된 정보가 될 수 있다.
도 6은 일 실시예에 따른 차량(100)이 추적된 3차원 공간에 관련된 정보에 기초하여 주행하는 모습을 설명하기 위한 도면이다.
도 6을 참조하면, 차량(100)이 차량(100)의 이동 위치에 대응되는 3차원 공간에 관련된 정보와 차량(100)의 이동 및 자세에 관련된 정보에 기초하여 주행함을 알 수 있다. 차량(100)의 이동 위치에 대응되는 3차원 공간에 관련된 정보에는 적어도 하나의 객체가 포함될 수 있다. 도 6에 도시된 바와 같이, 소정의 기준 이상의 자동차는 제1 타입의 객체로, 소정의 기준 미만의 경차 또는 이륜 자동차는 제2 타입의 객체로, 보행자는 제3 타입의 객체로, 차량(100)의 이동로는 제4 타입의 객체로, 제1 타입의 객체 내지 제4 타입의 객체가 아닌 기타 감지물은 제5 타입의 객체로 각각 구별될 수 있으며, 각 타입의 객체는 높이를 포함하는 3차원 형상이나 크기, 색상 등이 서로 다를 수 있다. 차량(100)의 이동 위치에 따라 추적된 3차원 공간에 관련된 정보에 기초하여, 각 객체들의 위치, 자세, 속도 등이 결정될 수 있으며, 각 객체들을 지속적으로 추적함으로써 변위, 변화량, 궤적, 추이 등을 확인 또는 예측할 수 있다. 차량(100)이 자율 주행 차량인 경우, 차량(100)의 이동에 따라 변하는 주변의 객체들을 추적하여, 차량(100)의 주행을 제어하는 자료로 사용될 수 있다.
도 6의 우측 하단에 표시된 바와 같이, 차량(100)의 속도, 방향, 및 조향 장치의 각도를 확인할 수 있고, 차량(100)의 이동에 따라 그 변화를 추적할 수 있다.
도 7은 다른 실시예에 따른 차량(100)이 추적된 3차원 공간에 관련된 정보에 기초하여 주행하는 모습을 설명하기 위한 도면이다.
도 7을 참조하면, 차량(100)이 차량(100)의 이동 위치에 대응되는 3차원 공간에 관련된 정보와 차량(100)의 이동 및 자세에 관련된 정보에 기초하여 주행함을 알 수 있다. 앞서 살펴본 도 6과 비교해보면, 차량(100)을 둘러싸고 있는 동심원의 줄 개수 및 간격이 다름을 알 수 있다. 도 7의 경우, 차량(100)이 복수 개의 3차원 라이다 센서를 통해 동심구 관계에 있는 서로 다른 센싱 범위로 3차원 공간을 각각 연속적으로 감지하고, 서로 다른 센싱 범위로 각각 감지된 3차원 공간에 대한 각각의 시간별 공간 정보를 획득하여, 차량(100)의 이동 위치에 대응되는 3차원 공간을 추적할 수 있음을 알 수 있다.
도 8은 일 실시예에 따른 센싱 장치(200)가 센싱 장치(200)의 고정된 위치에 대응되는 3차원 공간에 관련된 정보를 추적하는 모습을 설명하기 위한 도면이다.
도 8을 참조하면, 두 개의 센싱 장치(200)가 소정의 거리를 두고 위치하고 있으며, 각 센싱 장치(200)는 적어도 하나의 센서를 이용하여 3차원 공간을 연속적으로 감지하여, 센싱 장치(200)의 고정된 위치에 대응되는 3차원 공간에 관련된 정보를 추적함을 알 수 있다. ID 185에 해당하는 자동차가 약 20km/h 속도로 센싱 장치(200)로부터 멀어지고, ID 156에 해당하는 보행자가 약 5km/h 속도로 좌측에 있는 센싱 장치(200)로부터 우측에 있는 센싱 장치(200)로 이동하고 있음을 알 수 있다. 이때, 각 객체의 진행 방향을 알 수 있도록 각 객체의 진행 방향에 대응되는 화살표를 나타낼 수 있다. 이와 같은 센싱 장치(200)는 감지 범위 내로 어떤 객체가 지나가는지 또는 침입하는지 여부를 알 수 있으므로 보안 용도로 활용할 수도 있고, 특정 구역에 대한 통행량 관측과 같은 모니터링 용도로 활용할 수도 있다.
도 9는 일 실시예에 따른 차량(100)이 차량(100)에서 추적된, 차량(100)의 이동 위치에 대응되는 3차원 공간에 관련된 정보에 기초하여 주행하는 모습을 설명하기 위한 도면이다. 도 10은 일 실시예에 따른 차량(100)이 차량(100)에서 추적된, 차량(100)의 이동 위치에 대응되는 3차원 공간에 관련된 정보와 센싱 장치(200)에서 추적된, 센싱 장치(200)의 고정된 위치에 대응되는 3차원 공간에 관련된 정보에 기초하여 주행하는 모습을 설명하기 위한 도면이다.
도 9 및 도 10을 참조하면, 도 9에 도시된 차량(100)은 차량(100)에 구비된 센서만을 이용하여, 차량(100)의 이동 위치에 대응되는 3차원 공간에 관련된 정보를 획득하므로, 차량(100)을 둘러싼 객체들이 있을 경우, 센서가 감지할 수 있는 감지 범위가 제한적일 수 밖에 없다. 이에 반해, 도 10에 도시된 차량(100)은 차량(100)에 구비된 센서를 이용하여 차량(100)의 이동 위치에 대응되는 3차원 공간에 관련된 정보를 획득할 뿐만 아니라, 차량(100)이 이동하는 경로에 설치된 적어도 하나의 센싱 장치(200)에 구비된 센서를 이용하여 센싱 장치(200)의 고정된 위치에 대응되는 3차원 공간에 관련된 정보도 획득하므로, 도 9의 차량(100)이 감지할 수 있는 3차원 공간보다 도 10의 차량(100)이 감지할 수 있는 3차원 공간이 훨씬 넓음을 알 수 있다. 도 10의 차량(100)은 제3 타입의 객체에 해당하는 보행자와 제1 타입의 객체에 해당하는 모든 자동차를 추적하고 이에 대한 정보를 확인할 수 있으나, 도 9의 차량(100)은 제3 타입의 객체에 해당하는 보행자와 제1 타입의 객체에 해당하는 일부 자동차를 추적할 수 없다.
도 11은 3차원 공간에 대한 시간별 공간 정보에 기초하여, 감지된 3차원 공간을 추적하고, 추적된 3차원 공간에 관련된 정보를 예측하는 과정을 설명하기 위한 흐름도이다. 도 12 내지 도 16은 3차원 공간에 대한 시간별 공간 정보에 기초하여, 감지된 3차원 공간을 추적하고, 추적된 3차원 공간에 관련된 정보를 예측하는 과정의 각 단계를 설명하기 위한 도면이다. 이하, 도 11 내지 도 16을 참조하여, 3차원 공간에 대한 시간별 공간 정보에 기초하여, 감지된 3차원 공간을 추적하고, 추적된 3차원 공간에 관련된 정보를 예측하는 과정을 설명한다.
1110 단계에서, 차량(100) 또는 센싱 장치(200)는 3차원 공간에 대한 시간별 공간 정보로부터 지면 영역과 객체 영역을 구분할 수 있다. 차량(100) 또는 센싱 장치(200)에서 감지된 3차원 공간에 대한 시간별 공간 정보는 포인트 클라우드 데이터 형태일 수 있다.
차량(100) 또는 센싱 장치(200)는 3차원 공간에 대한 시간별 공간 정보로부터 지면 영역을 구분할 수 있다. 차량(100) 또는 센싱 장치(200)는 포인트 클라우드 데이터 중 지면 영역에 해당하는 포인트 클라우드 데이터를 구분할 수 있다. 차량(100) 또는 센싱 장치(200)는 3차원 공간에 대한 시간별 공간 정보로부터 지면 영역을 먼저 구분하고, 나머지 부분을 적어도 하나의 객체를 포함하는 객체 영역으로 구분할 수 있다. 차량(100) 또는 센싱 장치(200)는 지면 추정 모델(ground estimation model)을 찾기 위해 확률적 모델(stochastic model)에 기반한 피팅을 적용할 수 있다. 차량(100) 또는 센싱 장치(200)는 실시간으로 지면 형태를 학습할 수 있고, 각각의 포인트 클라우드 데이터에 대해 지면 영역에 해당하는 포인트 클라우드 데이터인지 아닌지 여부로 분류할 수 있다.
도 12를 참조하면, 차량(100) 또는 센싱 장치(200)가 감지한 3차원 공간에 대한 특정 시간에서의 공간 정보로부터 지면 영역과 객체 영역을 구분하는 과정이 나타나 있다. 설명의 편의를 위해, 도 12 내지 도 16에서는 도시된 바와 같이, 3개의 객체와 지면을 포함하는 공간 정보인 경우를 예로 들어 설명한다.
차량(100) 또는 센싱 장치(200)가 감지한 3차원 공간에 대한 특정 시간에서의 공간 정보는 도 12의 상단에 도시된 바와 같이, 객체와 지면의 구분이 없는 포인트 클라우드 데이터로서, 감지된 모든 대상에 대응되는 포인트 클라우드 데이터일 수 있다. 차량(100) 또는 센싱 장치(200)는 도 12의 상단에 도시된 바와 같은 전체 포인트 클라우드 데이터에서 지면 영역으로 추정되는 포인트 클라우드 데이터를 분리해냄으로써, 도 12의 하단에 도시된 바와 같이, 지면 영역에 대응되는 포인트 클라우드 데이터와 객체 영역에 대응되는 포인트 클라우드 데이터를 구분할 수 있다. 이때, 객체 영역은 적어도 하나의 객체들을 포함하나, 각 객체 별로 구분된 상태는 아니고, 전체 객체들에 대응되는 포인트 클라우드 데이터일 수 있다.
다시 도 11을 참조하면, 1120 단계에서, 차량(100) 또는 센싱 장치(200)는 객체 영역을 클러스터링함으로써 개별 객체 영역을 구분할 수 있다. 차량(100) 또는 센싱 장치(200)는 지면 영역과 구분된 객체 영역을 다시 각 객체 별로 구분될 수 있도록 개별 객체 영역으로 다시 구분할 수 있다. 지면 영역과 구분된 객체 영역은 전체 객체들에 대응되는 포인트 클라우드 데이터에 해당하므로, 차량(100) 또는 센싱 장치(200)는 전체 객체들에 대응되는 포인트 클라우드 데이터를 클러스터링함으로써, 각 객체 별로 포인트 클라우드 데이터를 구분할 수 있다.
도 13을 참조하면, 차량(100) 또는 센싱 장치(200)가 지면 영역과 구분된 객체 영역으로부터 각 객체에 대응되는 개별 객체 영역을 구분하는 과정이 나타나 있다.
도 13의 상단에 도시된 바와 같이, 지면을 제외한 전체 객체들을 포함하는 객체 영역에 대응되는 포인트 클라우드 데이터는 지면 영역에 대응되는 포인트 클라우드 데이터와 구분될 수 있다. 차량(100) 또는 센싱 장치(200)는 객체 영역에 대응되는 포인트 클라우드 데이터를 거리 정보, 형상 정보, 분포 정보 중 적어도 하나에 기초하여 클러스터링함으로써, 전체 객체들을 포함하는 객체 영역에 대응되는 포인트 클라우드 데이터로부터 도 13의 하단에 도시된 바와 같이, '객체 1', '객체 2', 및 '객체 3' 각각의, 개별 객체 영역에 대응되는 포인트 클라우드 데이터를 구분할 수 있다. 그 결과, 차량(100) 또는 센싱 장치(200)는 객체의 위치나 형상, 개수 등에 관한 정보를 획득할 수 있다.
다시 도 11을 참조하면, 1130 단계에서, 차량(100) 또는 센싱 장치(200)는 3차원 공간에 대한 시간별 공간 정보에 대해 신경망 기반의 객체 분류 모델을 이용하여 식별된 적어도 하나의 객체의 객체 정보를 획득할 수 있다. 차량(100) 또는 센싱 장치(200)는 신경망 기반의 객체 분류 모델에 3차원 공간에 대한 시간별 공간 정보를 입력하여, 적어도 하나의 객체를 식별하고, 식별된 객체의 객체 정보를 획득할 수 있다. 신경망 기반의 객체 분류 모델은 각 객체에 대해 데이터베이스화된 학습용 영상을 이용하여 학습된 것일 수 있다. 신경망 기반의 객체 분류 모델은 감지된 모든 대상에 대응되는 포인트 클라우드 데이터에 대해, 거리 정보, 형상 정보, 분포 정보 중 적어도 하나에 기초하여 식별되는 각 객체의 객체 정보를 추정할 수 있다. 차량(100) 또는 센싱 장치(200)는 신경망 기반의 객체 분류 모델을 통해 자동차, 경차, 이륜 자동차, 보행자 등과 같은 움직일 수 있는 관심 객체만을 식별하여, 관심 객체에 대해서만 객체 정보를 추정할 수도 있다. 1130 단계는 1110 단계 및 1120 단계와 병렬적으로 처리될 수 있다.
도 14를 참조하면, 차량(100) 또는 센싱 장치(200)가 감지한 3차원 공간에 대한 특정 시간에서의 공간 정보로부터 각 객체의 객체 정보를 획득하는 과정이 나타나 있다.
차량(100) 또는 센싱 장치(200)가 감지한 3차원 공간에 대한 특정 시간에서의 공간 정보는 도 14의 상단에 도시된 바와 같이, 감지된 모든 대상에 대응되는 포인트 클라우드 데이터일 수 있다. 차량(100) 또는 센싱 장치(200)는 도 14의 상단에 도시된 바와 같은 전체 포인트 클라우드 데이터에 대해, 신경망 기반의 객체 분류 모델을 이용하여 '객체 1', '객체 2', 및 '객체 3'을 식별 및 분류하고, '객체 1', '객체 2', 및 '객체 3'의 객체 정보를 획득할 수 있다. '객체 1'에 해당하는 타입의 객체를 관심 객체로 사전에 설정해둠으로써, 관심 객체인 '객체 1'만을 식별 및 분류하여, '객체 1'에 대해서만 객체 정보를 획득하도록 할 수도 있다. 도 14의 하단에 도시된 바와 같이, 차량(100) 또는 센싱 장치(200)는 각 객체의 종류, 위치 및 크기의 값을 추정할 수 있으며, 각 객체에 대한 다양한 형태의 바운더리 라인(boundary line) 또는 바운딩 박스(bounding box)를 결정할 수 있다.
다시 도 11을 참조하면, 1140 단계에서, 차량(100) 또는 센싱 장치(200)는 1130 단계에서 획득한, 3차원 공간에 대한 시간별 공간 정보에 대해 신경망 기반의 객체 분류 모델을 이용하여 식별된 적어도 하나의 객체의 객체 정보와 1120 단계에서 획득한, 개별 객체 영역에 기초하여, 감지된 3차원 공간을 추적할 수 있다. 1130 단계에서 활용되는 신경망 기반의 객체 분류 모델은 충분히 학습되지 않은 객체에 대해서는 객체의 식별 및 객체 정보의 추정이 곤란할 수 있으므로, 차량(100) 또는 센싱 장치(200)는 이와 같은 식별 불가한 객체에 대해서는 1120 단계에서 획득한 개별 객체 영역으로부터 객체의 위치나 형상, 또는 개수 등에 관한 정보를 획득할 수 있다. 또한, 1130 단계에서 활용되는 신경망 기반의 객체 분류 모델이 추정한 객체의 정보는 감지된 3차원 공간 상의 객체의 실제 정보와 다를 수도 있으므로, 1120 단계에서 획득한 개별 객체 영역으로부터 획득할 수 있는 객체의 위치나 형상, 또는 개수 등에 관한 정보를 이용하여 보정할 수도 있다. 결과적으로, 신경망 기반의 객체 분류 모델이 추정한 객체의 정보와 클러스터링을 통해 구분된 개별 객체 영역으로부터 획득한 객체에 관한 정보를 통합하여, 각 객체를 식별하고, 객체의 위치나 형상 등에 관한 정확한 정보를 획득할 수 있다. 또한, 신경망 기반의 객체 분류 모델을 통해 식별 또는 분류할 수 없는 객체에 대해서도, 클러스터링을 통해 구분된 개별 객체 영역으로부터 획득한 객체에 관한 정보를 이용함으로써, 감지된 3차원 공간 상의 모든 객체를 놓치지 않고 추적할 수 있다.
도 15 및 도 16을 참조하면, 차량(100) 또는 센싱 장치(200)가 클러스터링을 통해 구분된 개별 객체 영역으로부터 획득한 객체에 관한 정보와 신경망 기반의 객체 분류 모델이 추정한 객체의 정보를 통합하여, 감지된 3차원 공간 상의 객체를 추적하는 과정이 나타나 있다.
도 15를 참조하면, 차량(100) 또는 센싱 장치(200)는 '객체 1', '객체 2', 및 '객체 3' 각각의, 개별 객체 영역에 대응되는 포인트 클라우드 데이터에 기초하여 획득한 각 객체에 관한 정보와 '객체 1', '객체 2', 및 '객체 3'으로 식별 및 분류된 각 객체의 객체 정보를 통합하여, 감지된 3차원 공간 상의 모든 객체에 대한 정확한 정보를 획득할 수 있다. 차량(100) 또는 센싱 장치(200)는 각 객체에 대한 다양한 형태의 바운더리 라인 또는 바운딩 박스를 개별 객체 영역에 대응되는 포인트 클라우드 데이터에 기초하여 획득한 각 객체에 관한 정보에 따라 보정함으로써, 객체에 대한 정확한 정보를 획득할 수 있다.
도 16을 참조하면, 차량(100) 또는 센싱 장치(200)는 감지된 3차원 공간에 대한 시간별 공간 정보로부터, 시간의 흐름에 따라, 감지된 3차원 공간 상의 모든 객체에 대한 연속적인 정보를 획득하여, 감지된 3차원 공간 상의 모든 객체를 추적할 수 있다. 예를 들어, 차량(100) 또는 센싱 장치(200)는 칼만 필터를 이용한 객체 추적 방식에 따라, 각 객체를 시간의 흐름에 따라 추적할 수 있다. 도 16에 도시된 바와 같이, 차량(100) 또는 센싱 장치(200)는 시간의 흐름에 따른 연속하는 프레임 정보로부터, 각 객체의 위치의 변화량에 기초하여, 속도와 이동 방향을 추적할 수 있고, 추적한 결과를 기록할 수도 있다.
다시 도 11을 참조하면, 1150 단계에서, 차량(100) 또는 센싱 장치(200)는 추적된 3차원 공간에 관련된 정보를 예측할 수 있다. 차량(100) 또는 센싱 장치(200)는 객체를 추적한 정보를 누적하고, 누적된 추적 정보로부터 객체의 움직임 패턴을 분석하여, 객체의 움직임을 예측할 수 있다. 차량(100) 또는 센싱 장치(200)는 차량(100) 또는 센싱 장치(200)는 식별된 적어도 하나의 객체 중 관심 객체에 대해서만 추적된 3차원 공간에서의 움직임을 예측함으로써, 이와 관련된 프로세싱의 연산량을 줄여 효율적인 주행 또는 감시를 계획할 수 있다.
상술한 실시예들 각각은 전자 장치에서, 센서를 이용하여 획득한 공간 정보를 활용하는 소정의 단계들을 포함하는 방법을 수행하도록 하는 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램 또는 애플리케이션 형태로 제공될 수 있다. 다시 말해서, 상술한 실시예들 각각은 전자 장치로 하여금, 센서를 이용하여 획득한 공간 정보를 활용하는 소정의 단계들을 포함하는 방법을 실행시키기 위한 컴퓨터 판독 가능 저장매체에 저장된 컴퓨터 프로그램 또는 애플리케이션 형태로 제공될 수 있다.
상술한 실시예들은 컴퓨터 또는 프로세서에 의하여 실행 가능한 명령어 및 데이터를 저장하는 컴퓨터 판독 가능 저장매체의 형태로 구현될 수 있다. 상기 명령어 및 데이터 중 적어도 하나는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 이와 같은 컴퓨터 판독 가능 저장매체는 read-only memory (ROM), random-access memory (RAM), flash memory, CD-ROMs, CD-Rs, CD+Rs, CD-RWs, CD+RWs, DVD-ROMs, DVD-Rs, DVD+Rs, DVD-RWs, DVD+RWs, DVD-RAMs, BD-ROMs, BD-Rs, BD-R LTHs, BD-REs, 마그네틱 테이프, 플로피 디스크, 광자기 데이터 저장 장치, 광학 데이터 저장 장치, 하드 디스크, 솔리드-스테이트 디스크(SSD), 그리고 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 저장할 수 있고, 프로세서나 컴퓨터가 명령어를 실행할 수 있도록 프로세서나 컴퓨터에 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 제공할 수 있는 어떠한 장치라도 될 수 있다.
이제까지 실시예들을 중심으로 살펴보았다. 개시된 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자는 개시된 실시예들이 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 발명의 범위는 전술한 실시예들의 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 발명의 범위에 포함된 것으로 해석되어야 할 것이다.

Claims (17)

  1. 3차원 공간을 감지하는 센서부;
    하나 이상의 명령어를 저장하는 메모리; 및
    상기 하나 이상의 명령어를 실행함으로써, 상기 감지된 3차원 공간에 대한 포인트 클라우드 데이터를 획득하고, 상기 획득된 포인트 클라우드 데이터로부터 개별 객체 영역을 구분하고, 객체 분류 모델을 이용하여 식별된 객체의 객체 정보를 획득하고, 상기 개별 객체 영역에 기초하여 획득되는 객체에 관한 정보와 상기 객체 정보를 이용하여 상기 감지된 3차원 공간을 추적하고, 상기 추적된 3차원 공간에 관련된 정보에 기초하여, 상기 차량의 주행을 제어하는 프로세서;
    를 포함하는, 차량.
  2. 제 1 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 명령어를 실행함으로써,
    상기 객체 분류 모델을 통해 식별 불가한 객체의 경우, 상기 개별 객체 영역으로부터 획득되는 객체에 관한 정보를 이용하여 상기 감지된 3차원 공간을 추적하는, 차량.
  3. 제 1 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 명령어를 실행함으로써,
    상기 객체 정보를 상기 객체에 관한 정보를 이용하여 보정함으로써 상기 감지된 3차원 공간을 추적하는, 차량.
  4. 제 1 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 명령어를 실행함으로써,
    상기 객체 정보에 대응되는 바운딩 박스를 상기 객체에 관한 정보를 이용하여 보정함으로써 상기 감지된 3차원 공간을 추적하는, 차량.
  5. 제 1 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 명령어를 실행함으로써,
    상기 추적된 3차원 공간에 관련된 정보로부터 객체의 움직임 패턴을 분석하여, 상기 추적된 3차원 공간에 관련된 정보를 예측하는, 차량.
  6. 제 1 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 명령어를 실행함으로써,
    상기 획득된 포인트 클라우드 데이터로부터 객체 영역을 추출하고, 상기 객체 영역을 클러스터링함으로써 상기 개별 객체 영역을 구분하고,
    상기 획득된 포인트 클라우드 데이터로부터 상기 객체 분류 모델을 이용하여 상기 3차원 공간 상의 객체를 식별하고, 상기 식별된 객체의 객체 정보를 추정하는, 차량.
  7. 제 1 항에 있어서,
    상기 객체에 관한 정보는,
    상기 개별 객체 영역에 대응되는 포인트 클라우드 데이터에 기초하여 획득되는 객체의 위치, 형상, 및 개수에 관한 정보인, 차량.
  8. 제 1 항에 있어서,
    통신 인터페이스 장치를 더 포함하고,
    상기 프로세서는, 상기 하나 이상의 명령어를 실행함으로써,
    상기 추적된 3차원 공간에 관련된 정보를 상기 통신 인터페이스 장치를 통해 외부로 전송하는, 차량.
  9. 3차원 공간을 감지하는 센서부;
    하나 이상의 명령어를 저장하는 메모리; 및
    상기 하나 이상의 명령어를 실행함으로써,
    상기 감지된 3차원 공간에 대한 포인트 클라우드 데이터를 획득하고, 상기 획득된 포인트 클라우드 데이터로부터 개별 객체 영역을 구분하고, 객체 분류 모델을 이용하여 식별된 객체의 객체 정보를 획득하고, 상기 개별 객체 영역에 기초하여 획득되는 객체에 관한 정보와 상기 객체 정보를 이용하여 상기 감지된 3차원 공간을 추적하는 프로세서;
    를 포함하는, 센싱 장치.
  10. 제 9 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 명령어를 실행함으로써,
    상기 객체 분류 모델을 통해 식별 불가한 객체의 경우, 상기 개별 객체 영역으로부터 획득되는 객체에 관한 정보를 이용하여 상기 감지된 3차원 공간을 추적하는, 센싱 장치.
  11. 제 9 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 명령어를 실행함으로써,
    상기 객체 정보를 상기 객체에 관한 정보를 이용하여 보정함으로써 상기 감지된 3차원 공간을 추적하는, 센싱 장치.
  12. 제 9 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 명령어를 실행함으로써,
    상기 객체 정보에 대응되는 바운딩 박스를 상기 객체에 관한 정보를 이용하여 보정함으로써 상기 감지된 3차원 공간을 추적하는, 센싱 장치.
  13. 제 9 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 명령어를 실행함으로써,
    상기 추적된 3차원 공간에 관련된 정보로부터 객체의 움직임 패턴을 분석하여, 상기 추적된 3차원 공간에 관련된 정보를 예측하는, 센싱 장치.
  14. 제 9 항에 있어서,
    상기 프로세서는, 상기 하나 이상의 명령어를 실행함으로써,
    상기 획득된 포인트 클라우드 데이터로부터 객체 영역을 추출하고, 상기 객체 영역을 클러스터링함으로써 상기 개별 객체 영역을 구분하고,
    상기 획득된 포인트 클라우드 데이터로부터 상기 객체 분류 모델을 이용하여 상기 3차원 공간 상의 객체를 식별하고, 상기 식별된 객체의 객체 정보를 추정하는, 센싱 장치.
  15. 제 9 항에 있어서,
    상기 객체에 관한 정보는,
    상기 개별 객체 영역에 대응되는 포인트 클라우드 데이터에 기초하여 획득되는 객체의 위치, 형상, 및 개수에 관한 정보인, 센싱 장치.
  16. 제 9 항에 있어서,
    통신 인터페이스 장치를 더 포함하고,
    상기 프로세서는, 상기 하나 이상의 명령어를 실행함으로써,
    상기 추적된 3차원 공간에 관련된 정보를 상기 통신 인터페이스 장치를 통해 외부로 전송하는, 센싱 장치.
  17. 전자 장치에서,
    3차원 공간에 대한 포인트 클라우드 데이터를 획득하는 단계;
    상기 획득된 포인트 클라우드 데이터로부터 개별 객체 영역을 구분하는 단계;
    상기 획득된 포인트 클라우드 데이터에 대해 객체 분류 모델을 이용하여 식별된 객체의 객체 정보를 획득하는 단계; 및
    상기 개별 객체 영역에 기초하여 획득되는 객체에 관한 정보와 상기 객체 정보를 이용하여 상기 감지된 3차원 공간을 추적하는 단계;
    를 포함하는 방법을 수행하도록 하는, 저장매체에 저장된 컴퓨터 프로그램.


KR1020210174026A 2019-01-04 2021-12-07 3차원 공간을 추적하는 차량 및 센싱 장치, 그리고 저장매체에 저장된 컴퓨터 프로그램 KR102453933B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20190001312 2019-01-04
KR1020190001312 2019-01-04
KR1020200168738A KR102338370B1 (ko) 2019-01-04 2020-12-04 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200168738A Division KR102338370B1 (ko) 2019-01-04 2020-12-04 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버

Publications (2)

Publication Number Publication Date
KR20210152051A true KR20210152051A (ko) 2021-12-14
KR102453933B1 KR102453933B1 (ko) 2022-10-14

Family

ID=72048729

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020190029372A KR102193950B1 (ko) 2019-01-04 2019-03-14 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버
KR1020200168738A KR102338370B1 (ko) 2019-01-04 2020-12-04 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버
KR1020210174026A KR102453933B1 (ko) 2019-01-04 2021-12-07 3차원 공간을 추적하는 차량 및 센싱 장치, 그리고 저장매체에 저장된 컴퓨터 프로그램

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020190029372A KR102193950B1 (ko) 2019-01-04 2019-03-14 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버
KR1020200168738A KR102338370B1 (ko) 2019-01-04 2020-12-04 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버

Country Status (5)

Country Link
US (1) US11914388B2 (ko)
EP (1) EP3756056A4 (ko)
JP (2) JP7405451B2 (ko)
KR (3) KR102193950B1 (ko)
AU (2) AU2019419781B2 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078325B (zh) * 2020-08-19 2023-09-05 北京万集科技股份有限公司 多感知系统配准方法、装置、计算机设备和存储介质
FR3116127B1 (fr) * 2020-11-12 2022-11-11 Thales Sa Système radar d'imagerie à entrées et sorties multiples de type MIMO.
KR102446500B1 (ko) * 2020-12-18 2022-09-23 한국건설기술연구원 열화상 이미지를 이용한 차종 분류 시스템 및 방법, 그를 위한 차종 분류 서버
KR102310609B1 (ko) * 2021-05-14 2021-10-13 주식회사 인피닉 3d 데이터를 이용한 2d 이미지의 전처리 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310612B1 (ko) * 2021-06-17 2021-10-13 주식회사 인피닉 라이다 점군에서 특정된 객체 정보를 이용한 2d 이미지 객체 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102343051B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 라이다 점군으로부터 카메라 이미지의 바운딩 박스를 조정하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN113419233A (zh) * 2021-06-18 2021-09-21 阿波罗智能技术(北京)有限公司 感知效果的测试方法、装置和设备
KR102425271B1 (ko) * 2021-12-29 2022-07-27 주식회사 파이엇 장애물회피방법을 구비한 자율주행로봇
KR102501806B1 (ko) * 2021-12-31 2023-02-21 수퍼빈 주식회사 객체 선별을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102531281B1 (ko) * 2022-06-03 2023-05-12 포티투닷 주식회사 센싱부를 활용한 통행객체 정보 생성 방법 및 시스템
KR102548791B1 (ko) * 2023-01-04 2023-06-29 영남대학교 산학협력단 다수의 라이다 센서를 이용하여 사각지대 정보를 제공하는 장치, 방법 및 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825761B1 (ko) * 2006-12-08 2008-04-29 한국전자통신연구원 무선 센서 노드를 이용하여 비신호 교차로에서 차량의 정지및 통과 순서를 제어하기 위한 비신호 교차로 정보 제공시스템 및 그 방법
KR20100118313A (ko) * 2009-04-28 2010-11-05 한국전자통신연구원 정보통신 인프라를 이용한 차량 유도 장치와 이를 위한 서버 장치 및 그 방법
KR20140032658A (ko) * 2012-09-07 2014-03-17 한국전자통신연구원 차량의 주변 정보 획득 장치
WO2017079460A2 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Aptive mapping to navigate autonomous vehicles responsive to physical environment changes
US20170369051A1 (en) * 2016-06-28 2017-12-28 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded obstacle classification for vehicles
US20180307944A1 (en) * 2017-04-24 2018-10-25 Baidu Usa Llc Automatically collecting training data for object recognition with 3d lidar and localization
US20180349746A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Top-View Lidar-Based Object Detection
US20180364717A1 (en) * 2017-06-14 2018-12-20 Zoox, Inc. Voxel Based Ground Plane Estimation and Object Segmentation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209867A (ja) 2010-03-29 2011-10-20 Sumitomo Electric Ind Ltd 路側通信機及び送信電力調整方法
FR3007179B1 (fr) 2013-06-13 2016-12-09 Airbus Operations Sas Procede et systeme d'aide au pilotage d'un aeronef
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US10730531B1 (en) * 2017-02-02 2020-08-04 Uatc, Llc Machine-learning based vehicle motion control system
CN110537109B (zh) 2017-04-28 2024-02-20 深圳市大疆创新科技有限公司 用于自主驾驶的感测组件
CN110799804A (zh) 2017-06-30 2020-02-14 深圳市大疆创新科技有限公司 地图生成系统和方法
US10648832B2 (en) 2017-09-27 2020-05-12 Toyota Research Institute, Inc. System and method for in-vehicle display with integrated object detection
US10935978B2 (en) * 2017-10-30 2021-03-02 Nio Usa, Inc. Vehicle self-localization using particle filters and visual odometry
CN110162026B (zh) * 2018-02-11 2022-06-21 北京图森智途科技有限公司 一种物体识别系统、方法及装置
JP2019215775A (ja) 2018-06-14 2019-12-19 本田技研工業株式会社 移動体支援システム及び移動体支援方法
US10809073B2 (en) 2018-12-05 2020-10-20 Here Global B.V. Local window-based 2D occupancy grids for localization of autonomous vehicles

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825761B1 (ko) * 2006-12-08 2008-04-29 한국전자통신연구원 무선 센서 노드를 이용하여 비신호 교차로에서 차량의 정지및 통과 순서를 제어하기 위한 비신호 교차로 정보 제공시스템 및 그 방법
KR20100118313A (ko) * 2009-04-28 2010-11-05 한국전자통신연구원 정보통신 인프라를 이용한 차량 유도 장치와 이를 위한 서버 장치 및 그 방법
KR20140032658A (ko) * 2012-09-07 2014-03-17 한국전자통신연구원 차량의 주변 정보 획득 장치
WO2017079460A2 (en) * 2015-11-04 2017-05-11 Zoox, Inc. Aptive mapping to navigate autonomous vehicles responsive to physical environment changes
US20170369051A1 (en) * 2016-06-28 2017-12-28 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded obstacle classification for vehicles
US20180307944A1 (en) * 2017-04-24 2018-10-25 Baidu Usa Llc Automatically collecting training data for object recognition with 3d lidar and localization
US20180349746A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Top-View Lidar-Based Object Detection
US20180364717A1 (en) * 2017-06-14 2018-12-20 Zoox, Inc. Voxel Based Ground Plane Estimation and Object Segmentation

Also Published As

Publication number Publication date
KR102193950B1 (ko) 2020-12-22
KR102453933B1 (ko) 2022-10-14
AU2019419781A1 (en) 2020-10-15
EP3756056A1 (en) 2020-12-30
AU2019419781B2 (en) 2021-12-09
KR20200092819A (ko) 2020-08-04
US11914388B2 (en) 2024-02-27
AU2022201618B2 (en) 2024-03-07
JP7405451B2 (ja) 2023-12-26
JP2024025803A (ja) 2024-02-26
US20230077393A1 (en) 2023-03-16
KR20200141422A (ko) 2020-12-18
JP2022518369A (ja) 2022-03-15
AU2022201618A1 (en) 2022-03-31
KR102338370B1 (ko) 2021-12-13
EP3756056A4 (en) 2022-02-23

Similar Documents

Publication Publication Date Title
KR102453933B1 (ko) 3차원 공간을 추적하는 차량 및 센싱 장치, 그리고 저장매체에 저장된 컴퓨터 프로그램
US11507101B2 (en) Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
JP7289470B2 (ja) 三次元空間に対応するマップを生成する車両、及びその方法
US11294387B2 (en) Systems and methods for training a vehicle to autonomously drive a route
Pannen et al. Hd map change detection with a boosted particle filter
CN104635731B (zh) 目标的运动特性判断装置及具备此的行驶路径控制装置
US10109191B2 (en) Method of quickly detecting road distress
AU2020428822A1 (en) Method, apparatus, server, and computer program for collision accident prevention
KR20200013156A (ko) 간판 검출 성능 향상을 위한 방법 및 시스템
JP6419260B1 (ja) 交通情報取得装置、交通情報取得システム、交通情報取得方法、および交通情報取得プログラム
Szabó et al. Smartphone based HD map building for autonomous vehicles
KR102456151B1 (ko) 레이더 및 카메라 기반의 센서 퓨전 시스템 및 주변 차량의 위치 산출 방법
EP4160154A1 (en) Methods and systems for estimating lanes for a vehicle
EP4160153A1 (en) Methods and systems for estimating lanes for a vehicle
US20230025579A1 (en) High-definition mapping
US20240104939A1 (en) Systems and methods for using image data to identify lane width
US20240104757A1 (en) Systems and methods for using image data to identify lane width
US20240104938A1 (en) Systems and methods for using image data to analyze an image
EP3789907A1 (en) A system, a method for training a machine learning based processor circuitry suitable for characterizing an envi-ronment of a vehicle
Zuev et al. Mobile system for road inspection and 3D modelling
Zhao et al. Vehicle trajectory collection using on-board multi-lidars for driving behavior analysis

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right