KR20210062672A - 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛 - Google Patents

차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛 Download PDF

Info

Publication number
KR20210062672A
KR20210062672A KR1020217011772A KR20217011772A KR20210062672A KR 20210062672 A KR20210062672 A KR 20210062672A KR 1020217011772 A KR1020217011772 A KR 1020217011772A KR 20217011772 A KR20217011772 A KR 20217011772A KR 20210062672 A KR20210062672 A KR 20210062672A
Authority
KR
South Korea
Prior art keywords
camera
vehicle
processing unit
surrounding environment
designed
Prior art date
Application number
KR1020217011772A
Other languages
English (en)
Other versions
KR102536037B1 (ko
Inventor
사샤 스타이어
게오르크 탄츠마이스터
Original Assignee
바이에리쉐 모토렌 베르케 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이에리쉐 모토렌 베르케 악티엔게젤샤프트 filed Critical 바이에리쉐 모토렌 베르케 악티엔게젤샤프트
Publication of KR20210062672A publication Critical patent/KR20210062672A/ko
Application granted granted Critical
Publication of KR102536037B1 publication Critical patent/KR102536037B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects

Abstract

차량(100)용 처리 유닛(101)이 기술되며, 이 경우 처리 유닛(101)은, 기준 지점(305)으로부터 출발하여 차량(100)의 주변 환경을 보여주는 차량(100)의 카메라(112)의 이미지 데이터를 결정하도록, 그리고 그 이미지 데이터를 토대로 하여 차량(100)의 주변 환경에 있는 하나 이상의 카메라-물체(250)를 검출하도록 설계되어 있다. 처리 유닛(101)은 또한, 차량(100)의 거리를 감지하는 주변 환경 센서(111)의 센서 데이터(500)를 결정하도록 설계되어 있다. 카메라-물체(250)는 기준 지점(305)으로부터 다수의 상이한 거리로 이동될 수 있으며, 다수의 상이한 거리에 대해서는 센서 데이터(500)와 개별 카메라-물체(250)가 중첩되는 정도에 상응하는 다수의 값이 결정될 수 있다. 그 밖에, 평가 유닛(101)은, 다수의 중첩 정도의 값에 따라 기준 지점(305)으로부터 카메라-물체(250)까지의 물체-거리를 결정하도록 설계되어 있다.

Description

차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛
본 발명은, 예컨대, 차량으로 하여금 상이한 유형의 센서로부터의 센서 데이터를 토대로 하여 주변 환경-물체를 식별하는 것 및/또는 추적하는 것을 가능하게 하는 방법 및 상응하는 처리 유닛에 관한 것이다.
차량은, 통상적으로 차량의 주변 환경과 관련된 상이한 센서 데이터를 수집하도록 설계된 다수의 상이한 주변 환경 센서를 포함한다. 예시적인 주변 환경 센서는 레이더 센서, 초음파 센서, 라이더 센서, 이미지 센서 또는 이미지 카메라 등이다. 차량의 하나 또는 복수의 주변 환경 센서의 센서 데이터를 토대로 하여, 차량의 주변 환경에 있는 하나 또는 복수의 주변 환경-물체(예컨대, 하나 또는 복수의 다른 차량)가 검출될 수 있다.
서로 다른 유형의 주변 환경 센서는 통상적으로 차량의 주변 환경 감지와 관련하여 각각 서로 다른 장점을 갖고 있다. 예를 들어, 예컨대, 물체의 유형(예컨대, 차량, 보행자, 자전거 타는 사람, 오토바이 운전자 등), 물체의 색상 및/또는 물체의 형상과 같은 물체의 속성이 이미지 카메라의 이미지 데이터를 토대로 하여 정확한 방식으로 결정될 수 있다. 또 다른 예시적인 속성은 물체의 구성 요소(예컨대, 후방 조명 또는 방향 지시등)의 상태이다. 더욱이, 이미지 카메라의 이미지 데이터를 토대로 하면, 서로 다른 물체들이 대부분 상대적으로 우수하게 상호 구분되거나 분할될 수 있다(예컨대, 서로에 대해 상대적으로 가깝게 배열된 물체들). 다른 한 편으로, 물체와 차량 사이의 거리는 통상적으로 이미지 카메라의 이미지 데이터를 토대로 하여 정확한 방식으로 결정될 수 없다. 레이더 센서 및/또는 라이더(빛 감지 및 위성 거리 측정) 센서의 센서 데이터는, 물체와 차량 사이의 거리를 정확한 방식으로 결정하는 것을 가능하게 한다. 다른 한 편으로, 레이더 센서 및/또는 라이더 센서의 센서 데이터를 토대로 해서는, 통상적으로 다만 물체의 상대적으로 적은 속성만이 결정될 수 있다. 필요한 경우에는, 라이더 센서의 센서 데이터를 사용해서 물체의 유형이 결정될 수 있다. 하지만, 물체의 구성 요소(예컨대, 후방 조명 또는 방향 지시등)의 상태는 통상적으로 레이더 센서 및/또는 라이더 센서의 센서 데이터를 토대로 하여 결정될 수 없다.
본 명세서는, 특히 주변 환경-물체와 관련된 정보를 정확한 방식으로 결정하기 위하여, 복수의 서로 다른 유형의 주변 환경 센서의 센서 데이터의 신뢰할만한 융합을 가능하게 하는 방법 및 상응하는 처리 유닛을 제공하는 기술적인 과제와 관련이 있다.
상기 과제는 독립 청구항들에 의해서 해결된다. 바람직한 실시예들은 다른 무엇보다 종속 청구항들에서 기술된다. 언급할 사실은, 일 독립 특허 청구항에 종속되는 일 특허 청구항의 추가 특징부들은 그 독립 특허 청구항의 특징부들 없이 또는 다만 그 독립 특허 청구항의 특징부의 하위 집합과 조합된 상태에서만 그 독립 특허 청구항의 전체 특징부들의 조합에 종속되지 않는 하나의 독자적인 발명을 형성할 수 있으며, 이 발명은 일 분할 출원의 또는 후속 출원의 일 독립 청구항의 대상으로 될 수 있다. 이와 같은 내용은, 독립 특허 청구항들의 특징부들에 종속되지 않는 일 발명을 형성할 수 있는, 명세서 내에 기술된 기술적인 교시에 대해서도 동일한 방식으로 적용된다.
일 양태에 따르면, 차량용, 특히 자동차용 처리 유닛(예컨대, 마이크로프로세서를 갖는 제어 장치)이 기술된다. 이 처리 유닛은, 차량의 주변 환경에 있는 하나 또는 복수의 주변 환경-물체를 검출하고 추적할 목적으로 이용될 수 있다. 또한, 처리 유닛은, 하나 또는 복수의 검출된 주변 환경-물체에 따라 적어도 부분적으로 자동화된 방식으로 차량을 안내할 목적으로도 이용될 수 있다.
차량은, 차량의 주변 환경과 관련된 이미지 데이터를 수집하도록 설계된 하나 또는 복수의 카메라를 포함할 수 있다. 이미지 데이터는 (상응하는 시점 시퀀스에 대한) 시간적인 이미지 시퀀스를 포함할 수 있다. 더욱이, 차량은, 차량의 주변 환경과 관련된 센서 데이터를 수집하도록 설계된 (예컨대, 레이더 센서 및/또는 라이더 센서와 같은) 하나 또는 복수의 거리 감지 주변 환경 센서를 포함할 수 있다. 여기서, 센서 데이터는 특정 시점에 대해 다수의 검출된 지점(각각 개별 지점과 주변 환경 센서 간의 거리에 대한 거리 값을 갖고 있음)을 지시할 수 있다.
처리 유닛은, 차량의 하나 이상의 카메라의 이미지 데이터를 결정하도록 설계되어 있으며, 여기서 이미지 데이터는 일 기준 지점으로부터 출발하여(예컨대, 카메라로부터 출발하여) 차량의 주변 환경을 지시한다. 또한, 처리 유닛은, 이미지 데이터를 토대로 하여 차량의 주변 환경에 있는 하나 이상의 카메라-물체를 검출하도록 설계되어 있다(예컨대, 하나 또는 복수의 이미지 처리-알고리즘을 사용해서). 예를 들어, 이미지 데이터를 기반으로 해서는 물체의 윤곽이 검출될 수 있다. 또한, 이미지 데이터를 기반으로 해서는 물체(예컨대, 차량, 보행자, 자전거 운전자 등)의 유형이 결정될 수 있다. 다른 한 편으로, 카메라-물체와 기준 지점 사이의 거리는 대부분 이미지 데이터를 토대로 하여 다만 상대적으로 부정확하게만 결정될 수 있다.
처리 유닛은 또한, 차량의 하나 이상의 거리 감지 주변 환경 센서의 센서 데이터를 결정하도록 설계되어 있으며, 여기서 센서 데이터는 차량의 주변 환경에 있는 다수의 검출된 지점을 지시한다. 더욱이, 센서 데이터는 각각의 검출된 지점에 대하여 특히 기준 지점에 대해 상대적인 그 지점의 거리를 지시할 수 있다. 거리 감지 주변 환경 센서의 센서 데이터 및 이미지 데이터는 시간상으로 동기화될 수 있다(예컨대, 동일한 시점에 대해 수집되었음).
카메라와 주변 환경 센서는 통상적으로 차량에서 상이한 위치에 배열되어 있다. 그 결과, 카메라의 이미지 데이터와 주변 환경 센서의 센서 데이터는 각각 서로 다른 좌표계 내에 제공될 수 있다. 이 경우, 카메라와 주변 환경 센서의 좌표계는 통상적으로 선행 공정에서 공지된 변환(예컨대, 회전 및/또는 이동)을 통해 서로 전환될 수 있다.
처리 유닛은, 카메라-물체와 주변 환경 센서의 센서 데이터를 하나의 공통 좌표계 내에 표시하도록 설계될 수 있다(카메라-물체뿐만 아니라 센서 데이터까지도 하나의 공통 기준 지점에 관련될 수 있도록). 이와 같은 상황은, 특히 카메라-물체를 주변 환경 센서의 좌표계 내로 투영함으로써 또는 센서 데이터를 카메라의 좌표계 내로 투영함으로써 이루어질 수 있다(선행 공정에서 공지된 변환을 이용해서). 따라서, 주변 환경-물체를 식별하기 위한 이미지 데이터 및 센서 데이터의 정확한 처리가 가능해질 수 있다.
처리 유닛은 또한, 카메라-물체를 기준 지점으로부터 다수의 상이한 거리로 이동시키도록 또는 카메라-물체를 기준 지점으로부터 다수의 상이한 거리에 (차례로) 배치하도록 설계될 수 있다. 이 경우, 카메라-물체는 특히 기준 지점으로부터의 방사상 거리를 변경하기 위하여 기준 지점으로부터 출발하는 빔을 따라 이동될 수 있다. 또한, 카메라-물체는, 기준 지점까지의 개별 거리에 따라 크기 조정(즉, 확대 또는 축소)될 수 있다. 특히, 카메라-물체가 기준 지점 쪽으로 이동되면, 카메라-물체가 축소될 수 있다. 다른 한 편으로, 카메라-물체가 기준 지점으로부터 멀리 이동되면, 카메라-물체가 확대될 수 있다. 따라서, 카메라-물체와 기준 지점 사이의 거리와 관련하여 상이한 가설이 고려될 수 있다.
처리 유닛은, (경우에 따라서는 오로지) 이미지 데이터를 토대로 하여 기준 지점까지의 카메라-물체의 추정된 거리를 결정하도록 설계될 수 있다. 그 다음에는, 카메라-물체를 다수의 상이한 거리로 이동시키기 위하여, 카메라-물체가 특정의 거리 범위 안에서 추정된 거리 둘레로 이동될 수 있다. 거리 범위는, 예컨대, 추정된 거리로부터 출발하여 추정된 거리의 20%, 30% 또는 그 이상만큼 기준 지점 쪽으로 가까워지는 그리고/또는 기준 지점으로부터 멀어지는 이동을 정의할 수 있다. 그 다음에는, 거리 범위 안에서 상이한 거리{예컨대, 20, 30, 50, 100 또는 그 이상의 상이한 거리(경우에 따라서는 등거리)}가 선택될 수 있다.
또한, 처리 유닛은, 다수의 상이한 거리에 대해 센서 데이터의 검출된 지점과 개별 (이동된 그리고/또는 크기 조정된) 카메라-물체의 중첩 정도에 상응하는 다수의 값을 결정하도록 설계되어 있다. 이 경우, 중첩 정도는, 거리 감지 주변 환경 센서의 센서 데이터의 검출된 지점과 (각각 이동된 그리고/또는 크기 조정된) 카메라-물체가 어느 정도 강하게 중첩하는지를 지시할 수 있다. 이 경우, 상대적으로 강한 중첩은, 거리 감지 주변 환경 센서의 센서 데이터에서 검출된 지점이 (검출된 지점에 의해 지시된 기준 지점으로부터의 거리 내에 있는) 카메라-물체에 상응하는 주변 환경-물체를 지시한다는 것을 나타낸다. 다른 한 편으로, 상대적으로 낮은 중첩은, 카메라-물체가 배치되어 있는 거리 내에 주변 환경-물체가 없을 가능성이 있다는 것을 나타낸다.
그 밖에, 처리 유닛은, 중첩 정도의 다수의 값에 따라 기준 지점으로부터 카메라-물체의 물체-거리를 결정하도록 설계될 수도 있다. 특히, 이 경우 거리는, 다수의 상이한 거리로부터, 결정된 중첩 정도의 값이 카메라-물체와 센서 데이터의 검출된 지점 간의 특히 큰 중첩을 나타내는 물체-거리로서 선택될 수 있다. 특히, 중첩 정도의 최대 또는 최소 값에 상응하는 거리가 물체-거리로서 선택될 수 있다. 그 다음에, 상기 결정된 물체-거리는 차량의 주변 환경에 있는 주변 환경-물체와 관련된 정보를 결정할 때에 고려될 수 있다. 이로써, 주변 환경-물체의 검출 품질은 효율적인 방식으로 향상될 수 있다.
물체-거리의 결정에 대해 대안적으로 또는 보완적으로, 카메라-물체는 중첩 정도의 다수의 값에 따라 센서 데이터의 검출된 지점의 하위 집합에 할당될 수 있거나 이 하위 집합과 연관될 수 있다. 이미지 데이터로부터 얻어지는 물체 관련 정보는 추후에 거리 감지 주변 환경 센서의 센서 데이터를 토대로 하여 주변 환경-물체를 식별할 때에 정확한 방식으로 고려될 수 있다. 이로써, 주변 환경-물체의 검출 품질은 효율적인 방식으로 향상될 수 있다.
이미지 카메라의 이미지 데이터와 거리 감지 주변 환경 센서의 센서 데이터가 중첩될 때 카메라-물체의 거리를 변경함으로써, 이미지 카메라와 거리 감지 주변 환경 센서 간의 잘못된 보정 및/또는 이미지 데이터와 센서 데이터 간의 시간 동기화에서의 오류가 신뢰할 수 있는 방식으로 보상될 수 있다.
처리 유닛은, 카메라-물체에 대한 기준 지점을 결정하기 위하여, 각도 범위, 특히 방위각-범위 및/또는 높이-각도 범위를 결정하도록 설계될 수 있다. 이 경우, 각도 범위는, 이 각도 범위를 제한하고 기준 지점으로부터 출발하는 빔이 카메라-물체의 서로 다른 2개의 측면에서 카메라-물체를 (정확하게) 제한하는 방식으로 결정될 수 있으며, 선택적으로는 카메라-물체의 서로 다른 2개의 측면에 있는 추가의 공차 버퍼를 사용해서 결정될 수 있다. 따라서, 카메라-물체에 상응할 수 있는 검출된 지점이 검색되는 차량 주변 환경의 부분 영역이 제한될 수 있다. 특히, 카메라-물체의 이동은 (배타적으로) 하나 또는 2개의 각도 범위(즉, 방위각 범위 및/또는 높이 각도 범위)에 의해 정의된 차량 주변 환경의 부분 영역 내부에서 이루어질 수 있다. 이 경우, 카메라-물체는, 카메라-물체가 항상 각도 범위 또는 각도 범위들을 제한하는 빔 내부에서 유지되도록, (카메라-물체의 추정된 거리로부터 출발하여) 이동 및 크기 조정될 수 있다.
따라서, 카메라-물체는 각도 범위 또는 각도 범위들에 의해 정의된 차량 주변 환경의 하위 영역 내부에서 기준 지점으로부터 출발하는 빔을 따라 이동될 수 있다. 그 다음에, (이동된 그리고/또는 크기 조정된) 카메라-물체의 중첩 정도의 값은 (특히 배타적으로) 각도 범위 또는 각도 범위들에 의해 정의된 차량 주변 환경의 하위 영역으로부터 센서 데이터의 검출된 지점으로써 결정될 수 있다. 이로써, 물체-거리의 그리고/또는 거리 감지 주변 환경 센서의 검출된 지점에 대한 카메라-물체의 할당의 정확성 및 효율이 향상될 수 있다.
방위각 범위는 예컨대, 이미지 데이터를 토대로 하여 그리고/또는 센서 데이터를 토대로 하여 수평 방향으로 결정될 수 있다. 상응하는 방식으로, 수직 방향으로의 높이-각도 범위는 이미지 데이터를 토대로 하여 그리고/또는 센서 데이터를 토대로 하여 결정될 수 있다. 방위각 범위와 높이 각도 범위를 조합 방식으로 고려함으로써, 결정된 물체-거리의 그리고/또는 거리 감지 주변 환경 센서의 검출된 지점에 대한 카메라-물체의 할당의 정확성이 더욱 향상될 수 있다.
카메라-물체는, 이 카메라-물체가 배열된 차량 주변 환경에 있는 다수의 카메라-지점을 지시할 수 있다. 카메라-지점은, 예컨대, 다각형에 의해서 (특히 입방체에 의해서) 설명될 수 있다. 이때, 카메라-물체의 이동은 다수의 카메라-지점들 중 적어도 일부의 이동을 포함할 수 있다(특히 기준 지점으로부터 출발하는 빔을 따라). 또한, 이동의 틀 안에서 지점이 보완되거나 폐기될 수 있다(카메라-물체를 확대하거나 축소하기 위하여). 카메라-물체를 설명하기 위해 소수의 카메라-지점을 관찰함으로써, 카메라-물체와 센서 데이터의 검출된 지점의 하위 집합 간의 중첩을 결정하는 정확도가 향상될 수 있다.
특히, 카메라-물체를 설명하기 위해 소수의 카메라-지점을 고려할 때에 중첩 정도의 값을 결정하는 것은, 센서 데이터의 검출된 지점과 일치하는 카메라-물체의 다수의 카메라-지점의 비율을 결정하는 것을 포함할 수 있다. 대안적으로 또는 보완적으로, 중첩 정도의 값을 결정하는 것은, 카메라-물체의 다수의 카메라-지점과 센서 데이터의 검출될 지점 간의 거리(예컨대, 평균 거리)를 결정하는 것을 포함할 수 있다. 대안적으로 또는 보완적으로, 중첩 정도의 값을 결정하는 것은, 센서 데이터의 검출된 지점과 카메라-물체의 다수의 카메라-지점의 중첩 등급을 결정하는 것을 포함할 수 있다. 이로써, 일 카메라-지점과 센서 데이터의 검출된 지점들 간의 중첩이 정확한 방식으로 결정될 수 있다.
처리 유닛은, 결정된 물체-거리에 따라 다수의 검출된 지점의 하위 집합에 카메라-물체를 할당하도록 설계될 수 있다. 또한, 처리 유닛은, 할당된 카메라-물체를 고려한 상태에서 센서 데이터를 토대로 하여 차량 주변 환경의 점유 격자(영어로는 "occupancy grid")를 결정하도록 설계될 수 있다. 이때, 차량 주변 환경에 있는 다수의 셀에 대한 점유 격자는 각각 개별 셀이 비어 있는지(그리고 이로써 필요에 따라서는 차량을 위해 구동될 수 있음)의 여부 또는 개별 셀이 물체에 의해 점유되었는지(그리고 이로써 차량과의 충돌을 야기할 수 있음)의 여부에 대한 확률을 지시할 수 있다. 점유 격자의 제공에 의해서는, 주변 환경-물체가 정확한 방식으로 검출되고 추적될 수 있다(연속하는 시점 시퀀스에서). 따라서, 차량의 적어도 부분적으로 자동화된 운전이 더욱 개선될 수 있다.
따라서, 처리 유닛은, 센서 데이터를 토대로 하여 차량 주변 환경의 점유 격자를 결정하도록 설계될 수 있다. 또한, 처리 유닛은, 기준 지점까지의 결정된 물체-거리에 있는 카메라-물체를 고려한 상태에서 점유 격자를 토대로 하여, 차량의 주변 환경에 있고 카메라-물체에 상응하는 주변 환경-물체를 검출하도록 설계될 수 있다. 이 경우에는, 주변 환경-물체의 하나 또는 복수의 속성, 특히 다수의 상이한 물체 유형들 중 한 가지 물체 유형이 이미지 데이터를 토대로 하여 신뢰할 수 있는 방식으로 결정될 수 있다. 따라서, 본 명세서에 설명된 거리 감지 주변 환경 센서의 센서 데이터와 이미지 데이터 간의 융합은 주변 환경-물체에 대한 전반적인 정보의 신뢰할 만한 결정을 가능하게 한다.
처리 유닛은, 다수의 중첩 정도 값을 토대로 하여, 카메라-물체가 다수의 검출된 지점의 하위 집합에 할당될 수 있는지 또는 없는지를 결정하도록 설계될 수 있다. 이 목적을 위해, 중첩 정도의 값이 중첩 임계 값과 비교될 수 있으며, 여기서 중첩 임계 값은, 카메라-물체가 거리 감지 주변 환경 센서의 센서 데이터 내에서 식별할 수 있는 물체에 상응한다는 가정으로부터 출발할 수 있기 위하여 적어도 또는 최대로 존재해야만 하는 중첩 정도의 최소값 또는 최대값을 지시한다. 중첩-임계 값은 선행 공정에서 (예컨대, 실험적으로) 결정될 수 있다. 대안적으로 또는 보완적으로, 중첩 임계 값은 기계 학습을 통해 자동으로 결정될 수 있는데, 다시 말하자면 학습될 수 있다.
또한, 평가 유닛은, 카메라-물체가 다수의 검출된 지점의 하위 집합에 할당될 수 없다고 결정된 경우에는, 차량 주변 환경의 점유 격자를 결정할 때에 카메라-물체를 고려하지 않은 상태로 내버려 두도록 설계되어 있다. 다른 한 편으로, 평가 유닛은, 카메라-물체가 다수의 검출된 지점의 하위 집합에 할당될 수 있다고 결정된 경우에는(특히 이 경우에만), 결정된 물체-거리에 따라 센서 데이터를 기반으로 하여 차량 주변 환경의 점유 격자를 결정할 때에 카메라-물체를 고려하도록 설계될 수 있다. 이로써, 물체 식별의 견고성과 신뢰성이 더욱 향상될 수 있다.
센서 데이터의 다수의 검출된 지점은 하나 이상의 가능한 비-장애물 지점, 특히 가능한 지면 지점을 포함할 수 있다. 특히, 거리 감지 주변 환경 센서의 검출된 일 지점은, 차량의 주변 환경에 배열된 주변 환경-물체에 속하고(속할 수 있고) 장애물을 나타내는 장애물 지점으로서 분류될 수 있다. 다른 한 편으로, 거리 감지 주변 환경 센서의 검출된 일 지점은, 주변 환경-물체에 속하지 않고(속하지 않을 수 있고) 오히려 소음, 지면 또는 (예컨대, 터널 또는 교량과 같은) 아래로 지나갈 수 있는 물체가 그 원인일 수 있는 비-장애물 지점으로서 분류될 수 있다.
가능한 비-장애물 지점, 특히 지면 지점은 예컨대, 거리 감지 주변 환경 센서의 센서 데이터 내에 있는 높이 정보를 토대로 하여 검출될 수 있다. 가능한 비-장애물 지점이 차량의 주변 환경에 있는 주변 환경-물체와 일치하지 않을 수 있지만, 그럼에도 필요한 경우에는 가능한 비-장애물 지점을 고려하여 중첩 정도의 값이 결정될 수 있다. 이로써, 주변 환경-물체의 식별 품질이 더욱 향상될 수 있다(그 이유는 가능한 비-장애물 지점이 처음부터 제외되지 않기 때문이다).
다른 한 편으로, 비-장애물 지점에 카메라-물체가 할당되지 않은 경우에는, 점유 격자를 결정할 때에 가능한 비-장애물 지점이 고려되지 않은 상태로 유지될 수 있다. 또한, 비-장애물 지점에 카메라-물체가 할당된 경우에는(특히 이 경우에만), 점유 격자를 결정할 때에 가능한 비-장애물 지점이 고려될 수 있다. 이로써, 주변 환경-물체 식별의 신뢰성이 더욱 향상될 수 있다.
이미 위에 설명된 바와 같이, 처리 유닛은, 결정된 물체-거리에 따라 그리고/또는 결정된 물체-거리에 의존하는 차량 주변 환경의 점유 격자에 따라, 차량의 한 가지 이상의 차량 기능, 특히 차량의 적어도 부분적으로 자동화된 운전을 작동하도록 설계될 수 있다. 이로써, 신뢰할 수 있는 차량 기능이 효율적인 방식으로 제공될 수 있다.
또 다른 일 양태에 따르면, 차량의 주변 환경에 있는 물체에 관한 정보를 결정하기 위한 방법이 기술된다. 이 방법은 차량 카메라의 이미지 데이터를 결정하는 단계를 포함하며, 이 경우 이미지 데이터는 일 기준 지점으로부터 출발하는 차량의 주변 환경을 지시한다. 또한, 이 방법은 이미지 데이터를 토대로 하여 차량의 주변 환경에 있는 하나 이상의 카메라-물체를 검출하는 단계를 포함한다. 또한, 이 방법은 차량의 거리 감지 주변 환경 센서의 센서 데이터를 결정하는 단계를 포함한다. 더 나아가, 이 방법은 기준 지점으로부터 다수의 상이한 거리로 카메라-물체를 이동시키는 단계, 그리고 다수의 상이한 거리에 대해 센서 데이터와 개별 카메라-물체가 중첩되는 정도에 상응하는 다수의 값을 결정하는 단계를 포함한다. 그 다음에는, 다수의 중첩 정도의 값에 따라 기준 지점으로부터 카메라-물체까지의 물체-거리가 결정될 수 있다.
또 다른 일 양태에 따르면, 본 명세서에 설명된 처리 유닛을 포함하는 (도로-)자동차(특히 승용차 또는 트럭 또는 버스)가 기술된다.
또 다른 일 양태에 따르면, 소프트웨어(SW) 프로그램이 기술된다. SW 프로그램은, 프로세서상에서 (예컨대, 차량의 제어 장치상에서) 실행되도록 그리고 이로 인해 본 명세서에 설명된 방법을 실시하도록 설계될 수 있다.
또 다른 일 양태에 따르면, 저장 매체가 기술된다. 저장 매체는, 프로세서상에서 실행되도록 그리고 이로 인해 본 명세서에 설명된 방법을 실시하도록 설계된 SW 프로그램을 포함할 수 있다.
본 명세서에 설명된 방법, 장치 및 시스템은 단독으로 사용될 수 있을 뿐만 아니라 본 명세서에 설명된 다른 방법, 장치 및 시스템과 조합해서도 사용될 수 있다. 또한, 본 명세서에 설명된 방법, 장치 및 시스템의 모든 양태들은 다양한 방식으로 서로 조합될 수 있다. 특히, 청구항들의 특징부들은 다양한 방식으로 서로 조합될 수 있다.
본 발명은, 실시예들을 참조하여 이하에서 더욱 상세하게 설명된다. 도면에서,
도 1은 다수의 상이한 주변 환경 센서를 갖는 예시적인 차량을 도시한 도면;
도 2는 차량의 주변 환경의 예시적인 격자를 도시한 도면;
도 3은 라이더 기반의 점유 격자를 갖는 카메라-물체의 예시적인 중첩 상태를 도시한 도면;
도 4는 주변 환경-물체에 관한 정보를 결정하기 위한 예시적인 방법의 흐름도를 도시한 도면; 및
도 5는 거리 감지 주변 환경 센서의 센서 데이터와 카메라-물체의 예시적인 중첩 상태를 도시한 도면.
서두에 언급된 바와 같이, 본 명세서는, 다수의 주변 환경 센서의 센서 데이터를 토대로 하여 하나 이상의 주변 환경-물체를 검출하고 추적하는 것과 관련이 있다. 이와 같은 맥락에서, 도 1은, 센서 데이터를 수집하기 위한 하나 또는 복수의 주변 환경 센서(111, 112)를 갖는 차량(100)을 보여준다. 차량(100)은, 센서 데이터를 토대로 하여 차량(100)의 주변 환경에 있는 물체(150)를 검출하도록 설계된 처리 유닛(101)을 더 포함한다. 그 다음에는 검출된 물체(150)가 차량 기능(102)에서 {예컨대, 차량(100)의 부분 자동화된 또는 고도로 자동화된 운전을 위해} 사용될 수 있다.
본 명세서는 특히 차량(100) 주변 환경의 일관된 다중 센서적인 모델링과 관련이 있다. 이 경우, 로컬 주변 환경은 점유 격자 맵 또는 격자(200)로서 추정되거나 표현될 수 있다(도 2 참조). 도 2는, 다수의 격자 셀 또는 간략히 셀(201)을 갖는 차량(100) 주변 환경의 예시적인 격자(200)를 보여준다. 격자(200)는, 주변 환경 또는 차량(100)의 주변을 다수의 2-(2D) 또는 3-차원(3D) 셀(201)로 분할할 수 있다. 이때, 2차원 셀(201)은 (예를 들어 변의 길이가 10 ㎝, 5 ㎝, 2 ㎝, 1 ㎝ 또는 그 미만인) 직사각 형상을 가질 수 있다.
차량(100)의 처리 유닛(101)은, 하나 또는 복수의 셀(201)에 대한 {특히 각각의 셀(201)에 대한} 센서 데이터를 토대로 하여, 일 셀(201)이 일 특정 시점(t)에 점유되어 있는지 않은지를 지시하는 측정 데이터를 결정하도록 설계될 수 있다. 특히 측정 데이터(zc)가 셀(c 201)에 대해서는 다음의 식
Figure pct00001
으로 나타날 수 있으며, 상기 식에서 m({SD})는, 셀(c 201)이 물체(150)(예컨대, 정적인 또는 동적인 물체)에 의해 점유되었다는 증거 또는 증거 베이스이며, 그리고 상기 식에서 m(F)는 셀(c 201)이 비어 있고 이로써 물체(150)에 의해 점유되지 않았다는 증거이다. 셀(201)이 물체(150)에 의해 점유되었다는 증거는, 셀(201)이 물체(150)에 의해 점유되었다는 사실에 대한 물체-확률로서 간주될 수 있다{특히 뎀프스터-셰이퍼 이론(Dempster-Shafer Theory)의 의미에서}.
통상적으로, 특정 시점(t)에서의 시간상으로 분리된 측정을 토대로 해서는 다만 증거 또는 증거 베이스{m(SD), m(F)}만 결정될 수 있는데, 그 이유는 물체가 정적인 또는 동적인 물체(150)에 의해 점유되었는지의 여부가 확인될 수 없기 때문이다. 하지만, 현재 시점(t)에서의 상응하는 시점 시퀀스에서 {센서(111, 112)에 의한} 일련의 측정 후에는, 상이한 셀(201)에 대해 상이한 가설에 대한 상이한 증거를 보여주는 다음과 같은 점유 격자(Mt 200)가 제공될 수 있으며:
Figure pct00002
,
상기 식에서 m(FDt)는, 과거에 점유되지 않은 셀(201)이 시점(t)에 동적인 물체(150)에 의해 점유될 수 있다는 가설에 대한 증거를 나타낸다. 또한, m(St)는, 셀(c 201)이 시점(t)에서 정적인 물체(150)에 의해 점유되었다는 증거 또는 증거 베이스를 나타낸다. 또한, m(Dt)는, 셀(c 201)이 시점(t)에서 동적인 물체(150)에 의해 점유되었다는 증거 또는 증거 베이스를 나타낸다. 점유 격자{Mt(200)}는 특정 시점(t)에서 격자(200)의 셀(201)의 등급 또는 상태를 기술한다.
점유 격자(200)는, 예컨대, 하나 또는 복수의 주변 환경 센서(111)의 센서 데이터를 토대로 하여 결정될 수 있으며, 이들 센서 데이터 각각은 물체(150)와 개별 주변 환경 센서(111) 사이의 거리에 대해 상대적으로 높은 정확도를 갖는다. 결과적으로, 점유 격자(200)의 점유된 셀(201)과 개별 주변 환경 센서(111) 간의 거리는 검출될 물체에 대한 기준 거리로서 간주될 수 있다. 상대적으로 정확한 거리 결정을 실행하는 예시적인 주변 환경 센서(111)는 라이더 센서 및/또는 레이더 센서이다.
더 나아가, 하나 이상의 이미지 카메라(112)의 센서 데이터는 주변 환경-물체를 검출하기 위하여 사용될 수 있다. 본 명세서에서는 이미지 카메라(112)의 센서 데이터가 이미지 데이터로서도 지칭될 수 있다. 처리 유닛(101)은, 이미지 데이터를 토대로 하여 하나 또는 복수의 물체(250)를 검출하도록 설계될 수 있다. 이 경우, 이미지 데이터를 토대로 하여 검출된 물체(250)는 본 명세서에서 카메라-물체로서 지칭된다.
따라서, 거리 감지 주변 환경 센서(111)의 센서 데이터를 기반으로 해서는 제1 점유 격자(200)가 결정될 수 있으며, 공통의 또는 융합된 점유 격자(200)를 결정하기 위해 중첩될 수 있는 이미지 데이터를 기반으로 해서는 제2 점유 격자(200)가 결정될 수 있다. 카메라-물체(250)의 거리가 통상적으로는 이미지 데이터를 토대로 하여 다만 상대적으로 부정확하게만 결정될 수 있다는 사실로 인해, 2개 점유 격자(200)의 중첩은 물체가 (상이한 간격으로) 두 번 식별될 수 있거나 경우에 따라서는 전혀 식별되지 않을 수 있는 결과를 야기한다. 따라서, 상이한 유형의 주변 환경 센서(111, 112)의 센서 데이터로부터의 점유 격자(200)의 중첩은, 주변 환경-물체의 상대적으로 낮은 식별 품질을 야기할 수 있다.
상기와 같은 문제점은, 데이터 융합을 위한 선행 공정에서, 거리 감지 주변 환경 센서(111)의 센서 데이터를 토대로 하여 (예컨대, 라이더 센서 데이터 또는 레이더 센서 데이터를 토대로 하여) 결정된 점유 격자(200)의 셀(201)에 하나 또는 복수의 검출된 카메라-물체(250)를 할당함으로써 피해질 수 있다. 도 3은, 거리 감지 주변 환경 센서(111)의 센서 데이터를 토대로 하여 결정된 점유 격자(200)로 전송되었거나 변환된 예시적인 카메라-물체(250)를 보여준다. 통상적으로, 이미지 데이터를 수집하기 위한 카메라(112) 및 센서 데이터를 수집하기 위한 주변 환경 센서(111)는 차량(100)에서 상이한 위치에 배열되어 있다. 카메라(112)와 주변 환경 센서(111)의 상이한 위치가 공지되어 있음으로써, 선행 공정에서는, 검출된 카메라-물체(250)를 카메라(112)의 좌표계로부터 거리 감지 주변 환경 센서(111)의 좌표계로 변환하는 것을 가능하게 하는 변환(예컨대, 6개의 자유도, 즉 이동을 위한 3개의 자유도 및 회전을 위한 3개의 자유도를 가짐)이 결정될 수 있다.
검출된 카메라-물체(250)는 {특정 기준 지점(305)에 대해} 특정 방위각 범위(301)에 걸쳐 연장된다. 기준 지점(305)은, 예컨대, 할당 격자(200)의 기반이 되는 좌표계 내에서 센서(111, 112){(예컨대, 카메라(112) 및/또는 거리 감지 주변 환경 센서(111)}의 위치에 상응할 수 있다. 이때, 각도 범위(301)는, 카메라-물체(250)가 놓여 있는 카메라(112)의 수집 범위의 각도 섹션에 상응할 수 있다. 필요한 경우, 각도 범위(301)는 카메라-물체(250)의 양 측면에서 특정의 공차 버퍼(303)만큼 확장될 수 있다.
기준 지점(305)에 대한 카메라-물체(250)의 거리는, {이중 화살표(302)에 의해 도시된} 결정된 각도 범위(301) 내부에서 변경될 수 있다. 이때, 카메라-물체(250)는, 카메라-물체(250)가 {필요한 경우에는 양 측면에서의 공차 버퍼(303)를 고려하여} 각각의 거리에서 전체 각도 범위(301)에 걸쳐 연장되도록 크기 조정될 수 있다.
각각의 거리에 대해서는, (크기 조정된) 카메라-물체(250)와 점유 격자(200)의 셀 또는 지점(201) 간의 중첩에 대한 중첩 정도의 값이 결정될 수 있다. (크기 조정되고 이동된) 카메라-물체(250)는 예컨대, 점유 격자(200)의 각각의 셀(201)에 대해, 셀(201)이 카메라-물체(250)의 부분이라는 사실에 대한 증거 베이스를 보여줄 수 있다. 또한, 점유 격자(200)는, 각각의 셀(201)에 대해, 셀(201)이 점유되었다는 사실에 대한 상기 증거 베이스를 보여준다. 중첩 정도의 값을 결정하기 위해,
Figure pct00003
각도 범위(201)에 의해 커버 되는 셀(201)에 대해, 셀(201)이 (크기 조정 및 이동된) 카메라-물체(250)의 부분이라는 사실에 대한 증거 베이스와 셀(201)이 점유되었다는 사실에 대한 증거 베이스의 곱이 각각 결정되며; 그리고
Figure pct00004
상기 곱들의 평균적인 절대 총합 또는 제곱 총합이 결정될 수 있다.
따라서, 카메라-물체(250)의 다수의 상이한 거리에 대해 중첩 정도의 값이 각각 결정될 수 있다. 또한, 중첩 정도의 값을 토대로 해서는, 카메라-물체(250)의 물체-거리가 결정될 수 있는데, 이 경우 (크기 조정 및 이동된) 카메라-물체(250)와 점유 격자(200) 사이에는 특히 우수한, 특히 최적의 중첩 상태가 존재한다. 이와 같은 크기 조정되고 이동된 카메라-물체(250)는 추후에 점유 격자(200)의 셀(201)과 병합될 수 있고, 주변 환경-물체를 식별할 때에 고려될 수 있다. 이로써, 주변 환경-물체의 식별 품질이 향상될 수 있다.
대안적으로 또는 보완적으로는{제1 단계에서 상이한 센서(111, 112)의 센서 데이터로부터 각각 개별적인 격자(200)를 유도한 다음에 이 격자를 셀 기반 방식으로 병합하는 대신에}, 하나 또는 복수의 검출된 카메라-물체(250)가 (예컨대, 레이저 스캐너의) 거리 감지 주변 환경 센서(111)의 센서 데이터와 직접 병합될 수 있다. 그 후에 비로소, 이미 병합된 정보를 토대로 하여 필요에 따라 스캔 격자(200)가 도출될 수 있다.
카메라-물체(250)와 거리 감지 주변 환경 센서(100)의 센서 데이터 간의 융합 또는 연관은 다음과 같이 이루어질 수 있다:
Figure pct00005
카메라-물체(250)는 통상적으로 카메라-물체(250)의 검출을 위한 이미지 데이터를 수집한 카메라(112)의 좌표계와 관련하여 설명되어 있다. (예컨대, 라이더 센서의) 거리 감지 주변 환경 센서(111)의 센서 데이터는 추후에 변환(이동 및/또는 회전)에 의해서 카메라(112)의 3D-좌표계로 투영되거나 변환될 수 있다. 대안적으로는, 전술된 바와 같이, 거리 감지 주변 환경 센서(111)의 좌표계로의 카메라 물체(250)의 변환이 이루어질 수 있다.
Figure pct00006
그 다음에는 방위각 범위(301)가 결정될 수 있는데, 이 방위각 범위는 카메라-물체(250)에 의해 설정된다{경우에 따라서는 카메라-물체(250)의 좌측 또는 우측에 각각 가산된 공차 델타 또는 공차 버퍼(303)를 가짐).
Figure pct00007
또한, 상기 방위각 범위(301) 내부에 놓여 있는 거리 감지 주변 환경 센서(111)의 센서 데이터가 추출될 수 있다.
Figure pct00008
카메라-물체(250)는 다양한 거리 값으로 설정될 수 있고, 그에 상응하게 크기 조정될 수 있다. 각각의 거리 값에 대해 품질 함수의 값(즉, 중첩 정도의 값)이 계산될 수 있으며, 여기서 품질 함수는, (크기 조정 및 이동된) 카메라-물체(250)가 거리 감지 주변 환경 센서(111)의 센서 데이터와 얼마나 우수하게 일치하는지를 지시한다.
Figure pct00009
그 다음에, 카메라-물체(250)는 거리 감지 주변 환경 센서(111)의 센서 데이터를 토대로 하여 식별된 점유 셀(201)과 연관될 수 있으며, 이에 대해서는 상대적으로 우수한 피트(fit)(즉, 상대적으로 우수한 품질 함수 값)가 나타난다.
하나 또는 복수의 카메라-물체(250)가 거리 감지 주변 환경 센서(111)의 센서 데이터를 토대로 하여 결정된 점유 격자(200)의 지점 또는 셀(201)과 연관되자마자, 거리 감지 주변 환경 센서(111)의 정보뿐만 아니라 카메라(112)의 정보까지도 포함하는 병합된 점유 격자(200)가 도출될 수 있다.
도 5에 도시된 바와 같이, 거리 감지 주변 환경 센서(111)의 센서 데이터(500)는 다수의 검출된 지점(501, 504)을 지시할 수 있다. 이때, 지점(501, 504)은, 주변 환경 센서(111)에 의해 방출된 센서 신호(예컨대, 레이저 신호 또는 레이더 신호)의 반사가 이루어진 주변 환경 센서(111)의 수집 영역 내에 있는 일 지점일 수 있다. 따라서, 주변 환경 센서(111)에 의해 검출된 지점(501, 504)에 일 물체가 배열될 수 있다. 더욱이, 거리 감지 주변 환경 센서(111)의 센서 데이터는, {센서 원점과 제1 장애물 검출 사이의 영역(502)에는 물체가 배열되어 있지 않기 때문에} 비어 있을 확률이 높은 영역(502)을 나타낸다.
또한, 도 5는, 기준 지점(305)에 대한 개별 각도 범위(301) 내부에서의 거리를 변경에 의해서 그리고 상응하는 크기 조정에 의해서 센서 데이터(500)의 검출된 지점(501, 504)과 연관될 수 있는 예시적인 카메라-물체(250)를 보여준다. 그 다음에는, 하나 또는 복수의 카메라-물체(250)와 거리 감지 주변 환경 센서(111)의 센서 데이터(500)의 검출된 지점(501, 504)의 연관을 토대로 하여 주변 환경-물체(550)가 검출될 수 있다. 이 경우에는, 거리 감지 주변 환경 센서(111)의 센서 데이터(500)를 토대로 하여 하나 또는 복수의 주변 환경-물체(550)의 공간적인 위치가 정확한 방식으로 결정될 수 있다. 더욱이, 이미지 데이터를 토대로 해서는, 주변 환경-물체(550)의 (예컨대, 차량, 보행자, 자전거 운전자 등과 같은 상이한 물체 유형으로의) 정확한 분류가 이루어질 수 있다. 더 나아가, 이미지 데이터를 토대로 해서는, (예컨대, 색상, 형상 등과 같은) 주변 환경-물체(550)의 또 다른 속성이 정확한 방식으로 결정될 수 있다. 그 밖에, 이미지 데이터를 토대로 해서는, 거리 감지 주변 환경 센서(111)의 센서 데이터(500)의 검출된 지점(501, 504)이 하나 또는 복수의 상이한 주변 환경-물체(550)로 신뢰할 만하게 클러스터링(clustering) 될 수 있다.
도 5에 도시된 병합된 센서 데이터를 토대로 해서는, 개별 셀(201)의 점유 확률에 추가하여, 또한 셀(201)이 하나 또는 복수의 상이한 주변 환경-물체(550)에 속한다는 물체 소속을 나타내는 병합된 점유 격자(200)가 정확한 방식으로 결정될 수 있다.
거리 감지 주변 환경 센서(111)를 참조해서 검출된 지점(501, 504)은 물체(550)에서의 반사에 의해서 또는 지면에서의 반사에 의해서 야기될 수 있다. 따라서, 검출된 지점(501, 504)은 물체(550)에 할당되지 않아야만 하는 가능한 일 지면 지점일 수 있다. 일 물체 지점(501)과 가능한 일 지면 지점(504) 간의 구별은 예컨대, 반사가 이루어지는 높이를 토대로 하여 결정될 수 있다. 지면으로부터 상대적으로 낮은 높이에서만 반사가 이루어진다면, 경우에 따라서는, 검출된 지점(501, 504)이 가능한 일 지면 지점(504)이라는 결론에 도달할 수 있다.
원칙적으로, 거리 감지 주변 환경 센서(111)의 검출된 지점(501, 504)은 예컨대, 비, 소음, 지면, (예컨대, 터널 또는 교량과 같은) 아래로 지나갈 수 있음과 같은 상이한 부류로 분류될 수 있다. 이들 부류는 재차 "장애물임" 및 "장애물 아님"이라는 부류로 매우 개략적으로 요약될 수 있다. 본 명세서에 설명된 "장애물 아님" 부류의 지점들 중 하나에 대한 재-검증은 {지면 지점(504)에 대해서만 이루어지지 않고) "장애물 아님" 부류의 모든 지점에 대해 이루어질 수 있다. 그렇기 때문에, 지면 지점은 일반적으로 비-장애물-지점으로서 간주될 수 있다.
물체 지점(501) 및 지면 지점(504)으로의 높이 기반 분류는 통상적으로 오류와 결부되어 있다. 본 명세서에 설명된 거리 감지 주변 환경 센서(111)의 센서 데이터(500)로부터 검출된 지점(501, 504)과 카메라-물체(250)의 연관은, 먼저 모든 검출된 지점(501, 504)을, 특히 가능한 지면 지점(504)으로서 식별된 지점들까지도 데이터 융합 과정 동안에 고려하는 것을 가능하게 한다. 가능한 지면 지점(504)이 카메라-물체(250)와 연관되면, 이 지점은 지면 지점이 아니라 오히려 물체 지점이라는 결론에 도달할 수 있다. 다른 한 편으로, 가능한 지면 지점이 카메라-물체(250)와 연관되지 않는 경우에는, 가능한 지면 지점(504)이 향상된 확률로 지면에 할당될 수 있다. 따라서, 주변 환경-물체(550)의 식별 품질이 더욱 향상될 수 있다.
도 4는, 차량(100)의 주변 환경에 있는 주변 환경-물체에 관한 정보를 결정하기 위한 예시적인 방법(400)의 흐름도를 보여준다. 특히, 방법(400)은, 상이한 센서(111, 112)의 센서 데이터를 병합하는 데, 물체의 검출 품질을 향상시키는 데 그리고/또는 검출된 물체와 관련하여 확장된 정보를 결정하는 데 기여할 수 있다. 또한, 방법(400)은, 물체에 관해 결정된 정보를 토대로 하여 차량(100)을 적어도 부분적으로 자동화된 방식으로 안내하기 위해 이용될 수 있다. 방법(400)은 차량(100)의 처리 유닛(101)에 의해서 실행될 수 있다.
방법(400)은, 차량(100)의 카메라(112)(특히 모노 카메라)의 이미지 데이터를 결정하는 단계(401)를 포함한다. 이때, 이미지 데이터는 기준 지점(305)으로부터 출발하는 차량(100)의 주변 환경을 나타낼 수 있다. 기준 지점(305)은 예컨대, 카메라(112)의 센서 표면에 상응할 수 있다.
그 밖에, 방법(400)은, 이미지 데이터를 토대로 하여 차량(100)의 주변 환경에 있는 하나 이상의 카메라-물체(250)를 검출하는 단계(402)를 포함한다. 이 목적을 위해서는, 예컨대, 이미지 데이터를 토대로 하여 (예컨대, 이미지 프레임의 이미지 픽셀을 토대로 하여) 하나 이상의 물체의 윤곽을 식별하도록 설계된 하나 또는 복수의 이미지 분석 알고리즘이 사용될 수 있으며, 여기서 이미지 데이터를 토대로 하여 검출된 물체는 본 명세서에서 카메라-물체(250)로서 지칭된다.
이미지 데이터는, 주변 환경-물체(550)의 윤곽 및/또는 형상을 정확한 방식으로 결정하는 것을 가능하게 한다. 또한, 주변 환경-물체(550)의 물체 유형은 통상적으로 분류 알고리즘을 참조하여 이미지 데이터를 토대로 해서 정확한 방식으로 결정될 수 있다. 다른 한 편으로, 주변 환경-물체(550)로부터 기준 지점(305)까지의 거리는 대부분 이미지 데이터를 토대로 하여 다만 상대적으로 낮은 정확도로만 결정될 수 있다.
방법(400)은, 차량(100)의 거리 감지 주변 환경 센서(111)의 센서 데이터(500)를 결정하는 단계(403)를 더 포함한다. 이때, 거리 감지 주변 환경 센서(111)의 센서 데이터(500)를 결정하는 단계(403)는 이미지 데이터를 결정하는 단계(401) 및 하나 이상의 카메라-물체(250)를 검출하는 단계(402)와 병렬로 이루어질 수 있다. 특히, 센서 데이터(500) 및 이미지 데이터는 동일한 (샘플링-)시점과 관련될 수 있다.
거리 감지 주변 환경 센서(111)는, 측정 지점으로부터의 거리를 정확하게 결정할 수 있는 센서일 수 있다. 예시적인 거리 감지 주변 환경 센서(111)는 레이더 센서 또는 라이더 센서이다. 거리 감지 주변 환경 센서(111)의 센서 데이터(500)는 차량(100)의 주변 환경에 있는 다수의 검출된 지점(501, 504)을 지시할 수 있다. 이때, 검출된 지점(501, 504)은, 주변 환경 센서(111)에 의해 방출된 센서 신호가 반사된 반사 지점일 수 있다.
또한, 방법(400)은, 기준 지점(305)으로부터 다수의 상이한 거리로 카메라-물체(250)를 이동시키는 단계(404)를 포함한다. 이때, 카메라-물체(250)는, 기준 지점(305)으로부터 상이한 (방사상) 거리에 카메라-물체(250)를 위치시키기 위하여, 기준 지점(305)으로부터 방출되는 빔을 따라 이동될 수 있다. 카메라-물체(250)의 이동(404)의 틀 안에서는, 또한 카메라-물체(250)의 크기 조정도 이루어질 수 있다. 이때, 카메라-물체(250)가 기준 지점(305)에 더욱 가깝게 이동되는 경우에는 카메라-물체(250)가 축소될 수 있으며, 그리고/또는 카메라-물체(250)가 기준 지점(305)으로부터 더욱 멀리 이동되는 경우에는 카메라-물체(250)가 확대될 수 있다.
그 밖에, 방법(400)은, 다수의 상이한 거리에 대해 센서 데이터(500)의 검출된 지점(501, 504)과 (이동된 그리고/또는 크기 조정된) 개별 카메라-물체(250)의 중첩에 대한 중첩 정도의 다수의 값을 결정하는 단계(405)를 포함한다.
또한, 방법(400)은, 중첩 정도의 다수의 값에 따라 기준 지점(305)으로부터의 카메라-물체(250)의 물체-거리를 결정하는 단계(406)를 포함한다. 이때, 물체-거리는, 중첩 정도가 센서 데이터(500)의 검출된 지점(501, 504)과 카메라-물체(250)의 비교적 최적의 중첩 상태를 나타내는 다수의 상이한 거리로부터의 거리로서 선택될 수 있다. 특히, 물체-거리는, 중첩 정도의 값이 최대 또는 최소인 다수의 상이한 거리로부터의 거리로서 선택될 수 있다.
더욱이, 카메라-물체(250)는 (결정된 물체-거리를 토대로 하여) 다수의 검출된 지점(501, 504)의 하위 집합에 할당될 수 있다. 이와 같은 할당은 추후에 점유 격자(200)를 결정할 때에 고려될 수 있다. 이때, 점유 격자(200)는, 다수의 셀(201)에 대해, 주변 환경-물체(550)에 의한 개별 셀(201)의 점유 확률을 각각 나타낼 수 있다. 점유 격자(200)는, 하나 또는 복수의 주변 환경-물체(550)를 신뢰할 만한 방식으로 검출하기 위해 그리고/또는 추적하기 위해 사용될 수 있다. 그 다음에, 차량(100)은 하나 또는 복수의 주변 환경-물체(550)에 따라 적어도 부분적으로 자동화된 방식으로 안내될 수 있다. 따라서, 적어도 부분적으로 자동화된 상태로 주행하는 차량(100)의 신뢰성 및 안전성이 향상될 수 있다.
방법(400)은 규칙적으로, 특히 (예컨대, 10 ㎐, 20 ㎐, 25 ㎐ 또는 그 이상의 주파수로) 주기적으로 반복될 수 있다. 이 경우에는, 개별 시점에서 각각 현재의 이미지 데이터 및/또는 센서 데이터(500)가 결정되고 고려될 수 있다. 방법(400)의 반복에 의해서는, 차량(100)의 주행 동안 주변 환경-물체(500)가 신뢰할 수 있는 방식으로 검출되고 추적될 수 있다.
본 발명은 도시된 실시예들에 한정되지 않는다. 특히, 상세한 설명 및 각각의 도면은 다만 제안된 방법, 장치 및 시스템의 원리를 설명하기 위한 것에 불과하다는 사실에 유의하여야 한다.

Claims (16)

  1. 차량(100)용 처리 유닛(101)으로서; 상기 처리 유닛(101)은,
    - 차량(100)의 카메라(112)의 이미지 데이터를 결정하도록 설계되어 있되, 상기 이미지 데이터는 일 기준 지점(305)으로부터 출발하여 차량(100)의 주변 환경을 지시하며;
    - 상기 이미지 데이터를 토대로 하여 차량(100)의 주변 환경에 있는 하나 이상의 카메라-물체(250)를 검출하도록 설계되어 있으며;
    - 차량(100)의 거리 감지 주변 환경 센서(111)의 센서 데이터(500)를 결정하도록 설계되어 있되, 상기 센서 데이터(500)는 차량(100)의 주변 환경에 있는 다수의 검출된 지점(501, 504)을 지시하며;
    - 카메라-물체(250)를 상기 기준 지점(305)으로부터 다수의 상이한 거리로 이동시키도록 설계되어 있으며;
    - 다수의 상이한 거리에 대해 상기 센서 데이터(500)의 검출된 지점(501, 504)과 개별 카메라-물체(250)의 중첩 정도에 상응하는 다수의 값을 결정하도록 설계되어 있으며; 그리고
    - 중첩 정도의 다수의 값에 따라 상기 기준 지점(305)으로부터 카메라-물체(250)의 물체-거리를 결정하도록 설계되어 있는, 차량(100)용 처리 유닛(101).
  2. 제1항에 있어서, 상기 처리 유닛(101)은,
    - 카메라-물체(250)에 대한 기준 지점(305)을 결정하기 위하여, 각도 범위(301), 특히 방위각-범위 및/또는 높이-각도 범위를 결정하도록 설계되어 있으며;
    - 각도 범위(301)에 의해 정의된 차량(100) 주변 환경의 하위 영역 내부에서 기준 지점(305)으로부터 출발하는 빔을 따라 카메라-물체를 이동시키도록 설계되어 있으며; 그리고
    - 개별 카메라-물체(250)의 중첩 정도의 값을, 특히 배타적으로, 차량(100) 주변 환경의 하위 영역으로부터 센서 데이터(500)의 검출된 지점(501, 504)으로써 결정하도록 설계되어 있는, 처리 유닛(101).
  3. 제2항에 있어서, 상기 각도 범위(301)는, 상기 각도 범위(301)를 제한하고 기준 지점(305)으로부터 출발하는 빔이 카메라-물체(250)의 서로 다른 2개의 측면에서 카메라-물체(250)를 제한하는 방식으로, 선택적으로는 카메라-물체(250)의 서로 다른 2개의 측면에 있는 추가의 공차 버퍼(303)를 사용해서 결정되는, 처리 유닛(101).
  4. 제2항 또는 제3항에 있어서, 상기 처리 유닛(101)은,
    - 카메라-물체(250)에 대한 기준 지점(305)을 결정하기 위하여, 방위각-범위(301) 및/또는 높이-각도 범위를 결정하도록 설계되어 있으며;
    - 상기 방위각-범위(301) 및 높이-각도 범위에 의해 정의된 차량(100) 주변 환경의 하위 영역 내부에서 기준 지점(305)으로부터 출발하는 빔을 따라 카메라-물체(2500를 이동시키도록 설계되어 있으며; 그리고
    - 개별 카메라-물체(250)의 중첩 정도의 값을, 특히 배타적으로, 차량(100) 주변 환경의 하위 영역으로부터 센서 데이터(500)의 검출된 지점(501, 504)으로써 결정하도록 설계되어 있는, 처리 유닛(101).
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 처리 유닛(101)은, 기준 지점(305)까지의 거리에 따라 카메라-물체(250)를 크기 조정하도록 설계되어 있는, 처리 유닛(101).
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 처리 유닛(101)은,
    - 이미지 데이터를 토대로 하여 기준 지점(305)까지의 카메라-물체(250)의 추정된 거리를 결정하도록 설계되어 있으며; 그리고
    - 카메라-물체(250)를 다수의 상이한 거리로 이동시키기 위하여, 카메라-물체(250)를 거리 범위 안에서 추정된 거리 둘레로, 특히 기준 지점(305)으로부터 출발하는 빔을 따라 이동시키도록 설계되어 있는, 처리 유닛(101).
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    - 카메라(112)와 주변 환경 센서(111)가 차량(100)에서 상이한 위치에 배열되어 있으며,
    - 상기 처리 유닛(101)은, 카메라-물체(250)와 주변 환경 센서(111)의 센서 데이터(500)를 하나의 공통 좌표계 내에 표시하도록, 특히
    - 카메라-물체(250)를 주변 환경 센서(111)의 좌표계 내로 투영함으로 써; 또는
    - 센서 데이터(500)를 카메라(112)의 좌표계 내로 투영함으로써
    표시하도록 설계되어 있는, 처리 유닛(101).
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    - 상기 카메라-물체(250)는, 상기 카메라-물체(250)가 배열된 차량(100) 주변 환경에 있는 다수의 카메라-지점을 지시하며; 그리고
    - 상기 카메라-물체(250)의 이동은 다수의 카메라-지점들 중 적어도 일부의 이동, 특히 기준 지점(305)으로부터 출발하는 빔을 따르는 이동을 포함하는, 처리 유닛(101).
  9. 제8항에 있어서, 상기 중첩 정도의 값을 결정하는 것은,
    - 센서 데이터(500)의 검출된 지점(501, 504)과 일치하는 카메라-물체(250)의 다수의 카메라-지점의 비율을 결정하는 것; 및/또는
    - 카메라-물체(250)의 다수의 카메라-지점과 센서 데이터(500)의 검출될 지점(501, 504) 간의 거리를 결정하는 것; 및/또는
    - 센서 데이터(500)의 검출된 지점(501, 504)과 카메라-물체(250)의 다수의 카메라-지점의 중첩 등급을 결정하는 것을 포함하는, 처리 유닛(101).
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    - 다수의 검출된 지점(501, 504)은, 차량(100)의 주변 환경에 배열된 주변 환경-물체(550)가 전혀 없을 수 있다는 것을 지시하는 하나 이상의 가능한 비-장애물 지점(504)을 포함하며; 그리고
    - 중첩 정도의 값은 상기 가능한 비-장애물 지점(504)을 고려하여 결정되는, 처리 유닛(101).
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 처리 유닛(101)은,
    - 결정된 물체-거리에 따라 다수의 검출된 지점(501, 504)의 하위 집합에 카메라-물체(250)를 할당하도록 설계되어 있으며; 그리고
    - 할당된 카메라-물체(250)를 고려한 상태에서 센서 데이터(500)를 토대로 하여 차량(100) 주변 환경의 점유 격자(200)를 결정하도록 설계되어 있되; 차량(100) 주변 환경의 다수의 셀(201)에 대한 점유 격자(200)는 각각 개별 셀(201)이 비어 있는지의 여부 또는 개별 셀(201)이 물체(550)에 의해 점유되었는지의 여부에 대한 확률을 지시하는, 처리 유닛(101).
  12. 제10항을 인용하는 제11항에 있어서,
    - 비-장애물 지점(504)에 카메라-물체(250)가 할당되지 않은 경우에는, 점유 격자(200)를 결정할 때에 가능한 비-장애물 지점(504)이 고려되지 않은 상태로 유지되며; 그리고/또는
    - 비-장애물 지점(504)에 카메라-물체(250)가 할당된 경우에는, 특히 이 경우에만, 점유 격자(200)를 결정할 때에 가능한 비-장애물 지점(504)이 고려되는, 처리 유닛(101).
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 처리 유닛(101)은,
    - 다수의 중첩 정도 값을 토대로 하여, 카메라-물체(250)가 다수의 검출된 지점(501, 504)의 하위 집합에 할당될 수 있는지 또는 없는지를 결정하도록 설계되어 있으며; 그리고
    - 카메라-물체(250)가 다수의 검출된 지점(501, 504)의 하위 집합에 할당될 수 없다고 결정된 경우에는, 차량(100) 주변 환경의 점유 격자(200)를 결정할 때에 카메라-물체(250)를 고려하지 않은 상태로 내버려 두도록 설계되어 있으며; 그리고/또는
    - 카메라-물체(250)가 다수의 검출된 지점(501, 504)의 하위 집합에 할당될 수 있다고 결정된 경우에는, 특히 이 경우에만, 결정된 물체-거리에 따라 센서 데이터(500)를 기반으로 하여 차량(100) 주변 환경의 점유 격자(200)를 결정할 때에 카메라-물체(250)를 고려하도록 설계되어 있는, 처리 유닛(101).
  14. 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 처리 유닛(101)은,
    - 센서 데이터(500)를 토대로 하여, 차량(100) 주변 환경의 점유 격자(200)를 결정하도록 설계되어 있으며;
    - 기준 지점(305)까지의 결정된 물체-거리에 있는 카메라-물체(250)를 고려한 상태에서 점유 격자(200)를 토대로 하여, 차량(100)의 주변 환경에 있고 카메라-물체(250)에 상응하는 주변 환경-물체(550)를 검출하도록 설계되어 있으며; 그리고
    - 이미지 데이터를 토대로 하여, 주변 환경-물체(550)의 하나 또는 복수의 속성, 특히 물체 유형을 다수의 상이한 물체 유형으로 결정하도록 설계되어 있는, 처리 유닛(101).
  15. 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 처리 유닛(101)은, 결정된 물체-거리에 따라 그리고/또는 결정된 물체-거리에 의존하는 차량(100) 주변 환경의 점유 격자(200)에 따라, 차량(100)의 한 가지 이상의 차량 기능, 특히 차량(100)의 적어도 부분적으로 자동화된 운전을 작동하도록 설계되어 있는, 처리 유닛(101).
  16. 차량(100)의 주변 환경에 있는 물체에 관한 정보를 결정하기 위한 방법(400)으로서,
    - 차량(100) 카메라(112)의 이미지 데이터를 결정하는 단계(401)로서, 상기 이미지 데이터는 일 기준 지점(305)으로부터 출발하는 차량(100)의 주변 환경을 지시하는, 상기 결정하는 단계(401);
    - 이미지 데이터를 토대로 하여 차량(100)의 주변 환경에 있는 하나 이상의 카메라-물체(250)를 검출하는 단계(402);
    - 차량(100)의 거리 감지 주변 환경 센서(111)의 센서 데이터(500)를 결정하는 단계(403)로서, 상기 센서 데이터(500)는 차량(100)의 주변 환경에서 검출된 다수의 지점(501, 504)를 지시하는, 상기 결정하는 단계(403);
    - 기준 지점(305)으로부터 다수의 상이한 거리로 카메라-물체(250)를 이동시키는 단계(404);
    - 다수의 상이한 거리에 대해 센서 데이터(500)의 검출된 지점(501, 504)과 개별 카메라-물체(250)가 중첩되는 정도에 상응하는 다수의 값을 결정하는 단계(405); 및
    - 다수의 중첩 정도의 값에 따라 기준 지점(305)으로부터 카메라-물체(250)까지의 물체-거리를 결정하는 단계(406)를 포함하는, 차량(100)의 주변 환경에 있는 물체에 관한 정보를 결정하기 위한 방법(400).
KR1020217011772A 2018-11-08 2019-07-12 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛 KR102536037B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018127990.6A DE102018127990A1 (de) 2018-11-08 2018-11-08 Verfahren und Verarbeitungseinheit zur Ermittlung von Information in Bezug auf ein Objekt in einem Umfeld eines Fahrzeugs
DE102018127990.6 2018-11-08
PCT/DE2019/100650 WO2020094170A1 (de) 2018-11-08 2019-07-12 Verfahren und verarbeitungseinheit zur ermittlung von information in bezug auf ein objekt in einem umfeld eines fahrzeugs

Publications (2)

Publication Number Publication Date
KR20210062672A true KR20210062672A (ko) 2021-05-31
KR102536037B1 KR102536037B1 (ko) 2023-05-26

Family

ID=67514265

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217011772A KR102536037B1 (ko) 2018-11-08 2019-07-12 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛

Country Status (7)

Country Link
US (1) US20210394761A1 (ko)
EP (1) EP3877776A1 (ko)
JP (1) JP7273956B2 (ko)
KR (1) KR102536037B1 (ko)
CN (1) CN112997093A (ko)
DE (1) DE102018127990A1 (ko)
WO (1) WO2020094170A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019120440A1 (de) * 2019-07-29 2021-02-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum automatisierten Erstellen von Objektmarkierungen für die Verwendung in einem Fahrassistenzsystem eines Fahrzeugs
EP3882813A1 (en) 2020-03-20 2021-09-22 Aptiv Technologies Limited Method for generating a dynamic occupancy grid
EP3905105A1 (en) * 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a collision free space
EP3905106A1 (en) 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a drivable area
US20230089552A1 (en) * 2021-09-13 2023-03-23 Texas Instruments Incorporated Inverse radar sensor model and evidential grid mapping processors
US20230169781A1 (en) * 2021-11-30 2023-06-01 Texas Instruments Incorporated Free space detection and park-able free space detection for occupancy grids using sensor measurements

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016042288A (ja) * 2014-08-18 2016-03-31 株式会社デンソー 物体認識装置
JP2016066181A (ja) * 2014-09-24 2016-04-28 株式会社デンソー 物体検出装置
US20180276793A1 (en) * 2017-03-23 2018-09-27 The Boeing Company Autonomous performance of an operation on an object using a generated dense 3d model of the object

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10227171B4 (de) * 2002-06-18 2019-09-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit abstandsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
US6701006B2 (en) * 2002-06-26 2004-03-02 Nextengine, Inc. Apparatus and method for point cloud assembly
DE10229334B4 (de) * 2002-06-29 2010-09-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung von Sensoren im Kraftfahrzeug mittels eines Kalibrierobjekts mit Triple-Spiegel als Bezugsmerkmal
DE10324895A1 (de) * 2003-05-30 2004-12-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge
JP2007004578A (ja) 2005-06-24 2007-01-11 Nippon Telegr & Teleph Corp <Ntt> 三次元形状取得方法、三次元形状取得装置、及びプログラムの記録媒体
JP5130959B2 (ja) * 2008-03-05 2013-01-30 日産自動車株式会社 車両周囲環境検出装置
KR101141874B1 (ko) * 2008-06-04 2012-05-08 주식회사 만도 위험 지역의 검출 장치, 방법 및 그를 이용한 보행자 검출장치
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
US9429650B2 (en) * 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
US10721384B2 (en) * 2014-03-27 2020-07-21 Sony Corporation Camera with radar system
KR102131387B1 (ko) * 2014-12-09 2020-07-08 현대자동차주식회사 라이다의 멀티 레이어 데이터를 클러스터링하는 방법
US10133947B2 (en) * 2015-01-16 2018-11-20 Qualcomm Incorporated Object detection using location data and scale space representations of image data
DE102015201317A1 (de) * 2015-01-27 2016-07-28 Bayerische Motoren Werke Aktiengesellschaft Vermessen einer Abmessung auf einer Oberfläche
CN106296801B (zh) 2015-06-12 2019-11-26 联想(北京)有限公司 一种建立物体三维图像模型的方法及电子设备
DE102015118874A1 (de) * 2015-11-04 2017-05-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Sensorsystems eines Kraftfahrzeugs, Fahrerassistenzsystem und System zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs
US10145951B2 (en) 2016-03-30 2018-12-04 Aptiv Technologies Limited Object detection using radar and vision defined image detection zone
DE102016009756A1 (de) * 2016-08-10 2018-02-15 Daimler Ag Verfahren zum Kalibrieren eines Sensorsystems eines Kraftfahrzeugs sowie Sensorsystem
US20180217603A1 (en) * 2017-01-31 2018-08-02 GM Global Technology Operations LLC Efficient situational awareness from perception streams in autonomous driving systems
WO2018170472A1 (en) * 2017-03-17 2018-09-20 Honda Motor Co., Ltd. Joint 3d object detection and orientation estimation via multimodal fusion
US20180306927A1 (en) * 2017-04-21 2018-10-25 GM Global Technology Operations LLC Method and apparatus for pulse repetition sequence with high processing gain
EP3438777B1 (en) * 2017-08-04 2022-05-11 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
DE102017217212A1 (de) * 2017-09-27 2019-03-28 Robert Bosch Gmbh Verfahren zur Lokalisierung eines höher automatisierten Fahrzeugs (HAF), insbesondere eines hochautomatisierten Fahrzeugs, und ein Fahrzeugsystem
US11768292B2 (en) * 2018-03-14 2023-09-26 Uatc, Llc Three-dimensional object detection
US10551207B2 (en) * 2018-06-18 2020-02-04 Nio Usa, Inc. Autonomous vehicle sensor data and map integration
IT201800006594A1 (it) * 2018-06-22 2019-12-22 "Procedimento per la mappatura dell’ambiente di un veicolo, corrispondenti sistema, veicolo e prodotto informatico"
WO2020053611A1 (en) * 2018-09-12 2020-03-19 Toyota Motor Europe Electronic device, system and method for determining a semantic grid of an environment of a vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016042288A (ja) * 2014-08-18 2016-03-31 株式会社デンソー 物体認識装置
JP2016066181A (ja) * 2014-09-24 2016-04-28 株式会社デンソー 物体検出装置
US20180276793A1 (en) * 2017-03-23 2018-09-27 The Boeing Company Autonomous performance of an operation on an object using a generated dense 3d model of the object

Also Published As

Publication number Publication date
JP7273956B2 (ja) 2023-05-15
DE102018127990A1 (de) 2020-05-14
CN112997093A (zh) 2021-06-18
US20210394761A1 (en) 2021-12-23
WO2020094170A1 (de) 2020-05-14
KR102536037B1 (ko) 2023-05-26
JP2022506736A (ja) 2022-01-17
EP3877776A1 (de) 2021-09-15

Similar Documents

Publication Publication Date Title
KR102536037B1 (ko) 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛
JP6550881B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
JP5407898B2 (ja) 対象物検出装置及びプログラム
US9330320B2 (en) Object detection apparatus, object detection method, object detection program and device control system for moveable apparatus
US6956469B2 (en) Method and apparatus for pedestrian detection
JP5145585B2 (ja) 物標検出装置
US11004215B2 (en) Image processing apparatus, imaging device, moving body device control system, image information processing method, and program product
Broggi et al. Self-calibration of a stereo vision system for automotive applications
US8406472B2 (en) Method and system for processing image data
JPH05265547A (ja) 車輌用車外監視装置
US11093762B2 (en) Method for validation of obstacle candidate
JPH07129898A (ja) 障害物検出装置
US11110923B2 (en) Adaptive cruise control device
US11935250B2 (en) Method, device and computer-readable storage medium with instructions for processing sensor data
JP6687039B2 (ja) 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム
JP6597792B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2003084064A (ja) 前方車両の認識装置及び認識方法
CN111971682A (zh) 路面检测装置、利用了路面检测装置的图像显示装置、利用了路面检测装置的障碍物检测装置、路面检测方法、利用了路面检测方法的图像显示方法以及利用了路面检测方法的障碍物检测方法
JP2018048949A (ja) 物体識別装置
CN113008296A (zh) 用于通过在点云平面上融合传感器数据来检测汽车环境的方法和汽车控制单元
JP2015179301A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び移動体機器制御システム
KR20230031344A (ko) 자동차를 둘러싼 영역 내 장애물을 검출하기 위한 시스템 및 방법
US11884303B2 (en) Apparatus and method for determining lane change of surrounding objects
JP4106163B2 (ja) 障害物検出装置及びその方法
JPH11259792A (ja) 車輌認識方法およびその装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant