KR102441424B1 - 능동 스틱 필터를 이용한 융합 인식 시스템 및 그 방법 - Google Patents
능동 스틱 필터를 이용한 융합 인식 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102441424B1 KR102441424B1 KR1020200011547A KR20200011547A KR102441424B1 KR 102441424 B1 KR102441424 B1 KR 102441424B1 KR 1020200011547 A KR1020200011547 A KR 1020200011547A KR 20200011547 A KR20200011547 A KR 20200011547A KR 102441424 B1 KR102441424 B1 KR 102441424B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- stick
- image
- correction
- sensor
- Prior art date
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012937 correction Methods 0.000 claims abstract description 106
- 239000011159 matrix material Substances 0.000 claims abstract description 62
- 238000001514 detection method Methods 0.000 claims description 35
- 230000009466 transformation Effects 0.000 claims description 30
- 238000013461 design Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000012886 linear function Methods 0.000 claims description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims 17
- 229910052698 phosphorus Inorganic materials 0.000 claims 17
- 239000011574 phosphorus Substances 0.000 claims 17
- 238000004364 calculation method Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 241001300198 Caperonia palustris Species 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005283 ground state Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Lining Or Joining Of Plastics Or The Like (AREA)
Abstract
본 발명은 능동 스틱 필터를 이용한 융합 인식 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 능동 스틱 필터를 이용한 융합 인식 시스템은 영상 및 이종센서 간의 보정을 위해 입력 정보를 수신하는 데이터 입력부와, 이종센서 정보의 투영을 위해 상관관계를 계산하는 매트릭스 계산부와, 상관관계를 이용하여 이종센서 정보를 영상 도메인에 투영시키는 투영부 및 스틱 보정 모델링을 수행하고, 스틱 보정 필터를 설계 및 적용하는 2차원 이종센서 융합부를 포함하는 것을 특징으로 한다.
본 발명에 따른 능동 스틱 필터를 이용한 융합 인식 시스템은 영상 및 이종센서 간의 보정을 위해 입력 정보를 수신하는 데이터 입력부와, 이종센서 정보의 투영을 위해 상관관계를 계산하는 매트릭스 계산부와, 상관관계를 이용하여 이종센서 정보를 영상 도메인에 투영시키는 투영부 및 스틱 보정 모델링을 수행하고, 스틱 보정 필터를 설계 및 적용하는 2차원 이종센서 융합부를 포함하는 것을 특징으로 한다.
Description
본 발명은 능동 스틱 필터를 이용한 융합 인식 시스템 및 그 방법에 관한 것이다.
최근 주행지능보조시스템, 자율주행시스템 기술 분야에서는 전/후방 이동 객체 위치 인식을 위한 센서 융합 기술에 대한 연구가 활발하게 진행되고 있다.
종래 기술에 따르면, 차량의 자세 흔들림(pitch)과 도로의 기울기(내리막/오르막)에 따라 위치 추정이 부정확한 문제점을 해결하기 위해, 차선 또는 원근점(vanishing point)을 계산하여 피치(Pitch)계산을 하고 있으나, 일정거리 이상의 경우 여전히 추정이 부정확한 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 영상에서 검출된 이동 객체 정보에 이종 센서의 위치 정보를 투영하여 융합하기 위해 필요한 새로운 보정 방식을 제시하여, 능동적으로 영상의 검출 영역과 이종센서(레이더, 라이다 등)의 정보를 정확하게 활용하는 것이 가능한 능동 스틱 필터를 이용한 융합 인식 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명에 따른 능동 스틱 필터를 이용한 융합 인식 시스템은 영상 및 이종센서 간의 보정을 위해 입력 정보를 수신하는 데이터 입력부와, 이종센서 정보의 투영을 위해 상관관계를 계산하는 매트릭스 계산부와, 상관관계를 이용하여 이종센서 정보를 영상 도메인에 투영시키는 투영부 및 스틱 보정 모델링을 수행하고, 스틱 보정 필터를 설계 및 적용하는 2차원 이종센서 융합부를 포함하는 것을 특징으로 한다.
본 발명에 따른 능동 스틱 필터를 이용한 융합 인식 시스템은2차원 영상정보, 2차원 센서 정보 및 차량 정보를 수신하는 입력부와, 차량 정보를 고려하여 2차원 센서 정보의 좌표를 2차원 영상정보에 투영시키는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하되, 프로세서는 영상 내 객체 검출 영역 내에 이종센서의 정보를 실시간으로 매칭시켜, 이종센서를 이용한 융합 인식을 수행하는 것을 특징으로 한다.
본 발명에 따른 능동 스틱 필터를 이용한 융합 인식 방법은 (a) 영상 및 이종센서 간의 보정을 위해 입력 정보를 수신하는 단계와, (b) 이종센서 정보의 투영을 위해 상관관계를 계산하는 단계와, (c) 상관관계를 이용하여 이종센서 정보를 영상 도메인에 투영시키는 단계 및 (d) 스틱 보정 모델링을 수행하고, 스틱 보정 필터를 설계 및 적용하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따르면, 서로 다른 2차원 센서정보를 보정하기 위한 필터 및 융합 인식 방법을 제시하여, 차량 자세 변화와 도로의 기울기와 관계 없이 영상의 객체 검출 영역 내에 투영(projected)된 이종센서(레이다, 라이다 등)의 정보를 실시간으로 매칭시킴으로써, 신뢰성 높은 센서 융합 활용이 가능한 효과가 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1 및 도 2는 본 발명의 실시예에 따른 능동 스틱 필터를 이용한 융합 인식 시스템을 도시한다.
도 3은 본 발명의 실시예에 따른 스틱 보정 모델링/학습 및 센서 융합 과정을 도시한다.
도 4a및 도 4b는 본 발명의 실시예에 따른 스틱 필터 적용 결과를 도시한다.
도 5는 본 발명의 실시예에 따른 제1 스틱 보정 필터의 설계 방법을 도시한다.
도 6은 본 발명의 실시예에 따른 제2 스틱 보정 필터의 설계 방법을 도시한다.
도 7은 본 발명의 실시예에 따른 능동 스틱 필터를 이용한 융합 인식 방법을 도시한다.
도 3은 본 발명의 실시예에 따른 스틱 보정 모델링/학습 및 센서 융합 과정을 도시한다.
도 4a및 도 4b는 본 발명의 실시예에 따른 스틱 필터 적용 결과를 도시한다.
도 5는 본 발명의 실시예에 따른 제1 스틱 보정 필터의 설계 방법을 도시한다.
도 6은 본 발명의 실시예에 따른 제2 스틱 보정 필터의 설계 방법을 도시한다.
도 7은 본 발명의 실시예에 따른 능동 스틱 필터를 이용한 융합 인식 방법을 도시한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다.
최근 주행지능보조시스템, 자율주행시스템 기술 분야에서는 전/후방 이동 객체 위치 인식을 위한 센서 융합 기술에 대한 연구가 활발하게 진행되고 있다.
특히, 영상에서 딥러닝을 통해 학습에 의한 객체 검출/분류를 수행하고, 레이다, 라이다 등의 거리 추정/검출 센서를 융합하여 사용하는 사례가 증가하고 있다.
상용화된 센서 융합 기술은 주로 영상 기반의 능동형 차선 인식 및 차간 거리 유지 기술(ACC/LKAS)에 적용되고, 레이다를 활용한 전방 개체 인식을 통한 긴급제동 장치(AEB)에 독립적으로 활용되고 있다.
이렇듯 레이다의 객체 검출과 거리 추정 방식을 고도화하여 위치 인식의 신뢰도를 향상시키기 위해, 이종 센서 간의 융합 기술이 활발하게 이루어지고 있고, 인식된 결과에 대한 융합과 가공되지 않은 데이터(raw data)간의 정보를 융합하는 방식이 주로 연구 및 개발되고 있다.
상호간의 센서 신뢰도와 인식에 대한 정확도에 따른 융합 방식은 다양하기 이루어지고 있는데, 종래 기술에 따른 센서간의 융합보다는 센서 고유의 특징에 따라 인식을 수행하고, 이종 센서는 보조적인 형태로 정보를 제공함에 그치고 있다.
종래 기술에 따르면, 영상 기반의 이동 객체 인식을 통한 객체의 높이, 영상에서의 객체 위치에 따른 거리 및 위치 추정 방식을 제안하고 있는데, 이는 정확한 객체 검출 영역을 요구하고 있다.
또한, 종래 기술에 따르면 영상의 해상도에 따라 원거리일수록 거리 추정이 부정확한 문제점이 있으며, 차량의 자세 흔들림(pitch)과 도로의 기울기(내리막/오르막)에 따라서는 위치 추정이 부정확하기 때문에 차선 혹은 원근점(vanishing point)를 계산하여 피치(Pitch)계산을 하고 있으나, 일정거리 이상의 경우 부정확한 문제점이 있다.
이종센서(레이다, 라이다 등)와 영상의 인식 정보를 융합하는 방식을 활용하여 문제점을 보완하는 기술이 제안되었으나, 이는 평지일 때를 기준으로 보정을 수행하므로, 피치(pitch) 보정 및 3차원 주행 지도를 확보하는 조건하에서 보정이 가능하며, 이는 대량의 데이터를 요구하며 처리 속도나 효율적 측면에서 ADAS 시스템에서 활용하기에는 부적절한 한계가 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 자율주행 센서 융합 인식 기술 분야에 있어서, 평지뿐 아니라 오르막, 내리막 등 주행 환경에 따른 차량 피치 레이트(pitch rate) 변화에 적응이 가능한 스틱 필터를 제안함으로써, 능동적으로 검출된 객체에 투영된 거리 센서 정보를 실시간으로 매칭하여 객체 위치를 인식하는 시스템 및 그 방법을 제안한다.
도 1 및 도 2는 본 발명의 실시예에 따른 능동 스틱 필터를 이용한 융합 인식 시스템을 도시한다.
본 발명에 따른 능동 스틱 필터를 이용한 융합 인식 시스템(10)은2차원 영상정보, 2차원 센서 정보 및 차량 정보를 수신하는 입력부(11)와, 차량 정보를 고려하여 2차원 센서 정보의 좌표를 2차원 영상정보에 투영시키는 프로그램이 저장된 메모리(12) 및 프로그램을 실행시키는 프로세서(13)를 포함하되, 프로세서(13)는 영상 내 객체 검출 영역 내에 이종센서의 정보를 실시간으로 매칭시켜, 이종센서를 이용한 융합 인식을 수행하는 것을 특징으로 한다.
프로세서(13)는 차량의 피치 레이트(pitch rate) 변화에 적응적으로 적용되는 스틱 필터를 이용하여, 영상 내 검출된 객체에 거리 센서 정보를 실시간으로 매칭시키고, 객체의 위치를 인식한다.
프로세서(13)는 회전 및 거리변환 매트릭스와 역변환 매트릭스를 계산하고, 이를 이용하여 2차원 이종센서의 좌표를 영상에 투영시키고, 차량의 자세 및 위치 정보를 이용하여 이종센서 간의 상관관계 매트릭스를 보정한다.
프로세서(13)는 영상 검출 영역 내에 포함된 가장 가까운 좌표를 선택하는 기준으로 설정된 제1 스틱 보정 필터와, 주행 경로상에 위치하지 않은 물체가 영상 내 검출된 객체와 겹쳐지는 경우, 제1 스틱 보정 필터의 결과를 재필터링하는 제2 스틱 보정 필터를 이용하여 중첩 객체를 제거하고, 스틱 필터의 위치, 길이, 영역을 조절하여 적용한다.
이하에서는 도 2를 참조하여, 2차원 이종 센서 융합 방식 및 스틱 필터의 구성에 대해 설명한다.
본 발명에 따른 능동 스틱 필터를 이용한 융합 인식 시스템은 영상 및 이종센서 간의 보정을 위해 입력 정보를 수신하는 데이터 입력부(100)와, 이종센서 정보의 투영을 위해 상관관계를 계산하는 매트릭스 계산부(200)와, 상관관계를 이용하여 이종센서 정보를 영상 도메인에 투영시키는 투영부(300) 및 스틱 보정 모델링을 수행하고, 스틱 보정 필터를 설계 및 적용하는 2차원 이종센서 융합부(400)를 포함하는 것을 특징으로 한다.
데이터 입력부(100)는 영상 및 거리 센서 간의 보정을 위해 필요한 정보 및 데이터에 대한 입력 처리를 수행한다.
매트릭스 계산부(200)는 이종 센서 정보의 상호 투영을 위해 상관관계를 의미하는 회전 및 거리 변환 매트릭스를 계산한다.
투영부(300)는 매트릭스 계산부(200)에 의해 계산된 회전 및 거리 변환 매트릭스와 역변환 매트릭스를 이용하여 거리센서 정보를 영상 도메인에 투영(프로젝션)시킨다.
2차원 이종센서 융합부(400)는 기준 매트릭스 정보와 차량 자세, 주변 환경의 이동 객체 정보(크기, 위치 등)를 고려하여 스틱 보정 모델링을 수행하고, 스틱 보정 필터를 설계/적용하여 융합을 수행한다.
2차원 영상정보 입력부(110)는 왜곡되지 않은 영상(frontal bird eye view)을 기반으로 구성된 2차원 영상정보를 수신하며, 이는 단일 또는 다중 영상으로 구성된다.
데이터 입력부(100)는 2차원 센서정보 입력부(120)를 통해 다른 도메인(top down view)의 이종센서(레이다/라이다)의 정보를 동기화된 상태로 제공한다.
물체 탐지좌표 획득부(210) 및 좌표 보정부(200)는 2차원 영상정보의 영상 범위 내에서 2차원 센서 정보의 좌표가 맺히게 하는 코너리플렉터 종류의 도구를 이용하여, 4개 이상의 Top Down 위치 정보를 획득하고 동시에 영상을 확보한다.
회전 및 변환 매트릭스 계산부(230)는 전술한 과정에서 확보된 영상 및 2차원 센서정보의 좌표 정보를 활용하여, 상관관계 매트릭스(회전/변환) 정보를 획득한다(Rt Matrix).
역변환 매트릭스 계산부(240)는 회전 및 변환 매트릭스 계산부(230)로부터 출력된 결과를 역변환하여 역변환 매트릭스(Inv. Rt Matrix)를 계산하고, 역변환 매트릭스는 회전 및 변환 매트릭스와 함께 저장된다.
2차원 이종센서 좌표 프로젝션부(310)는 회전 및 변환 매트릭스 계산부(230)에 의해 획득된 상관관계 매트릭스 및 역변환 매트릭스 계산부(240)에 의해 획득된 역변환 매트릭스를 기반으로, 2차원 센서정보를 실시간으로 출력하고, 역변환 매트릭스를 통해서 영상도메인으로 객체 검출 2차원 좌표를 변환하여 2차원 영상에 표시한다.
2차원 이종센서 좌표 프로젝션부(310)는 이와 동시에, 계산된 정보를 변환하여 객체에 표시된 2차원 센서정보의 위치와 비교하여, 그 차이에 대한 상관계수 데이터를 저장한다.
차량정보 입력부를 통해 입력된 차량정보는, 차량 위치 및 자세정보 추출부(250)를 통해 IMU를 통해 획득한 차량 자세 정보(pitch, yaw, roll) 정보와 GPS를 통해 획득한 위성 좌표(x, y, z) 정보로 추출되고, 이들은 매트릭스 보정부(320)의 초기 이종센서 보정 모듈로 제공된다.
2차원 이종센서 좌표 프로젝션부로부터 획득된 이종센서간 상관관계 매트릭스(회전/변환) 정보는 차량 위치 및 자세정보 추출부(250)로부터 추출된 차량 자세, 위치 정보와 동기화되어, 매트릭스 보정부(320)의 평지 기준 보정 모듈로 제공된다.
매트릭스 보정부(320)는 평지 상태에서 차량의 자세 및 위치의 변화에 따라서 초기 이종 센서 간의 상관관계 매트릭스(회전/변환)를 보정한다.
매트릭스 보정부(320)는 센서가 탑재된 차량 자체의 흔들림 및 자세 변환으로 인한 중, 원거리에서 검출된 영상 기반의 객체에 투영(프로젝션)되는 좌표의 이탈 및 흔들림을 추가 회전/변환 매트릭스를 계산하여 보완한다.
도 3을 참조하면, 차량의 자세(pitch)가 크게 흔들릴 때 나타나는 현상으로, 오르막/내리막 주행시에도 같은 현상이 발생하는 것을 도시한다.
종래 기술에 따르면, 평지를 가정하는 고속구간 도로 기준으로 전방 이동객체의 거리를 추정하지만, 단일 카메라 기반으로 거리를 추정하는 방식 또는 레이다 정보를 차선 범위 내 포함된 좌표만 확보하여 거리를 추정하는 방식은 차량의 자세 정보인 Pitch를 보정하는 부분에서 오르막/내리막 길에서 발생되는 문제에서는 적용되기 어려운 문제점이 있다.
스틱 보정 모델링부(410)는 경사로를 차량의 자세(pitch)뿐 아니라 오르막/내리막 도로에서 발생되는 이종 센서간의 비매칭 경우를 해결하기 위해서, 스틱 보정 모델링을 구축하고 이를 제1 스틱 보정 필터(420) 및 제2 스틱 보정 필터(430)로 제공한다.
스틱 보정 모델링부(410)는 기본적으로 경사로에 위치한 주행환경상 검출 및 추적되는 인식 영역에 이종센서(레이다/라이다) 정보를 실시간으로 매칭시킨다.
스틱 보정 모델링부(410)에서 활용되는 정보는 센서 상에서 제공되는 영상에서 분류되지 않은 이종센서의 검출 정보(객체 위치), 영상에서 검출되는 객체의 크기 정보 및 추적 정보, 매트릭스 보정부(320)에서 계산된 경사로 기준에서의 영상-거리 센서(이종 센서) 간 융합된 객체 위치 및 거리 정보, 경사로에 위치한 차량 위치 및 자세 정보를 확인할 수 있는 3차원 지도(초기 보정상 필요한 정보)를 활용하여, 보정에 필요한 스틱 모델링을 비선형 함수로 구축한다.
스틱 보정 모델링부(410)에서 구축된 스틱 보정 모델은 기본적으로 스틱의 길이를 결정하는 것으로, 도 3에 도시한 바와 같이 이종센서 간의 비매칭이 발생하는 경우, 능동적으로 스틱의 길이를 가변화하여 센서 정보가 매칭될 수 있도록 하는 기본 기능을 제공한다.
제1 스틱 보정 필터(420)는 매트릭스 보정부(320)와 스틱 보정 모델링부(410)의 보정 결과 및 모델링 결과를 융합하는 것으로, 초기 이종센서 보정 시 실시간으로 입력되는 차량 자세 및 경사로 정보를 기반으로, 특정 차량 분류(세단/SUV/버스/보행자/트럭)에 따라 구축을 수행하고, 클래스에 따라 모델을 다양하게 보유하여 영상에서 인식된 객체의 종류에 따라 능동적으로 적용한다.
제1 스틱 보정 필터(420)에서 이동 객체의 종류에 따라 분류하는 것은 종류에 따라 실제 영상에서 인식되는 크기와 이종센서(레이다/라이다)에서 매칭되는 검출좌표가 다르며, 차량의 자세 및 경사로에 따라 서로 다르게 적용되어야 하기 때문이다.
제2 스틱 보정 필터(430)는 특정 차량/보행자에 이종센서(레이다/라이다) 정보가 매칭될 때, 영상 도메인 측면에서는 위치 좌표가 같은 객체 영역에 중첩될 가능성이 있는데, 이를 도 5에 도시한 바와 같이 제거하기 위한 구성이다.
도 5에 도시한 바와 같이, 기본적으로 영상에서 검출된 이동 객체의 범위 내에 포함된 센서 측정 정보는 최단거리 좌표를 선택한다.
또한, 주행에 방해되지 않는 작은 코너 또는 물체(낙엽, 맨홀 뚜껑, 벌어지거나 도로 깨짐, 매립된 전선작업 흔적 등)를 검출하는 레이다 특성과 커브길에서 발생 가능한 이종센서의 객체 위치 정보가 영상에 투영될 때, 원/중거리에 위치한 이동객체(차량/사람) 검출 영역에 주행 영역이 아닌 근거리 범위에서 검출되는 이종센서(레이다/라이다)정보가 영상에 투영될 경우, 이를 제외하기 위한 필터이다.
스틱 필터 적용부(440)는 스틱 보정 모델링부(410)에 의해 생성된 스틱 보정 모델링을 기반으로, 제1 스틱 보정 필터(420) 및 제2 스틱 보정 필터(430)를 통해 추정된 센서 융합 보정 정보, 실시간 영상 및 이종센서(레이다/라이다) 정보를 입력 받아, 영상정보와 거리 센서정보의 매칭을 위해 스틱 필터의 위치와 길이, 영역을 조절하여 적용한다.
도 3은 본 발명의 실시예에 따른 스틱 보정 모델링부(410)의 스틱 보정 모델링/학습 및 센서 융합 과정을 도시한다.
P0-2의 결과와 같이, 2차원 이종센서 좌표 프로젝션을 평지 기준으로 보정한 결과는 P0-1과 같이 차량 자세가 올라가거나(pitch up), 전방차량의 위치가 오르막에 위치할 때 거리센서의 결과가 영상에 비매칭되는 결과로, P0-3은 반대의 결과를 나타낸다(pitch down 또는 내리막).
스틱 보정 모델링부(410)는, 2차원 영상정보와 2차원 센서정보, 즉 가공되지 않은 로 데이터(raw data)를 매칭한 결과인 영상 검출/거리 이종 센서 검출 결과를 P0-1.1, P0-2.1, P0-3.1과 같이 검출영역에 해당하는 거리 센서 검출 위치의 재배치(re-matching) 결과 데이터[P0-4.1]를 다양한 환경에서 차량/보행자가 있는 조건에서 저장한다.
스틱 보정 모델링부(410)는 P0-4.1의 정보를 바탕으로 모델링화할 수 있는 비선형 함수를 추정하며, 이를 스틱 보정 모델링 함수라 한다.
또한, P0-4.1의 데이터를 기반으로 딥러닝 네트워크를 구축하여 학습 시킨 후, 2차원 영상정보 및 2차원 센서정보를 입력 정보로 제공하여, 영상과 거리 센서 간의 관계에 따른 거리 위치 정보를 추정을 수행한다.
P0-4.1에서 구성되는 스틱 모델 또는 스틱 학습 네트워크는 평지에서 보정작업을 한 2차원 이종센서 좌표 프로젝션 결과 및 보정된 매트릭스를 기준으로 매칭 결과를 조정하고, 영상만으로 거리를 추정할 수 있는 결과를 출력한다.
이하에서는, 스틱 필터 설계 및 적용 과정에 대해 설명한다.
도 4a는 본 발명의 실시예에 따른 차량자세(pitch-down) 또는 전방 이동객체가 내리막에 있는 경우, 스틱 보정 모델링부(410)에서 결정된 스틱 필터(stick filter) 적용 결과를 도시한다.
P1-1은 영상에서 이동 객체의 영역을 검출한 결과를 나타낸다.
P1-3은 평지인 상태에서 영상센서와 이종센서 간의 보정(Calibration) 결과를 기준으로, 이종센서의 객체 검출에 대한 위치 정보를 프로젝션했을 때의 결과를 나타낸다.
P1-2는 P1-3의 결과 중에 P1-1의 결과(이동 객체의 영역 검출 결과) 내에 포함된 결과를 나타낸다.
P1-4는 차량자세(pitch-down) 또는 전방 이동객체가 내리막에 위치함에 따라, 영상센서와 이종센서 간의 보정(Calibration) 결과를 기준으로, 이종센서의 객체 검출에 대한 위치 정보를 프로젝션했을 때의 결과를 나타낸다.
P1-5는 P1-4의 결과 중에 P1-1의 결과 내에 포함되어야 할 프로젝션 결과지만, 차량자세(pitch-down) 또는 전방 이동객체가 내리막에 위치한 상태 변화에 따라 P1-1에 포함되지 못한 결과를 나타낸다.
P1-6은 스틱 보정 모델링부(410)의 스틱 보정 필터 모델링 결과를 활용하여 스틱 필터의 길이를 차량의 종류, 크기, 위치에 따라서 가변하여 적용시킨 결과이다.
가변된 결과에 따라 영상 도메인에 프로젝션된 2차원의 이종센서에서 검출된 이동 객체의 위치가 P1-1의 영역에 포함되지 못했던 좌표를 포함시켜서 융합하는 결과이다.
도 4b는 본 발명의 실시예에 따른 차량자세(pitch-up) 또는 전방 이동객체가 오르막에 있는 경우, 스틱 보정 모델링부(410)에서 결정된 스틱 필터(stick filter) 적용 결과를 도시하며, P2는 P1과 반대인 상황인 차량자세(pitch-up) 혹은 전방 이동객체가 오르막에 위치한 상태일 때의 스틱 필터 적용 결과를 도시한다.
P2-5는 P2-1의 결과 내에 포함되어야 할 프로젝션 결과지만, 차량자세(pitch-up) 또는 전방 이동객체가 오르막에 위치한 상태 변화에 따라 P2-1에 포함되지 못한 결과를 나타낸다.
P2-6은 스틱 보정 모델링부(410)의 스틱 보정 필터 모델링 결과를 활용하여 스틱 필터의 길이를 차량의 종류, 크기, 위치에 따라서 가변하여 적용시킨 결과이다.
도 5는 본 발명의 실시예에 따른 제1 스틱 보정 필터의 설계 방법을 도시한다.
도 5의 P3는 제1 스틱 보정 필터(420)를 설명하는 것으로, 영상에서 이동객체(차량/보행자)의 검출 영역 내에 복수 개의 이종센서(레이다/라이다)의 좌표(위치)가 매칭되었을 때, 실제 이동객체에 해당하는 정보를 선택할 수 있는 필터이다.
P3-1(true matching)과 P3-2(filtering longer distance points)를 선택하는 기준은 영상 검출 영역 내에 포함된 가장 가까운 좌표를 선택하는 것을 그 기준으로 한다.
이는 거리상 검출된 영역에 이동객체(차량/보행자) 이외의 주행 경로에 포함되지 않는 물체가 겹치지 않는 경우에 활용될 수 있다.
도 6은 본 발명의 실시예에 따른 제2 스틱 보정 필터의 설계 방법을 도시한다.
도 6의 P4는 제2 스틱 보정 필터(430)로서, 물체가 주행 경로상에 위치 하지 않음에도, 영상에 거리 센서 정보를 투영한 결과상 2차원적으로 겹치는 경우, 제1 스틱 보정 필터(420)의 결과를 재필터링함으로써, 오검출을 제거한다.
P4-1은 원래 영상에 매칭되는 거리센서 위치 좌표 결과인데 반해, 제1 스틱 보정 필터(420)의 기준에 따라, P4-2처럼 도로교통 안전봉과 같이, 주행 경로상에 위치하지 않지만, 영상 투영 시 영역 내에 겹쳐지는 결과가 발생한다.
영상에서 검출된 이동객체의 종류(P4-7: Class), 가로크기(P4-4: Width), 세로크기(P4-5: Height), 전체 영상에서의 상대 좌표 위치(P4-6: Position)와 거리센서가 원래 매칭되어야 할 위치(P4-1)를 연속 프레임에 따른 정보를 기반으로, P4-3.1과 같이 검출된 이미지 영역 내에 다른 영상 영역이 겹치는 경우는 모두 제거하는 방식과, P4-3.2과 같이 검출된 이종센서(레이다/라이다)에서 제공하는 객체 크기와 영상에 매칭된 객체의 위치가 포함된 영상 검출 결과를 종류(클래스)와 검출 크기에 따른 기준으로 제거하는 방식으로 처리한다.
도 7은 본 발명의 실시예에 따른 능동 스틱 필터를 이용한 융합 인식 방법을 도시한다.
본 발명에 따른 능동 스틱 필터를 이용한 융합 인식 방법은 영상 및 이종센서 간의 보정을 위해 입력 정보를 수신하는 단계(S710)와, 이종센서 정보의 투영을 위해 상관관계를 계산하는 단계(S720)와, 상관관계를 이용하여 이종센서 정보를 영상 도메인에 투영시키는 단계(S730) 및 스틱 보정 모델링을 수행하고, 스틱 보정 필터를 설계 및 적용하는 단계(S740)를 포함하는 것을 특징으로 한다.
S710 단계는 차량 자세 정보 및 위성 좌표 정보를 수신하고, 2차원 영상정보 및 2차원 센서정보를 동기화된 상태로 전달한다.
S720 단계는 회전 및 거리 변환 매트릭스와 역변환 매트릭스를 계산한다.
S720 단계는 영상 및 이종센서의 좌표 정보를 이용하여, 회전 및 거리 변환 매트릭스와 역변환 매트릭스를 계산한다.
S730 단계는 회전 및 거리 변환 매트릭스와 역변환 매트릭스를 이용하여, 2차원 센서정보를 실시간 출력하고, 영상도메인으로 객체 검출 2차원 좌표를 변환하여 2차원 영상에 표시한다.
S730 단계는 계산된 정보를 변환하여 객체에 표시된 2차원 센서정보의 위치와 비교한 결과인 상관계수 데이터를 저장한다.
S730 단계는 차량 자세 및 위치 정보를 이용하여, 이종센서 간의 상관관계 매트릭스를 보정한다.
S730 단계는 추가 회전 및 변환 매트릭스를 계산하여, 객체에 투영되는 좌표의 이탈 및 흔들림을 보완한다.
S740 단계는 기준 매트릭스 정보, 차량 자세 정보, 이동 객체 정보를 고려하여 스틱 보정 모델링을 수행하고, 제1 스틱 보정 필터 및 제2 스틱 보정 필터를 설계하여 적용한다.
S740 단계는 경사로에 위치한 주행환경에서 검출 및 추적되는 인식 영역에 이종센서의 정보를 실시간으로 매칭시킨다.
S740 단계는 이종센서의 검출 정보, 영상 내 검출되는 객체의 크기 및 추적 정보, 영상 및 거리 센서 간 융합된 객체의 위치 및 거리 정보, 3차원 지도 정보를 이용하여, 보정에 필요한 스틱 모델링을 비선형 함수로 구축한다.
S740 단계는 이종센서 간의 비매칭이 발생하는 경우, 스틱의 길이를 가변화하여 이종센서의 정보를 매칭시킨다.
제1 스틱 보정 필터는 이동 객체의 종류에 따라 매트릭스 보정 결과 및 스틱 보정 모델링부의 모델링 결과를 융합하고, 영상 검출 영역 내에 포함된 가장 가까운 좌표를 선택하는 기준을 설정한다.
제2 스틱 보정 필터는 주행 경로상에 위치하지 않은 물체가 영상 내에서 이동객체와 겹쳐지는 경우, 제1 스틱 보정 필터의 결과를 재필터링한다.
제2 스틱 보정 필터는 이동객체의 종류, 크기, 상대 좌표 위치를 이용하여, 재필터링을 수행한다.
한편, 본 발명의 실시예에 따른 능동 스틱 필터를 이용한 융합 인식 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 능동 스틱 필터를 이용한 융합 인식 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 능동 스틱 필터를 이용한 융합 인식 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 융합 인식 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 능동 스틱 필터를 이용한 융합 인식 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (20)
- 영상 및 이종센서 간의 보정을 위해 입력 정보를 수신하는 데이터 입력부;
이종센서 정보의 투영을 위해 상관관계를 계산하는 매트릭스 계산부;
상기 상관관계를 이용하여 이종센서 정보를 영상 도메인에 투영시키는 투영부; 및
스틱 보정 모델링을 수행하고, 스틱 보정 필터를 설계 및 적용하는 2차원 이종센서 융합부를 포함하고,
상기 투영부는 2차원 센서정보를 출력하고 영상도메인으로 객체 검출 2차원 좌표를 변환하여 표시하고, 계산된 정보를 변환하여 객체에 표시된 2차원 센서정보의 위치와 비교한 결과인 상관계수 데이터를 저장하는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 제1항에 있어서,
상기 데이터 입력부는 차량 자세 정보 및 위성 좌표 정보를 수신하고, 2차원 영상정보 및 2차원 센서정보를 동기화된 상태로 전달하는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 제1항에 있어서,
상기 매트릭스 계산부는 회전 및 거리 변환 매트릭스와 역변환 매트릭스를 계산하는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 제1항에 있어서,
상기 매트릭스 계산부는 영상 및 이종센서의 좌표 정보를 이용하여, 회전 및 거리 변환 매트릭스와 역변환 매트릭스를 계산하는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 제4항에 있어서,
상기 투영부는 상기 회전 및 거리 변환 매트릭스와 상기 역변환 매트릭스를 이용하여, 상기 2차원 센서정보를 실시간 출력하고, 상기 영상도메인으로 상기 객체 검출 2차원 좌표를 변환하여 2차원 영상에 표시하는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 삭제
- 제4항에 있어서,
상기 투영부는 차량 자세 및 위치 정보를 이용하여, 이종센서 간의 상관관계 매트릭스를 보정하는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 제7항에 있어서,
상기 투영부는 추가 회전 및 변환 매트릭스를 계산하여, 객체에 투영되는 좌표의 이탈 및 흔들림을 보완하는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 제1항에 있어서,
상기 2차원 이종센서 융합부는 기준 매트릭스 정보, 차량 자세 정보, 이동 객체 정보를 고려하여 상기 스틱 보정 모델링을 수행하는 스틱 보정 모델링부를 포함하고, 제1 스틱 보정 필터 및 제2 스틱 보정 필터를 설계하여 적용하는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 제9항에 있어서,
상기 스틱 보정 모델링부는 경사로에 위치한 주행환경에서 검출 및 추적되는 인식 영역에 상기 이종센서의 정보를 실시간으로 매칭시키는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 제10항에 있어서,
상기 스틱 보정 모델링부는 상기 이종센서의 검출 정보, 영상 내 검출되는 객체의 크기 및 추적 정보, 영상 및 거리 센서 간 융합된 객체의 위치 및 거리 정보, 3차원 지도 정보를 이용하여, 보정에 필요한 스틱 모델링을 비선형 함수로 구축하는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 제11항에 있어서,
상기 스틱 보정 모델링부는 이종센서 간의 비매칭이 발생하는 경우, 스틱의 길이를 가변화하여 상기 이종센서의 정보를 매칭시키는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 제9항에 있어서,
상기 제1 스틱 보정 필터는 이동 객체의 종류에 따라 상기 투영부의 매트릭스 보정 결과 및 상기 스틱 보정 모델링부의 모델링 결과를 융합하고, 영상 검출 영역 내에 포함된 가장 가까운 좌표를 선택하는 기준을 설정하는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 제13항에 있어서,
상기 제2 스틱 보정 필터는 주행 경로상에 위치하지 않은 물체가 영상 내에서 이동객체와 겹쳐지는 경우, 상기 제1 스틱 보정 필터의 결과를 재필터링하는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 제14항에 있어서,
상기 제2 스틱 보정 필터는 이동객체의 종류, 크기, 상대 좌표 위치를 이용하여, 상기 재필터링을 수행하는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 2차원 영상정보, 2차원 센서 정보 및 차량 정보를 수신하는 입력부;
상기 차량 정보를 고려하여 상기 2차원 센서 정보의 좌표를 상기 2차원 영상정보에 투영시키는 프로그램이 저장된 메모리; 및
상기 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 영상 내 객체 검출 영역 내에 이종센서의 정보를 실시간으로 매칭시켜, 이종센서를 이용한 융합 인식을 수행하고,
상기 프로세서는 차량의 피치 레이트(pitch rate) 변화에 적응적으로 적용되는 스틱 필터를 이용하여 영상 내 검출된 객체에 거리 센서 정보를 매칭시켜 객체의 위치를 인식하되, 2차원 이종센서의 좌표를 영상에 투영시키고 차량의 자세 및 위치 정보를 이용하여 이종센서 간의 상관관계 매트릭스를 보정하는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 삭제
- 제16항에 있어서,
상기 프로세서는 회전 및 거리변환 매트릭스와 역변환 매트릭스를 계산하고, 이를 이용하여 상기 2차원 이종센서의 좌표를 영상에 투영시키는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- 제18항에 있어서,
상기 프로세서는 영상 검출 영역 내에 포함된 가장 가까운 좌표를 선택하는 기준으로 설정된 제1 스틱 보정 필터와, 주행 경로상에 위치하지 않은 물체가 영상 내 검출된 객체와 겹쳐지는 경우, 상기 제1 스틱 보정 필터의 결과를 재필터링하는 제2 스틱 보정 필터를 이용하여 중첩 객체를 제거하고, 스틱 필터의 위치, 길이, 영역을 조절하여 적용하는 것
인 능동 스틱 필터를 이용한 융합 인식 시스템.
- (a) 영상 및 이종센서 간의 보정을 위해 입력 정보를 수신하는 단계;
(b) 이종센서 정보의 투영을 위해 상관관계를 계산하는 단계;
(c) 상기 상관관계를 이용하여 이종센서 정보를 영상 도메인에 투영시키는 단계; 및
(d) 스틱 보정 모델링을 수행하고, 스틱 보정 필터를 설계 및 적용하는 단계를 포함하고,
상기 (d) 단계는 상기 이종센서의 검출 정보, 영상 내 검출되는 객체의 크기 및 추적 정보, 영상 및 거리 센서 간 융합된 객체의 위치 및 거리 정보를 이용하여 보정에 필요한 스틱 모델링을 구축하는 것
인 능동 스틱 필터를 이용한 융합 인식 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/150,391 US11790555B2 (en) | 2020-01-17 | 2021-01-15 | System and method for fusion recognition using active stick filter |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20200006331 | 2020-01-17 | ||
| KR1020200006331 | 2020-01-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210093130A KR20210093130A (ko) | 2021-07-27 |
| KR102441424B1 true KR102441424B1 (ko) | 2022-09-07 |
Family
ID=77125479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200011547A KR102441424B1 (ko) | 2020-01-17 | 2020-01-31 | 능동 스틱 필터를 이용한 융합 인식 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102441424B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012068935A (ja) * | 2010-09-24 | 2012-04-05 | Toyota Motor Corp | 車両用対象物認識装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102547651B1 (ko) * | 2016-09-20 | 2023-06-26 | 이노비즈 테크놀로지스 엘티디 | Lidar 시스템 및 방법 |
| KR20180106417A (ko) * | 2017-03-20 | 2018-10-01 | 현대자동차주식회사 | 차량의 위치 인식 시스템 및 방법 |
| KR102109941B1 (ko) * | 2018-01-23 | 2020-05-12 | 충북대학교 산학협력단 | 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치 |
-
2020
- 2020-01-31 KR KR1020200011547A patent/KR102441424B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012068935A (ja) * | 2010-09-24 | 2012-04-05 | Toyota Motor Corp | 車両用対象物認識装置 |
Non-Patent Citations (3)
| Title |
|---|
| 한국 공개특허공보 제10-2018-0106417호(2018.10.01.) 1부.* |
| 한국 공개특허공보 제10-2019-0049871호(2019.05.09.) 1부.* |
| 한국 공개특허공보 제10-2019-0095592호(2019.08.16.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210093130A (ko) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102267562B1 (ko) | 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법 | |
| US9846812B2 (en) | Image recognition system for a vehicle and corresponding method | |
| JP6760114B2 (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
| JP6595182B2 (ja) | マッピング、位置特定、及び姿勢補正のためのシステム及び方法 | |
| US10580155B2 (en) | Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium | |
| AU2017302833B2 (en) | Database construction system for machine-learning | |
| JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
| JP5016022B2 (ja) | 多重３次元ワーピングに基づく物体運動検出システムおよび方法とこのようなシステムを備えた車両 | |
| US20050004762A1 (en) | Obstacle detection apparatus and method for automotive vehicle | |
| CN112997187A (zh) | 基于鸟瞰图点云的二维对象边界框信息估计 | |
| US20140205184A1 (en) | Method for representing surroundings | |
| EP3282389B1 (en) | Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program | |
| JP6458651B2 (ja) | 路面標示検出装置及び路面標示検出方法 | |
| CN104204726A (zh) | 移动物体位置姿态估计装置和移动物体位置姿态估计方法 | |
| JP6769477B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| US11514683B2 (en) | Outside recognition apparatus for vehicle | |
| JP6493000B2 (ja) | 路面標示検出装置及び路面標示検出方法 | |
| CN110929475B (zh) | 对象的雷达简档的注释 | |
| US11790555B2 (en) | System and method for fusion recognition using active stick filter | |
| JP2007011994A (ja) | 道路認識装置 | |
| KR101738425B1 (ko) | 다차선 검출을 위한 관심 영역 설정 장치 및 방법 | |
| KR102441424B1 (ko) | 능동 스틱 필터를 이용한 융합 인식 시스템 및 그 방법 | |
| KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
| JP6959032B2 (ja) | 位置推定装置、移動装置 | |
| KR20180048094A (ko) | 차간 거리 추정 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |